La innovación clave del modelo de transformador es no tener que depender de redes neuronales recurrentes (RNN) o redes neuronales convolucionales (CNN), enfoques de redes neuronales que tienen inconvenientes significativos. Los transformadores procesan secuencias de entrada en paralelo, lo que las hace muy eficientes para la capacitación y la inferencia, porque no se puede acelerar simplemente añadiendo más GPU. Los modelos de transformadores necesitan menos tiempo de capacitación que las arquitecturas de redes neuronales recurrentes anteriores, como la memoria a largo y a corto plazo (LSTM).

Los RNN y LSTM se remontan a las décadas de 1920 y 1990, respectivamente. Estas técnicas calculan cada componente de una entrada en secuencia (por ejemplo, palabra por palabra), por lo que el cálculo puede llevar mucho tiempo. Es más, ambos enfoques tienen limitaciones a la hora de retener el contexto cuando la "distancia" entre los fragmentos de información en una entrada es larga.

Los modelos con transformador aportan dos innovaciones principales. Considere estas dos innovaciones en el contexto de la predicción de textos.

1. Codificación posicional: en lugar de mirar cada palabra en el orden en que aparece en una oración, se asigna un número único a cada palabra. Esto proporciona información sobre la posición de cada token (partes de la entrada, como palabras o subpalabras en NLP) en la secuencia, lo que permite que el modelo considere la información secuencial de la secuencia.

2. Autoatención: la atención es un mecanismo que calcula los pesos de cada palabra de una oración en relación con cada otra palabra de la oración, por lo que el modelo puede predecir palabras que es probable que se utilicen en secuencia. Esta comprensión se aprende con el tiempo a medida que un modelo se capacita con muchos datos. El mecanismo de autoatención permite que cada palabra preste atención a todas las demás palabras de la secuencia en paralelo, sopesando su importancia para el token actual. De esta manera, se puede decir que los modelos de aprendizaje automático pueden "aprender" las reglas de la gramática, en función de las probabilidades estadísticas de cómo se usan típicamente las palabras en el lenguaje.

Los modelos transformadores funcionan procesando datos de entrada, que pueden ser secuencias de tokens u otros datos estructurados, a través de una serie de capas que contienen mecanismos de autoatención y redes neuronales de retroalimentación. La idea central detrás de cómo funcionan los modelos transformadores se puede dividir en varios pasos clave.

Imaginemos que necesita convertir una frase del inglés al francés. Estos son los pasos que tendrías que dar para realizar esta tarea con un modelo de transformador.

1. Incrustaciones de entrada: la oración de entrada se transforma primero en representaciones numéricas llamadas incrustaciones. Estos capturan el significado semántico de los tokens en la secuencia de entrada. Para secuencias de palabras, estas incrustaciones se pueden aprender durante la capacitación u obtenerse a partir de incrustaciones de palabras previamente capacitadas.

2. Codificación posicional: la codificación posicional generalmente se introduce como un conjunto de valores o vectores adicionales que se agregan a las incorporaciones de tokens antes de introducirlas en el modelo transformador. Estas codificaciones posicionales tienen patrones específicos que codifican la información de posición.

3. Atención de múltiples cabezas: la autoatención opera en múltiples "cabezas de atención" para capturar diferentes tipos de relaciones entre tokens. Las funciones Softmax, un tipo de función de activación, se utilizan para calcular los pesos de atención en el mecanismo de autoatención.

4. Normalización de capas y conexiones residuales: el modelo utiliza la normalización de capas y las conexiones residuales para estabilizar y acelerar la capacitación.

5. Redes neuronales de retroalimentación: la salida de la capa de autoatención se pasa a través de capas de retroalimentación. Estas redes aplican transformaciones no lineales a las representaciones de tokens, permitiendo que el modelo capture patrones y relaciones complejas en los datos.

6. Capas apiladas: los transformadores suelen constar de varias capas apiladas una encima de la otra. Cada capa procesa la salida de la capa anterior, refinando gradualmente las representaciones. El apilamiento de varias capas permite que el modelo capture características jerárquicas y abstractas en los datos.

7. Capa de salida: En tareas de secuencia a secuencia como la traducción automática neuronal, se puede agregar un módulo decodificador separado en la parte superior del codificador para generar la secuencia de salida.

8. Capacitación: los modelos de transformadores se capacitan mediante aprendizaje supervisado, donde aprenden a minimizar una función de pérdida que cuantifica la diferencia entre las predicciones del modelo y la verdad fundamental para la tarea dada. La capacitación suele implicar técnicas de optimización como Adam o descenso de gradiente estocástico (SGD).

9. Inferencia: después de la capacitación, el modelo se puede utilizar para la inferencia sobre nuevos datos. Durante la inferencia, la secuencia de entrada se pasa a través del modelo previamente capacitado, y el modelo genera predicciones o representaciones para la tarea dada.