Al inicio del entrenamiento (o, en este contexto, antes del entrenamiento), el modelo aún no ha "aprendido" nada. El entrenamiento comienza con un inicio aleatorio de los parámetros del modelo : los diferentes pesos y sesgos aplicados a las operaciones matemáticas que ocurren en cada nodo de la red neuronal.

El entrenamiento se produce de forma iterativa en dos fases: en un pase hacia adelante, el modelo hace predicciones para un lote de entradas de muestra del conjunto de datos de entrenamiento, y una función de pérdida mide la diferencia (o pérdida) entre las predicciones del modelo para cada entrada y las respuestas "correctas" (o verdad fundamental); durante la retropropagación, se emplea un algoritmo de optimización, generalmente descenso pendiente,para ajustar las ponderaciones del modelo en toda la red para reducir la pérdida. Estos ajustes a las ponderaciones del modelo son la forma en que el modelo “aprende”. El proceso se repite a lo largo de varias épocas de entrenamiento hasta que se considera que está suficientemente capacitado.

El aprendizaje supervisado convencional, que suele emplearse para pre entrenar modelos para tareas de visión artificial como clasificación de imágenes, detección de objetos o segmentación de imágenes, emplea datos etiquetados: las etiquetas (o anotaciones) proporcionan tanto el rango de posibles respuestas como la verdad fundamental para cada muestra.

Por lo general, los LLM se capacitan previamente a través del aprendizaje autosupervisado (SSL), en el que los modelos aprenden a través de tareas de pretexto que están diseñadas para derivar la verdad fundamental de la estructura inherente de los datos no etiquetados. Estas tareas de pretexto imparten conocimientos útiles para las tareas posteriores. Por lo general, adoptan uno de estos dos enfoques:

• Autopredicción: enmascarar alguna parte de la entrada original y encargar al modelo que la reconstruya. Este es el modo dominante de capacitación para los LLM.

• Aprendizaje contrastivo: modelos de entrenamiento para aprender incorporaciones similares para entradas relacionadas e incorporaciones diferentes para entradas no relacionadas. Esto se emplea de forma prominente en los modelos de visión artificial diseñados para el aprendizaje de pocos intentos o de ningún intento, como el preentrenamiento de imágenes de lenguaje contrastante (CLIP).

Por lo tanto, SSL permite el uso de conjuntos de datos enormemente grandes en el entrenamiento sin la carga de tener que anotar millones o miles de millones de puntos de datos. Esto ahorra una enorme cantidad de mano de obra, pero requiere enormes recursos computacionales.

Por el contrario, el refinamiento implica técnicas para entrenar aún más a un modelo cuyos pesos ya se han actualizado mediante entrenamiento previo. Utilizando el conocimiento previo del modelo base como punto de partida, el refinamiento adapta el modelo entrenándolo en un conjunto de datos más pequeño y específico de la tarea.

Si bien ese conjunto de datos específico de la tarea podría haberse empleado teóricamente para el entrenamiento inicial, capacitar un modelo grande desde cero en un conjunto de datos pequeño corre el riesgo de sobreajuste: el modelo podría aprender a funcionar bien en los ejemplos de entrenamiento, pero generalizarse mal en nuevos datos. Esto haría que el modelo no fuera adecuado para la tarea asignada y frustraría el propósito del entrenamiento del modelo.

Por lo tanto, el refinamiento ofrece lo mejor de ambos mundos: aprovechar los amplios conocimientos y la estabilidad adquiridos con el pre entrenamiento en un conjunto masivo de datos y perfeccionar la comprensión del modelo de conceptos más detallados y específicos. Dada la creciente proeza de los modelos fundacionales de código abierto, a menudo se puede disfrutar de los beneficios sin ninguna de las cargas financieras, computacionales o logísticas del pre entrenamiento.

Los conjuntos de datos empleados para el refinamiento transmiten el conocimiento, el estilo, las tareas o los casos de uso específicos del dominio para los que se está refinado el modelo previamente capacitado. Por ejemplo: 

• Un LLM previamente capacitado para el lenguaje general podría refinarse para la programación con un nuevo conjunto de datos que contenga solicitudes de programación relevantes y fragmentos de código correspondientes para cada una.

• Un modelo de clasificación de imágenes empleado para identificar ciertas especies de aves puede aprender nuevas especies a través de muestras de entrenamiento etiquetadas adicionales.

• Un LLM puede aprender a emular un estilo de escritura específico mediante el aprendizaje auto supervisado de textos de muestra que representan ese estilo.

El aprendizaje semi supervisado, un subconjunto del aprendizaje automático que incorpora datos etiquetados y no etiquetados, es ventajoso cuando el escenario requiere aprendizaje supervisado, pero los ejemplos etiquetados adecuados son escasos. El refinamiento semi supervisado ha arrojado resultados prometedores tanto para las tareas de visión artificial¹ como de PNL² y ayuda a reducir la carga de adquirir una cantidad suficiente de datos etiquetados.

El refinamiento puede emplearse para actualizar los pesos de toda la red, pero por razones prácticas no siempre es así. Existe una gran variedad de métodos alternativos de refinamiento, a menudo denominados refinamiento eficiente de parámetros (PEFT), que sólo actualizan un subconjunto selecto de parámetros del modelo. Los métodos PEFT, que se exploran más adelante en esta sección, pueden disminuir las demandas computacionales y reducir el olvido catastrófico (fenómenoen el que el refinamiento causa la pérdida o desestabilización del conocimiento central del modelo) a menudo sin compromisos significativos en el rendimiento.

Dada la amplia variedad de técnicas de refinamiento y las muchas variables inherentes de cada una, lograr el rendimiento ideal del modelo a menudo requiere múltiples iteraciones de estrategias y configuraciones de entrenamiento, ajustando conjuntos de datos e hiperparámetros como el tamaño del lote, la tasa de aprendizaje y los términos de regularización hasta que se alcanzó un resultado satisfactorio, según las métricas que sean más relevantes para el caso de uso.

El medio conceptualmente más sencillo de realizar un refinamiento es simplemente actualizar todo el neural network. Esta metodología simple se parece esencialmente al proceso de pre entrenamiento: las únicas diferencias fundamentales entre los procesos de refinamiento completo y pre entrenamiento son el conjunto de datos que se emplea y el estado inicial de los parámetros del modelo.

Para evitar cambios desestabilizadores del proceso de refinamiento, ciertos hiperparámetros (atributos del modelo que influyen en el proceso de aprendizaje pero que no son parámetros que se pueden aprender) pueden ajustarse en relación con sus especificaciones durante el entrenamiento previo: por ejemplo, una tasa de aprendizaje más pequeña (que reduce la magnitud de cada actualización de las ponderaciones del modelo) es menos probable que provoque un olvido catastrófico.

El refinamiento completo, al igual que el proceso de pre entrenamiento al que se parece, es muy demandante desde el punto de vista computacional. Para los modelos modernos de aprendizaje profundo con cientos de millones o incluso miles de millones de parámetros, a menudo es demasiado costoso y poco práctico.

El refinamiento eficiente de parámetros (PEFT) abarca una variedad de métodos para reducir la cantidad de parámetros que pueden entrenarse y que deben actualizarse para adaptarse de manera efectiva a un gran modelo previamente capacitado a aplicaciones específicas posteriores. Al hacerlo, PEFT reduce significativamente los recursos computacionales y el almacenamiento de memoria necesarios para producir un modelo refinado de manera efectiva. A menudo se demostró que los métodos PEFT son más estables que los métodos de refinamiento completo, especialmente para los casos de uso de NLP.³
 

Refinamiento parcial
Los métodos de refinamiento parcial, también llamado refinamiento selectivo, tienen como objetivo reducir las demandas computacionales actualizando solo el subconjunto seleccionado de parámetros más críticos previamente capacitados para el rendimiento del modelo en tareas posteriores relevantes. El resto de los parámetros se "congelan", lo que garantiza que no se modificarán.

El enfoque de refinamiento parcial más intuitivo es actualizar solo las capas externas de neural networks. En la mayoría de las arquitecturas de modelos, las capas internas del modelo (las más cercanas a la capa de entrada) capturan solo las características amplias y genéricas; por ejemplo, en una CNN empleada para la clasificación de imágenes, las primeras capas suelen discernir bordes y texturas. Cada capa subsiguiente discierne características progresivamente más finas hasta que se predice la clasificación final en la capa más externa. En términos generales, cuanto más similar sea la nueva tarea (para la cual se está refinando el modelo) a la tarea original, más útiles serán los pesos previamente capacitados de las capas internas para esta nueva tarea relacionada y, por lo tanto, menos capas deben actualizarse).

Otros métodos de refinamiento parcial incluyen la actualización solo de los términos de toda la capa del modelo (en lugar de las ponderaciones específicas del nodo)⁴ y los métodos de refinamiento "escasos" que actualizan solo un subconjunto seleccionado de ponderaciones generales en todo el modelo.⁵

Refinamiento aditivo
En lugar de refinar los parámetros existentes de un modelo previamente capacitado, los métodos aditivos agregan parámetros o capas adicionales al modelo, congelan los pesos previamente capacitados y entrenan solo los componentes nuevos. Este enfoque ayuda a mantener la estabilidad del modelo al garantizar que los pesos originales previamente capacitados permanezcan sin cambios.

Si bien esto puede aumentar el tiempo de entrenamiento, reduce significativamente los requisitos de memoria porque hay muchas menos inclinaciones y estados de optimización para almacenar: según Lialin, et al, el entrenamiento de los parámetros de un modelo requiere de 12 a 20 veces más memoria de GPU que los pesos del modelo solos.⁶ Se pueden lograr más ahorros de memoria mediante la cuantificación de los pesos del modelo congelados: una reducción en la precisión empleada para representar los parámetros del modelo, conceptualmente similar a reducir la tasa de bits de un archivo de audio.

Una subrama de los métodos aditivos es el refinamiento rápida. Conceptualmente, es similar a la ingeniería rápida, que se refiere a adaptar las “instrucciones hard”, es decir, instrucciones escritas por un humano en lenguaje natural, para guiar el modelo hacia el resultado deseado, como especificar un tono determinado o proporcionar ejemplos que facilitan el aprendizaje de "pocos intentos". El refinamiento rápido introduce instrucciones 'soft' creadas por la IA: vectores que pueden aprenderse y que se vinculan con la instrucción 'hard' del usuario. En lugar de volver a entrenar el modelo, el refinamiento de instrucciones implica congelar los pesos del modelo y, en su lugar, capacitar la instrucción programable en sí. La afinación rápida y eficiente permite que los modelos cambien más fácilmente entre tareas específicas, aunque se sacrifica la interpretabilidad.
 

Adaptadores
Otro subconjunto de refinamientos aditivos inyecta módulos adaptadores (nuevas capas específicas de tareas agregadas a neural networks) y capacita estos módulos adaptadores en lugar de refinar cualquiera de los pesos del modelo previamente capacitados (que están congelados). Según el documento original, que midió los resultados en el modelo de lenguaje enmascarado BERT, los adaptadores lograron un rendimiento equivalente al del refinamiento completo mientras capacitaban solo el 3.6 % de otros parámetros.⁷

Reparametrización
Los métodos basados en reparametrización, como la adaptación de bajo rango (LoRA), aprovechan la transformación de bajo rango de matrices de alta dimensión (como la matriz masiva de pesos de modelos previamente capacitados en un modelo transformador). Estas representaciones de bajo rango omiten información intrascendente de dimensiones superiores para capturar la estructura subyacente de las dimensiones bajas de las ponderaciones del modelo, lo que reduce en gran medida el número de parámetros que pueden entrenarse. Esto acelera significativamente el refinamiento y reduce la memoria necesaria para almacenar las actualizaciones del modelo.

LoRA evita la optimización directa de la matriz de pesos del modelo y, en su lugar, optimiza una matriz de actualizaciones de los pesos del modelo (o pesos delta), que se integra en el modelo. Esa matriz de actualizaciones de peso se representa, a su vez, como dos matrices más pequeñas (es decir, de menor rango), lo que reduce en gran medida la cantidad de parámetros que se actualizarán, lo que a su vez acelera significativamente el refinamiento y reduce la memoria necesaria para almacenar las actualizaciones del modelo. Los pesos del modelo previamente entrenado permanecen congelados.

Un beneficio adicional de LoRA es que, dado que lo que se optimiza y almacena no son las nuevas ponderaciones del modelo, sino la diferencia (o delta) entre las ponderaciones originales previamente capacitadas y las ponderaciones ajustadas, se pueden "intercambiar diferentes LoRA específicos de la tarea", según sea necesario para adaptar el modelo previamente entrenado, cuyos parámetros reales permanecen sin cambios, a un caso de uso determinado.

Se desarrolló una variedad de derivados de LoRA, como QLoRA, que reduce aún más la complejidad computacional al cuantificar el modelo de transformador antes de LoRA.

Los LLM se capacitan previamente mediante aprendizaje auto supervisado en un corpus masivo de datos sin etiquetar. Los modelos de lenguaje auto regresivos, como los modelos GPT de OpenAI, Gemini de Google o Llama de Meta, están capacitados para predecir simplemente la(s) siguiente(s) palabra(s) en una secuencia hasta que esté completa. En el entrenamiento previo, a los modelos se les proporciona el comienzo de una oración de muestra extraída de los datos de entrenamiento y se les asigna repetidamente la tarea de predecir la siguiente palabra en la secuencia hasta el final de la muestra. Para cada predicción, la siguiente palabra real de la oración de muestra original sirve como verdad fundamental.

Si bien este entrenamiento previo produce capacidades potentes de generación de texto, no proporciona ninguna comprensión real de la intención de un usuario. En un nivel fundamental, los LLM autorregresivos en realidad no responden a un aviso, sólo le anexantexto.Sin una orientación muy específica en forma de ingeniería rápida, un LLM pre entrenado (que no ha sido refinado) simplemente predice, de una manera gramaticalmente coherente, cuál podría ser la (s) siguiente (s) palabra (s) en una secuencia dada que es iniciada por el indicador. Si se le solicita “enséñame a hacer un currículum”, un LLM podría responder con “usar Microsoft Word”. Es una forma válida de completar la oración, pero no está alineada con el objetivo del usuario. Es posible que el modelo ya tenga un conocimiento sustancial de la redacción de un currículum extraído del contenido relevante incluido en su corpus previo al entrenamiento, pero sin refinar, podría no accederse a este conocimiento.

Por lo tanto, el proceso de refinamiento desempeña un papel crucial no solo en la adaptación de los modelos fundacionales para su tono y casos de uso únicos o los de su compañía, sino también para hacerlos adecuados para el uso práctico.

La afinación de instrucciones es un subconjunto del refinamiento supervisado (SFT), que a menudo se emplea para refinar los LLM para el uso de chatbots, que prepara el LLM para generar respuestas que aborden más directamente las necesidades del usuario: en otras palabras, para seguir mejor las instrucciones. Ejemplos etiquetados, siguiendo el formato (instrucción, respuesta), en el que los ejemplos de instrucciones comprenden tareas orientadas a la instrucción, como “traducir la siguiente oración del inglés al español” o “clasificar la siguiente oración como positiva o negativa”, demuestran cómo responder a instrucciones que representan una variedad de casos de uso, como respuesta a preguntas, resúmenes o traducción. Al actualizar las ponderaciones del modelo para minimizar la pérdida entre los resultados del modelo y las muestras etiquetadas, el LLM aprende a agregar texto a las instrucciones de una manera más útil y a seguir mejor las instrucciones en general.

Continuando con el ejemplo anterior de “enseñarme a escribir un currículum”, el conjunto de datos empleado para SFT podría incluir una serie de pares (instrucción, respuesta) que demuestran que la forma deseada de responder a las instrucciones que comienzan con “enseñarme cómo” es para ofrecer sugerencias paso a paso, en lugar de simplemente completar la oración.

Si bien la afinación de instrucciones puede enseñar al modelo comportamientos tangibles y directos como estructurar sus respuestas, puede ser muy laborioso y difícil enseñar cualidades humanas abstractas como la ayuda, la precisión basada en hechos, el humor o la empatía a través de ejemplos etiquetados.

Para alinear mejor los resultados del modelo con el comportamiento humano ideal, especialmente en casos de uso conversacional como los chatbots, la SFT puede complementar con el aprendizaje por refuerzo, más concretamente con el aprendizaje por refuerzo a través de la retroalimentación humana (RLHF). El RLHF, también llamado aprendizaje por refuerzo a partir de las preferencias humanas, ayuda a refinar los modelos para cualidades complejas, mal definidas o difíciles de especificar mediante ejemplos discretos.

Considere la comedia: mostrar a un modelo a ser "divertido" con SFT no solo requiere el costo y el trabajo de escribir (o adquirir) suficientes chistes para constituir un patrón que se pueda aprender, sino que también requiere que lo que un científico de datos determinado piense que es divertido se alinee con lo que la base de usuarios encontraría divertido. Básicamente, el RLHF proporciona una alternativa matemáticamente colaborativa: indicar al LLM que genere chistes y hacer que los probadores humanos califiquen su calidad. Estas calificaciones se pueden usar para entrenar un modelo de recompensa para predecir los tipos de chistes que recibirán retroalimentación positiva y, a su vez, ese modelo de recompensa se puede usar para capacitar el LLM a través del aprendizaje por refuerzo. 

De manera más práctica, el RLHF tiene como objetivo abordar los desafíos existenciales de los LLM, como las alucinaciones, que reflejan los sesgos sociales inherentes a los datos de entrenamiento o lidiar con entradas de usuario impertinentes u hostiles.

• Personalización del estilo: Los modelos se pueden refinar para reflejar el tono deseado de una marca, desde la implementación de patrones de comportamiento complejos y estilos de ilustración idiosincrásicos hasta modificaciones simples como comenzar cada intercambio con un saludo cortés.

• Especialización: Las habilidades lingüísticas generales de los LLM se pueden perfeccionar para tareas específicas. Por ejemplo, los modelos Llama 2 de Meta se lanzaron como modelos fundacionales, variantes adaptadas al chatbot (Llama-2-chat) y variantes adaptadas al código (Código Llama). 

• Agregar conocimiento específico del dominio: si bien los LLM están previamente capacitados en un corpus masivo de datos, no son omniscientes. El uso de muestras de entrenamiento adicionales para complementar el conocimiento del modelo base es particularmente relevante en entornos legales, financieros o médicos, que generalmente implican el uso de vocabulario especializado y esotérico que puede no ser suficientemente representado en el entrenamiento previo.

• Aprendizaje de pocos intentos: los modelos que ya tienen un conocimiento estable generalizado a menudo se pueden refinar para textos de clasificación más específicos empleando comparativamente pocos ejemplos demostrativos. 

• Tratamiento de casos extremos: Es posible que desee que su modelo gestione determinadas situaciones que probablemente no se cubrieron en el pre entrenamiento de una forma específica. Refinar un modelo a partir de ejemplos etiquetados de este tipo de situaciones es una forma eficaz de garantizar que se manejan adecuadamente.

• Incorporar datos patentados: Su empresa puede tener su propia canalización de datos patentada, altamente relevante para su caso de uso específico. El refinamiento permite que este conocimiento se incorpore al modelo sin tener que entrenarlo desde cero.