Al inicio de la formación (o, en este contexto, de la preformación), el modelo aún no ha "aprendido" nada. El entrenamiento comienza con una inicialización aleatoria de los parámetros del modelo: las diferentes ponderaciones y sesgos aplicados a las operaciones matemáticas que se producen en cada nodo de la red neuronal.

El entrenamiento se realiza de forma iterativa en dos fases: en una pasada hacia adelante, el modelo hace predicciones para un lote de entradas de muestra del conjunto de datos de entrenamiento y una función de pérdida mide la diferencia (o pérdida) entre las predicciones del modelo para cada entrada y las respuestas "correctas" (o la verdad fundamental); durante la retropropagación, se utiliza un algoritmo de optimización (normalmente un descenso de gradiente) para ajustar las ponderaciones del modelo en toda la red a fin de reducir las pérdidas. Estos ajustes a las ponderaciones del modelo son la forma en la que el modelo "aprende". El proceso se repite en varias épocas de entrenamiento hasta que se considere que el modelo está suficientemente entrenado.

El aprendizaje supervisado convencional, que normalmente se utiliza para preentrenar modelos para tareas de visión computarizada como clasificación de imágenes, detección de objetos o segmentación de imágenes, utiliza datos etiquetados: etiquetas (o anotaciones) proporcionan tanto el rango de posibles respuestas como la verdad del terreno de salida de cada muestra.

Los LLM suelen ser preentrenados a través del aprendizaje autosupervisado (SSL), en el que los modelos aprenden a través de tareas previas diseñadas para derivar la verdad del terreno de la estructura inherente de datos no etiquetados. Estas tareas pretextuales imparten conocimientos útiles para las tareas posteriores. Por lo general, adoptan uno de estos dos enfoques:

• Autopredicción: enmascarar una parte de la entrada original y encargar al modelo la reconstrucción. Este es el modo dominante de entrenamiento para los LLM.

• Aprendizaje contrastivo: modelos de entrenamiento para aprender incrustaciones similares para entradas relacionadas y diferentes incrustaciones para entradas no relacionadas. Esto se utiliza de forma destacada en modelos de visión por ordenador diseñados para el aprendizaje few-shot o zero-shot, como el preentrenamiento de imagen de idioma en contraste (CLIP).

Por lo tanto, SSL permite el uso de datasets enormemente grandes en el entrenamiento sin la carga de tener que anotar millones o miles de millones de puntos de datos. Esto ahorra una enorme cantidad de mano de obra, pero sin embargo requiere enormes recursos computacionales.

Por el contrario, el fine-tuning implica técnicas para entrenar aún más un modelo cuyas ponderaciones ya se han actualizado a través de un entrenamiento previo. Al utilizar los conocimientos previos del modelo base como punto de partida, el fine-tuning adapta el modelo entrenándolo en un conjunto de datos más pequeño y específico de la tarea.

Si bien ese conjunto de datos específico de la tarea teóricamente podría haberse utilizado para el entrenamiento inicial, el entrenamiento de un modelo de gran tamaño desde cero en un conjunto de datos pequeño corre el riesgo de sobreajuste: el modelo podría aprender a funcionar bien en los ejemplos de entrenamiento, pero generalizar mal a los nuevos datos. Esto haría que el modelo no se adaptara a la tarea que se le ha encomendado e invalidaría el objetivo del entrenamiento del modelo.

Por lo tanto, el fine-tuning proporciona lo mejor de ambos mundos: aprovechar el amplio conocimiento y la estabilidad obtenidos del entrenamiento previo en un conjunto masivo de datos y perfeccionar la comprensión del modelo de conceptos más detallados y específicos. Dada la creciente destreza de los modelos fundacionales de código abierto, los beneficios a menudo se pueden disfrutar sin la carga financiera, computacional o logística del entrenamiento previo.

Los conjuntos de datos utilizados para el fine-tuning transmiten el conocimiento, el estilo, las tareas o los casos de uso del dominio específico para los cuales se está ajustando el modelo previamente entrenado. Por ejemplo: 

• Un LLM previamente entrenado para el lenguaje general podría ajustarse para codificar con un nuevo conjunto de datos que contenga solicitudes de programación relevantes y fragmentos de código correspondientes para cada una.

• Un modelo de clasificación de imágenes utilizado para identificar ciertas especies de aves puede aprender nuevas especies a través de muestras de entrenamiento adicionales etiquetadas.

• Un LLM puede aprender a emular un estilo de escritura específico a través del aprendizaje autosupervisado en textos de muestra que representan ese estilo.

El aprendizaje semisupervisado, un subconjunto del machine learning que incorpora datos etiquetados y no etiquetados, es ventajoso cuando el escenario requiere aprendizaje supervisado pero los ejemplos etiquetados adecuados son escasos. El fine-tuning semisupervisado ha arrojado resultados prometedores tanto para las tareas de visión artificial¹ como para la PNL² y ayuda a reducir la carga de adquirir una cantidad suficiente de datos etiquetados.

Se puede utilizar el fine-tuning para actualizar las ponderaciones de toda la red, pero por razones prácticas este no siempre es el caso. Existe una amplia variedad de métodos alternativos de fine-tuning, a menudo denominados bajo el término general de fine-tuning eficiente en parámetros (PEFT), que actualizan solo un subconjunto selecto de parámetros del modelo. Los métodos PEFT, que se exploran más adelante en esta sección, pueden disminuir las demandas computacionales y reducir el olvido catastrófico. El fenómeno en el que el fine-tuning causa la pérdida o la destabilización del conocimiento central del modelo a menudo sin compromisos significativos en el rendimiento.

Dada la gran variedad de técnicas de fine-tuning y las numerosas variables inherentes a cada una de ellas, alcanzar el rendimiento ideal del modelo suele requerir múltiples iteraciones de estrategias y configuraciones de entrenamiento, ajustando conjuntos de datos e hiperparámetros como el tamaño del lote, la tasa de aprendizaje y los términos de regularización hasta alcanzar un resultado satisfactorio, según las métricas más relevantes para su caso de uso.

El medio conceptualmente más sencillo de realizar un fine-tuning es simplemente actualizar toda la red neuronal. Esta sencilla metodología se asemeja esencialmente al proceso de preentrenamiento: las únicas diferencias fundamentales entre los procesos completos de fine-tuning y preentrenamiento son el conjunto de datos que se utiliza y el estado inicial de los parámetros del modelo.

Para evitar cambios desestabilizadores del proceso de fine-tuning, ciertos hiperparámetros (atributos del modelo que influyen en el proceso de aprendizaje pero que no son en sí mismos parámetros aprendibles) pueden ajustarse en relación con sus especificaciones durante el preentrenamiento: por ejemplo, es menos probable que una tasa de aprendizaje más pequeña (que reduce la magnitud de cada actualización de las ponderaciones del modelo) conduzca a un olvido catastrófico.

El fine-tuning completo, al igual que el proceso de preentrenamiento al que se asemeja, es muy exigente desde el punto de vista informático. Para los modelos modernos de deep learning con cientos de millones o incluso muchos miles de millones de parámetros, suele ser prohibitivamente costoso y poco práctico.

El fine-tuning eficiente en parámetros (PEFT) abarca una variedad de métodos para reducir el número de parámetros entrenables que deben actualizarse para adaptar de manera efectiva un modelo preentrenado grande a aplicaciones posteriores específicas. Al hacerlo, PEFT disminuye significativamente los recursos computacionales y el almacenamiento de memoria necesarios para producir un modelo ajustado de manera efectiva. A menudo se han demostrado métodos PEFT más estables que los métodos de fine-tuning completo, especialmente para casos de uso de PLN.³
 

Fine-tuning parcial
También llamado fine-tuning selectivo, los métodos de fine-tuning parcial tienen como objetivo reducir las demandas computacionales actualizando solo el subconjunto seleccionado de parámetros preentrenados más cruciales para modelar el rendimiento en tareas posteriores relevantes. Los parámetros restantes están "congelados", asegurándose de que no se cambien.

El enfoque de fine-tuning parcial más intuitivo es actualizar solo las capas externas de la red neuronal. En la mayoría de las arquitecturas de modelos, las capas internas del modelo (más cercanas a la capa de entrada) capturan solo características genéricas y amplias: por ejemplo, en una CNN utilizada para la clasificación de imágenes, las primeras capas normalmente distinguen bordes y texturas; cada capa subsiguiente discierne características progresivamente más finas hasta que se predice la clasificación final en la capa más externa. En términos generales, cuanto más similar sea la nueva tarea (para la cual se está ajustando el modelo) a la tarea original, más útiles serán las ponderaciones preentrenadas de las capas internas para esta nueva tarea relacionada y, por lo tanto, cuantas menos capas necesiten actualizarse).

Otros métodos de fine-tuning parcial consisten en actualizar sólo los términos de sesgo de toda la capa del modelo (en lugar de las ponderaciones específicas de cada nodo⁾⁴ y los métodos de fine-tuning "disperso", que actualizan sólo un subconjunto selecto de ponderaciones generales en todo el modelo^.5

Fine-tuning aditiva
En lugar de ajustar los parámetros existentes de un modelo previamente entrenado, los métodos aditivos agregan parámetros o capas adicionales al modelo, congelan las ponderaciones existentes previamente entrenadas y entrenan solo los componentes nuevos. Este enfoque ayuda a mantener la estabilidad del modelo al garantizar que las ponderaciones originales previamente entrenadas permanezcan sin cambios.

Aunque esto puede aumentar el tiempo de entrenamiento, reduce significativamente los requisitos de memoria porque hay muchos menos gradientes y estados de optimización que almacenar: según Lialin, et al, el entrenamiento de todos los parámetros de un modelo requiere entre 12 y 20 veces más memoria en la GPU que las ponderaciones del modelo por sí solos.⁶ Se puede lograr un mayor ahorro de memoria mediante la cuantificación de las ponderaciones congeladas del modelo: una reducción en la precisión utilizada para representar los parámetros del modelo, conceptualmente similar a la reducción de la tasa de bits de un archivo de audio.

Una subrama de los métodos aditivos es el fine-tuning rápido. Conceptualmente, es similar al prompt engineering, que se refiere a adaptar "selecciones dinámicas difíciles", es decir, selecciones dinámicas escritas por un humano en lenguaje natural para guiar el modelo hacia el resultado deseado, como especificando un determinado tono o proporcionando ejemplos que faciliten el aprendizaje few-shot. El ajuste de prompts presenta propmts sencillos creados por IA: incrustaciones vectoriales que se pueden aprender y que se concatenan con el prompt difícil del usuario. En lugar de volver a entrenar el modelo, el ajuste de prompts implica congelar las ponderaciones del modelo y, en su lugar, entrena la propia solicitud suave. El ajuste rápido y eficiente de prompts permite a los modelos cambiar con mayor facilidad entre tareas específicas, aunque con una compensación en la interpretación.
 

Adaptadores
Otro subconjunto de fine-tuning aditivos inyecta módulos adaptadores (nuevas capas específicas para cada tarea que se añaden a la red neuronal) y entrena estos módulos adaptadores en lugar de ajustar con precisión cualquiera de las ponderaciones del modelo previamente entrenadas (que están congeladas). Según el artículo original, que medía los resultados del modelo de lenguaje enmascarado BERT, los adaptadores alcanzaron un rendimiento equivalente al de un fine-tuning completo, mientras que solo entrenaban un 3,6 % más de parámetros.⁷

Reparametrización
Los métodos basados en la reparametrización, como la adaptación de rango bajo (LoRa) , aprovechan la transformación de bajo rango de matrices de alta dimensión (como la enorme matriz de ponderaciones de modelo previamente entrenadas en un modelo de transformador). Estas representaciones de bajo rango omiten la información intrascendente de mayor dimensión para capturar la estructura subyacente de baja dimensión de las ponderaciones del modelo, lo que reduce en gran medida el número de parámetros que se pueden entrenar. Esto acelera drásticamente el fine-tuning y reduce la memoria necesaria para almacenar las actualizaciones de los modelos.

LoRA evita la optimización directa de la matriz de ponderaciones del modelo y, en su lugar, optimiza una matriz de actualizaciones de las ponderaciones del modelo (o ponderaciones delta), que se inserta en el modelo. Esa matriz de actualizaciones de ponderaciones se representa, a su vez, como dos matrices más pequeñas (es decir, de rango inferior), lo que reduce en gran medida el número de parámetros que se van a actualizar, lo que, a su vez, acelera drásticamente el fine-tuning y reduce la memoria necesaria para almacenar las actualizaciones del modelo. Las ponderaciones del modelo preentrenadas permanecen congeladas.

Una ventaja añadida de LoRA es que, dado que lo que se optimiza y almacena no es la nueva ponderación del modelo, sino la diferencia (o delta) entre las ponderaciones originales preentrenadas y las ponderaciones ajustadas, se pueden "intercambiar" diferentes LoRA específicos de la tarea según sea necesario para adaptar el modelo preentrenado, cuyos parámetros reales permanecen inalterados, a un caso de uso determinado.

Se ha desarrollado una variedad de derivados de LoRA, como QLoRA, que reduce aún más la complejidad computacional cuantificando el modelo del transformador antes de LoRA.

Los LLM se entrenan previamente mediante el aprendizaje autosupervisado en un corpus masivo de datos sin etiquetar. Los modelos de lenguaje autorregresivo, como GPT de OpenAI, Gemini de Google o Llama de Meta, están entrenados para predecir simplemente las siguientes palabras de una secuencia hasta que esté completa. En el preentrenamiento, se proporcionan modelos al principio de una oración de muestra extraída de los datos de entrenamiento y se les asigna repetidamente la tarea de predecir la siguiente palabra de la secuencia hasta el final de la muestra. Para cada predicción, la siguiente palabra real de la oración de muestra original sirve como verdad fundamental.

Si bien este preentrenamiento ofrece potentes capacidades de generación de texto, no permite comprender realmente la intención del usuario. En un nivel fundamental, los LLM autorregresivos en realidad no responden a una solicitud; solo le agregan texto.Sin una guía muy específica en forma de ingeniería de instrucciones, un LLM preentrenado (que no ha sido afinado) simplemente predice, de una manera gramaticalmente coherente, cuál podría ser la siguiente palabra(s) en una secuencia dada que es iniciada por la instrucción. Si se le solicita "enséñeme a hacer un currículum" , un LLM podría responder "usando Microsoft Word ". Es una forma válida de completar la frase, pero no está alineada con el objetivo del usuario. Es posible que el modelo ya tenga un conocimiento sustancial de la redacción de currículums obtenido del contenido relevante incluido en su corpus previo al entrenamiento, pero sin un fine-tuning es posible que no se acceda a este conocimiento.

Por lo tanto, el proceso de fine-tuning desempeña un papel crucial no solo a la hora de adaptar los modelos fundacionales al tono y los casos de uso únicos de usted o de su empresa, sino también a la hora de hacerlos totalmente adecuados para un uso práctico.

El ajuste de las instrucciones es un subconjunto del fine-tuning detallado supervisado (SFT), que a menudo se utiliza para ajustar los LLM para el uso de los chatbots, que prepara el LLM para generar respuestas que aborden de manera más directa las necesidades de los usuarios: en otras palabras, para seguir mejor las instrucciones. Los ejemplos etiquetados, siguiendo el formato (prompt, respuesta), en los que los ejemplos de prompts incluyen tareas orientadas a la instrucción, como "traducir la siguiente oración del inglés al español" o "clasificar la siguiente oración como positiva o negativa", muestran cómo responder a las indicaciones que representan una variedad de casos de uso, como la respuesta a preguntas, el resumen o la traducción. Al actualizar las ponderaciones del modelo para minimizar la pérdida entre las salidas del modelo y las muestras etiquetadas, el LLM aprende a agregar texto a los prompts de una manera más útil y a seguir mejor las instrucciones en general.

Continuando con el ejemplo anterior de "enséñeme a escribir un currículum", el conjunto de datos utilizado para SFT podría contener una serie de pares (prompt, respuesta) que demuestran que la forma deseada de responder a los mensajes que comienzan con "enséñeme a" es proporcionar sugerencias paso a paso, en lugar de simplemente completar la oración.

Mientras que el ajuste de instrucciones puede enseñar al modelo comportamientos tangibles y directos, como la estructuración de sus respuestas, puede resultar prohibitivamente laborioso y difícil enseñar cualidades humanas abstractas como la amabilidad, la exactitud de los hechos, el humor o la empatía a través de ejemplos etiquetados.

Para alinear mejor los resultados del modelo con el comportamiento humano ideal, especialmente para casos de uso conversacional como chatbots, SFT puede complementarse con aprendizaje por refuerzo, más específicamente, aprendizaje por refuerzo a partir de comentarios humanos (RLHF). El RLHF, también llamado aprendizaje por refuerzo a partir de las preferencias humanas, ayuda a ajustar los modelos para cualidades que son complejas, mal definidas o difíciles de especificar a través de ejemplos discretos.

Consideremos la comedia: enseñar a un modelo a ser "gracioso" con SFT no sólo requiere el coste y el trabajo de escribir (o adquirir) suficientes chistes para constituir un patrón aprendible, sino que también requiere que lo que un científico de datos dado piensa que es gracioso se alinee con lo que la base de usuarios encontraría gracioso. Básicamente, RLHF proporciona una alternativa matemáticamente colaborativa: solicitar al LLM que genere chistes y hacer que los probadores humanos califiquen su calidad. Estas calificaciones se pueden usar para entrenar un modelo de recompensas para predecir los tipos de chistes que recibirán comentarios positivos y, a su vez, ese modelo de recompensa se puede usar para entrenar al LLM mediante el aprendizaje por refuerzo. 

Desde un punto de vista más práctico, la RLHF tiene como objetivo abordar los desafíos existenciales de los LLM, como las alucinaciones, que reflejan los sesgos sociales inherentes a los datos de entrenamiento o que abordan las aportaciones groseras o contradictorias de los usuarios.

• Personalización del estilo: los modelos pueden ajustarse para reflejar el tono deseado por una marca, desde la aplicación de patrones de comportamiento complejos y estilos de ilustración idiosincrásicos hasta modificaciones sencillas como empezar cada intercambio con un saludo cortés.

• Especialización: las habilidades lingüísticas generales de los LLM se pueden perfeccionar para tareas específicas. Por ejemplo, los modelos Llama 2 de Meta se lanzaron como modelos fundacionales, variantes ajustadas por chatbots (Llama-2-chat) y variantes ajustadas por código (Code Llama). 

• Agregar conocimiento específico del dominio: si bien los LLM están preentrenados en un corpus masivo de datos, no son omniscientes. El uso de muestras de entrenamiento adicionales para complementar el conocimiento del modelo base es particularmente relevante en entornos legales, financieros o médicos, que generalmente implican el uso de vocabulario especializado y esotérico que puede no haber sido suficientemente representado en el entrenamiento previo.

• Aprendizaje con pocos intentos: los modelos que ya tienen un conocimiento generalizado sólido a menudo se pueden ajustar para textos de clasificación más específicos utilizando comparativamente pocos ejemplos demostrativos. 

• Tratamiento de casos extremos: es posible que desee que su modelo gestione determinadas situaciones que probablemente no se hayan cubierto en el preentrenamiento de una forma específica. Perfeccionar un modelo a partir de ejemplos etiquetados de este tipo de situaciones es una forma eficaz de garantizar que se tratan adecuadamente.

• Incorporación de datos propios: su empresa puede tener su propia canalización de datos patentados, muy relevante para su caso de uso específico. El fine-tuning permite incorporar este conocimiento al modelo sin tener que entrenarlo desde cero.