Llama 2 es una familia de modelos lingüísticos causales autorregresivos basados en transformadores. Los modelos autorregresivos del lenguaje toman una secuencia de palabras como entrada y predicen recursivamente, como salida, la(s) siguiente(s) palabra(s).

Durante la capacitación previaautosupervisada, a los LLM se les proporciona el principio de ejemplos de oraciones extraídas de un enorme corpus de datos sin etiquetar y se les asigna la tarea de predecir la siguiente palabra. En la formación del modelo para minimizar la divergencia entre la verdad de base (la palabra siguiente real) y sus propias predicciones, el modelo aprende a replicar patrones lingüísticos y lógicos en los datos de entrenamiento. Si bien el documento de investigación omite notablemente detalles sobre fuentes de datos específicas, afirma que Llama 2 fue entrenado con 2 billones de tokens (palabras, partes de palabras, frases y otros fragmentos semánticos representados numéricamente que las redes neuronales basadas en transformadores utilizan para procesar el lenguaje) de fuentes disponibles públicamente.

En un nivel fundamental, los modelos básicos no están preentrenados para responder realmente a una pregunta: le añaden texto de forma gramaticalmente coherente. Un modelo de base listo para usar podría responder a un mensaje de "enséñame a preparar galletas" con "para una fiesta navideña".Se requiere un ajuste más preciso, a través de técnicas como el aprendizaje supervisado y el aprendizaje de refuerzo, para entrenar un modelo de base para una aplicación específica como diálogo, seguimiento de instrucciones o escritura creativa.

En cambio, los modelos básicos de Llama 2 están destinados a servir como base sobre la que construir un modelo con un propósito específico. Hasta la fecha, los modelos Llama 2 (y LLaMa original) han servido como base de varios LLM destacados de código abierto, entre ellos:

• Alpaca: Una versión de LLaMa 7B ajustada para el seguimiento de instrucciones por parte de investigadores de la Universidad de Stanford. Cabe destacar que obtuvo resultados competitivos con GPT-3.5 a pesar de costar solo 600 USD en recursos informáticos.⁵
• Vicuna: un modelo de asistente de chat de LMSYS Org, entrenado mediante el ajuste de Llama 2 13B con conversaciones de usuario de ShareGPT (enlace externo ibm.com). Superó a Alpaca en más del 90 % de los casos a un coste de formación de tan solo 300 USD.⁶
• Orca: una versión ajustada de Llama 2, entrenada por Microsoft utilizando un esquema de "estudiante profesor", en el que se utiliza un LLM más grande y potente para generar ejemplos de comportamiento de razonamiento útil para el modelo más pequeño.⁷
• WizardLM: ajustado utilizando Evol-Instruct, un método para crear grandes cantidades de datos de instrucciones sintéticas utilizando LLM, WizardLM logró más del 90 % del rendimiento de ChatGPT en 17 de 29 habilidades evaluadas.⁸

Los modelos de chat Llama-2-se ajustan para casos de uso basados en diálogos, de forma similar a las versiones específicas del modelo GPT utilizadas en ChatGPT.

El ajuste preciso supervisado (SFT) se utilizó para preparar el modelo base preentrenado de Llama 2 para generar respuestas en el formato esperado por los usuarios en una configuración de chatbot o agente virtual. En una serie de tareas de aprendizaje supervisado, se utilizan pares etiquetados de intercambios de estilo conversacional, anotados como (instrucción, respuesta) para entrenar el modelo para minimizar la divergencia entre sus propias respuestas para una selección dinámica dada y la respuesta de ejemplo proporcionada por los datos etiquetados. El modelo aprende, por ejemplo, que la respuesta adecuada a un mensaje de "enséñame a preparar galletas" es proporcionar instrucciones reales para preparar galletas, en lugar de simplemente completar la frase.

En lugar de usar millones de ejemplos etiquetados, el informe afirma que los resultados se mejoraron utilizando "menos ejemplos pero de mayor calidad", observando que Meta AI recopiló 27.540 muestras anotadas.

Después de SFT, Meta utilizó el aprendizaje de refuerzo con retroalimentación humana (RLHF) para alinear aún más el comportamiento de los modelos de chat con las preferencias e instrucciones humanas. En RLHF, la retroalimentación humana directa se utiliza para entrenar un "modelo de recompensa" para aprender patrones del tipo de respuestas que prefieren los humanos. Al traducir las predicciones del modelo de recompensa (con respecto a si los humanos preferirían una respuesta determinada) en una señal de recompensa escalar, el modelo de recompensa se utiliza para entrenar aún más a Llama-2-chat mediante el aprendizaje por refuerzo.

Hay muchos métodos y formatos diferentes en los que se pueden recopilar comentarios humanos. Meta AI utilizó un método simple de comparación binaria: se pidió a los anotadores humanos que escribieran un mensaje y luego eligieran entre dos respuestas modelo, basadas en los criterios proporcionados por Meta, generadas por dos variantes diferentes de Llama 2. Para ayudar al modelo de recompensa a ponderar adecuadamente las opciones, también se pidió a los anotadores que calificaran el grado en que preferían la respuesta elegida sobre la otra: “significativamente mejor”, “ligeramente mejor” o “insignificantemente mejor/no está claro".

Las preferencias humanas se utilizaron para entrenar dos modelos de recompensa distintos: uno optimizado para ser útil y el otro optimizado para la seguridad (p. ej. evitar respuestas tóxicas y de odio o respuestas que puedan usarse para ayudar en la violencia o la actividad delictiva). Además de la optimización de políticas proximales (PPO), el algoritmo que se suele utilizar para actualizar las ponderaciones de los modelos de LLM en RLHF, Meta también utilizó el muestreo de rechazo (el enlace se encuentra fuera de ibm.com) para actualizar Llama-2-chat-70b.

Code Llama, creado sobre Llama 2, está optimizado para generar código (y lenguaje natural sobre el código) a partir de indicaciones basadas en código y en lenguaje natural. Presentado poco después del lanzamiento de la base Llama 2 y de los modelos de chat, es gratis para investigación y uso comercial.

Compatible con los lenguajes de programación más populares, incluidos Python, C++, Java, PHP y Javascript (entre otros), está disponible en tamaños de modelo de parámetros 7B, 13B y 34B, y tiene una longitud de contexto de hasta 100.000 tokens. Dos variaciones adicionales, Code Llama - Python y Code Llama - Instruct, están ajustadas para Python (y PyTorch) y el seguimiento de instrucciones, respectivamente.