Lllama 2 ist eine Familie von Transformer-basierten autoregressiven kausalen Sprachmodellen. Autoregressive Sprachmodelle nehmen eine Folge von Wörtern als Eingabe und sagen rekursiv das nächste Wort bzw. die nächsten Wörter als Ausgabe voraus.

Während des selbstüberwachten Pre-Trainings erhalten LLMs den Anfang von Beispielsätzen, die aus einem riesigen Korpus ungekennzeichneter Daten stammen, und sollen daraus das nächste Wort vorhersagen. Indem das Modell darauf trainiert wird, die Abweichung zwischen der Ground Truth (dem tatsächlichen nächsten Wort) und den eigenen Vorhersagen zu minimieren, lernt es, linguistische und logische Muster in den Trainingsdaten zu replizieren. Obwohl das Forschungspapier keine Details über spezifische Datenquellen enthält, wird darin beschrieben, dass Lllama 2 mit 2 Billionen Token aus öffentlich zugänglichen Quellen trainiert wurde – also mit numerisch dargestellten Wörtern, Wortteilen, Phrasen und anderen semantischen Fragmenten, die transformatorbasierte neuronale Netze für die Sprachverarbeitung verwenden.

Grundsätzlich sind die Basismodelle nicht darauf trainiert, eine Prompt tatsächlich zu beantworten: Sie fügen vielmehr den Text in einer grammatikalisch passenden Weise an. Ein Foundation Model in seiner grundlegenden Form könnte auf die Prompt „Bring mir bei, wie man Plätzchen backt“ mit „für eine Weihnachtsfeier“ antworten.Eine weitere Feinabstimmung mit Hilfe von Techniken wie überwachtem Lernen und verstärkendem Lernen ist erforderlich, um ein Foundation Model für bestimmte Anwendungen wie Gespräche, das Befolgen von Anweisungen oder kreatives Schreiben zu trainieren.

Vielmehr sollen die Lllama-2-Modelle als Grundlage für den Entwicklung zweckspezifischer Modelle dienen. Bislang wurden Lllama-2-Modelle (und die ursprünglichen Lllama-Modelle) als Basis für mehrere bekannte Open-Source-LLMs verwendet, darunter:

• Alpaka: Eine Version von Lllama 7B, die durch Forscher der Stanford University für die Befolgung von Anweisungen optimiert wurde. Bemerkenswert ist, dass es Ergebnisse erzielte, die mit GPT-3.5 konkurrieren konnten, obwohl es nur 600 US-Dollar an Rechenressourcen kostete.⁵
• Vicuna: Ein Chat-Assistent-Modell von LMSYS Org, trainiert durch Feinabstimmung von Lllama 2 13B auf Benutzergespräche von ShareGPT (Link befindet sich außerhalb von ibm.com). Es übertraf Alpaca in über 90 % der Fälle, obwohl das Training nur 300 USD gekostet hat.⁶
• Orca: Eine feinabgestimmte Version von Lllama 2, die von Microsoft nach einem „Lehrer-Schüler“-Schema trainiert wurde, bei dem ein größeres, leistungsfähigeres LLM verwendet wird, um Beispiele für nützliches Denkverhalten zu erzeugen, denen das kleinere Modell folgen kann^.7
• WizardLM: Dieses Modell wurde feinabgestimmt mit Evol-Instruct, einer Methode zur Erstellung großer Mengen synthetischer Anweisungsdaten unter Verwendung von LLMs. Es erreichte in 17 von 29 bewerteten Skills mehr als 90 % der Leistung von ChatGPT^.8

Lllama-2-Chat-Modelle sind auf dialogorientierte Anwendungsfälle feinabgestimmt, ähnlich wie die spezifischen GPT-Modellversionen, die in ChatGPT verwendet werden.

Überwachte Feinabstimmung (SFT, supervised fine tuning) wurde verwendet, um das vorab trainierte Lllama-2-Basismodell vorzubereiten, damit es Antworten in dem Format generiert, das Benutzer von einem Chatbot oder einem virtuellen Agenten erwarten. In einer Reihe von überwachten Lernaufgaben werden markierte Paare von Dialogen (Prompt, Antwort) verwendet, um das Modell so zu trainieren, dass es die Divergenz zwischen seiner eigenen Antwort auf eine bestimmte Prompt und der Beispielantwort aus den gekennzeichneten Daten minimiert. So lernt das Modell zum Beispiel, dass die richtige Antwort auf die Prompt „Bring mir bei, wie man Kekse backt“ darin besteht, konkrete Anweisungen zum Backen von Keksen zu geben, anstatt den Satz zu vervollständigen.

Anstatt Millionen beschrifteter Beispiele zu verwenden, wurden die Ergebnisse durch „weniger, aber qualitativ hochwertigere Beispiele“ verbessert, wobei Meta AI 27.540 gekennzeichnete Beispiele sammelte.

Im Anschluss an das SFT nutzte Meta verstärkendes Lernen mit menschlichem Feedback (RLHF, reinforcement learning with human feedback), um das Verhalten der Chat-Modelle noch näher an menschliche Vorlieben und Anweisungen zu bringen. Bei RLHF wird direktes menschliches Feedback verwendet, um ein „Belohnungsmodell“ zu trainieren, damit es Muster für die Art von Reaktionen lernt, die Menschen bevorzugen. Die Vorhersagen des Belohnungsmodells (ob eine bestimmte Reaktion von Menschen bevorzugt wird) werden in ein skalares Belohnungssignal umgewandelt. Das Belohnungsmodell wird dann verwendet, um Lllama-2-chat durch verstärkendes Lernen weiter zu trainieren.

Es gibt viele verschiedene Methoden und Formate, in denen menschliches Feedback erfasst werden kann. Meta AI verwendete eine einfache Methode des binären Vergleichs: menschliche Kommentatoren wurden gebeten, eine Prompt zu schreiben und dann zwischen zwei Antworten des Modells zu wählen, die von zwei verschiedenen Varianten von Lllama 2 erzeugt wurden – anhand der Kriterien von Meta. Um dem Belohnungsmodell zu helfen, diese Auswahl richtig zu gewichten, wurden die Kommentatoren auch gebeten, zu bewerten, inwieweit sie die von ihnen gewählte Antwort der anderen vorziehen: „deutlich besser“, „etwas besser“ oder „unwesentlich besser/nicht sicher“.

Anhand der von Menschen bevorzugten Ausgaben wurden zwei separate Belohnungsmodelle trainiert: eines, das auf Hilfsbereitschaft, und ein anderes, das auf Sicherheit optimiert ist (d. h. Vermeiden toxischer, hasserfüllter Antworten oder Reaktionen, die für gewalttätige oder kriminelle Aktivitäten genutzt werden könnten). Zusätzlich zur proximalen Richtlinienoptimierung (PPO), dem Algorithmus, der normalerweise für Updates der LLM-Modellgewichtungen im RLHF verwendet wird, verwendete Meta auch Ablehnungsstichproben (Link befindet sich außerhalb ibm.com) für sein Update von Llama-2-chat-70B.

Code Lllama, das auf Lllama 2 aufbaut, ist auf die Generierung von Code (und natürlicher Sprache über Code) sowohl aus codebasierten Prompts als auch aus Prompts in natürlicher Sprache abgestimmt. Es wurde kurz nach der Veröffentlichung der Basis- und Chat-Modelle von Llama 2 eingeführt und ist für Forschung und kommerzielle Nutzung kostenlos.

Lllama 2 Unterstützt die meisten gängigen Programmiersprachen, darunter Python, C++, Java, PHP und Javascript (unter anderem), und ist in Modellgrößen von 7B, 13B und 34B Parametern verfügbar. Es bietet eine Kontextlänge von bis zu 100.000 Token. Zwei weitere Varianten, Code Llama – Python und Code Llama – Instruct, sind auf Python (und PyTorch) bzw. auf das Befolgen von Anweisungen abgestimmt.