Pada awal pelatihan (atau, dalam konteks ini, pra-pelatihan), model belum “belajar” apa pun. Pelatihan dimulai dengan inisialisasi parameter modelsecara acak. Berbagai bobot dan bias yang diterapkan pada operasi matematis yang terjadi pada setiap node dalam jaringan neural.

Pelatihan terjadi secara berulang dalam dua tahap: dalam forward pass, model membuat prediksi untuk sekumpulan input sampel dari dataset pelatihan, dan loss function mengukur perbedaan (atau kerugian) antara prediksi model untuk setiap input dan jawaban yang “benar” (atau ground truth); selama backpropagation, algoritma pengoptimalan, umumnya gradient descent, digunakan untuk menyesuaikan bobot model di seluruh jaringan untuk mengurangi kerugian. Penyesuaian terhadap bobot model ini adalah bagaimana model “belajar”. Proses ini diulang di beberapa siklus pelatihan sampai model dianggap cukup terlatih.

Pembelajaran terawasi konvensional, yang biasanya digunakan untuk melatih model untuk tugas-tugas visi komputer seperti klasifikasi gambar, deteksi objek, atau segmentasi gambar, menggunakan data berlabel: label (atau anotasi) menyediakan rentang jawaban yang mungkin dan output kebenaran dasar untuk setiap sampel.

LLM biasanya dilatih sebelumnya melalui pembelajaran terawasi mandiri (self-supervised learning - SSL), di mana model belajar melalui tugas prateks yang dirancang untuk mendapatkan kebenaran dasar dari struktur inheren data yang tidak berlabel. Tugas prateks ini memberikan pengetahuan yang berguna untuk tugas hilir. Mereka biasanya mengambil salah satu dari dua pendekatan:

• Prediksi mandiri: menutupi beberapa bagian dari input asli dan menugaskan model dengan merekonstruksinya. Ini adalah mode pelatihan yang dominan untuk LLM.

• Pembelajaran kontrastif: model pelatihan untuk mempelajari penyematan yang serupa untuk input yang terkait dan penyematan yang berbeda untuk input yang tidak terkait. Hal ini digunakan secara menonjol dalam model visi komputer yang dirancang untuk pembelajaran dengan few-shot atau zero-shot learning, seperti Contrasting Language-Image Pretraining (CLIP).

Dengan demikian, SSL memungkinkan penggunaan kumpulan data yang sangat besar dalam pelatihan tanpa beban harus membuat anotasi jutaan atau miliaran titik data. Ini menghemat banyak tenaga kerja, namun membutuhkan sumber daya komputasi yang besar.

Sebaliknya, fine tuning memerlukan teknik untuk melatih lebih lanjut model yang bobotnya telah diperbarui melalui pelatihan sebelumnya. Dengan menggunakan pengetahuan model dasar sebelumnya sebagai titik awal, penyempurnaan menyesuaikan model dengan melatihnya pada kumpulan data yang lebih kecil dan spesifik untuk tugas tertentu.

Sementara dataset tugas-spesifik secara teoritis dapat digunakan untuk pelatihan awal, melatih model besar dari awal pada kumpulan data kecil berisiko overfitting: model mungkin belajar untuk melakukan dengan baik pada contoh pelatihan, tetapi generalisasi buruk untuk data baru. Ini akan membuat model tidak sesuai dengan tugas yang diberikan dan mengalahkan tujuan pelatihan model.

Dengan demikian, fine tuning memberikan yang terbaik dari kedua dunia: memanfaatkan pengetahuan dan stabilitas yang luas yang diperoleh dari pra-pelatihan pada sekumpulan data yang sangat besar dan mengasah pemahaman model tentang konsep yang lebih rinci dan spesifik. Dengan semakin meningkatnya kehebatan model dasar sumber terbuka, manfaatnya sering kali dapat dinikmati tanpa beban keuangan, komputasi, atau logistik dari pra-pelatihan.

Kumpulan data yang digunakan untuk penyempurnaan menyampaikan pengetahuan domain, gaya, tugas, atau contoh penggunaan tertentu yang menjadi tujuan penyempurnaan model yang terlatih. Sebagai contoh: 

• LLM yang terlatih untuk bahasa umum mungkin disesuaikan untuk pengkodean dengan kumpulan data baru yang berisi permintaan pemrograman yang relevan dan cuplikan kode yang sesuai untuk masing-masingnya.

• Model klasifikasi gambar yang digunakan untuk mengidentifikasi spesies burung tertentu dapat mempelajari spesies baru melalui sampel pelatihan berlabel tambahan.

• Seorang LLM dapat belajar meniru gaya penulisan tertentu melalui pembelajaran terawasi mandiri pada contoh teks yang mewakili gaya tersebut.

Pembelajaran semi-terawasi, bagian dari machine learning yang menggabungkan data berlabel dan tidak berlabel, sangat menguntungkan ketika skenario membutuhkan pembelajaran terawasi tetapi contoh berlabel yang sesuai sangat langka. Fine tuning semi-terawasi telah memberikan hasil yang menjanjikan untuk tugas-tugas visi komputer¹ dan NLP² dan membantu mengurangi beban untuk memperoleh data berlabel dalam jumlah yang cukup.

Fine tuning dapat digunakan untuk memperbarui bobot seluruh jaringan, tetapi untuk alasan praktis, hal ini tidak selalu terjadi. Terdapat berbagai macam metode fine-tuning alternatif, yang sering disebut dengan istilah parameter-efficient fine-tuning (PEFT), yang hanya memperbarui sebagian parameter model tertentu. Metode PEFT, yang dieksplorasi nanti di bagian ini, dapat mengurangi tuntutan komputasi dan mengurangi catastrophic forgetting, yaitu fenomena di mana fine tuning menyebabkan hilangnya atau destabilisasi pengetahuan inti model, seringkali tanpa kompromi yang berarti dalam kinerja.

Mengingat banyaknya variasi teknik fine tuning dan banyaknya variabel yang melekat pada masing-masing teknik, mencapai performa model yang ideal sering kali membutuhkan beberapa iterasi strategi dan pengaturan pelatihan, menyesuaikan kumpulan data dan hiperparameter seperti ukuran batch, laju pembelajaran, dan ketentuan regularisasi hingga hasil yang memuaskan, metrik apa pun yang paling relevan dengan contoh penggunaan Anda, tercapai.

Cara fine tuning yang paling mudah secara konseptual adalah dengan memperbarui seluruh jaringan neural. Metodologi sederhana ini pada dasarnya menyerupai proses pra-pelatihan: satu-satunya perbedaan mendasar antara proses fine tuning dan pra-pelatihan adalah kumpulan data yang digunakan dan kondisi awal parameter model.

Untuk menghindari perubahan yang tidak stabil dari proses fine tuning, hiperparameter tertentu, yaitu atribut model yang memengaruhi proses pembelajaran tetapi bukan merupakan parameter yang dapat dipelajari, dapat disesuaikan relatif terhadap spesifikasinya selama pra-pelatihan: misalnya, laju pembelajaran yang lebih rendah (yang mengurangi besarnya setiap pembaruan pada bobot model) cenderung tidak menyebabkan catastrophic forgetting.

Fine tuning penuh, seperti proses pra-pelatihan yang menyerupainya, sangat menuntut komputasi. Untuk model pembelajaran mendalam modern dengan ratusan juta atau bahkan miliaran parameter, hal ini sering kali sangat mahal dan tidak praktis.

Parameter efficient fine-tuning (PEFT) mencakup berbagai metode untuk mengurangi jumlah parameter yang dapat dilatih yang perlu diperbarui agar dapat secara efektif mengadaptasi model besar yang telah dilatih sebelumnya ke aplikasi hilir tertentu. Dengan demikian, PEFT secara signifikan mengurangi sumber daya komputasi dan penyimpanan memori yang diperlukan untuk menghasilkan model yang di-tuning secara efektif. Metode PEFT sering kali terbukti lebih stabil daripada metode fine tuning penuh, terutama untuk contoh penggunaan NLP.³
 

Fine tuning parsial
Juga disebut fine tuning pilihan, metode fine tuning parsial bertujuan untuk mengurangi kebutuhan komputasi dengan hanya memperbarui sub-kumpulan tertentu dari parameter yang telah dilatih sebelumnya yang paling penting untuk performa model pada tugas-tugas hilir yang relevan. Parameter yang tersisa “dibekukan,” memastikan bahwa mereka tidak akan diubah.

Pendekatan fine tuning parsial yang paling intuitif adalah memperbarui hanya lapisan luar jaringan neural. Pada sebagian besar arsitektur model, lapisan dalam model (yang paling dekat dengan lapisan input) hanya menangkap fitur umum yang luas: misalnya, pada CNN yang digunakan untuk klasifikasi gambar, lapisan awal biasanya membedakan tepi dan tekstur; setiap lapisan berikutnya membedakan fitur yang semakin mendetail sampai klasifikasi akhir diprediksi pada lapisan terluar. Secara umum, semakin mirip tugas baru (yang modelnya telah di-tuning) dengan tugas asli, semakin berguna bobot lapisan dalam yang telah dilatih sebelumnya untuk tugas baru yang terkait, dan dengan demikian semakin sedikit lapisan yang perlu diperbarui.

Metode fine tuning parsial lainnya termasuk hanya memperbarui istilah bias seluruh lapisan model (bukan bobot spesifik-node)⁴ dan metode fine tuning “jarang” yang hanya memperbarui sebagian kecil dari keseluruhan bobot di seluruh model.⁵

Fine tuning aditif
Daripada menyempurnakan parameter yang ada pada model terlatih, metode aditif menambahkan parameter atau lapisan tambahan pada model, membekukan bobot terlatih, dan hanya melatih komponen yang baru. Pendekatan ini membantu mempertahankan stabilitas model dengan memastikan bahwa bobot asli terlatih tidak berubah.

Meskipun hal ini dapat meningkatkan waktu pelatihan, ini secara signifikan mengurangi kebutuhan memori karena gradien dan status pengoptimalan yang harus disimpan jauh lebih sedikit: menurut Lialin, dkk, melatih semua parameter model memerlukan memori GPU 12-20 kali lebih banyak dibandingkan bobot model saja .⁶ Penghematan memori lebih lanjut dapat dicapai melalui kuantisasi bobot model yang dibekukan: pengurangan presisi yang digunakan untuk merepresentasikan parameter model, yang secara konseptual mirip dengan menurunkan bitrate file audio.

Salah satu sub-cabang metode aditif adalah prompt tuning. Secara konseptual, ini mirip dengan rekayasa prompt, yang mengacu pada penyesuaian “prompt keras”, yaitu prompt yang ditulis oleh manusia dalam bahasa alami, untuk memandu model ke arah hasil yang diinginkan, misalnya, dengan menentukan nada tertentu, atau dengan memberikan contoh yang memfasilitasi few-shot learning. Prompt tuning memperkenalkan prompt lunak yang ditulis AI: penyematan vektor yang dapat dipelajari, yang digabungkan ke prompt keras pengguna. Alih-alih melatih ulang model, prompt tuning memerlukan pembekuan bobot model dan sebagai gantinya, melatih prompt lunak itu sendiri. Dengan cepat dan efisien, prompt tuning memungkinkan model untuk lebih mudah beralih di antara tugas-tugas tertentu, meskipun dengan pengorbanan dalam hal interpretasi.
 

Adaptor
Sub-kumpulan lain dari fine tuning aditif menyuntikkan modul adaptor dengan lapisan baru khusus-tugas yang ditambahkan ke jaringan neural, dan melatih modul adaptor ini sebagai pengganti fine tuning bobot model terlatih (yang dibekukan). Menurut makalah asli, yang mengukur hasil pada model bahasa terselubung BERT, adaptor mencapai kinerja yang setara dengan fine tuning penuh saat melatih hanya 3,6% dari parameter.⁷

Reparameterisasi
Metode berbasis reparameterisasi seperti Low Rank Adaptation (LoRA ) memanfaatkan transformasi peringkat rendah dari matriks berdimensi tinggi (seperti matriks besar bobot model yang telah dilatih sebelumnya dalam model transformator). Representasi peringkat rendah ini menghilangkan informasi dimensi tinggi yang tidak penting untuk menangkap struktur dimensi rendah yang mendasari bobot model, yang sangat mengurangi jumlah parameter yang dapat dilatih. Ini secara dramatis mempercepat fine tuning dan mengurangi memori yang diperlukan untuk menyimpan pembaruan model.

LoRA menghindari pengoptimalan langsung dari matriks bobot model dan sebagai gantinya mengoptimalkan matriks pembaruan bobot model (atau bobot delta), yang dimasukkan ke dalam model. Matriks pembaruan bobot tersebut, pada gilirannya, direpresentasikan sebagai dua matriks yang lebih kecil (yaitu, peringkat yang lebih rendah), sehingga sangat mengurangi jumlah parameter yang harus diperbarui, yang pada gilirannya, secara dramatis mempercepat fine tuning dan mengurangi memori yang diperlukan untuk menyimpan pembaruan model. Bobot model terlatih tetap beku.

Manfaat tambahan dari LoRA adalah, karena apa yang dioptimalkan dan disimpan bukanlah bobot model baru, melainkan perbedaan (atau delta) antara bobot asli yang telah dilatih sebelumnya dan bobot yang telah di-tuning, maka LoRA spesifik-tugas yang berbeda dapat “ditukar” sesuai kebutuhan untuk mengadaptasikan model yang telah dilatih sebelumnya, yang parameter aktualnya tidak berubah, ke dalam contoh penggunaan tertentu.

Berbagai turunan LoRA telah dikembangkan, seperti QLoRA, yang selanjutnya mengurangi kompleksitas komputasi dengan mengkuantifikasi model transformator sebelum LoRA.

LLM dilatih sebelumnya menggunakan pembelajaran terawasi mandiri pada korpus besar data yang tidak berlabel. Model bahasa autoregresif, seperti GPT OpenAI, Gemini Google atau model Llama Meta, dilatih untuk memprediksi kata berikutnya secara berurutan hingga selesai. Dalam pra-pelatihan, model diberikan awal contoh kalimat yang diambil dari data pelatihan dan secara berulang kali ditugaskan untuk memprediksi kata berikutnya dalam urutan hingga akhir sampel. Untuk setiap prediksi, kata berikutnya dari contoh kalimat asli berfungsi sebagai kebenaran dasar.

Meskipun pra-pelatihan ini menghasilkan kemampuan pembuatan teks yang kuat, itu tidak menghasilkan pemahaman aktual tentang maksud pengguna. Pada tingkat fundamental, LLM autoregresif tidak benar-benar menjawab prompt; mereka hanya menambahkan teks ke dalamnya. Tanpa panduan yang sangat spesifik dalam bentuk rekayasa prompt, LLM terlatih (yang belum di-tuning) hanya memprediksi, dengan cara yang koheren secara tata bahasa, apa yang mungkin menjadi kata berikutnya dalam urutan tertentu yang dimulai oleh prompt. Jika memasukkan prompt “ajari cara membuat resume”, LLM mungkin merespons dengan “menggunakan Microsoft Word”. Ini adalah cara yang valid untuk melengkapi kalimat, tetapi tidak selaras dengan tujuan pengguna. Model ini mungkin sudah memiliki pengetahuan substansial tentang penulisan resume yang diperoleh dari konten relevan yang termasuk dalam korpus pra-pelatihannya, tetapi tanpa fine tuning, pengetahuan ini mungkin tidak dapat diakses.

Oleh karena itu, proses fine tuning memiliki peran yang krusial, tidak hanya dalam menyesuaikan model fondasi untuk nada dan contoh penggunaan yang unik bagi Anda atau bisnis, tetapi juga dalam membuatnya sesuai untuk penggunaan praktis.

Instruction tuning adalah bagian dari supervised fine-tuning (SFT), yang sering digunakan untuk fine tuning LLM untuk penggunaan chatbot, yang membuat LLM menghasilkan respons yang lebih sesuai dengan kebutuhan pengguna: dengan kata lain, untuk mengikuti instruksi dengan lebih baik. Contoh berlabel, mengikuti format (prompt, respons), di mana contoh prompt terdiri dari tugas-tugas yang berorientasi pada instruksi, seperti “terjemahkan kalimat berikut dari bahasa Inggris ke bahasa Spanyol” atau “klasifikasikan kalimat berikut sebagai Positif atau Negatif”, mendemonstrasikan cara merespons prompt yang mewakili berbagai contoh penggunaan, seperti menjawab pertanyaan, meringkas, atau menerjemahkan. Dalam memperbarui bobot model untuk meminimalkan kehilangan antara hasil model dan sampel berlabel, LLM belajar untuk menambahkan teks pada petunjuk dengan cara yang lebih berguna dan mengikuti instruksi secara umum dengan lebih baik.

Melanjutkan contoh prompt sebelumnya yaitu “tunjukkan cara menulis resume”, kumpulan data yang digunakan untuk SFT dapat berisi sejumlah pasangan (prompt, respons) yang menunjukkan bahwa cara yang diinginkan untuk merespons prompt yang diawali dengan ajari cara menulis resume adalah dengan memberikan saran langkah demi langkah, bukan hanya melengkapi kalimat.

Meskipun instruction tuning dapat mengajarkan model perilaku yang nyata dan lugas seperti cara menyusun responsnya, mengajarkan kualitas manusia yang abstrak seperti sifat suka menolong, keakuratan faktual, humor, atau empati bisa jadi sangat melelahkan dan sulit untuk diajarkan melalui contoh berlabel.

Untuk menyelaraskan hasil model dengan perilaku manusia yang ideal, terutama untuk contoh penggunaan percakapan seperti chatbot, SFT dapat dilengkapi dengan pembelajaran penguatan, lebih khusus lagi, pembelajaran penguatan dari masukan manusia (RLHF). RLHF, yang juga disebut pembelajaran penguatan dari preferensi manusia, membantu fine tuning model untuk kualitas yang kompleks, tidak terdefinisi dengan baik, atau sulit ditentukan melalui contoh yang terpisah.

Pertimbangkan komedi: untuk mengajarkan sebuah model menjadi “lucu” dengan SFT tidak hanya membutuhkan biaya dan tenaga kerja untuk menulis (atau mendapatkan) lelucon yang cukup untuk membentuk pola yang dapat dipelajari, tetapi juga mengharuskan apa yang dianggap lucu oleh seorang ilmuwan data selaras dengan apa yang dianggap lucu oleh pengguna. RLHF pada dasarnya menyediakan alternatif urun daya secara matematis: meminta LLM untuk membuat lelucon dan meminta penguji manusia untuk menilai kualitasnya. Penilaian ini dapat digunakan untuk melatih model penghargaan untuk memprediksi jenis lelucon yang akan menerima masukan positif, dan pada gilirannya model penghargaan tersebut dapat digunakan untuk melatih LLM melalui pembelajaran penguatan. 

Lebih praktis, RLHF bertujuan untuk mengatasi tantangan eksistensial LLM, seperti halusinasi, mencerminkan bias sosial yang melekat dalam data pelatihan atau mengatasi input pengguna yang kasar atau tidak sopan.

• Menyesuaikan gaya: Model dapat disesuaikan untuk mencerminkan nada yang diinginkan merek, mulai dari menerapkan pola perilaku yang kompleks dan gaya ilustrasi yang unik hingga modifikasi sederhana seperti memulai setiap interaksi dengan sapaan yang sopan.

• Spesialisasi: Kemampuan linguistik umum LLM dapat diasah untuk tugas-tugas tertentu. Sebagai contoh, model Llama 2 Meta dirilis sebagai model dasar, varian yang disesuaikan dengan chatbot (Llama-2-chat) dan varian yang disesuaikan dengan kode (Code Llama). 

• Menambahkan pengetahuan spesifik-domain: Meskipun LLM telah dilatih sebelumnya dengan korpus data yang sangat besar, mereka tidak mahatahu. Menggunakan sampel pelatihan tambahan untuk melengkapi pengetahuan model dasar sangat relevan dalam pengaturan hukum, keuangan, atau medis, yang biasanya memerlukan penggunaan kosakata khusus dan esoterik yang mungkin belum terwakili secara memadai dalam pra-pelatihan.

• Few-shot learning: Model yang telah memiliki pengetahuan umum yang kuat sering kali dapat disesuaikan dengan baik untuk teks klasifikasi yang lebih spesifik dengan menggunakan contoh demonstrasi yang relatif sedikit. 

• Mengatasi kasus edge: Anda mungkin ingin agar model Anda menangani situasi tertentu yang tidak mungkin tercakup dalam pra-pelatihan dengan cara tertentu. Fine tuning model pada contoh-contoh yang diberi label dari situasi semacam itu adalah cara yang efektif untuk memastikan bahwa situasi tersebut ditangani dengan tepat.

• Menggabungkan data kepemilikan: Perusahaan Anda mungkin memiliki pipeline data eksklusif sendiri, yang sangat relevan dengan contoh penggunaan spesifik Anda. Fine tuning memungkinkan pengetahuan ini dimasukkan ke dalam model tanpa harus melatihnya dari awal.