Apa itu pembelajaran transfer?

Ada banyak aplikasi pembelajaran transfer, mulai dari memecahkan masalah regresi dalam ilmu data hingga melatih model pembelajaran mendalam. Sejatinya, ini sangat menarik bagi model pembelajaran mendalam mengingat sejumlah besar data yang dibutuhkan untuk membuat neural networks mendalam.

Proses pembelajaran tradisional membangun model baru untuk setiap tugas baru, berdasarkan data berlabel yang tersedia. Hal ini dikarenakan algoritme machine learning tradisional mengasumsikan data pelatihan dan pengujian berasal dari ruang fitur yang sama, sehingga jika distribusi data berubah, atau model yang dilatih diterapkan pada kumpulan data baru, pengguna harus melatih ulang model yang lebih baru dari awal, meskipun mencoba tugas yang sama dengan model pertama (misalnya, pengklasifikasi analisis sentimen ulasan film versus ulasan lagu). Namun demikian, algoritme pembelajaran transfer mengambil model atau jaringan yang sudah terlatih sebagai titik awal. Algoritme tersebut selanjutnya menerapkan pengetahuan model yang diperoleh dalam tugas atau data sumber awal (misalnya, mengklasifikasikan ulasan film) ke tugas atau data target baru, yang tetap terkait, (misalnya, mengklasifikasikan ulasan lagu).³

• Biaya komputasi. Pembelajaran transfer memangkas biaya komputasi yang diperlukan untuk membangun model untuk masalah baru. Dengan menggunakan kembali model atau network yang telah dilatih sebelumnya untuk menangani tugas yang berbeda, pengguna dapat mengurangi jumlah waktu pelatihan model, data pelatihan, unit prosesor, dan sumber daya komputasi lainnya. Misalnya, jumlah periode yang lebih sedikit—yaitu melewati satu kumpulan data—mungkin diperlukan untuk mencapai tingkat pembelajaran yang diinginkan. Dengan cara ini, pembelajaran transfer dapat mempercepat dan menyederhanakan proses pelatihan model.
  
  
• Ukuran kumpulan data. Pembelajaran transfer sangat membantu meringankan kesulitan yang dihadapi dalam memperoleh kumpulan data besar. Misalnya, model bahasa besar (LLM) memerlukan sejumlah besar data pelatihan untuk mendapatkan kinerja yang optimal. Kumpulan data berkualitas yang tersedia untuk umum bisa jadi terbatas dan membuat data berlabel secara manual dalam jumlah memadai bisa jadi memakan waktu dan mahal.
  
  
• Kemampuan generalisasi. Meskipun pembelajaran transfer membantu pengoptimalan model, hal ini dapat semakin meningkatkan kemampuan generalisasi model. Karena pembelajaran transfer melibatkan pelatihan ulang model yang sudah ada dengan kumpulan data baru, model yang dilatih ulang akan terdiri dari pengetahuan yang diperoleh dari banyak kumpulan data. Model ini berpotensi menampilkan kinerja yang lebih baik pada variasi data yang lebih luas daripada model dasar awal yang hanya dilatih pada satu jenis kumpulan data. Dengan demikian, pembelajaran transfer dapat menghambat overfitting.⁴

Tentunya, transfer pengetahuan dari satu domain ke domain lainnya tidak dapat mengimbangi dampak negatif dari data yang berkualitas buruk. Teknik prapemrosesan dan rekayasa fitur, seperti penambahan data dan ekstraksi fitur, masih diperlukan ketika menggunakan pembelajaran transfer.

Ini bukan berarti bahwa ada kerugian yang melekat pada pembelajaran transfer, melainkan bahwa ada potensi konsekuensi negatif yang diakibatkan oleh kesalahan penerapan. Pembelajaran transfer bekerja paling efektif ketika tiga kondisi terpenuhi:

• kedua tugas pembelajaran serupa
  
  
• distribusi kumpulan data sumber dan target tidak terlalu bervariasi
  
  
• model yang sebanding dapat diterapkan untuk kedua tugas

Ketika kondisi ini tidak terpenuhi, pembelajaran transfer dapat berdampak negatif pada kinerja model. Literatur menyebut hal ini sebagai transfer negatif. Penelitian yang sedang berlangsung mengusulkan berbagai tes untuk menentukan apakah kumpulan data dan tugas memenuhi kondisi di atas, sehingga tidak akan menghasilkan transfer negatif.⁵ Transfer jarak jauh adalah salah satu metode yang dikembangkan untuk mengoreksi transfer negatif yang dihasilkan dari perbedaan yang terlalu besar dalam distribusi kumpulan data sumber dan target.⁶

Perhatikan bahwa tidak ada metrik standar yang tersebar luas untuk menentukan kesamaan antara tugas untuk pembelajaran transfer. Beberapa penelitian, akan tetapi, mengusulkan metode evaluasi yang berbeda untuk memprediksi kesamaan antara kumpulan data dan tugas machine learning, sehingga memungkinkan pembelajaran transfer.⁷

Ada tiga praktik atau subpengaturan pembelajaran transfer yang berdekatan. Perbedaan antara keduanya—serta pembelajaran transfer secara lebih luas—sebagian besar merupakan hasil dari perubahan dalam hubungan antara domain sumber, domain target, dan tugas yang harus diselesaikan.⁸

• Transfer induktif. Ini terjadi ketika tugas sumber dan target berbeda, terlepas dari perbedaan atau kemiripan antara domain target dan sumber (yaitu kumpulan data). Hal ini dapat bermanifestasi dalam model visi komputer ketika arsitektur yang telah dilatih sebelumnya untuk ekstraksi fitur pada kumpulan data besar kemudian diadopsi untuk pelatihan lebih lanjut tentang tugas tertentu, seperti deteksi objek. Pembelajaran multitugas, yang terdiri dari pembelajaran dua tugas yang berbeda secara bersamaan (seperti klasifikasi gambar dan deteksi objek) pada kumpulan data yang sama, dapat dianggap sebagai bentuk transfer induktif.⁹
  
  
• Pembelajaran tanpa pengawasan. Ini menyerupai transfer induktif, karena tugas target dan sumbernya berbeda. Namun demikian, dalam transfer induktif data sumber dan/atau target sering berlabel. Sesuai dengan namanya, pembelajaran transfer tanpa pengawasan adalah pembelajaran yang tanpa pengawasan, yang berarti tidak ada data yang diberi label secara manual.¹⁰ Sebagai perbandingan, transfer induktif dapat dianggap sebagai pembelajaran diawasi. Salah satu aplikasi umum pembelajaran tanpa pengawasan adalah deteksi penipuan. Dengan mengidentifikasi pola umum di seluruh kumpulan data transaksi yang tidak berlabel, suatu model dapat belajar lebih jauh untuk mengidentifikasi perilaku menyimpang sebagai kemungkinan penipuan.
  
  
• Transfer transduktif. Ini terjadi ketika tugas sumber dan target sama, tetapi kumpulan data (atau domain) berbeda. Lebih khusus lagi, data sumber biasanya diberi label sementara data target tidak berlabel. Adaptasi domain adalah bentuk pembelajaran transduktif, karena menerapkan pengetahuan yang diperoleh dari melakukan tugas pada satu distribusi data terhadap tugas yang sama pada distribusi data lainnya.¹¹ Contoh pembelajaran transfer transduktif adalah aplikasi model klasifikasi teks yang dilatih dan diuji pada ulasan restoran untuk mengklasifikasikan ulasan film.

Pembelajaran transfer berbeda dengan penyempurnaan. Harus diakui, keduanya menggunakan kembali model machine learning yang sudah ada sebelumnya alih-alih melatih model baru. Namun demikian, kesamaannya sebagian besar berada di sana. Penyempurnaan merujuk pada proses pelatihan lebih lanjut suatu model pada kumpulan data tugas spesifik untuk meningkatkan kinerja pada tugas awal spesifik yang menjadi tujuan pembuatan model tersebut. Misalnya, seseorang dapat membuat model deteksi objek tujuan umum menggunakan kumpulan gambar besar seperti COCO atau ImageNet, lalu melatih model yang dihasilkan lebih lanjut pada kumpulan data berlabel yang lebih kecil, khusus untuk deteksi mobil. Dengan cara ini, pengguna menyempurnakan model deteksi objek untuk deteksi mobil. Sebaliknya, pembelajaran transfer terjadi saat pengguna mengadaptasi suatu model ke masalah baru yang terkait, bukan ke masalah yang sama.

Ada banyak aplikasi pembelajaran transfer dalam machine learning di dunia nyata dan situasi kecerdasan buatan. Pengembang dan ilmuwan data dapat menggunakan pembelajaran transfer untuk membantu dalam berbagai tugas dan menggabungkannya dengan pendekatan pembelajaran lain, seperti pembelajaran penguatan.