Apa itu penyetelan hyperparameter?

Tingkat pembelajaran menetapkan kecepatan di mana model menyesuaikan parameternya di setiap iterasi. Penyesuaian ini dikenal sebagai langkah. Laju pembelajaran yang tinggi berarti model akan menyesuaikan lebih cepat, tetapi dengan risiko kinerja yang tidak stabil dan data yang melayang. Sementara itu, meskipun tingkat pembelajaran yang rendah lebih memakan waktu dan membutuhkan lebih banyak data, hal ini juga membuat para ilmuwan data lebih mungkin untuk menentukan kerugian minimum dari sebuah model. Optimalisasi penurunan gradien adalah contoh metrik pelatihan yang membutuhkan laju pembelajaran yang ditetapkan.

Peluruhan laju pembelajaran menetapkan tingkat di mana laju pembelajaran jaringan menurun seiring waktu, memungkinkan model untuk belajar lebih cepat. Perkembangan pelatihan algoritma dari aktivasi awal hingga kinerja ideal dikenal sebagai konvergensi.

Ukuran batch menetapkan jumlah sampel yang akan dihitung model sebelum memperbarui parameternya. Ini memiliki efek yang signifikan pada efisiensi komputasi dan akurasi proses pelatihan. Dengan sendirinya, ukuran batch yang lebih tinggi akan melemahkan kinerja secara keseluruhan, tetapi menyesuaikan laju pembelajaran bersama dengan ukuran batch dapat mengurangi kerugian ini.

Jumlah lapisan tersembunyi dalam jaringan neural menentukan kedalamannya, yang memengaruhi kompleksitas dan kemampuan pembelajarannya. Lebih sedikit lapisan membuat model yang lebih sederhana dan lebih cepat, tetapi lebih banyak lapisan — seperti dengan jaringan pembelajaran mendalam — mengarah pada klasifikasi data input yang lebih baik. Mengidentifikasi nilai hyperparameter yang optimal di sini, dari semua kombinasi yang memungkinkan, adalah soal pertukaran antara kecepatan dan akurasi.

Jumlah node atau neuron per lapisan menentukan lebar model. Semakin banyak node atau neuron per lapisan, semakin besar cakupan model dan semakin baik kemampuannya untuk menggambarkan hubungan yang kompleks antara titik data.

Momentum adalah sejauh mana model memperbarui parameter ke arah yang sama dengan iterasi sebelumnya, dan bukannya berbalik arah. Sebagian besar ilmuwan data memulai dengan nilai hiperparameter yang lebih rendah untuk momentum dan kemudian menyesuaikan ke atas sesuai kebutuhan untuk menjaga model tetap berada di jalur yang diperlukan dalam data pelatihan. 

Epochs adalah hyperparameter yang mengatur berapa kali model diekspos ke seluruh kumpulan data pelatihan selama proses pelatihan. Paparan yang lebih besar dapat menyebabkan peningkatan kinerja tetapi berisiko overfitting. 

Fungsi aktivasi memperkenalkan nonlinieritas ke dalam model, memungkinkannya menangani kumpulan data yang lebih kompleks. Model nonlinier dapat menggeneralisasi dan beradaptasi dengan variasi data yang lebih besar. 

C adalah rasio antara margin kesalahan yang dapat diterima dan jumlah kesalahan yang dihasilkan ketika model bertindak sebagai pengklasifikasi data. Nilai C yang lebih rendah menetapkan batas keputusan yang halus dengan toleransi kesalahan yang lebih tinggi dan kinerja yang lebih umum, tetapi dengan risiko klasifikasi data yang salah. Sementara itu, nilai C yang tinggi menciptakan batasan keputusan yang rapi untuk hasil pelatihan yang lebih akurat tetapi dengan potensi overfitting. 

Kernel adalah fungsi yang menetapkan sifat hubungan antara titik-titik data dan memisahkannya ke dalam kelompok-kelompok yang sesuai. Bergantung pada kernel yang digunakan, titik-titik data akan menunjukkan hubungan yang berbeda, yang dapat sangat mempengaruhi kinerja model SVM secara keseluruhan. Linear, polinomial, radial basis function (RBF), dan sigmoid adalah beberapa kernel yang paling umum digunakan. Kernel linear lebih sederhana dan paling baik untuk data yang mudah dipisahkan, sementara kernel nonlinear lebih baik untuk kumpulan data yang lebih kompleks. 

Gamma menetapkan tingkat pengaruh vektor pendukung pada batas keputusan. Vektor pendukung adalah titik data yang paling dekat dengan hyperplane: batas antara kelompok data. Nilai yang lebih tinggi menarik pengaruh yang kuat dari vektor terdekat, sementara nilai yang lebih rendah membatasi pengaruh dari vektor yang lebih jauh. Menyetel nilai gamma yang terlalu tinggi dapat menyebabkan overfitting, sementara nilai yang terlalu rendah dapat merusak batas keputusan. 

learning_rate mirip dengan hyperparameter laju pembelajaran yang digunakan oleh jaringan neural. Fungsi ini mengontrol tingkat koreksi yang dilakukan selama setiap putaran pelatihan. Nilai potensial berkisar dari 0 hingga 1, dengan 0,3 sebagai default. 

n_estimators menetapkan jumlah pohon dalam model. Hyperparameter ini dikenal sebagai num_boost_rounds di XGBoost asli, sedangkan API Python populer scikit-learn memperkenalkan nama n_estimators. 

max_depth menentukan arsitektur decision trees, mengatur jumlah maksimum node dari pohon ke setiap daun-pengklasifikasi akhir. Lebih banyak node mengarah ke klasifikasi data yang lebih bernuansa, sementara pohon yang lebih kecil dengan mudah menghindari overfitting. 

min_child_weight adalah bobot minimum-pentingnya sebuah kelas dalam proses pelatihan model secara keseluruhan-yang dibutuhkan untuk menumbuhkan sebuah pohon baru. Bobot minimum yang lebih rendah akan menghasilkan lebih banyak pohon tetapi dengan potensi overfitting, sementara bobot yang lebih besar akan mengurangi kompleksitas dengan membutuhkan lebih banyak data untuk membagi pohon. 

subsample menetapkan persentase sampel data yang digunakan selama setiap putaran pelatihan, dan colsample_bytree menetapkan persentase fitur yang akan digunakan dalam konstruksi pohon. 

Pencarian grid adalah metode penyetelan hyperparameter yang komprehensif dan lengkap. Setelah para ilmuwan data menetapkan setiap nilai yang mungkin untuk setiap hyperparameter, pencarian grid membuat model untuk setiap konfigurasi yang mungkin dari nilai-nilai hyperparameter diskrit tersebut. Model-model ini masing-masing dievaluasi kinerjanya dan dibandingkan satu sama lain, dengan model terbaik yang pada akhirnya dipilih untuk pelatihan. 

Dengan cara ini, pencarian grid mirip dengan brute force PIN dengan memasukkan setiap kombinasi angka yang mungkin hingga urutan yang benar ditemukan. Meskipun memungkinkan para ilmuwan data untuk mempertimbangkan semua konfigurasi yang mungkin dalam ruang hiperparameter, pencarian grid tidak efisien dan secara komputasi memakan banyak sumber daya.

Pencarian acak berbeda dengan pencarian grid karena para ilmuwan data menyediakan distribusi statistik, bukan nilai diskrit untuk setiap hyperparameter. Pencarian acak menarik sampel dari setiap rentang dan membangun model untuk setiap kombinasi. Selama beberapa iterasi, model ditimbang satu sama lain sampai model terbaik ditemukan. 

Pencarian acak lebih baik daripada pencarian grid dalam situasi di mana ruang pencarian hyperparameter berisi distribusi yang besar - akan membutuhkan terlalu banyak usaha untuk menguji setiap nilai diskrit. Algoritma pencarian acak dapat memberikan hasil yang sebanding dengan pencarian grid dalam waktu yang jauh lebih singkat, meskipun tidak dijamin untuk menemukan konfigurasi hyperparameter yang paling optimal.

Optimalisasi Bayesian adalah algoritma optimalisasi berbasis model sekuensial (SMBO) di mana setiap iterasi pengujian meningkatkan metode pengambilan sampel berikutnya. Baik pencarian grid dan acak dapat dilakukan secara bersamaan, tetapi setiap pengujian dilakukan secara terpisah—ilmuwan data tidak dapat menggunakan apa yang telah mereka pelajari untuk menginformasikan pengujian berikutnya. 

Berdasarkan pengujian sebelumnya, optimalisasi Bayesian secara probabilistik memilih satu set nilai hyperparameter baru yang cenderung memberikan hasil yang lebih baik. Model probabilistik disebut sebagai pengganti fungsi objektif asli. Karena model pengganti bersifat efisien dalam hal komputasi, model ini biasanya diperbarui dan ditingkatkan setiap kali fungsi objektif dijalankan. 

Semakin baik pengganti dalam memprediksi hyperparameter optimal, semakin cepat prosesnya, dengan lebih sedikit tes fungsi objektif yang diperlukan. Hal ini membuat pengoptimalan Bayesian jauh lebih efisien daripada metode lainnya, karena tidak ada waktu yang terbuang untuk kombinasi nilai hyperparameter yang tidak sesuai. 

Proses menentukan hubungan secara statistik antara hasil - dalam hal ini, kinerja model terbaik - dan serangkaian variabel dikenal sebagai analisis regresi. Proses Gaussian adalah salah satu SMBO yang populer di kalangan ilmuwan data.

Diperkenalkan pada tahun 2016, Hyperband (tautan berada di luar ibm.com) dirancang untuk meningkatkan pencarian acak dengan memotong penggunaan konfigurasi pelatihan yang gagal memberikan hasil yang kuat sambil mengalokasikan lebih banyak sumber daya ke konfigurasi positif. 

'Penghentian dini' ini dicapai melalui pembagian dua secara berurutan, sebuah proses yang mengerucutkan kumpulan konfigurasi dengan menghapus separuh konfigurasi yang berkinerja terburuk setelah setiap putaran pelatihan. 50% teratas dari setiap batch dibawa ke iterasi berikutnya sampai satu konfigurasi hyperparameter optimal tetap ada.