Apa itu pemodelan topik?

Dalam pemrosesan bahasa alami (NLP), pemodelan topik adalah teknik penambangan teks yang menerapkan pembelajaran tanpa pengawasan pada kumpulan teks besar untuk menghasilkan kumpulan istilah ringkasan yang berasal dari dokumen-dokumen yang mewakili keseluruhan kumpulan topik utama dalam koleksi tersebut.¹ Model topik secara khusus mengidentifikasi kata kunci atau frasa umum dalam kumpulan data teks dan mengelompokkan kata-kata tersebut ke dalam sejumlah topik. Dengan demikian, model topik bertujuan untuk bertujuan untuk mengungkap topik atau tema laten yang menjadi ciri dari sekumpulan dokumen. Dengan cara ini, model topik adalah bentuk analisis teks berbasis machine learning yang digunakan untuk membuat anotasi tematik pada korpus teks yang besar.²

Pengguna dapat dengan mudah membuat model topik menggunakan toolkit bahasa alami (NLTK) dari scikit-learn dan gensim di Python.

Sebagai metode pembelajaran tanpa pengawasan, model topik tidak memerlukan label data pelatihan yang dibuat pengguna, seperti pada tugas klasifikasi teks yang diawasi. Sebaliknya, model topik menghasilkan, dan dengan demikian memberi anotasi, koleksi besar dokumen dengan informasi tematik dalam bentuk kelompok kata yang dikenal sebagai topik.³ Namun, bagaimana model topik menghasilkan kelompok kata-kata ini?

Pemodelan topik pada dasarnya memperlakukan setiap dokumen individu dalam kumpulan teks sebagai model bag of words. Ini berarti bahwa algoritma pemodelan topik mengabaikan urutan kata dan konteks, dan hanya berfokus pada seberapa sering kata-kata muncul, dan seberapa sering kata-kata tersebut muncul bersama, dalam setiap dokumen.⁴

Sebagian besar pendekatan pemodelan topik dimulai dengan membuat matriks istilah dokumen. Matriks ini memodelkan kumpulan data teks dengan dokumen sebagai baris dan kata per kata sebagai kolom, atau sebaliknya. Nilai dalam matriks menunjukkan frekuensi kemunculan kata tertentu dalam setiap dokumen. Matriks ini kemudian dapat digunakan untuk menghasilkan ruang vektor, di mana n kata sama dengan n dimensi. Nilai baris yang diberikan menunjukkan posisi dokumen tersebut dalam ruang vektor. Dokumen yang menggunakan kata-kata dalam kelompok yang sama dan dengan frekuensi yang sebanding akan berada lebih dekat satu sama lain dalam ruang vektor. Dari sini, model topik memperlakukan kedekatan dalam ruang vektor sebagai dokumen yang memiliki konten konseptual atau topik yang sama.⁵

Namun, model topik tidak identik dengan bag of words. Sementara yang terakhir hanya menghitung keberadaan kata dalam kumpulan dokumen, model topik mengelompokkan kata-kata yang sering muncul bersama ke dalam kumpulan topik. Setiap topik dimodelkan sebagai distribusi probabilitas di seluruh kosakata. Setiap dokumen dalam koleksi kemudian direpresentasikan berdasarkan topik-topik tersebut.⁶ Dengan cara ini, model topik pada dasarnya mencoba untuk merekayasa balik wacana (yaitu, topik) yang menghasilkan dokumen yang dimaksud.⁷

Algoritma pemodelan topik bukanlah metode alternatif untuk satu tugas, melainkan pengembangan berurutan yang dimaksudkan untuk menyelesaikan masalah yang awalnya ditemukan pada model bag of words. Term frequency-inverse document frequency (TF-IDF) adalah modifikasi dari bag of words yang dimaksudkan untuk mengatasi masalah yang dihasilkan dari kata-kata yang umum namun secara semantik tidak relevan dengan memperhitungkan prevalensi setiap kata di setiap dokumen dalam kumpulan teks. Analisis semantik laten dibangun di atas TF-IDF dengan tujuan utama untuk mengatasi polisemi dan sinonimi. Hal ini melahirkan analisis semantik laten probabilistik, yang kemudian berkembang menjadi alokasi laten Dirichlet. Karakteristik yang membedakan yang terakhir adalah bahwa semua dokumen dalam koleksi memiliki topik yang sama, meskipun dalam proporsi yang berbeda.⁸

Analisis semantik laten (LSA) (juga disebut pengindeksan semantik laten) menerapkan teknik yang dikenal sebagai dekomposisi nilai tunggal untuk mengurangi sparsitas dalam matriks istilah dokumen. Hal ini mengurangi masalah yang diakibatkan oleh polisemi dan sinonimi—yaitu, satu kata dengan banyak arti atau beberapa kata dengan satu arti yang sama.

Pada dasarnya, sparsitas data menunjukkan ketika sebagian besar nilai data dalam kumpulan data tertentu adalah nol (dengan kata lain, kosong). Hal ini sering terjadi ketika membuat matriks istilah dokumen, di mana setiap kata merupakan baris dan dimensi ruang vektor yang terpisah, karena dokumen sering kali tidak memiliki sebagian besar kata yang mungkin lebih sering muncul di dokumen lain. Tentu saja, teknik prapemrosesan data teks, seperti penghapusan stopword atau stemming dan lematisasi, dapat membantu mengurangi ukuran matriks. LSA menawarkan pendekatan yang lebih bertarget untuk mengurangi sparsitas dan dimensi.

LSA dimulai dengan matriks istilah dokumen, yang menampilkan berapa kali setiap kata muncul di setiap dokumen. Dari sini, LSA menghasilkan matriks dokumen-dokumen dan matriks istilah-istilah. Jika dimensi matriks dokumen-istilah didefinisikan sebagai d dokumen dikali w kata, maka matriks dokumen-dokumen adalah d dikali d dan matriks istilah-istilah w dikali w. Setiap nilai dalam matriks dokumen-dokumen menunjukkan jumlah kata yang dimiliki oleh setiap dokumen. Setiap nilai dalam matriks istilah-istilah menunjukkan jumlah dokumen yang memiliki dua istilah yang sama.⁹

Dengan menggunakan dua matriks tambahan ini, algoritme LSA melakukan dekomposisi nilai singular pada matriks istilah dokumen awal, menghasilkan matriks khusus vektor eigen yang baru. Matriks khusus ini memecah hubungan dokumen-istilah asli menjadi faktor-faktor independen secara linier. Karena banyak dari faktor-faktor ini mendekati nol, nilai ini diperlakukan sebagai nol dan dikeluarkan dari matriks. Hal ini mengurangi dimensi model.¹⁰

Setelah dimensi model dikurangi melalui dekomposisi nilai tunggal, algoritme LSA membandingkan dokumen dalam ruang dimensi yang lebih rendah menggunakan kesamaan kosinus. Kesamaan kosinus menandakan pengukuran sudut antara dua vektor dalam ruang vektor. Ini mungkin nilai antara -1 dan 1. Semakin tinggi skor kosinus, semakin mirip dua item yang dipertimbangkan. Kesamaan cosinus diwakili oleh rumus ini, di mana x dan y menunjukkan dua vektor item dalam ruang vektor:¹¹

Alokasi Dirichlet laten (LDA) — jangan disamakan dengan analisis diskriminan linier — adalah algoritme pemodelan topik probabilistik. Ini berarti algoritme ini menghasilkan topik, mengklasifikasikan kata-kata dan dokumen di antara topik-topik tersebut, sesuai dengan distribusi probabilitas. Dengan menggunakan matriks istilah dokumen, algoritme LDA menghasilkan distribusi topik (yaitu daftar kata kunci dengan probabilitasnya masing-masing) sesuai dengan frekuensi kata dan kemunculan bersamaan. Asumsi ini adalah bahwa kata-kata yang muncul bersama kemungkinan merupakan bagian dari topik yang sama. Algoritme menetapkan distribusi topik dokumen berdasarkan kelompok kata yang muncul dalam dokumen yang diberikan.¹²

Misalnya, katakanlah kita membuat model LDA untuk kumpulan artikel berita yang memiliki output parsial berikut:

Di sini, kita memiliki dua topik yang mungkin digambarkan sebagai imigrasi (Topik 1) dan astronomi (Topik 2). Skor yang diberikan pada setiap kata adalah probabilitas munculnya kata kunci tersebut pada topik yang ditentukan. Probabilitas yang melekat pada setiap dokumen merupakan probabilitas masing-masing dokumen untuk termasuk dalam campuran topik yang diberikan distribusi dan kemunculan kata dari masing-masing topik dalam dokumen tersebut. Misalnya, baris pertama tabel mencantumkan batas di bawah Topik 1 dengan probabilitas 40% dan spasi di Topik 2 dengan probabilitas 60%. Persentase ini menunjukkan kemungkinan munculnya istilah masing-masing dalam topik tersebut di seluruh korpus. Baris dokumen pertama bertuliskan Dokumen 1: Topik 1: .95, Topik 2: .05. Artinya, berdasarkan kemunculan kata-kata dalam Dokumen 1, model memproyeksikan Dokumen 1 sebagai 95% berasal dari Topik 1 dan 5% berasal dari Topik 2. Dengan kata lain, model LDA hipotetis kami mengasumsikan bahwa ini adalah topik dan proporsi topik tersebut yang digunakan untuk menghasilkan model.

Tentu saja, kata-kata polisemi secara khusus menimbulkan masalah untuk kategorisasi yang terpisah—misalnya, alien dapat merujuk pada orang pendatang atau makhluk luar angkasa. Jika algoritme kami menemukan kata asing dalam sebuah dokumen, bagaimana algoritme tersebut menentukan ke dalam topik mana kata tersebut (dan dengan demikian, dokumen tersebut) berada?

Saat menetapkan topik ke kata-kata, algoritme LDA menggunakan hal yang dikenal sebagai pengambilan sampel Gibbs. Rumus pengambilan sampel Gibbs adalah:

Memahami operasi pasti dan hiperparameter persamaan ini memerlukan pengetahuan dasar dalam statistik dan teknik Markov Chain Monte Carlo (Monte Carlo sering digunakan dalam pembelajaran penguatan). Meskipun demikian, kita dapat meringkas komponen utama persamaan tersebut:

• Rasio pertama menyatakan probabilitas topik t dalam dokumen d. Algoritme menghitung probabilitas ini berdasarkan jumlah kata dalam dokumen d yang termasuk dalam topik t. Pada dasarnya, hal ini menimbulkan pertanyaan: seberapa umum topik t dalam dokumen d?
• Rasio kedua menyatakan probabilitas kata w yang termasuk dalam topik t. Algoritme menghitung probabilitas ini dengan menghitung kemunculan w dalam t atas semua token kata dalam t. Ini menimbulkan pertanyaan: dengan frekuensi berapa kata w muncul di topik t di seluruh korpus lainnya?

Perhatikan bahwa pengambilan sampel Gibbs adalah proses berulang. Artinya, sebuah kata tidak diambil sampelnya sekali, diberi topik, dan dibuang. Sebaliknya, pengambilan sampel Gibbs melewatkan setiap kata melalui beberapa iterasi, memperbarui probabilitas kata topik berdasarkan satu sama lain.¹³

Ada banyak contoh penggunaan untuk model topik, mulai dari kritik sastra¹⁴ hingga bioinformatika¹⁵ hingga deteksi ujaran kebencian di media sosial.¹⁶ Seperti banyak tugas NLP, proporsi yang signifikan dari penelitian pemodelan topik selama bertahun-tahun menyangkut bahasa Inggris dan bahasa aksara Latin lainnya. Namun, baru-baru ini, penelitian telah mengeksplorasi pendekatan pemodelan topik untuk bahasa Arab dan bahasa non-Latin lainnya.¹⁷

Penelitian yang sedang berlangsung juga membahas metrik evaluasi untuk model topik. Memang, tidak ada satu metrik yang digunakan untuk mengevaluasi model topik. Metrik evaluasi masa lalu telah mengadopsi pendekatan kualitatif dan kuantitatif. Yang pertama memerlukan pengetahuan spesifik domain yang signifikan untuk mengevaluasi istilah kunci mode topik untuk interpretabilitas.¹⁸ Pengukuran kuantitatif terdiri atas skor log-likelihood dan coherence, yang bertujuan untuk mengukur kemungkinan dan kohesi topik dalam suatu model.¹⁹ Namun, banyak penelitian berpendapat bahwa metrik kuantitatif tersebut mungkin tidak dapat diandalkan.²⁰

Dalam upaya untuk menyelesaikan masalah yang berkaitan dengan evaluasi model topik, satu studi menyelidiki aplikasi kecerdasan buatan, terutama model bahasa besar (LLM), sebagai sarana merancang dan mengevaluasi model LDA untuk tujuan penelitian tertentu. LLM, menurut penelitian tersebut, dapat membantu menyelesaikan masalah yang sudah lama ada dalam pemodelan topik, yaitu, bagaimana menentukan dan mengevaluasi jumlah topik yang tepat.²¹ Penelitian lain juga beralih ke aplikasi LLM sebagai sarana untuk mengatasi kesenjangan evaluasi dalam pemodelan topik.²²