Fitur bag of words dapat, kadang-kadang, dianggap sebagai bentuk pemrosesan teks tingkat pemula, mengingat kesederhanaan konseptualnya yang seolah-olah sederhana dalam menghitung kata-kata di seluruh rangkaian teks yang diberikan. Namun, model bag of words lebih terlibat.

Memahami fiturisasi sekantong kata menuntut pemahaman, setidaknya pemula, tentang ruang vektor. Ruang vektor adalah ruang multi-dimensi di mana titik-titik diplot. Dalam pendekatan bag of words, setiap kata individu menjadi dimensi (atau sumbu) terpisah dari ruang vektor. Jika sebuah kumpulan teks memiliki n jumlah kata, ruang vektor yang dihasilkan memiliki dimensi n, satu dimensi untuk setiap kata unik dalam kumpulan teks. Model kemudian memplot setiap dokumen teks terpisah sebagai titik di ruang vektor. Posisi titik di sepanjang dimensi tertentu ditentukan oleh berapa kali kata dimensi tersebut muncul di dalam dokumen titik tersebut.

Misalnya, asumsikan kita memiliki kumpulan teks di mana isi dari dua dokumen terpisah masing-masing adalah:

Dokumen 1: Mawar berwarna merah, ungu berwarna biru

Dokumen 2: Cintaku merah, seperti mawar merah

Karena sulit membayangkan sesuatu di luar ruang tiga dimensi, kita akan membatasi diri hanya pada itu. Ruang vektor untuk korpus yang berisi dua dokumen ini akan memiliki dimensi yang terpisah untuk warna merah, mawar, dan ungu. Ruang vektor tiga dimensi untuk kata-kata ini mungkin terlihat seperti:

Karena merah, mawar, dan ungu semuanya muncul satu kali di Dokumen 1, vektor untuk dokumen tersebut di ruang ini adalah (1,1,1). Dalam Dokumen 2, merah muncul dua kali, mawar sekali, dan ungu tidak sama sekali. Jadi, titik vektor untuk Dokumen 2 adalah (2,1,0). Kedua titik dokumen ini akan dipetakan dalam ruang vektor tiga dimensi sebagai:

Perhatikan bahwa gambar ini memvisualisasikan dokumen teks sebagai vektor data dalam ruang fitur tiga dimensi. Tetapi sekantong kata juga dapat mewakili kata-kata sebagai vektor fitur dalam ruang data. Vektor fitur menandakan nilai (kejadian) dari fitur tertentu (kata) dalam titik data tertentu (dokumen). Jadi vektor fitur untuk merah, mawar, dan ungu dalam Dokumen 1 dan 2 akan terlihat seperti:²

Perhatikan bahwa urutan kata-kata dalam dokumen asli tidak relevan. Untuk sekantong model kata, yang penting adalah jumlah kemunculan setiap kata di seluruh kumpulan teks.

Karena model bag of words hanya mengukur frekuensi kata dalam dokumen tertentu, bag of words sering digambarkan sebagai teknik pemodelan yang sederhana. Tetapi sekantong kata-kata membantu dalam banyak tugas NLP, terutama klasifikasi dokumen. Memang, literatur sering membahas bag of words bersama dengan pengklasifikasi statistik seperti Naïve Bayes.³

Tugas klasifikasi teks menafsirkan kata-kata dengan frekuensi tinggi dalam sebuah dokumen sebagai mewakili gagasan utama dokumen tersebut.⁴ Ini bukan asumsi yang tidak masuk akal. Sebagai contoh, jika beberapa kata yang paling sering muncul dalam sebuah dokumen adalah presiden, pemilih, dan pemilu, ada kemungkinan besar dokumen tersebut adalah teks politik, yang secara khusus membahas pemilihan presiden. Klasifikasi teks dengan bag of words kemudian mengekstrapolasi bahwa dokumen dengan konten serupa memiliki jenis yang serupa.

Meskipun pengklasifikasi probabilistik yang menggunakan pendekatan bag of words terbukti sangat efektif, bag of words memiliki beberapa kelemahan.

Korelasi kata. Bag of words mengasumsikan kata-kata tidak tergantung satu sama lain dalam dokumen atau korpus. Pemilu lebih mungkin muncul dalam konteks bersama dengan presiden daripada penyair. Dalam mengukur frekuensi istilah individu, kantong kata tidak memperhitungkan korelasi dalam penggunaan antar kata. Karena sekantong kata mengekstrak setiap kata dalam dokumen sebagai fitur model kantong kata, dengan frekuensi istilah menjadi bobot fitur itu, dua kata atau lebih yang berkorelasi secara teoritis dapat menginduksi multikolinearitas dalam pengklasifikasi statistik menggunakan model itu. Namun demikian, asumsi penyederhanaan Naïve Bayes telah terbukti menghasilkan model yang kuat meskipun terdapat kekurangan potensial.⁵

Kata majemuk. Korelasi kata meluas ke representasi kumpulan kata dari frasa majemuk, di mana dua kata atau lebih beroperasi sebagai satu unit semantik. Sebagai contoh, model Bag of words yang sederhana dapat merepresentasikan Mr. Darcy sebagai dua kata yang unik dan tidak berhubungan meskipun keduanya berfungsi bersamaan. Kantong representasi kata seperti itu gagal mencerminkan sifat semantik dan sintaksis dari konsep multi-kata.

Kata-kata polisemus. Banyak kata memiliki banyak arti yang sangat berbeda. Sebagai contoh, bat dapat berarti alat olahraga atau hewan, dan makna ini biasanya muncul dalam konteks yang sangat berbeda. Demikian pula, kata-kata dapat berubah makna tergantung pada penempatan tekanannya dalam bahasa lisan, misalnya CON-tent versus con-TENT. Karena bag of words tidak memperhatikan konteks dan makna saat memodelkan kata, bag of words menggabungkan semua makna yang berbeda ini ke dalam satu kata, sehingga menghilangkan informasi yang berpotensi signifikan pada subjek teks (dan juga potensi klasifikasi).

Sparsitas. Dalam sekantong model kata, setiap kata adalah fitur, atau dimensi, dari model, dan setiap dokumen yang disebut adalah vektor. Karena sebuah dokumen tidak menggunakan semua kata dalam kosakata model yang dihasilkan, banyak nilai fitur untuk vektor yang diberikan bisa jadi nol. Ketika sebagian besar nilai vektor adalah nol, modelnya adalah sparse (jika merepresentasikan vektor sebagai matriks, ini disebut matriks sparse). Sparsitas model menghasilkan dimensi yang tinggi, yang pada gilirannya menyebabkan overfitting pada data pelatihan.⁶

Bag of n-gram. Mengadopsi n-gram daripada kata-kata dapat memperbaiki sejumlah kelemahan yang melekat pada model kantong kata. Alih-alih membuat model di mana setiap kata adalah fitur, seseorang dapat menggunakan n-gram sebagai fitur vektor. Dalam konteks ini, n mengacu pada jumlah kata yang diperlakukan sebagai satu unit semantik, mungkin yang paling umum dalam kantong n-gram adalah bigram (yaitu, dua kata). Kata-bigram berguna karena dapat memperhitungkan kata majemuk, seperti New York atau Menara Eiffel. Tentu saja, tidak semua kata-bigram informatif, misalnya on the atau of the. Namun demikian, ini adalah salah satu cara untuk memperhitungkan masalah seperti kata majemuk dan korelasi kata.⁷

Teknik normalisasi teks. Data teks mentah mungkin perlu dinormalisasi untuk meningkatkan struktur dan fungsi model tas kata. Saat membuat Bag of words, atau bag of n-grams, model, kata-kata seperti artikel (misalnya, a, the, dll.) dan preposisi (misalnya, from, of, on, dll.) mungkin memiliki jumlah kemunculan tertinggi. Kata-kata ini tidak memberikan banyak informasi tentang isi atau jenis dokumen, sehingga tidak berguna dalam tugas klasifikasi. Teknik prapemrosesan teks seperti penghapusan kata berhenti (sering digunakan dalam stemming) dapat membantu menghapus kata-kata yang tidak relevan dari kumpulan data teks untuk membantu meningkatkan struktur model kantong kata. Untungnya, banyak pustaka dan paket python, seperti NLTK atau sklearn yang dilengkapi dengan fungsi-fungsi untuk melakukan teknik-teknik prapemrosesan yang umum.

Hashing. Fitur hashing pada dasarnya mengubah kata-kata individu dari data teks input ke set numerik ukuran tetap. Rentang angka tetap ini kemudian digunakan untuk membangun ruang vektor untuk model kantong kata. Membatasi kisaran angka, dan juga dimensi model, ke ukuran yang tetap, membantu mencegah kerapatan dan dimensi yang tinggi. Kerugian utama dari hashing adalah apa yang disebut tabrakan. Tabrakan hashing terjadi ketika dua token yang tidak terkait dipetakan ke bilangan bulat yang sama. Kerugian lain dengan hashing adalah tidak memperhitungkan kata-kata polisemus.⁸

Dengan model kantong kata standar, kata-kata yang secara semantik tidak relevan (misalnya, the, some, dan lain-lain) dapat memiliki frekuensi term tertinggi, dan karenanya memiliki bobot terbesar dalam model. Istilah frekuensi terbalik dokumen frekuensi (TF-IDF) bertujuan untuk mengoreksi ini. Sementara kantong kata hanya menghitung berapa kali sebuah kata muncul dalam satu dokumen, TF-IDF memperhitungkan prevalensi kata tersebut di setiap dokumen dalam kumpulan teks. TF-IDF diwakili dalam persamaan:

Dalam persamaan ini, suku pertama adalah nilai yang dihitung oleh model kantong kata, yaitu frekuensi istilah. Istilah kedua melambangkan frekuensi dokumen terbalik. N sama dengan jumlah total dokumen dalam kumpulan teks, dan n sama dengan jumlah dokumen di mana kata tertentu muncul. Semakin banyak dokumen di mana kata tertentu muncul, semakin besar TF-IDF mengurangi bobot kata itu. Dengan cara ini, TF-IDF adalah contoh penskalaan fitur dalam model machine learning.⁹

Sama seperti model bag of words pada umumnya, paket NLP sering kali memiliki fungsi yang sudah ada sebelumnya untuk mengimplementasikan TF-IDF, seperti fungsi tfidfvectorizer dari scikit-learn.