Talvolta, la caratterizzazione di una bag of words può essere considerata una forma di elaborazione del testo di livello principiante, data la sua apparente semplicità concettuale nel contare le parole in un determinato set di testo. I modelli di bag of words sono però più complessi.

Comprendere la funzioni di una bag of words richiede una comprensione, almeno per i principianti, degli spazi vettoriali. Uno spazio vettoriale è uno spazio multidimensionale in cui vengono tracciati dei punti. In un approccio di tipo bag of words, ogni singola parola diventa una dimensione separata (o asse) dello spazio vettoriale. Se un set di testo ha un numero di parole n, lo spazio vettoriale risultante presenta n dimensioni, una dimensione per ogni parola univoca nel set di testo. Il modello traccia quindi ogni documento di testo separato come un punto nello spazio vettoriale. La posizione di un punto lungo una determinata dimensione è determinata dal numero di volte in cui la parola di quella dimensione appare all'interno del documento del punto.

Ad esempio, supponiamo di avere un set di testo in cui il contenuto di due documenti separati sono rispettivamente:

Documento 1: Una rosa è rossa, una viola è blu

Documento 2: Il mio amore è come una rosa rossa

Poiché è difficile immaginare qualcosa al di là di uno spazio tridimensionale, ci limiteremo proprio a questo. Uno spazio vettoriale per un corpus contenente questi due documenti avrebbe dimensioni separate per il rosso, la rosa e il viola. Uno spazio vettoriale tridimensionale per queste parole può assomigliare a:

Poiché il rosso, il rosa e il viola ricorrono tutti una volta nel documento 1, il vettore per quel documento in questo spazio sarà (1,1,1). Nel Documento 2, il rosso appare due volte, il rosa una volta e il viola per niente. Pertanto, il punto vettoriale per il documento 2 è (2,1,0). Entrambi questi punti del documento verranno mappati nello spazio vettoriale tridimensionale come:

Tieni presente che questa figura visualizza i documenti di testo come vettori di dati in uno spazio di caratteristiche tridimensionale. Ma bag of words può anche rappresentare le parole come vettori di caratteristiche in uno spazio di dati. Un vettore di caratteristiche indica il valore (occorrenza) di una determinata caratteristica (parola) in un punto dati specifico (documento). Quindi i vettori di caratteristiche per rosso, rosa e viola nei documenti 1 e 2 verrebbero visualizzati come:²

Si noti che l'ordine delle parole nei documenti originali è irrilevante. Per un modello di tipo bag of words, tutto ciò che conta è il numero di occorrenze di ciascuna parola nell'insieme del testo.

Poiché i modelli "bag of words" quantificano solo la frequenza delle parole in un determinato documento, bag of words è spesso descritto come una semplice tecnica di modellazione. Ma il sistema bag of words è utile per molti compiti di PNL, in particolare per la classificazione dei documenti. In effetti, la letteratura spesso discute la tecnica bag of words insieme a classificatori statistici come Naïve Bayes.³

I compiti di classificazione del testo interpretano le parole ad alta frequenza in un documento come rappresentanti delle idee principali del documento stesso.⁴ Non è un'ipotesi irragionevole. Ad esempio, se alcune delle parole più frequenti in un documento sono presidente, elettori ed elezione, c'è un'elevata probabilità che il documento sia un testo politico, in particolare che parli di un'elezione presidenziale. La classificazione del testo con la bag of words estrapola poi che i documenti con contenuti simili sono simili nella tipologia.

Sebbene i classificatori probabilistici che utilizzano un approccio bag of words si dimostrino ampiamente efficaci, il modello bag of words presenta diversi svantaggi.

Correlazione di parole. La tecnica bag of words presuppone che le parole siano indipendenti l'una dall'altra in un documento o corpus. È più probabile che la parola elezione appaia in un contesto insieme a presidente piuttosto che con poeta. Nella misurazione della frequenza dei singoli termini, il sistema bag of words non tiene conto delle correlazioni nell'uso tra le parole. Poiché bag of words estrae ogni parola in un documento come caratteristica del modello bag of words, dove la frequenza dei termini è il peso di quella caratteristica, due o più parole correlate possono teoricamente indurre la multicollinearità nei classificatori statistici che utilizzano quel modello. Ciononostante, l'ipotesi semplificatrice di Naïve Bayes ha dimostrato di produrre modelli efficaci nonostante tali potenziali carenze.⁵

Parole composte. La correlazione delle parole si estende alle rappresentazioni di frasi composte, in cui due o più parole operano come un'unica unità semantica. Ad esempio, un semplice modello bag of words può rappresentare Mr. Darcy come due parole uniche e non correlate anche se funzionano in tandem. Una tale rappresentazione di un insieme di parole non riesce a riflettere la natura semantica e sintattica dei concetti multi-parola.

Parole polisemiche. Molte parole hanno significati multipli e marcatamente diversi. Ad esempio, batteria può indicare uno strumento musicale o un dispositivo per conservare e dispensare elettricità e questi significati di solito si verificano in contesti significativamente diversi. Allo stesso modo, le parole possono cambiare significato a seconda della posizione dell'accento nella lingua parlata, ad esempio AN-cora e an-CORA. Poiché la bag of words non considera il contesto e il significato quando modella le parole, raggruppa tutti questi significati distinti in un'unica parola, eludendo così informazioni potenzialmente significative sull'oggetto di un testo (e quindi una potenziale classificazione).

Scarsità. In un modello bag of words, ogni parola è una funzione, o dimensione, del modello, e ogni cosiddetto documento è un vettore. Poiché un documento non utilizza ogni parola nel vocabolario del modello generato, molti valori delle funzioni per un determinato vettore potrebbero essere pari a zero. Quando la maggior parte dei valori per i vettori è zero, il modello è sparso (se si rappresentano vettori come una matrice, questa è chiamata matrice sparsa). La scarsità del modello si traduce in un'elevata dimensionalità, che a sua volta porta all'overfitting sui dati di addestramento.⁶

Bag of n-grams. L'adozione del modello n-grams può correggere una serie di svantaggi inerenti ai modelli bag of words. Invece di creare un modello in cui ogni parola è una funzione, si possono usare gli n-grams come funzioni vettoriali. In questo contesto, n si riferisce al numero di parole trattate come un'unità semantica, forse la più comune in un bag of n-grams sono i bigrams (cioè due parole). I bigrams di parole sono utili in quanto possono tenere conto di parole composte, come New York o la Torre Eiffel. Naturalmente, non tutti i bigrams di parole sono informativi, ad esempio su un o di un. Tuttavia, questo è un mezzo per tenere conto di questioni come le parole composte e la correlazione delle parole.⁷

Tecniche di normalizzazione del testo. Potrebbe essere necessario normalizzare i dati di testo non elaborato per migliorare la struttura e la funzione dei modelli di pacchetti di parole. Quando si crea una Bag of words o una Bag di n-grams, un modello, parole come articoli (ad esempio, un, il, ecc.) e preposizioni (ad esempio, da, di, su, ecc.) possono avere il maggior numero di occorrenze. Queste parole non forniscono molte informazioni sul contenuto o sul tipo di un documento e quindi sono in gran parte inutili nelle attività di classificazione. Le tecniche di pre-elaborazione del testo come la rimozione delle stop word (spesso utilizzate nello stemming) possono aiutare a rimuovere parole irrilevanti dai set di dati di testo per contribuire a migliorare la struttura dei modelli bag of words. Fortunatamente, molte librerie e pacchetti python, come NLTK o sklearn, sono dotati di funzioni per condurre tecniche di pre-elaborazione comuni.

Hashing. L'hashing delle funzioni converte essenzialmente le singole parole dei dati testuali di input in un insieme numerico di dimensioni fisse. Questo intervallo fisso di numeri viene quindi utilizzato per costruire lo spazio vettoriale per il modello bag of words. Limitare l'intervallo di numeri, e quindi le dimensioni del modello, a una dimensione fissa aiuta a prevenire la scarsità e l'alta dimensionalità. Uno svantaggio chiave dell'hashing sono le cosiddette collisioni. Una collisione di hashing si verifica quando due token non correlati vengono mappati sullo stesso intero. Un altro svantaggio dell'hashing è che non tiene conto delle parole polisemiche.⁸

Con i modelli standard di bag of words, le parole semanticamente irrilevanti (ad esempio, il, alcuni, ecc.) possono avere la frequenza di termini più alta e quindi il peso maggiore in un modello. La TF-IDF (frequency-inverse document frequency) mira a correggere questo aspetto. Mentre il modello bag of words conta solo il numero di volte in cui una parola appare in un documento, la TF-IDF tiene conto della prevalenza della parola in tutti i documenti di un insieme di testi. La TF-IDF è rappresentata nell'equazione:

In questa equazione, il primo termine è il valore calcolato dal modello bag of words, ovvero la frequenza dei termini. Il secondo termine rappresenta la frequenza inversa dei documenti. N è uguale al numero totale di documenti nel set di testo e n è uguale al numero di documenti in cui appare una determinata parola. Quanti più documenti contengono una determinata parola, tanto più la TF-IDF riduce il peso di quella parola. In questo modo, la TF-IDF è un esempio di scalabilità delle funzioni nei modelli di machine learning.⁹

Come per i modelli generali di bag of words, i pacchetti NLP hanno spesso funzioni preesistenti per implementare la TF-IDF, come la funzione tfidfvectorizer di scikit-learn.