Bag-of-Wordsとは

Bag-of-Words（BoW）は、情報検索アルゴリズムおよび機械学習アルゴリズムで処理するためにテキスト・データをモデル化する特徴量抽出手法です。より具体的には、BoWモデルは、語順や文脈を無視して頻度のみに基づいて定義されたテキスト文書内のすべての既知の単語が含まれた、非構造化データの集合です。¹ 「Bag-of-Words」は、多くのテキスト・マイニングのパイプラインに組み込まれるステップの1つです。

ほとんどの自然言語処理（NLP）パッケージには、scikit-learnの CountVectorizer関数など、Bag-of-Wordsモデルを作成するための関数が搭載されています。

Bag-of-Wordsを使用した特徴量の作成・抽出は、特定のテキスト・セット全体で単語をカウントするという、表面的には単純に思われる概念のため、初心者レベルのテキスト処理の形式と見なされることがあります。しかし、Bag-of-Wordsモデルはそれほど単純なものではありません。

Bag-of-Wordsの特徴量作成を理解するには、ベクトル空間について少なくとも初級レベルで理解している必要があります。ベクトル空間とは、点がプロットされた多次元空間です。Bag-of-Wordsのアプローチでは、個々の単語がベクトル空間の個別の次元（または軸）になります。つまりテキスト・セットにn個の単語が含まれる場合、得られるベクトル空間はn次元（テキスト・セット内の一意の単語ごとに1つの次元）となります。モデルは次に各テキスト文書をベクトル空間に点としてプロットします。特定の次元のどこに点をプロットするかは、その次元に対応する単語が、点に対応する文書内に出現する回数によって決まります。

例えば、次のようなコンテンツをそれぞれ含む、2つのテキスト・セットがあるとします。

文書1：「バラは赤く、スミレは青い」

文書2：「私の愛は、赤い赤いバラ」

3次元以上の空間を想像するのは難しいため、ここでは3次元に限定します。これら2つの文書を含むコーパスのベクトル空間は、「赤」、「バラ」、「スミレ」という個別の次元を持つことになり、これらの単語の3次元ベクトル空間は次のようになります。

文書1では、「赤」、「バラ」、「スミレ」はすべて1回出現するため、この空間における文書1のベクトルは (1,1,1) になります。文書2では、「赤」は2回、「バラ」は1回出現し、「スミレ」は全く現れません。したがって、文書2のベクトルの点は (2,1,0) です。これらの文書（点）は両方とも、次のように3次元ベクトル空間にマッピングされます。

この図では、テキスト文書を3次元の特徴量空間内でデータのベクトルとして視覚化しています。しかし、Bag-of-Wordsでは、単語をデータ空間内で特徴量のベクトルとして表すこともできます。特徴量ベクトルは、特定のデータ・ポイント（文書）内の特定の特徴（単語）の値（出現数）を意味します。したがって、文書1と2の「赤」、「バラ」、「スミレ」の特徴量ベクトルは次のようになります。²

元の文書での単語の順序は無関係であることに注意してください。Bag-of-Wordsモデルの場合、重要なのはテキスト・セット全体での各単語の出現数です。

Bag-of-Wordsモデルは特定の文書内の単語の出現頻度を定量化するだけなので、Bag-of-Wordsは単純なモデリング手法として説明されることがよくあります。しかし、Bag-of-Wordsは多くのNLPタスク、特に文書の分類に役立ちます。実際、文献ではしばしば、ナイーブ・ベイズのような統計的分類器と並んでBag-of-Wordsについて語られます。³

テキスト分類タスクは、文書内に高頻度で出現する単語をその文書の主要な概念を表すものとして解釈します。⁴これは不当な仮定ではありません。例えば、文書内で最もよく使用される単語として、「大統領」、「有権者」、「選挙」が含まれる場合、その文書は政治に関するものであり、特に大統領選挙を話題にしている可能性が高くなります。Bag-of-Wordsによるテキスト分類の後に、コンテンツの類似した文書は、タイプが類似していると推定されます。

Bag-of-Wordsアプローチを使用した確率的分類器は概ね効果的であることが証明されていますが、Bag-of-Wordsにはデメリットもあります。

単語の相関関係。Bag-of-Wordsでは、文書またはコーパス内で単語が互いに独立していると仮定します。「選挙」は、「大統領」と共通の文脈で現れる可能性が高く、「詩人」では低くなります。しかし個々の単語の出現頻度を測定する際、Bag-of-Wordsでは単語間での使用の相関関係は考慮しません。Bag-of-Wordsでは、文書内の各単語をBag-of-Wordsモデルの特徴量として抽出し、単語の出現頻度がその特徴量の重みとなるため、相関関係にある単語が2つ以上ある場合、理論的には、このモデルを使用する統計的分類器で多重共線性を起こす可能性があります。そのようなデメリットが潜在的に存在するにもかかわらず、ナイーブ・ベイズの単純化仮定が堅牢なモデルを生成することが示されています。⁵

複合語。単語の相関関係は、Bag-of-Wordsでは、2つ以上の単語が1つの意味単位として機能する複合語句の表象にまで及びます。例えば、単純なBag-of-Wordsモデルでは、Mr. Darcyは一意で関連性のない2つの単語として表されます。このような場合、Bag-of-Wordsでの単語の表象には、複合語の概念の意味的および構文的な性質を反映できません。

多義語。1つの単語が著しく異なる複数の意味を持っていることがよくあります。例えば、batはスポーツの道具（バット）を意味することもあれば動物（コウモリ）を意味することもあり、通常、これらの意味は大きく異なる文脈で発生します。同様に、話し言葉では、アクセントの位置によって意味が変化する場合があります（CON-tentとcon-TENTなど）。Bag-of-Wordsでは、単語をモデル化する際に文脈や意味を考慮しないため、1つの単語の下にこれらの異なる意味をすべて集約し、テキストの主題に関する潜在的に重要な情報を省略します。したがって、潜在的な分類が省略されます。

スパース性。Bag-of-Wordsモデルでは、各単語はモデルの特徴量（次元）であり、それぞれの文書はベクトルです。文書では、生成されたモデルの語彙内のすべての単語が使用されるわけではないため、特定のベクトルの特徴の値がゼロになる場合が多くあります。ベクトルの値の大部分がゼロである場合、そのモデルはスパースです（ベクトルを行列として表す場合は、スパース行列と呼ばれます）。モデルのスパース性は高次元性をもたらし、トレーニング・データの過学習につながります。⁶

Bag-of-n-Grams。単語の代わりにn-gramsを採用することで、Bag-of-Wordsモデルに固有の多くのデメリットを修正できます。各単語が特徴量であるモデルを作成するのではなく、n-gramsをベクトル特徴量として使用できます。この場合、nは1つの意味単位として扱われる単語の数を意味します。Bag-of-n-Gramsの中で最も一般的なものは、おそらくbigram（バイグラム、2つの単語）でしょう。バイグラムは、New YorkやEiffel Towerなどの複合語に対応できる点で便利です。もちろん、すべてのバイグラムが情報を提供できるわけではありません（例：on the、of the）。それでも、バイグラムは複合語や単語の相関関係などの問題に対応できる1つの手段です。⁷

テキストの正規化手法。Bag-of-Wordsモデルの構造と機能を改善するために、生のテキスト・データを正規化する必要がある場合があります。Bag-of-WordsまたはBag-of-n-Gramsのモデルを作成する場合、冠詞（a、theなど）や前置詞（from、of、onなど）のような単語は、出現頻度が非常に高くなります。これらの単語は文書のコンテンツやタイプに関する情報をそれほど提供しないため、分類作業ではほとんど役に立ちません。ストップワードの削除（ステミングでよく使われる）などのテキストの前処理手法は、テキストのデータ・セットから無関係な単語を削除し、Bag-of-Wordsモデルの構造を改善するのに役立ちます。幸いなことに、NLTKやsklearnなどの多くのPythonライブラリーやパッケージには、一般的な前処理手法を実行する関数が含まれています。

ハッシュ化。特徴量のハッシュ化では、基本的に、入力テキスト・データの個々の単語を固定長サイズの数値セットに変換します。この固定された数値範囲は、Bag-of-Wordsモデルのベクトル空間を構築するために使用されます。数値の範囲、つまりモデルの次元を固定サイズに制限することにより、スパース化や高次元化を防ぐことができます。ハッシュ化の主なデメリットは、いわゆるコリジョン（衝突）です。ハッシュ衝突は、無関係な2つのトークンが同じ整数値にマッピングされると発生します。ハッシュのもう1つのデメリットは、多義語を考慮しないことです。⁸

標準的なBag-of-Wordsモデルでは、意味的に無関係な単語（the、someなど）の出現頻度が最も高いことがあり、したがってモデル内で最大の重みが加えられていることがあります。単語の出現頻度と逆文書頻度を掛け合わせたTF-IDFは、これを修正することを目的としています。Bag-of-Wordsでは、1つの文書に単語が出現する回数だけをカウントしますが、TF-IDFではテキスト・セット内のすべての文書での単語の使用度合いを考慮します。TF-IDFは次の数式で表されます。

この数式で、最初の項はBag-of-Wordsモデルによって計算された値、つまり単語の出現頻度です。2番目の項は、逆文書頻度を表します。Nはテキスト・セット内の文書の総数に相当し、nは特定の単語が出現する文書の数に相当します。特定の単語が出現する文書の数が多いほど、TF-IDF値が大きくなり、その単語の重みが下がります。このように、TF-IDFは機械学習モデルにおける特徴量スケーリングの一例です。⁹

一般的なBag-of-Wordsモデルと同様に、NLPパッケージには、scikit-learnのtfidfvectorizer関数など、TF-IDFを実装するための既存の関数が含まれていることがよくあります。

さまざまなNLPタスクで、Bag-of-Wordsモデルの各種バリエーションが使用されています。例えば、ニューラル・ネットワークであるword2vecは、連続的なBag-of-Wordsを使用して単語埋め込みモデルを生成します。¹⁰ センチメント分析と分類でもBag-of-Wordsモデルを利用できます。¹¹