次元削減とは？

次元削減とは、元のデータの意味のあるプロパティーを把握しながら、少ない特徴（つまり、次元）を使用して特定のデータセットを表現する手法です。¹これは、無関係な特徴や冗長な特徴、あるいは単にノイズの多いデータを取り除き、より少ない変数数のモデルを作成することです。次元削減には、前処理中に使用されるさまざまな特徴選択およびデータ圧縮方法が対象となります。次元削減の手法はオペレーションによって異なりますが、いずれも変数抽出や組み合わせによって高次元空間を低次元空間に変換します。

機械学習 では、次元（または特徴）はモデルのアウトプットを決定する予測変数です。これらは、インプット変数と呼ばれることもあります。高次元データとは、多数の予測変数を含むあらゆるデータセットを指します。このようなデータセットは、生物統計学や社会科学の観察研究に頻繁に登場し、データポイントの数（つまり、オブザベーション）は予測子変数の数を上回ります。

高次元データセットは、計算時間の延長、ビッグデータ用の増大したストレージ・スペース、など、機械学習アルゴリズムにとって多くの実用的な問題を引き起こします。一方最も大きな懸念は予測モデルの精度が低下していることでしょう。高次元のデータセットでトレーニングされた統計モデルや機械学習モデルは、一般化が不十分であることが多いのです。

次元の呪いとは、モデルの次元の増加と一般化可能性の低下との間の逆関係を指します。モデルの入力変数の数が増えると、モデルの空間が拡大します。一方で、データ・ポイントの数が変わらないとしたら、データは希薄になります。この場合、モデルの特徴量空間の大部分は空であり、つまり観測可能なデータ・ポイントがないことを意味します。データの希薄性が高まると、データ・ポイント間の違いがあまりに大きくなり、予測モデルが説明パターンを効果的に特定できなくなります。²

希薄なデータに含まれるパターンを適切に説明するために、モデルがトレーニング・データに対して過剰適合となる可能性があります。このように、次元が大きくなると、一般化可能性が低下することが考えられます。高次元性が多重共線性につながって、モデルの解釈可能性がさらに阻害される可能性があります。モデルの変数の量が増えるにつれて、一部の変数が冗長または相関関係となる可能性も高まります。

収集するデータを増やせば、データの希薄性を緩和し、それによって次元の呪いを相殺できます。モデルの次元の数が増えると、次元の呪いを防ぐために必要なデータ・ポイントの数が指数関数的に増加します。³当然ながら、十分なデータの収集が常に可能であるとは限りません。したがって、データ分析を改善するために、次元削減が必要となります。

次元削減の手法では一般に、モデルの特徴量を抽出または組み合わせて、モデルを低次元空間に縮小します。しかし、この基本的な共通点を除けば、次元削減のアルゴリズムはそれぞれ違いがあります。

主成分分析（PCA）はおそらく最も一般的な次元削減の手法です。これは特徴量抽出の一種であるため、データセットの元の特徴量を組み合わせて変換することで、主成分と呼ばれる新しい特徴量を生成します。基本的にPCAでは、モデルの元の変数セットに存在する分散の大部分またはすべてを構成する変数サブセットをモデルから選択します。PCAでは続いて、この変数サブセットで定義される新しい空間にデータを射影します。⁴

例えば、ヘビに関するデータセットに5つの変数があるとします。体長（X₁）、最大部分での体の太さ（X₂）、牙の長さ（X₃）、体重（X₄）、年齢（X₅）です。言うまでもなく、これら5つの特徴量のうち、例えば体長、太さ、体重のような特徴量は相関関係にあると考えられます。このような特徴量の冗長性から、データの希薄性や過剰適合が生じる可能性があり、こうしたデータから生成するモデルの分散（または一般化可能性）が低下することが考えられます。PCAでは、このデータの複数の変数を統合して、データ分散を最大化する新しい変数（PC₁）を算出します。またPCAでは、冗長な可能性がある変数を組み合わせて、最初のモデルよりも変数が少ないモデルも作成します。したがって、私たちのデータセットは5つの変数（つまり5次元）で始まったので、低次元化されたモデルには1～4つの変数（つまり1次元から4次元）の任意の変数を含めることができます。その後、データが新しいモデルにマッピングされます。⁵

この新しい変数は、元の5つの変数のいずれでもなく、元のデータの共分散行列の線形変換を通じて計算した合成特徴量です。具体的には、統合した主成分は、共分散行列内の最大の固有値に対応する固有ベクトルです。また、他の変数を組み合わせて追加の主成分を作成することもできます。2番目の主成分は2番目に大きい固有値の固有ベクトルで、その他も同様です。⁶

線形判別分析（LDA）は、データを新しい低次元空間に射影するという点でPCAに似ており、その空間の次元は最初のモデルから派生します。LDAはデータセットに分類ラベルを保持することに関してPCAと異なります。PCAはデータの分散を最大化するための新しい構成変数を生成するのに対し、LDAはデータのクラスの差異を最大化する構成変数を生成します。 ⁷

LDAを実装する手順はPCAと似ています。主な違いは、前者は散布行列を使用するのに対し、後者は共分散行列を使用することです。それ以外の点に関しては、LDAはPCAと同様に、データの元の特徴量のうちで、散布行列の最大の固有値に対応する特徴量の線形結合を計算します。LDAの目標の1つは、クラス間の差異を最大化しつつ、クラス内の差異を最小化することです。⁸

LDAとPCAは線形次元削減アルゴリズムです。一方、t分布型確率的近傍埋め込み（t-SNE）は、非線形次元削減（または多様体学習）の一形態です。LDAとPCAは、モデルの分散を基本的に保持することを目標とし、低次元化した表現において、異なるデータ・ポイント間の距離を維持することに重点を置いています。対照的にt-SNEは、低次元化したモデルで局所的なデータ構造を維持することを目標としています。t-SNEとLDAやPCAとの違いはほかにもあります。LDAやPCAは、生成するモデルの次元が元のデータよりも少ないという点を満たしていれば、3次元を超えるモデルを生成する場合もあります。一方t-SNEは、すべてのデータ・セットを3次元または2次元で視覚化します。

t-SNEは非線形変換の手法であり、データ行列を使用しません。代わりにt-SNEはガウス・カーネルを使用して、データ・ポイントのペアワイズ類似度を計算します。元のデータセットで距離が近いポイント同士が、離れたポイントよりも近くにある確率が上がるようにします。t-SNEは、データ・ペアを保持するように努めながら、すべてのデータ・ポイントを3次元または2次元空間にマッピングします。⁹

次元削減の手法はほかにもいくつかあります。例えばカーネルPCA、因子分析、ランダム・フォレスト、特異値分解（SVD）などです。PCA、LDA、t-SNEは特に広く利用され、論じられています。なお、scikit-learnなど、いくつかのパッケージやライブラリーには、これらの手法を実装するための関数が事前に組み込まれています。

次元削減は、データの可視化を目的としてよく使用されています。