最も重要なのは、「重み」と「バイアス」の目的とコンテキストを理解することです。これらは、バックプロパゲーションと勾配降下法によって最適化される調整可能なモデル・パラメーターです。

ニューラル・ネットワークは、人間の脳の構造を大まかに模倣することを目的としています。それらは、層状に配置された多数の相互接続されたノード（またはニューロン）で構成されています。ニューラル・ネットワークは、元の入力データがネットワーク全体を「フォワード・パス」するという予測を行います。

「入力層」のニューロンは、通常、ベクトル埋め込みとして入力データを受け取り、各入力ニューロンは入力ベクトルの個々の特徴を受け取ります。例えば、10 x 10ピクセルのグレースケール画像で動作するモデルでは、通常、入力層に100個のニューロンがあり、各入力ニューロンは個々のピクセルに対応します。したがって、ニューラル・ネットワークでは通常、固定サイズの入力が必要ですが、プーリングや正規化などの手法によってある程度の柔軟性が得られます。

標準的なフィードフォワード・ニューラル・ネットワークでは、入力層の各ニューロンは次の層の各ニューロンに接続され、それらのニューロン自体も次の層のニューロンに接続され、最終的な予測が行われる 出力層までこれが続きます。入力層と出力層の間にある中間層はネットワークの隠し層と呼ばれ、ここでほとんどの「学習」が行われます。

専門家の混合モデルや畳み込みニューラル・ネットワークなどの一部の特殊なニューラル・ネットワーク・アーキテクチャでは、この単純な配置にバリエーション、追加、または例外が伴いますが、すべてのニューラル・ネットワークはこのコア構造を採用しています。

各ニューロンは前の層の各ノードから入力を受け取りますが、それらの入力すべてに同じ重要性が与えられるわけではありません。2つのニューロン間の各接続には、固有の「重み」が与えられます。これは、あるニューロンが次の層のニューロンに与える寄与を増減させる乗数です。

個々のニューロンには「バイアス」が与えられる場合もあります。これは、前の層のニューロンからの重み付けされた入力の合計に加算される定数値です。

バックプロパゲーションと勾配降下法の最終的な目標は、最良のモデル予測を生み出す重みとバイアスを計算することです。正確な予測と有意に相関するデータ特徴に対応するニューロンには、より大きな重みが与えられ、他の接続にはゼロに近い重みが与えられる場合があります。

現代のディープ・ニューラル・ネットワークは、多くの場合、多数のニューロンを含む数十の隠し層を備えており、数千、数百万、またはほとんどの大規模言語モデル（LLM）の場合は数十億の調整可能なパラメーターで構成されることがあります。

各ニューロンは、前の層のノードから受信したさまざまな重み付けの入力の合計に対して、「活性化関数」と呼ばれる数学演算を実行するように構成されています。活性化関数は「非線形性」を導入し、モデルが入力データ内の複雑なパターンを捉え、最適化可能な勾配を生み出すことを可能にします。線形活性化関数のみを使用すると、ニューラル・ネットワークは基本的に線形回帰モデルに縮小されます。

ニューラル・ネットワークの一般的な活性化関数には次のものがあります。

• 任意の入力を0から1の間の値にマッピングするシグモイド関数。
• 双曲正接（またはtanh）関数は、入力を-1から1の間の値にマッピングします。
• 正規化線形ユニット（またはReLU）は、負の入力を0にマッピングし、正の入力は変更しません。
• softmax関数は、入力のベクトルを、要素の範囲が0から1で合計が1になるベクトルに変換します。

入力層に3つの入力ノードa、b、cを持つニューラル・ネットワークの2番目の層に、tanh活性化関数とバイアス項tを持つ仮想の隠れユニットzがあるとします。入力ノードとノードz間の各接続には、一意の重みwがあります。ノードzが次の層のニューロンに渡す出力値は、簡略化された式z = tanh（w_az*a + w_bz*b + w_cz*c + t）で表すことができます。

ニューロンzは次の層のニューロンに接続されます。したがって、zの方程式は次の層の活性化関数の一部となり、さらに、後続の層のニューロンのすべての活性化関数の一部にもなります。

大まかに言えば、バックプロパゲーションの目的は、教師あり学習を通じてニューラル・ネットワークをトレーニングし、より優れた予測を行うことです。より根本的には、バックプロパゲーションの目的は、「損失関数」によって測定されるエラーを最小限に抑えるために、モデルの重みとバイアスをどのように調整するかを決定することです。

技術的、数学的なレベルでは、バックプロパゲーションの目的は、ニューラル・ネットワークの個々のパラメーターのそれぞれに関して損失関数の勾配を計算することです。技術的、数学的なレベルでは、バックプロパゲーションの目的は、ニューラル・ネットワークの個々のパラメーターのそれぞれに関して損失関数の勾配を計算することです。

一般的に、バックプロパゲーションを使用してニューラル・ネットワークをトレーニングするには、次の手順に従います。

• フォワード・パスは・トレーニング用データで予測を行います。
• 損失関数は、そのフォワード・パス中のモデルの予測の誤差を測定します。
• 誤差のバックプロパゲーション、つまりバックワード・パスを使用して、損失関数の偏導関数を計算します。
• 勾配降下法を使用してモデルの重みを更新します。

ニューラル・ネットワークは、順方向伝播を意味するフォワード・プロパゲーションを通じて予測を出力します。順方向伝播は、本質的には長い一連のネストされた方程式であり、あるニューロン層からの活性化関数の出力が、次の層のニューロンの活性化関数への入力として機能します。

モデルのトレーニングは通常、重みとバイアスのランダムな初期化から始まります。モデルのハイパーパラメータ（隠し層の数、各層のノード数、特定のニューロンの活性化関数など）は手動で設定され、トレーニングの対象にはなりません。

各フォワード・パスでは、トレーニング用データ・セットから入力がサンプリングされます。入力層のノードは入力ベクトルを受け取り、それぞれがランダムな初期重みを乗算した値を最初の隠し層のノードに渡します。隠れユニットは、これらの出力値の加重合計を活性化関数への入力として受け取り、その出力値（ランダムな初期重みによって条件付けられる）が次の層のニューロンへの入力として機能します。これは最終的な予測が行われる出力層まで続きます。

入力を5つのカテゴリーのいずれかに分類するニューラル・ネットワークの簡略化されたサンプルを考えてみましょう。

• 入力層は、トレーニング用データから抽出されたサンプルの数値表現を受け取ります。
• 入力ノードは、その値を次の層の隠しユニットに渡します。隠れユニットはReLU活性化関数を使用します。
• データは隠し層を通過し、各層で主要な特徴が徐々に抽出され、出力層に到達します。
• 出力層には5つのニューロンが含まれており、それぞれが潜在的な分類カテゴリーに対応しています。
• 出力ニューロンはsoftmax活性化関数を使用します。各出力ニューロンのsoftmax関数の出力値は、入力がニューロンが表すカテゴリーとして分類される確率（最大1）に対応します。
• ネットワークは、元の入力が、最も高いsoftmax値を持つ出力ニューロンのカテゴリーに属すると予測します。

十分にトレーニングされたネットワークでは、このモデルは、正しい分類に対して一貫して高い確率値を出力し、その他の誤った分類に対しては低い確率値を出力します。ただし、このニューラル・ネットワークはまだトレーニングされていません。この時点では、重みとバイアスの初期値はランダムなので、予測は一般的に不正確です。

各フォワード・パスの後、「損失関数」は、特定の入力に対するモデルの予測出力と、その入力に対する正しい予測（または「グラウンド・トゥルース」）との差（または「損失」）を測定します。言い換えれば、モデルの実際の出力が望ましい出力とどの程度異なるかを測定します。

ラベル付きデータを使用する教師あり学習では、グラウンド・トゥルースは手動の注釈によって提供されます。ラベル付けされていないデータ・サンプルの一部をマスクまたは変換し、モデルにそれらを再構築させる自己教師あり学習では、元のサンプル自体がグラウンド・トゥルースとして機能します。

この損失関数の目的は、各入力に対するモデルの出力の誤差の性質と大きさの両方を適切に反映する方法で不正確さを定量化することです。損失に関するさまざまな数式は、特定のタスクに最適です。例えば、平均二乗誤差のバリアントは回帰問題に適しており、クロスエントロピー損失のバリアントは分類に適しています。

損失関数はニューラル・ネットワークの出力を入力として受け取り、そのニューラル・ネットワークの出力は個々のニューロンの多数のネストされた活性化関数を含む複合関数であるため、損失関数を微分するにはネットワーク全体を微分する必要があります。これを行うには、バックプロパゲーションで連鎖律を使用します。

「損失関数」「コスト関数」または「誤差関数」
いくつかの文脈では、損失関数の代わりにコスト関数または誤差関数という用語が使用され、「損失」の代わりに「コスト」または「誤差」が使用されることに注意してください。

機械学習の文献の中には、それぞれの用語に独自のニュアンスを割り当てているものもありますが、一般的には互換性があります。¹目的関数は、最小化または最大化したい評価関数を表す広義の用語です。損失関数、コスト関数、またはエラー関数は、最小化したい項を具体的に示します。

最終層から始めて、「バックワード・パス」によって損失関数を微分し、ネットワークの個々のパラメーターが単一の入力の全体的なエラーにどのように寄与するかを計算します。

先ほどの分類器モデルの例に戻ると、最終層の5つのニューロンから始めます。これをL層と呼びます。各出力ニューロンのソフトマックス値は、入力がそのカテゴリーに属する可能性（最大1）を表します。完璧にトレーニングされたモデルでは、正しい分類を表すニューロンの出力値は1に近くなり、他のニューロンの出力値は0に近くなります。

ここでは、正しい予測を表す出力ユニットに焦点を当てます。これをL_cと呼びます。L_cの活性化関数は、入力層から出力層までのニューラル・ネットワーク全体の多数のネストされた活性化関数を含む複合関数です。損失関数を最小化するには、ネットワーク全体で調整を行い、L_c の活性化関数の出力を1に近づける必要があります。

そのためには、前のレイヤーの変更が L_c 自身の出力をどのように変更するかを知る必要があります。言い換えれば、L_cの活性化関数の偏微分を見つける必要があります。

L_cの活性化関数の出力は、最後から2番目の層（ここでは層L-1と呼びます）のニューロンから受け取る寄与によって決まります。L_cの出力を変更する1つの方法は、L-1とL_cのニューロン間の重みを変更することです。各L-1重みを他の重みに対して偏微分計算することで、重みのいずれかを増加または減少させると、L_cの出力が 1 に近づく（または遠ざかる）ことがわかります。

しかし、これはL_cの出力を変更する唯一の方法ではありません。L_cが L-1 ニューロンから受け取る寄与は、L-1の出力値に適用される重みだけでなく、実際の（重み付け前の）出力値自体によっても決まります。L-1ニューロンの出力値は、L-2から受信する入力に適用された重みによって影響を受けます。したがって、L-1の活性化関数を微分して、L-2の寄与に適用される重みの偏導関数を見つけることができます。これらの偏導関数は、L-2の重みへの変更がL-1の出力にどのように影響し、それがその後L_cの出力値に影響し、それによって損失関数にどのように影響するかを示しています。

同じ論理で、L-2ニューロンがL-3ニューロンから受け取る寄与を調整することで、L-1ニューロンがL-2ニューロンから受け取る出力値に影響を与えることもできます。そこで、L-3の偏微分を求め、これを入力層に到達するまで再帰的にこのプロセスを繰り返します。完了すると、損失関数の勾配が得られます。これは、ネットワーク内の各重みとバイアス・パラメーターの偏導関数のベクトルです。

これで、単一のトレーニング用サンプルに対するフォワード・パスとバックワード・パスが完了しました。しかし、私たちの目標は、新しい入力に対して適切に一般化できるようにモデルをトレーニングすることです。そのためには、トレーニング後にモデルが予測を行うことになる入力の多様性と範囲を反映した、多数のサンプルでトレーニングを行う必要があります。

ネットワーク内の各重みとバイアス・パラメーターに関する損失関数の勾配が得られたので、勾配降下法を使用してモデル・パラメーターを更新することで、損失関数を最小化し、モデルを最適化できます。

損失関数の勾配が下がっていくと（降順）、損失は減少します。バックプロパゲーション中に計算した勾配には、すべてのモデル・パラメーターの偏導関数が含まれているため、損失を減らすために各パラメーターをどの方向に「ステップさせる」べきかがわかります。

各ステップは、トレーニング用データからのモデルの「学習」を反映します。私たちの目標は、最小勾配に達するまで重みを繰り返し更新することです。勾配降下アルゴリズムの目的は、勾配を最も効率的に下る特定のパラメーター調整を見つけることです。

学習率
各ステップのサイズは、学習率と呼ばれる調整可能なハイパーパラメーターです。効率的かつ効果的なトレーニングには、適切な学習率を選択することが重要です。

ニューラル・ネットワークの活性化関数は非線形であったことを思い出してください。一部の勾配は、ほぼU字型になることがあります。つまり、ある方向に進むと勾配は下に移動しますが、その方向に進むと最終的に勾配は上に移動します。

学習率が低いと、常に正しい方向に進むことが保証されますが、多くの変更を計算するには時間がかかり、計算コストも高くなります。学習率が高いと計算効率は高くなりますが、最小値を超えてしまうリスクがあります。

バッチ・サイズ
勾配降下法におけるもう1つの考慮事項は、重みを更新する頻度です。1 つのオプションは、トレーニング用データ・セット内のすべての例の勾配を計算し、それらの勾配の平均を取得して、それを使用してパラメーターを更新することです。このプロセスは、エラー率が安定するまで、一連のトレーニング・エポックで繰り返し実行されます。この方法はバッチ勾配降下法です。

トレーニング用データ・セットが非常に大きい場合（ディープラーニングでは通常そうなります）、バッチ勾配降下法では処理時間が非常に長くなります。重み更新の反復ごとに数百万のサンプルの勾配を計算するのは非効率的になります。確率的勾配降下法（SGD）では、各エポックで各ステップに1つのトレーニング用サンプルが使用されます。損失はエポックごとに変動する可能性がありますが、多くの更新を通じてすぐに最小値に収束します。

ミニバッチ勾配降下法は中間的なアプローチを表します。トレーニング用サンプルは固定サイズのバッチでランダムにサンプリングされ、その勾配が計算されて平均化されます。これにより、バッチ勾配降下法のメモリー・ストレージ要件が緩和されると同時に、SGDの相対的な不安定性も軽減されます。