Pythonは、データサイエンスで広く使用されている汎用の高水準プログラミング言語であり、ディープラーニング・ネットワークのモデリングを行うデータサイエンティストは、直感的に作業できます。Pythonのシンプルな構文は読みやすく、習得にそれほど時間がかからず、Windows、macOS、Linux、Unixなどのオペレーティング・システム上で実行できます。Pythonは3年以上にわたり、GitHub上で2番目に使用されているプログラミング言語であり、2019年にJavaを上回りました。その人気は高まり続けており、2022年には22.5%増加する見込みです。¹

この柔軟性とシンプルさは、Python開発者の強力なオンラインコミュニティを育むのに役立っており、数学演算用のNumerical Python（NumPy）、データ操作用のPandas 、データの可視化用のmatplotlibなど、さまざまなPythonライブラリとAPI、教育リソースで協力されています。また、このコミュニティは、機械学習のコーディングの単調さや当て推量を減らし、機械的な作業ではなく、開発者やデータサイエンティストがイノベーションに集中するための膨大なPytorchライブラリを作成しています。

機械学習アルゴリズムでは、音や画像などの表面上は数値でない情報に適用されるアルゴリズムであっても、データは数値で表現する必要があります。PyTorchでは、テンソルによってこれを実現します。テンソルは、プラットフォーム上の計算に使用されるデータの基本単位です。

機械学習の文脈では、テンソルは数学の簿記装置のように機能する、数値の多次元の配列です。言語的には、「テンソル」は、よりよく知られた数学的実体を含む、一般的な用語です。

• スカラーは、1つの数値を含む、0次元のテンソルです。
• ベクトルは、1次元のテンソルであり、同じ型の複数のスカラーを含みます。タプルは、さまざまなデータ型を含む、1次元のテンソルです。
• 行列は、2次元のテンソルであり、同じ型の複数のベクトルを含みます。
• コンピューター・ビジョン・アルゴリズムでRGB画像を表現するために使用される3次元テンソルのような、3 次元以上のテンソルは、N次元テンソルと呼ばれます。

PyTorchのテンソルは、NumPyのndarrayと同様に機能します。ただし、中央処理装置（CPU）上でのみ実行できるndarrayとは異なり、テンソルはグラフィックス処理装置（GPU）上でも実行できます。GPUでは、CPUよりも劇的に高速な計算が可能になります。これは、ディープラーニングに必要な膨大なデータと並列処理において、大きな強みになります。

PyTorchのテンソルは、モデルの入出力をエンコードするだけでなく、モデル・パラメーター、つまり機械学習で「学習」される重み、バイアス、勾配もエンコードします。テンソルのこの特性により、PyTorchの最も重要な機能の1つである自動微分が可能になります。

PyTorchは深層学習モデルの構成要素としてモジュールを使用するため、各アルゴリズムを手動でコーディングするという面倒な作業を行うことなく、ニューラル・ネットワークを迅速かつ簡単に構築できます。

モジュールには、他のネストされたモジュールを含めることができます（多くの場合、実際に含まれます）。これにより、より精巧な多層ニューラル・ネットワークの作成が可能になるだけでなく、これらの複雑な深層学習モデルを単一の名前付きモジュールとして簡単に保存し、異なるマシン、CPU、またはGPU間で転送できるようになります。PyTorchモデルは、Torchscript（ibm.com外部へのリンク）を使用して、 C++などのPython以外の環境でも実行できるため、研究プロトタイプと実稼働展開の間のギャップを埋めるのに役立ちます。

PyTorchでディープラーニング・モデルを構築および最適化するために使用されるモジュールには、大きく分けて次の3つの主要なクラスがあります。

• nnモジュールは、ニューラル・ネットワークの層として展開されます。torch.nnパッケージには、畳み込み、プーリング、回帰などの一般的な操作を実行するモジュールの大規模なライブラリが含まれています。たとえば、 torch.nn.Linear(n,m) は、n個の入力とm個の出力を持つ 線形回帰アルゴリズムを呼び出します（最初の入力とパラメーターは、後続のコード行で確立されます）。

• autogradモジュールは、ニューラル・ネットワーク内で動作する関数に対して、勾配降下法を介してモデル・パラメーターを最適化するために使用される勾配を自動的に計算する、簡単な方法を提供します。require_grad=Trueを指定してテンソルを追加すると、そのテンソルに対するすべての操作を追跡する必要があることをautogradするため、自動微分が可能になります。

• Optimモジュールは、最適化アルゴリズムをそれらの勾配に適用します。Torch.optimは、特定の最適化ニーズに合わせて、確率的勾配降下法（SGD）や二乗平均平方根伝播（RMSprop）などのさまざまな最適化手法のモジュールを提供します。

動的計算グラフ（DCG）は、深層学習モデルをPyTorchで表現する方法です。抽象的に言えば、計算グラフは、数学システム内のさまざまな操作間のデータの流れをマッピングします。深層学習の文脈では、計算グラフは基本的に、ニューラル・ネットワークのコードをフローチャートに変換し、各ノードで実行される操作と、ネットワーク内の異なる層間の依存関係（入力データを出力データに変換するステップとシーケンスの配置）を示します。

動的計算グラフ（PyTorchで使われているようなもの）が静的計算グラフ（TensorFlowで使われているようなもの）と異なる点は、DCGは計算の正確な仕様と計算間の関係を実行時まで延期することです。言い換えると、静的計算グラフを実行するには、ニューラル・ネットワーク全体のアーキテクチャーを完全に決定してコンパイルする必要があるのに対し、DCGはその場で反復および変更できます。

このため、DCGはデバッグやプロトタイピングに特に有用です。モデル全体をリセットすることなく、モデルのコードの特定の部分を変更したり、切り離して実行できるからです。高度なコンピューター・ビジョンやNLPタスクに使用される極めて大規模な深層学習モデルでは、時間と計算リソースの両方を無駄に浪費することになります。バックプロパゲーション中に動的計算グラフを逆方向に簡単に生成できるため、この柔軟性の利点はモデルのトレーニングにも及びます。

静的計算グラフは、固定構造によって計算効率を高めることができますが、柔軟性は限られています。たとえば、さまざまなサイズの画像を処理できる 畳み込みニューラルネットワーク（CNN）のように、入力データに応じて層数を変化させるモデルを構築することは、極めて困難です。

ニューラル・ネットワークのトレーニング（特に教師あり学習）に広く使用されている方法の1つは、バックプロパゲーションです。まず、順方向パスでは、モデルにいくつかの入力（x）を与えて、いくつかの出力（y）を予測します。その出力から逆算して、損失関数を使用して、さまざまなx値でのモデルの予測の誤差を測定します。その損失関数を微分して導関数を見つけることにより、勾配降下法を使用して、ニューラル・ネットワークの重みを一度に1層ずつ調整できます。

PyTorchのautogradモジュールは、微分の連鎖律を使用した自動微分技術を強化し、より単純な導関数に分割し、後で結合することで複雑な導関数を計算します。Autogradは、計算グラフで実行されるすべての操作の勾配を自動的に計算して記録し、バックプロパゲーションの作業を大幅に軽減します。

すでにトレーニング済みのモデルを実行する場合、autogradは計算リソースを不必要に使用することになります。require_grad=Falseを指定してテンソル演算を追加すると、勾配の追跡を停止するように、PyTorchに通知されます。

深層学習モデルのトレーニングに必要な膨大なデータセットの操作は、複雑で計算量が多くなる場合があります。PyTorchは、データの読み込みを容易にし、コードを読みやすくするために、データセットとデータローダーという2つのデータ・プリミティブを提供します。

• torch.utils.data.Dataset には、データ・サンプルとそれに対応するラベルが格納されます。
• torch.utils.data.Dataloaderは、サンプルへの容易なアクセスを可能にするために、データセットの周囲に反復可能なオブジェクト（操作可能なオブジェクト）をラップします。