什么是 PyTorch？

Python 是一种广泛用于数据科学的通用高级编程语言，使其成为数据科学家将工作扩展到深度学习网络主动建模的直观选择。Python 的简单语法易于阅读，学习时间相对较少，并且可以在任何操作系统上运行，如 Windows、macOS、Linux 或 Unix。三年多来，Python 一直是 GitHub 上第二大最常用的编程语言，并于 2019 年超过 Java。它的受欢迎程度持续增长，2022 年提升了 22.5%。¹

这种灵活性和简洁性帮助培育了一个强大的 Python 开发人员在线社区，他们在各种 Python 库和 API 上进行协作，例如用于数学运算的 Numerical Python (NumPy)、用于数据操作的 Pandas 或用于数据可视化的 matplotlib 以及教育资源。该社区还制作了大量 PyTorch 库，旨在减少机器学习编码的单调性和猜测，使开发人员和数据科学家能够专注于创新，而不是机械式任务编写。

对于任何机器学习算法，即使是用于表面上非数字信息（如声音或图像）的算法，数据也必须以数字形式表征。PyTorch 则通过张量实现数据表征，张量是该平台计算的数据的基本单位。

针对机器学习，张量是一个多维数字数组，其功能类似于数学簿记设备。在语言上，“张量”是个通用术语，包含一些更熟悉的数学实体：

• 标量是一种零维张量，包含一个数字。
• 向量是一种一维张量，包含多个相同类型的标量。元组是一种一维张量，包含不同数据类型。
• 矩阵是一种二维张量，包含多个相同类型的向量。
• 具有三个或更多维度的张量（如计算机视觉算法中用于表示 RGB 图像的三维张量）统称为 N 维张量。

PyTorch 张量的功能与 NumPy 中使用的 ndarray 类似，但与只能在中央处理单元 (CPU) 上运行的 ndarray 不同，张量也可以在图形处理单元 (GPU) 上运行。GPU 的计算速度比 CPU 快得多，考虑到深度学习常见的海量数据和并行处理，这是一个主要优势。

除了对模型的输入和输出进行编码之外，PyTorch 张量还对模型参数进行编码：在机器学习中“学习”的权重、偏差和梯度。张量的这一属性可以实现自动微分，这是 PyTorch 最重要的功能之一。

PyTorch 使用模块作为深度学习模型的构建块，可以快速、直接地构建神经网络，而无需手动编码每个算法的繁琐工作。

模块可以（而且经常）包含其他嵌套模块。除了可以创建更复杂的多层神经网络外，还可以轻松地将这些复杂的深度学习模型保存为单个命名模块，并在不同的机器、CPU 或 GPU 之间传输。PyTorch 模型甚至可以在非 Python 环境（如 C++）中使用 Torchscript 运行，有助于弥合研究原型和生产部署之间的差距。

从广义上讲，PyTorch 中用于构建和优化深度学习模型的模块主要分为三类：

• nn 模块部署为神经网络的层。torch.nn 软件包包含一个大型模块库，可以执行卷积、池化和回归等常见操作。例如，torch.nn.Linear(n,m) 调用具有 n 个输入和 m 个输出的线性回归算法（其初始输入和参数随后在后续代码行中建立）。

• autograd 模块提供一种自动计算梯度的简单方法，用于通过梯度下降优化模型参数，适用于神经网络中运行的任何函数。通过附加任何 require_grad=True 的张量，可以向 autograd 发出指示：该张量上的每个操作都应该进行跟踪，从而实现自动微分。

• Optim 模块将优化算法应用于这些梯度。Torch.optim 提供适用于各种优化方法的模块，例如随机梯度下降 (SGD) 或均方根传播 (RMSprop)，以满足特定的优化需求。

动态计算图 (DCG) 是深度学习模型在 PyTorch 中的表示方式。抽象地说，计算图映射数学系统中不同操作之间的数据流：在深度学习中，计算图实质上是将神经网络的代码转化为流程图，指示每个节点执行的操作以及网络中不同层之间的依赖关系 – 将输入数据转化为输出数据的步骤和序列安排。

动态计算图（如 PyTorch 中使用的计算图）与静态计算图（如 TensorFlow 中使用的计算图）的区别在于前者将计算的准确规范以及它们之间的关系推迟到运行时。换言之，静态计算图需要完全确定并编译整个神经网络的架构才能运行，而动态计算图可以在运行中进行迭代和修改。

因此动态计算图对于调试和原型设计特别有用，因为可以单独更改或运行模型代码的特定部分，而无需重置整个模型。对于面向复杂计算机视觉和 NLP 任务的超大型深度学习模型来说，重置模型可能会浪费时间和计算资源。这种灵活性可扩展到模型训练，因为在反向传播过程中可以轻松地反向生成动态计算图。

虽然它们的固定结构可以提高计算效率，但静态计算图的灵活性有限：例如，构建一个根据输入数据使用不同层数的模型（例如可以处理不同图像尺寸的卷积神经网络 (CNN)）对于使用静态图来说是极其困难的。

反向传播是一种广泛使用的神经网络训练方法，尤其是在监督学习中。首先，在前向传递中，模型获得输入 (x) 并预测输出 (y)；从该输出向后推算，使用损失函数测量模型在不同 x 值下的预测误差。梯度下降法通过对损失函数微分求导，可一次一层地调整神经网络中的权重。

PyTorch 的 autograd 模块使用称为链式法则的微积分公式为其自动微分技术提供支持，通过将复杂导数拆分为简单导数，稍后组合简单导数，从而计算复杂导数。Autograd 自动计算并记录计算图中执行的所有操作的梯度，大大减少反向传播工作。

当运行已训练模型时，autograd 就没有必要使用计算资源。附加任何 require_grad=False 的张量操作将指示 PyTorch 停止跟踪梯度。

使用训练深度学习模型所需的大型数据集可能非常复杂且计算要求较高。PyTorch 提供两种数据原语：数据集和数据加载器，以方便数据加载并使代码更易于阅读。

• torch.utils.data.Dataset 存储数据样本及对应标签
• torch.utils.data.Dataloader 在数据集周围包装了一个可迭代对象（可以对其进行操作的对象），以便轻松访问样本