转换器模型的关键创新在于不必依赖循环神经网络 (RNN) 或卷积神经网络 (CNN)，因为这些神经网络方法存在重大缺陷。转换器可并行处理输入序列，因此在训练和推理方面效率极高，因为您无法通过增加 GPU 来加快处理速度。较之以前的循环神经网络架构（例如，长短期记忆 (LSTM)），转换器模型所需的训练时间更短。

RNN 和 LSTM 的历史可分别追溯到上世纪 20 年代和 90 年代。这些技术会按顺序计算输入的每个分量（即，逐字计算），因此计算用时可能很长。更为重要的是，当输入中各信息片段之间的“距离”很长时，这两种方法在保留上下文方面均存在局限性。

转换器模型具备两大创新点。例如，在预测文本的背景下审视这两项创新。

1. 位置编码：不按每个单词或字在句子中出现的顺序进行编码，而是为每个单词或字分配一个唯一编号。此方法可提供有关序列中每个标记（即，输入的组成部分，例如 NLP 中的单词或子词片段）的位置的信息，以便该模型能考虑该序列的序列信息。

2. 自注意力：注意力是一种机制，它可用于计算句子中每个单词或字的权重，因为这些单词或字与句子中的其他每个单词或字均相关，因此该模型可预测可能会依次使用的单词或字。随着时间的推移，这种理解便会随着模型通过大量数据进行训练而逐渐加深。自注意力机制允许每个单词或字同时关注序列中的其他每个单词或字，从而权衡它们对当前标记的重要性。如此一来，机器学习模型便可根据单词或字在语言中的典型使用方式的相关统计概率来“学习”语法规则。

工作时，转换器模型会通过一系列包含自注意力机制和前馈神经网络的层来处理输入数据（可能为标记序列或其他结构化数据）。转换器模型工作原理背后的核心思想可分解为几个关键步骤。

假设您需要将一个英语句子转换成法语。使用转换器模型完成此任务所需执行的步骤如下。

1. 输入嵌入：首先，将输入句子转换为名为“嵌入”的数字表示。这些表示会捕捉输入序列中标记的语义。对于单词序列或字序列，这些嵌入则可在训练过程中进行学习，同时也可从预训练的单词嵌入或字嵌入中获取。

2. 位置编码：位置编码通常会作为一组附加值或向量而引入，而这些附加值或向量会在将其馈送至转换器模型之前先添加到标记嵌入中。这些位置编码具有可对位置信息进行编码的特定模式。

3. 多头注意力：自注意力通过多个“注意力头”来工作，以便捕捉各标记之间不同类型的关系。Softmax 函数是一种激活函数，它们可用于计算自注意力机制中的注意力权重。

4. 层归一化和残差连接：该模型使用层归一化和残差连接来稳定和加快训练。

5. 前馈神经网络：自注意力层的输出会通过前馈层进行传递。这些网络会将非线性转换应用于标记表示，以便该模型能捕获数据中的复杂模式和关系。

6. 堆叠层：转换器通常由多层相互叠加而形成。每一层均会处理前一层的输出，从而逐步完善这些表示。通过堆叠多个层，该模型便可捕获数据中的分层与抽象特征。

7. 输出层：在序列到序列任务（如，神经机器翻译）中，可在编码器的基础上添加单独的解码器模块，以便生成输出序列。

8. 训练：转换器模型会通过监督学习法进行训练，从而学习如何使损失函数最小化，而该函数可量化该模型的预测与给定任务的基本事实之间的差异。训练通常涉及 Adam 或随机梯度下降 (SGD) 等优化技术。

9. 推理：训练后，该模型可用于对新数据进行推理。推理期间，输入序列会通过预训练模型进行传递，而该模型会为给定任务生成预测或表示。