PyTorch中Transformer 模型介绍
在 PyTorch 中，Transformer 模型是基于 Vaswani 等人提出的经典论文 "Attention is All You Need" 实现的，它广泛应用于自然语言处理（NLP）和计算机视觉（CV）等任务。Transformer 模型的核心是自注意力机制和完全并行的计算结构，与传统的 RNN（循环神经网络）和 CNN（卷积神经网络）相比，它具有处理长距离依赖关系和高效训练的优势。
1. Transformer 模型的组成部分
一个标准的 Transformer 模型由以下几部分组成：
1.1 编码器（Encoder）
编码器是由多个相同的 TransformerEncoderLayer 堆叠而成的，它将输入序列编码为隐藏状态。
- 每个编码器层包含两个子层：
- 多头自注意力机制（Multi-head Self-Attention）：允许序列中的每个元素关注其他元素，从而捕获全局依赖关系。
- 前馈神经网络（Feed-forward network, FFN）：对每个序列位置的特征进行非线性变换。
1.2 解码器（Decoder）
解码器与编码器类似，但解码器会额外处理生成序列的自回归问题。它也是由多个 TransformerDecoderLayer