Transformer架构

Transformer是由Vaswani等人于2017年提出的深度学习架构，完全基于注意力机制，摒弃了传统的循环或卷积结构。它已成为自然语言处理领域的主流架构，并广泛扩展到计算机视觉、语音处理等多个领域。

整体结构

Transformer遵循编码器-解码器（Encoder-Decoder）结构。编码器将输入序列映射为连续的表示，解码器则基于该表示生成输出序列。

编码器由 $N$ 个相同的层堆叠而成，每个层包含两个子层：

每个子层都使用了残差连接和层归一化：

Output = LayerNorm (x + Sublayer (x))

解码器同样由 $N$ 个相同的层堆叠而成，每个层包含三个子层：

注意力机制本身不具备序列顺序感知能力，因为自注意力计算是对集合中所有元素同时进行的。为了引入位置信息，Transformer在输入嵌入中加入位置编码（Positional Encoding）：

P E_{(p os, 2 i)} = sin (\frac{p os}{1000 0 ^{2 i / d_{model}}})

P E_{(p os, 2 i + 1)} = cos (\frac{p os}{1000 0 ^{2 i / d_{model}}})

其中 $p os$ 是位置索引， $i$ 是维度索引。这种正余弦编码方式能够使模型轻松学习到相对位置关系。

Transformer架构奠定了BERT、GPT等预训练语言模型的基础，推动了大语言模型（LLM）研究的快速发展。