Transformer 解码器

Transformer 解码器同样由多个相同的层堆叠而成，但每层包含三个子层：掩码多头自注意力、编码器-解码器交叉注意力、前馈网络。每个子层周围都有残差连接和层归一化。

解码器层结构

解码器的自注意力子层与编码器类似，但引入了掩码机制。序列到序列模型在训练时以自回归方式生成，在解码器生成第 $t$ 个 token 时，只能看到之前已经生成的 $t - 1$ 个 token，不能看到未来的 token。

掩码的实现方式是在计算注意力分数后，将所有未来位置的分数设置为 $- \infty$ 或一个非常大的负数，使得 Softmax 后这些位置的权重趋近于零。这样，每个位置只能关注其之前（包括自身）的位置。

After masking (set future to $- \infty$ ), the softmax output for future positions becomes zero, ensuring causal generation.

交叉注意力子层将解码器当前层的表示作为查询 $Q$ ，将编码器的输出序列作为键 $K$ 和值 $V$ 。这样，解码器在生成每个 token 时可以动态地从编码器输出中选择最相关的信息，这也是注意力机制最初在 Seq2Seq 模型中发挥作用的方式。

该子层的计算方式与自注意力一致，唯一区别是 $K$ 和 $V$ 来自编码器而非解码器自身：

CrossAttention (Q_{dec}, K_{enc}, V_{enc}) = softmax (\frac{Q _{dec} K _{enc}^{T}}{d _{k}}) V_{enc}

与编码器相同，每个位置独立通过一个两层的全连接前馈网络，后接残差连接和层归一化。