跳到主要内容

Transformer架构

现在我们把上一章说的"下一个词预测器"打开看看。它内部长什么样?为什么是 Transformer,而不是别的?

1. 我们要造一个什么样的东西​

要预测下一个词,模型至少得干这么几件事:

  1. 把每个 token 变成一个能表达"意义"的向量;
  2. 让每个位置的向量都能"看到"前面出现过的所有 token;
  3. 在这些信息基础上算出一个"下一个词是谁"的概率分布。

第 1 步就是 embedding,把 token id 查表变成一个 d 维向量。这个没什么好说的,是个查表操作。

第 3 步也简单:拿最后一个位置的向量,乘一个 d × V 的矩阵(V 是词表大小),过 softmax,得到 V 个概率。

难的是第 2 步——让当前位置"看到"前面。这一步的实现方式决定了整个模型是 RNN 还是 CNN 还是 Transformer。

2. 为什么不是 RNN​

RNN 的做法是"一个一个走"。每来一个词,把它和之前的隐藏状态揉一下,得到新的隐藏状态。这个隐藏状态就是"到目前为止所有历史信息的压缩"。

问题在哪?

第一,训练没法并行。第 t 步要用到 t-1 步的隐藏状态,你必须按顺序算,一张 8 卡机器和一张单卡机器算得一样慢。

第二,长距离信息会衰减。你想让第 500 个词感受到第 1 个词的影响,那份信号得穿过 499 次矩阵乘法,早就被稀释光了。LSTM 用门控机制缓解了这个问题,但没根治。

Transformer 一上来就换了个思路:不做递推,让每个位置直接看所有位置。

3. 注意力:让每个位置直接看所有位置​

上一章我们已经讲过注意力的基本形式。这里再快速过一下核心公式:

Attention(Q,K,V)=softmax(QK⊤dk)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V

如果你的序列长度是 n,那 Q、K、V 都是 n × d 的矩阵。QK^T 得到一个 n × n 的矩阵——第 i 行第 j 列表示"位置 i 对位置 j 的关注度"。softmax 之后每行归一化成概率。再乘 V,得到 n 个新的位置向量,每个都是"从所有位置加权平均"来的。

关键性质:无论两个位置离得多远,它们之间的路径长度都是 1。不像 RNN 要走 n 步。所以长距离依赖天然就有。而且这个矩阵乘法在 GPU 上并行得非常爽。

代价是 n × n 这个矩阵——注意力的显存和计算都是 O(n²) 的。这是后面所有"长上下文优化"要对付的敌人。

4. 但注意力少了两样东西​

如果我们只用注意力,会发现两个问题。

第一,注意力对顺序不敏感。你把输入的词打乱顺序,输出会一模一样——因为注意力只是"每个位置去看别的位置",不区分左右。"猫追狗"和"狗追猫"在纯注意力眼里完全一样。所以我们必须显式地告诉模型每个 token 在第几个位置——这就是位置编码(Positional Encoding)。早期用正余弦函数,现在主流是 RoPE(旋转位置编码),后面单独讲。

第二,注意力是线性的。QKV 都是线性变换,softmax 也差不多。堆再多注意力层,本质还是在做线性组合。所以我们要在注意力后面接一个 FFN(前馈网络)——两层 MLP,中间加一个非线性激活。它的作用就是给模型一点"非线性表达能力"。

5. 一个 Transformer Block 长什么样​

把注意力、FFN、归一化拼起来,就是一个 Transformer block。现代 LLM 里长这样:

x_in
│
├──► LayerNorm ──► Multi-Head Attention ──►(+) ── x_mid
│ ▲
└────────────────────────────────────────────┘

x_mid
│
├──► LayerNorm ──► FFN ──►(+) ── x_out
│ ▲
└──────────────────────────┘

两个子层:注意力 + FFN。每个子层都套上残差连接(residual)和归一化(LayerNorm / RMSNorm)。

残差连接是必需的。没有它,深层 Transformer 训练不起来——梯度会消失。有了它,梯度可以顺着"直连"这条路穿过很多层,训练非常稳。

归一化位置有个小争议。原始 Transformer 是 Post-LN(残差 + 归一化):x + Sublayer(x) 之后再 LayerNorm。现代 LLM 全都换成了 Pre-LN(先归一化再残差):x + Sublayer(LayerNorm(x))。原因是 Pre-LN 训练更稳,不需要 warmup 或者非常小的学习率。这已经是标准做法。

6. Decoder-Only:现代 LLM 的架构​

原始 Transformer 是 Encoder-Decoder 结构,用来做翻译——encoder 读源句子,decoder 生成目标句子。BERT 只用 encoder,GPT 只用 decoder。今天所有主流 LLM(GPT、LLaMA、Qwen、DeepSeek)都是 Decoder-Only。

为什么是 Decoder-Only 赢了?

因为它把所有任务都统一成了"下一个词预测"。翻译?让它接着写"翻译成英文是:...";分类?让它接着写"这个句子的情感是:...";写代码?让它接着写"```python\n..."。一个目标就能覆盖所有任务,训练极其简洁。

Encoder-Decoder 要为每个下游任务设计输入输出的格式;Decoder-Only 只有一个格式——一维序列。它把接口做得极其简单。

7. 因果掩码:预测下一个词的关键约束​

Decoder-Only 有一个非常关键的细节:注意力必须加因果掩码(causal mask)。

想一下:我们要训练模型预测下一个词。给定序列 [A, B, C, D],训练目标是——用 A 预测 B、用 A B 预测 C、用 A B C 预测 D。

如果注意力允许位置 B 看到位置 C、D,那模型在预测 C 的时候就作弊了:它直接把 C 抄过来就完事了,学不到任何东西。

所以我们强制让每个位置只能看到自己和自己前面的位置。做法是给 QK^T 那个 n × n 矩阵加一个上三角掩码,把右上部分全部置成 -inf,softmax 之后就是 0。

这个约束一加,训练时就可以一次前向同时算出所有位置的预测——每个位置都是"用自己往前的部分预测下一个词",一次训练一个 batch 能得到 n 个预测目标,非常高效。

8. 多头注意力:从多个角度看​

注意力我们讲过了,但实际用的是多头注意力(Multi-Head Attention)。做法是把 d 维的表示切成 h 份(比如 h=8,每份 d/8 维),每份独立做一次注意力,最后再拼回来。

为什么要这样?一个 d 维的 QK 只能算出一种"相关性"。切成多头之后,不同的头可以关注不同的东西——一个头看语法、一个头看指代、一个头看长距离依赖……最后再合并起来。

这个"多角度并行看"的思想很有效。多头注意力的计算量和单头基本一样(同样的 d 维参数量),但表达能力强很多。

后面还有几个变种:

  • MQA(Multi-Query Attention):所有头共享同一份 K、V。省显存,但精度稍降。
  • GQA(Grouped-Query Attention):折中方案,把 h 个头分成 g 组,每组共享 K、V。LLaMA-2 70B 用的是 GQA。

这些都是为推理时的 KV Cache 显存服务的,后面讲 KV Cache 时会展开。

9. FFN:模型参数的大头​

FFN 就是两层线性 + 一个非线性:

FFN(x)=W2⋅σ(W1x+b1)+b2\text{FFN}(x) = W_2 \cdot \sigma(W_1 x + b_1) + b_2

中间那层的维度一般是 4d——所以叫"expand-then-project"。d 是 4096 的话,中间是 16384。

有意思的是,FFN 占了模型 2/3 的参数。7B 模型里,注意力大概 2B 左右,FFN 大概 5B。所以后面讲 MoE 的时候你会看到,MoE 主要动的是 FFN——把一个 FFN 换成 8 个 FFN + 路由,专门冲着这里的参数量去。

激活函数早期是 ReLU、后来是 GeLU,现在主流是 SwiGLU:

SwiGLU(x)=(Swish(W1x))⊙(W3x)⋅W2\text{SwiGLU}(x) = (\text{Swish}(W_1 x)) \odot (W_3 x) \cdot W_2

它比 ReLU/GeLU 好一点点——不多,但便宜,所以大家都用。

10. 归一化:LayerNorm 与 RMSNorm​

LayerNorm 是原始 Transformer 用的:对每个样本的每一层做"减均值除方差"。公式:

LN(x)=γ⋅x−μσ2+ϵ+β\text{LN}(x) = \gamma \cdot \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} + \beta

RMSNorm 是简化版:不减均值,直接除以 RMS:

RMS(x)=γ⋅x1d∑ixi2+ϵ\text{RMS}(x) = \gamma \cdot \frac{x}{\sqrt{\frac{1}{d}\sum_i x_i^2 + \epsilon}}

RMSNorm 比 LayerNorm 少一次减均值、少一个偏置项,速度快一些,效果相当。LLaMA、Qwen、DeepSeek 全都用 RMSNorm。

11. 位置编码:从正余弦到 RoPE​

前面提过,纯注意力不区分位置,必须显式加入位置信息。

原始 Transformer 用的是正余弦函数——不同频率的 sin/cos 值加到 embedding 上。这个方案缺点是不好外推——你训练时最长 512,推理时想开到 2048 就废了。

RoPE(旋转位置编码) 是现在的主流。它的做法是把 Q、K 向量按位置旋转一个角度,位置 i 的向量转 iθ 度。两个向量内积后,"位置差"会自然出现在结果里——非常优雅。而且它有一定的外推能力,通过一些插值技巧还能扩展到训练长度之外。

LLaMA、Qwen、DeepSeek、GPT-NeoX 都用 RoPE。位置编码这块,RoPE 已经是"事实标准"。

12. 拼在一起:一个完整的 LLM​

现在我们把上面这些东西堆起来,得到一个完整的 LLM:

tokens (n)
│
Embedding → (n, d)
│
│ ┌── Transformer Block × L ──┐
│ │ │
├─►│ RMSNorm │
│ │ Multi-Head Attention (RoPE, Causal Mask)
│ │ Residual │
│ │ RMSNorm │
│ │ FFN (SwiGLU) │
│ │ Residual │
│ └──────────────────────────┬─┘
│ │
RMSNorm │
│ │
Linear (d → V) │
│ ▼
softmax → 下一个词的概率分布

L 是层数。7B 模型大概 L=32,70B 大概 L=80,175B 大概 L=96。每层的 d 也在同步放大——7B 的 d=4096,70B 的 d=8192。

一个 LLM 的所有"智能",就来自这 L 层不断堆叠的 Attention + FFN。每一层都在"把当前位置的表示进一步加工"——底层学到的是词法、语法结构,中层是语义,上层是任务相关的信息。

13. 参数量怎么算​

给一个粗略的口算公式,很多面试也会问:

一层 Transformer 的参数量约等于 12 · d²:

  • Attention 的 W_Q、W_K、W_V、W_O 各 d² → 4d²
  • FFN 的 W_1、W_2(中间维 4d)→ 2 · d · 4d = 8d²
  • 加起来 12d²

所以整个模型参数量约等于 12 · L · d²。7B 模型 L=32、d=4096,代进去是 12 × 32 × 4096² ≈ 6.4B,加上 embedding 就到 7B 附近。

这个公式记住会挺有用——看到"L=80, d=8192"你就能马上算出这大概是个 60B+ 的模型。

14. 到这里为止​

这一章我们只讲了 Transformer 的骨架。真正让它跑起来还需要:

  • Tokenizer:怎么把字符串切成 token(下一章);
  • 训练目标 + 数据:预训练怎么做;
  • 推理优化:KV Cache 怎么让生成快起来。

但你已经理解了 LLM 的核心结构——Decoder-Only Transformer + 因果注意力 + 一堆归一化和残差。剩下的都是在这个骨架上做细节优化。

一句话总结:

LLM 不是什么神秘的东西,它就是一个几十层的"注意力 + FFN"叠起来的下一个词预测器。所有的"智能",都是在这个简单结构下被数据和规模逼出来的。