跳到主要内容

长上下文微调

大部分开源 base model 训练时的上下文长度是 4K 或 8K。但用户越来越希望能处理长文档、长对话、大代码库——32K、128K、甚至 1M 上下文。

一个自然的问题:能不能通过微调把一个 4K 模型改造成 128K 模型? 能,但麻烦不少。这一章讲清楚长上下文微调的挑战和主流方法。

1. 为什么不能直接推理长上下文​

一个常见误解:"模型是训练在 4K 上下文的,但推理时开到 32K 应该也没问题吧?"

不行。原因是位置编码。

模型训练时的位置编码(比如 RoPE)在 0-4096 这个范围内被"见过"了。你推理时给它 8000 的位置,位置编码的值落在训练时没见过的区域——模型完全不知道怎么处理。表现是:

  • 输出突然变乱、开始重复;
  • 或者 loss 爆炸(如果直接测 PPL);
  • 或者对靠后的内容视而不见。

所以扩展上下文本质上是让模型学会处理"新的位置区间"。

2. RoPE 是主要战场​

主流 LLM 都用 RoPE(旋转位置编码)。它的想法是:位置 i 的 Q、K 向量按角度 iθ 旋转,两个向量的内积中"位置差 (i-j)θ"会自然出现。

RoPE 里有个基础频率 base(默认 10000)。角度公式是:

θk=base−2k/d,k=0,1,…,d/2\theta_k = \text{base}^{-2k/d}, \quad k = 0, 1, \dots, d/2

不同维度用不同频率——低维度频率高(快转),高维度频率低(慢转)。

RoPE 的性质是"越远的位置越难区分"——因为高频率的部分早就转完好几圈了,只有低频率部分还在"缓慢转动"。低频率部分的位置差信号,就是长距离位置分辨的主要信号。

要扩展上下文,就是要让这些低频率的位置分辨能力延伸到更远的位置。

3. 直接方案:Position Interpolation​

PI(Position Interpolation):最朴素的想法。

如果模型训练时 max_len=4096,你想推理时用 32768(8 倍)——把所有位置除以 8。也就是原本位置 32000 变成 4000。相当于把 32K 的序列"压缩"到 4K 的位置区间里。

new_position_id=old_position_ids,s=LnewLold\text{new\_position\_id} = \frac{\text{old\_position\_id}}{s}, \quad s = \frac{L_{\text{new}}}{L_{\text{old}}}

优点:极简单,不需要重训——直接改推理代码就能用。

缺点:位置分辨率被压缩了。原本相邻位置角度差 1×θ,现在变成 1/8 × θ——近距离的位置差异变得不敏感,短距离依赖会受损。

加一步微调:直接 PI 的效果一般,做几百步微调就能显著改善。这就是 PI + finetuning 的方案。基本对齐时代前的经典做法。

4. NTK-aware Interpolation​

社区里发现 PI 有个问题:高频维度不应该像低频维度那样被压缩。

高频维度本来就在快速旋转,压缩会让它变得极其密集,反而失去分辨能力。只有低频维度需要压缩。

NTK-aware Interpolation 的想法:让高频不压缩、低频强压缩。具体做法是改 RoPE 的 base:

new_base=base×sd/(d−2)\text{new\_base} = \text{base} \times s^{d/(d-2)}

(s 是扩展倍数。)

改 base 之后:

  • 高频维度:几乎不受影响(因为它们本来就转很快,base 影响小);
  • 低频维度:base 变大 → 频率变小 → 转得更慢 → 能延伸到更远。

NTK-aware 相比 PI:不需要微调直接用效果就好一些,加微调后效果更好。

5. YaRN:细化的插值​

YaRN(Yet another RoPE extensioN method) 是 NTK-aware 的进一步细化。它做了几件事:

分段插值:把 RoPE 的维度分成三段——

  • 高频段(几乎不变);
  • 低频段(PI 式的线性压缩);
  • 中间段(平滑过渡)。

Attention 温度调节:长序列下 softmax 的分布会变得非常尖锐(因为 QK 的方差随序列长度变),YaRN 加了一个温度调节因子对冲这个。

YaRN 是当前长上下文的主流方案。Qwen、DeepSeek、Llama-3 的长上下文版本都用它。

YaRN + 微调:几百 M token 的长文本微调,能显著提升长上下文表现。

6. LongLoRA:长上下文的 PEFT​

上面这些方法(PI、NTK、YaRN)主要是推理时的位置编码调整。实际部署里你还要做一次微调让模型适应长上下文——这一步计算量大。

LongLoRA(2023 CUHK):用 LoRA 做长上下文微调。

核心贡献不是 LoRA 本身,而是Shifted Sparse Attention (S²-Attn):

  • 长上下文微调的瓶颈是"训练时的 attention 计算 O(n²)"——n=32K 时 attention 极其贵;
  • S²-Attn 训练时把 attention 切成局部块(比如 2K/块),每层做错位(一半 head 在 block 边界处偏移)——这样局部 attention 也能传递全局信息;
  • 推理时恢复标准全局 attention(不做 sparse)——所以模型学到的还是全局能力。

效果:训练时间大幅缩短,长上下文表现和全参数训练接近。

推荐使用场景:你想省钱把一个 4K 模型微调到 32K/64K。

7. PoSE:位置编码采样​

PoSE(Positional Skip-wisE Training):更巧妙的思路——不真的用长序列训练,只是让模型"以为在处理长序列"。

做法:训练时依然用短序列(比如 4K),但在位置编码上采样不连续的 position id。比如给一个 4K 序列的 token 分配 position id [0, 1, 2, ..., 100, 5000, 5001, ...]——中间有跳跃。

这样:

  • 训练序列长度还是 4K(计算成本低);
  • 但模型学会了处理"位置分布在很宽范围"的情形;
  • 推理时用连续的 0-32K 位置,模型能泛化过去。

PoSE 的性价比极高——训练成本几乎和 4K 微调一样,能扩展到 32K/128K。是现在长上下文微调里比较流行的做法。

8. 长上下文数据从哪来​

方法有了,还需要长上下文的训练数据。这个不容易:

原始长文本:小说、长篇论文、代码 repo。这些天然长,直接用。

长文档 QA:合成的 "长文档 + 一个关于文档某处的问题" 数据。适合训练 needle-in-haystack 能力。

长对话:多轮对话拼起来。

代码库:整个 GitHub repo 的代码拼在一起,让模型看仓库级别的代码结构。

合成 long-CoT:用 chain-of-thought 生成长推理链——每步都很啰嗦,一个复杂问题的答案可以到几千 token。

数据组合:至少要有 20-30% 的样本长度超过原上下文限制。否则模型学不到长上下文的能力——长上下文能力必须在长样本上被激活。

9. 长上下文微调的显存挑战​

即使有 LongLoRA、PoSE 这些技巧,训练 32K/128K 上下文依然贵:

Attention 是 O(n²):n=32K 一层 attention 的中间矩阵是 32K × 32K × 4 head × 2 byte ≈ 8GB per layer——32 层就是 256GB。这还没算 activations。

FlashAttention 救急:必须开 FlashAttention——它把 O(n²) 中间矩阵去掉,让长上下文训练变得可行。没有 FlashAttention 就别想训长上下文。

Activation checkpointing:把中间激活值不存,反向时重算——用时间换空间。长上下文训练这个必须开。

并行策略:

  • DP + TP 通常够;
  • 超长上下文(100K+)可能要 Sequence Parallelism(把序列维度也切开到多卡);
  • Ring Attention 更极端,把 attention 也在多卡间切。

10. Needle in a Haystack:长上下文的评估​

模型说"我支持 128K 上下文",怎么验证?

Needle in a Haystack (NIAH):经典评估方法。

  • 构造一个很长的文档(比如 128K token 的小说);
  • 在文档的某个位置(比如 78K 处)插入一句意想不到的话——"这里的秘密数字是 3721";
  • 在最后问模型:"秘密数字是什么?";
  • 模型必须找到并回答 3721。

这个测试很难——很多号称支持长上下文的模型,在中间位置(比如 50%-70% 处)表现会明显下降。

Multi-Needle:一次插入多个不同的信息,问模型全部找出来。更难。

LongBench:更多样的长上下文任务集,包括长文档 QA、长文档总结、代码理解、多文档合成等。

11. 常见的坑​

base 不改直接扩长度:模型完全崩。必须调 base 或者用 YaRN 这类方法。

只用短数据微调:长上下文能力起不来。数据里必须有长样本。

忘记开 FlashAttention:显存爆炸。

Attention mask 忘记正确处理:长序列如果分 chunk 训练(padding 到 chunk 大小),要正确处理 attention mask,否则模型看到 padding 也当有效 token 用,效果崩。

评估只看短任务:把模型扩到 128K,短任务能力可能会略退化。评估要覆盖短、中、长各种长度。

部署时 KV Cache 爆炸:长上下文推理时 KV Cache 会大得惊人(前面 KV Cache 章节讲过)。要开 KV Cache 量化、PagedAttention。

12. 一个务实的路径​

如果只是想用一次长上下文(少量任务):找一个已经开好长上下文的开源模型(Qwen2.5-14B-1M、Llama-3.1-8B-128K),别自己扩。

如果非要自己扩(有特殊需求):

  1. 选一个基座模型;
  2. 调整 RoPE base 或者用 YaRN;
  3. 准备 20-50 亿 token 的长上下文数据(含长样本);
  4. 用 LongLoRA 或 PoSE 微调几万 step;
  5. 用 NIAH 评估;
  6. 用长上下文 SFT 数据再做一遍指令微调(否则对话能力可能退化)。

整个过程可能花 1-2 周,成本几千到几万美金(看模型大小和数据量)。

13. 一句话总结​

长上下文微调是"想扩展模型能力边界"的一个特殊领域:

  • 核心问题:位置编码在训练时未见过的区间会失效;
  • 主流方案:YaRN + 长文本微调(部分模型直接支持);
  • 省钱方案:LongLoRA(LoRA + Shifted Attention)、PoSE(位置采样);
  • 数据要求:必须有长样本,比例至少 20-30%;
  • 评估:Needle-in-a-Haystack、LongBench;
  • 部署:FlashAttention + KV Cache 量化必备。

如果不是刚需,别自己扩长上下文——用现成的。现成的开源模型上下文越来越长,成本远低于自己扩。

下一章我们讲一个"根本不用训"的技巧——模型合并:直接把几个模型的参数合起来,得到一个新模型。