跳到主要内容

预训练与Scaling-Law

前面几章我们把架构和 tokenizer 讲清楚了。这一章讲第一步、也是最重要的一步——预训练(Pretraining):把一个初始化好的 Transformer 喂进几万亿 token 的语料里,最后训出一个"什么都懂一点"的基座模型。

1. 目标简单,规模爆炸​

预训练的目标你已经很熟了:下一个词预测。给定序列 [t_1, t_2, ..., t_n],训练模型让它最大化:

∑i=1nlog⁡P(ti+1∣t1,…,ti)\sum_{i=1}^n \log P(t_{i+1} \mid t_1, \dots, t_i)

也就是每个位置都预测下一个 token,把这些位置的 log 似然加起来当 loss(前面加个负号做最小化)。这个 loss 叫交叉熵损失,也叫 next-token prediction loss。

一次前向传播,因果掩码保证了每个位置只能看自己前面的,所以 n 个位置的预测可以同时算出来——一个 batch 里一次拿到 n 个训练信号。这个"密集训练"是 Transformer 训练效率高的一个关键原因。

目标就这么简单。真正让预训练贵的是规模:

  • 数据:现代 LLM 训练用 2-15 万亿 token 的语料;
  • 模型:从 7B 到几百 B 的参数;
  • 算力:几千到几万张 GPU 跑几个月。

GPT-4 的训练成本据估算超过一亿美元。这已经不是"技术活",是"工程活 + 资本"。

2. 数据从哪来​

预训练的数据构成大致是:

  • 网页:Common Crawl 是最大来源,几百 TB 的原始网页数据。清洗、去重、过滤色情/暴力/垃圾之后大概剩几十 TB;
  • 书籍:几百万本书,覆盖各个领域;
  • 代码:GitHub 等来源的代码,通常占 5-15%;
  • 维基百科:几千万篇文章,质量高;
  • 对话和论文:Reddit、arXiv 等。

数据质量比数量重要。这几年一个共识是:

5000 亿高质量 token 比 5 万亿垃圾 token 训练效果好。

所以现代预训练在数据清洗上花的力气特别大。去重(同一段文字在不同网页里出现无数次,训练时看到一次就够了)、质量分类(用小模型给数据打分,只保留高质量的)、多样性均衡(不能全是英文网页,得配比中文、代码、数学等),是数据处理的三个重点。

一些经验数字:

  • 原始 Common Crawl → 可用高质量数据大概是 100:1 的比例。你抓到 100TB 原始网页,可能只有 1TB 能进最终训练集。
  • 代码占比在 5-15% 之间。太少影响代码能力,太多影响其他任务。
  • **数学数据(arxiv / stackexchange)**通常 1-5%。这部分对推理能力提升明显。

3. 训练循环长什么样​

一次预训练迭代干什么?和普通深度学习没什么两样:

  1. 从数据集里取一个 batch 的 token 序列(比如 batch=4M tokens);
  2. 前向:把序列过一遍模型,得到每个位置的下一个 token 概率分布;
  3. 算损失:交叉熵;
  4. 反向:算所有参数的梯度;
  5. 优化器更新参数(一般是 AdamW)。

这就是一个 step。一次预训练要跑几十万到几百万个 step。

Batch size 通常很大——4M-16M tokens 一个 batch。这不是靠单卡实现的,是数据并行 × 张量并行 × 流水线并行堆出来的。这些在并行计算专栏里讲过了,这里不重复。

学习率调度用的是 warmup + cosine decay:前几千 step 从 0 线性升到峰值(比如 3e-4),然后按余弦曲线慢慢降到峰值的 10%。这个调度稳定性最好,几乎所有大模型都用它。

优化器:AdamW,β₁=0.9, β₂=0.95。这里 β₂ 从常见的 0.999 调到 0.95 是一个 LLM 训练的经验值——语言数据的梯度波动大,短期方差估计更合适。这个坑很多新人会踩。

4. Chinchilla:数据和参数怎么配​

这是这一章最重要的一节。

假设你手里有一个固定的算力预算(比如 10²³ FLOPs),你要训一个模型。参数量取多大?数据量取多少?

一个很朴素的直觉是"参数越大越好"。但这个直觉是错的。

Chinchilla(DeepMind, 2022) 做了一系列消融实验,得出一个非常清晰的结论:

对于给定的算力预算,参数量和数据量应该按大概 1:20 的比例配。

也就是说,训一个 7B 模型,最优数据量大概是 140B token;训一个 70B 模型,最优数据量大概是 1.4T token。

这个结论的意义在于:在 Chinchilla 之前,GPT-3(175B)只用了 300B token 训练——按 Chinchilla 的比例应该用 3.5T——它其实是训练不足的。同样的算力下,如果参数减一半、数据加一倍,效果会更好。

Chinchilla 论文里训了一个 70B 的模型(用 1.4T token),效果全面超过 GPT-3(175B,300B token)。参数量少一半多,但效果反而更好。

Scaling Law 说的就是这么件事:模型的 loss 随参数量和数据量的变化,是一个非常光滑的幂律曲线,可以用小规模实验拟合出来,然后外推预测大模型的效果。这让"训大模型"从赌博变成了工程——你可以先在几个小规模实验上跑,画出曲线,就能预测目标模型的最终 loss。

5. 但现实中大家在超训​

你可能注意到一件事:LLaMA-3 8B 用了 15T token 训练——按 1:20 的比例,8B 只需要 160B 就够了,15T 是 90 倍。

为什么大家不按 Chinchilla 训?

因为 Chinchilla 的假设是"训练算力最优"。它没考虑推理成本。

如果你训完只是发论文用,那当然按 Chinchilla 训最省算力。但如果你训完的模型要部署给几亿用户长期用,那推理成本(部署后)会远大于训练成本。这时候你希望模型尽可能小——推理便宜;但也希望尽可能好——效果不差。

在这个约束下,"训小一点的模型 + 灌更多数据"是划算的。多花 5 倍训练算力,得到一个"效果和大模型接近但小很多"的模型,长期下来推理省钱得多。这就是 LLaMA-3 和很多现代小模型的策略——在小尺寸上过度训练。

一个直观的表:

模型参数数据量数据/参数比
GPT-3175B300B1.7
Chinchilla70B1.4T20
LLaMA-1 7B7B1T143
LLaMA-2 7B7B2T286
LLaMA-3 8B8B15T1875
DeepSeek-V3671B (MoE)14.8T~22

小模型都在猛训,大模型(尤其 MoE)反而接近 Chinchilla 比例。这是现代预训练的经验分布。

6. 涌现能力:规模带来的质变​

预训练最有意思的现象是涌现能力(emergent abilities)——模型规模跨过某个阈值之后,突然出现新能力,小模型上完全看不到。

比如:

  • 多位数加法:1B 模型基本不会,10B 模型开始能算两位数,100B 能算三四位数;
  • 多步推理:小模型给它 chain-of-thought 提示反而更差,大模型 CoT 之后能力大幅提升;
  • 代码能力:小模型只能补全片段,大模型能写完整函数。

这些不是"渐进式变好",而是在某个规模上突然出现。scaling curve 在这些任务上不是直线,而是有台阶。

这个现象有一定争议——有人认为是"评价指标离散化"造成的(准确率是 0/1 的,其实中间过程是连续的),也有人认为是真的相变。不管解释是什么,实践中大家看到的确实是:参数和数据到位之前,某些能力就是学不出来;一到位就有了。

这是"必须做大模型"的一个核心动机——很多能力你在小模型上根本看不到。

7. 训练中的数值稳定性​

预训练不是一路顺跑的。几万张 GPU 跑几个月,各种奇怪问题都会遇到:

Loss spike:训练 loss 一路下降,突然某一步猛跳一下,然后再慢慢下来。这是数值溢出或坏数据引起的。通常做法是:回滚到 spike 前的 checkpoint,跳过导致 spike 的那个 batch,接着训。GPT-3 训练日志里全是这种回滚。

梯度爆炸。用梯度裁剪(gradient clipping)解决,一般裁到 1.0。

FP16 溢出。BF16 有更大的指数范围(8 位 vs 5 位),比 FP16 稳定得多,是现代大模型的默认精度。混合精度训练下:参数、梯度用 BF16;优化器状态、master weights 用 FP32。

训练发散。整个 loss 曲线开始上翘或者变 NaN。这时候只能从更早的 checkpoint 重启,调低学习率。有些时候是数据问题(某个 chunk 是垃圾数据),需要重新过滤。

预训练团队一半的时间都在处理这些工程性问题,而不是研究算法。这不是笑话。

8. Loss 曲线看什么​

预训练最重要的监控指标就是 training loss(交叉熵)。看几件事:

曲线要平滑下降。前期下降快,后期慢,但方向必须是往下的。看到明显的平台期或者反弹要立即介入。

perplexity(困惑度):elosse^{\text{loss}}。可以理解为"模型在每个位置上有多少个候选词等价"。7B 模型训完 perplexity 大概在 5-10 附近。数字越低越好——1 就是完美预测。

下游任务评估:光看 loss 不够。要在 MMLU(多选题、覆盖各学科)、HellaSwag(常识推理)、HumanEval(代码)、GSM8K(数学)等基准上定期评。有时候 loss 还在降,但下游任务分数已经开始变化——loss 和"人感知到的能力"不是完全线性对应的。

9. Checkpoint 保存策略​

一次预训练一般每 500-1000 step 存一次 checkpoint。为什么?

为了灾难恢复。集群崩了、机器挂了,能回滚到最近一个 checkpoint 接着训,不用从头再来。

为了 loss spike 回滚。前面说过,遇到 spike 要回滚到之前的 checkpoint。

为了做 ablation。训练完之后,我们可能想知道"如果在 500k step 停下来会怎样"——存了 checkpoint 就能回头做评测。

一个 70B 模型的 FP32 checkpoint 大概是 280GB。加上优化器状态就是 500GB+。存 100 个 checkpoint 就是 50TB。所以预训练团队的存储压力也不小。

10. 预训练 → 基座模型(Base Model)​

预训练结束后,你得到的是一个 base model(基座模型)。它有几个非常明确的特征:

  • 只会续写,不会对话。你输入"你好",它可能给你补出",我是小明"或者"世界,Hello world"——它没学过"接到问候应该回应"这件事。
  • 什么领域都懂一点。因为语料是通用的。
  • 不会拒绝。它没学过什么该说什么不该说。
  • 格式敏感。你给它什么格式,它就模仿什么格式续下去。

Base model 不能直接给用户用。它需要经过 SFT(监督微调) 学会对话格式,再经过 RLHF(偏好对齐) 学会"人喜欢的回答风格"。这两步会在后面章节讲。

但 base model 是"能力"的来源——SFT 和 RLHF 不能给模型新增能力,它们只能让模型把已有的能力用得更符合期望。base model 里学不到的东西,后续微调再多也补不上。所以预训练决定天花板,后训练决定下限。

11. 一句话总结​

预训练是 LLM 里最费钱、最工程化的一步:

  • 目标很简单:下一个词预测;
  • 数据量决定天花板,质量决定效率;
  • Chinchilla 告诉你怎么配数据和参数,但推理成本会让你打破它;
  • Scaling law 让训大模型从赌博变成工程;
  • 涌现能力是训大模型的根本动机。

下一章讲推理——训好的模型怎么跑起来吐字。这里面藏着 LLM 系统里最漂亮的一个工程优化:KV Cache。