跳到主要内容

微调路线全景

上一层的 SFT、RLHF、LoRA 三章讲的是"微调的主流做法"。但如果你真到了要"微调一个模型给自己的场景用"这一步,你会发现选择比想象中多——全参数微调?LoRA?QLoRA?要不要继续预训练?直接 DPO 行不行? 这一章先给一个决策地图,让你在钻具体方法之前有个整体判断。

1. 先问自己:你到底想改什么​

微调这个词其实太笼统了。开始动手前,你要先想清楚目标是什么。大致分三类:

改风格 / 格式。你想让模型的输出更简洁、更礼貌、按 JSON 格式回复、或者用某种特定 tone。—— 这属于行为对齐,SFT / DPO 就够。数据量少(几千到几万条),LoRA 完全够用。

加知识。你想让模型知道你公司的产品、你的私有文档、某个专业领域的术语。—— 这里要注意,"给模型加知识"分两种情况:

  • 少量、经常变化的:用 RAG,不要用微调。你 finetune 一次几十小时,检索一下几毫秒,代码文档改了 finetune 就废了。
  • 大量、稳定的:可能需要继续预训练(CPT),光 SFT 塞不进去。

加能力。你想让模型学会一个新任务——比如做特定的代码转换、SQL 生成、思维链推理。—— 主要看数据够不够。数据够就 SFT,不够就先做 few-shot 或者用更强的模型蒸馏出数据再 SFT。

大多数生产场景的"微调"其实是第一类——只是想改风格和行为。这一类的成本是最低的,LoRA/QLoRA 足够。

2. 三条主要路径​

按训练目标划分,主流微调路径有三条:

继续预训练(CPT,Continued Pretraining):还是"下一个词预测",但数据换成了你的领域文本。目的是让模型熟悉你的领域词汇和风格。适合做医疗、法律、代码、金融这类术语密度高的领域适配。数据量大(几十亿到几千亿 token),成本接近 finetune 里最贵的。

指令微调(SFT,Supervised Fine-Tuning):用问答对训练,让模型学会"接问题、给回答"这个模式,或者学会某种回答风格。数据量中等(几千到几十万条),成本可控。绝大多数微调都停在这一步。

偏好对齐(RLHF / DPO):SFT 之上再一步,用"chosen vs rejected"这样的偏好数据教模型"什么样的回答更好"。数据量小(几千到几万条偏好对),但需要额外的数据设计能力。做得好,效果显著;做不好,很容易训崩。

三步是顺序关系——CPT 之后 SFT,SFT 之后 DPO。不是每一步都必须做。大部分应用只需要 SFT。

3. 全参数 vs 参数高效​

沿着另一个维度切:参数量层面。

全参数微调(Full FT):所有参数都更新。效果上限最高,但显存/算力开销大——7B 全参微调至少 80GB 显存,70B 要多机集群。

LoRA / QLoRA:只训一小块低秩矩阵。7B 微调只要 8-20GB 显存,一张 4090 就能跑 7B、A100 能跑 70B。效果一般比全参数低 0-2 个点——对绝大多数应用完全可接受。

其他 PEFT(Prompt-Tuning, Prefix-Tuning, Adapter, IA3, DoRA 等):LoRA 的兄弟们。表达能力和成本各有取舍,但主流选择还是 LoRA + QLoRA。

怎么选:

  • 一张 24GB 卡(4090/3090):QLoRA 微调 7B/13B 基本无压力;QLoRA + 累积也能勉强上 34B;
  • 一张 80GB 卡(A100/H100):全参数微调 7B;QLoRA 微调 70B;
  • 多卡(4× 80GB+):全参数微调 30B-70B;QLoRA 微调更大;
  • 集群:任何东西都能训,只是钱的问题。

不要为了"效果满分"上全参数——代价是"训不动"的风险。QLoRA 是新手默认起点。

4. 决策地图​

把上面这些串起来,得到一个粗略的决策流程:

   [你想改什么?]
│
┌────┼─────────┬───────────────┐
▼ ▼ ▼ ▼
风格/ 加大量 加能力 推理能力
格式 知识
│ │ │ │
▼ ▼ ▼ ▼
SFT CPT+SFT 数据够吗? SFT+RLHF
│ 是→ SFT /RLVR
│ 否→ 蒸馏/合成
│
▼
[有偏好数据?]
│
是→ + DPO / SimPO
否→ 停在 SFT

再叠一层"参数量选择":

[显存有多少?]
│
├── < 16 GB: QLoRA 4bit
├── 24-40 GB: LoRA 或 QLoRA
├── 80 GB (1×): 7B 全参 / 70B QLoRA
└── 多卡集群: 全参数(如需要)

这个决策树 90% 场景都能覆盖。剩下 10% 是特殊需求(超长上下文、多模态、reasoning 训练),需要专门处理,后面章节展开。

5. 一些常见的"选错路"​

用 SFT 灌知识。经典错误。你把 10000 条"公司产品 FAQ"喂进 SFT,然后期望模型"记住"这些知识——实际结果是它会记住"该回答什么风格的话",但具体的事实很容易记错。要灌知识就上 CPT,或者用 RAG。

LoRA 硬训跨领域。想把一个通用模型 finetune 成医学专精模型,直接上 LoRA。效果会拉胯——LoRA 的低秩表达能力对付不了这种"大幅度分布迁移"。跨领域要走 CPT,或者至少全参数 SFT。

直接跳到 RLHF/DPO。很多人一上来就想搞 DPO,跳过 SFT。DPO 需要一个已经会"按格式回答"的基座,直接在 base model 上做 DPO 效果极差。必须先 SFT,再 DPO。

数据不够就硬训。100 条数据训 7B 模型——必然过拟合。不到 1000 条的话,你能得到的最好方案是 few-shot prompting,或者拿这 100 条当种子做数据合成(后面章节讲)。

用同一份数据训 5 个 epoch。SFT 一般 1-2 epoch 就该停。3+ 是过拟合的高发区。你 loss 一直在降不等于模型变好——它只是在照抄训练数据。

6. "微调之前先试 Prompt"​

一个更基础的建议:做微调之前,先把 prompt engineering 做到位。

现代 base model 或者 chat model 已经很聪明了。很多你想通过 finetune 解决的问题,其实一个精心设计的 system prompt + few-shot examples 就能解决。

比如:

  • 想让模型回答简洁:system prompt 里加一句 "回答不超过 100 字";
  • 想让模型按 JSON 输出:加一个 few-shot 例子,或者用 API 的 JSON mode / structured output;
  • 想让模型用特定 tone:给两三个"应该这么回答"的例子;
  • 想让模型不回答某类问题:加拒绝规则到 system。

Prompt 能解决的问题不要用 finetune 解决。因为:

  • prompt 改一次是零成本,finetune 改一次要重训几小时;
  • prompt 出 bug 你能立刻回滚,finetune 出 bug 就……重训;
  • prompt 能利用模型天生的能力,finetune 可能反而弱化一些原有能力(灾难性遗忘)。

只有当 prompt 已经解决不了、你的需求还没被满足时,才考虑微调。这个顺序不要颠倒。

7. 微调之前的准备清单​

真的决定要微调了,动手前该有的准备:

基座模型选对。要 SFT 就选 base 版(Qwen-7B 而不是 Qwen-7B-Chat);要在别人的 chat 版上做二次微调,风险比较大,可能覆盖对齐。除非你知道自己在干什么。

数据先审一遍。看看数据的分布、长度、格式、噪声。很多 SFT 训练崩掉是因为数据里的隐藏问题——某些行 answer 为空、某些行超长、某些行编码乱掉。写个脚本过一遍,样本量少就手工过一遍。

训练/验证/测试分开。至少留 5-10% 数据做验证集(看训练过程中的过拟合),留一份完全没参与训练的测试集(做最终评估)。这个基本的 ML 卫生很多人训 LLM 时都不做。

基线要跑。微调之前先跑一遍原模型在你测试集上的表现——这就是基线。微调之后拿新分数和基线对比,才知道你到底"改好"了还是"改坏"了。没有基线的微调等于赌博。

Checkpoint 要存。每几百 step 存一次。你训 3 个 epoch,看曲线选一个最好的 epoch(可能是 1.5 epoch 而不是 3),能显著改善效果。别只存最后一个。

测试模型学会没。最直接的评估:手动测几十个 case。发现明显问题,说明训练姿势不对,回头调整。别只看 loss——loss 好但输出崩掉的例子太多了。

8. 一些常问的问题​

Q:微调 vs RAG 到底选哪个?

A:不是二选一。RAG 用来给模型"看到新知识",微调用来教模型"按什么方式利用信息"。生产级系统经常两者都用——微调调风格和格式,RAG 供实时数据。别相互替代。

Q:SFT 会不会让模型变笨?

A:会,如果你训得不好。灾难性遗忘是真的——单一任务数据训久了,其他能力会退化。解决办法:数据里混一些通用数据(比如 10% 的通用对话),保持基本能力。

Q:拿开源模型 finetune 之后能商用吗?

A:看协议。LLaMA、Qwen、Gemma、Mistral 大部分都允许商用(有条件)。有些(早期 LLaMA-1)不行。上生产之前一定看清楚 license。

Q:微调一个 7B 大概要多少钱?

A:一次 SFT,1B token 数据、QLoRA、单张 A100:几十美元(云上 GPU 时租,几十小时)。全参数微调贵 5-10 倍。这是"个人级别"能承担的价钱。

9. 一句话总结​

微调不是一件事,是一堆事:

  • 改风格:SFT + LoRA,最省钱;
  • 加知识:CPT + SFT,或者用 RAG;
  • 加能力:SFT,可能要合成数据;
  • 深度对齐:SFT + DPO/PPO。

选路径之前先想清楚目标,选参数策略之前先看清楚显存。这两个决策错了,后面所有优化都没意义。

接下来这个专题会一个个把上面的路径展开:

  • 继续预训练怎么做(第 2 章);
  • 指令数据从哪来、怎么造(第 3 章);
  • DPO 的具体实战(第 4 章);
  • LoRA 变体们的取舍(第 5 章);
  • 其他 PEFT 方法(第 6 章);
  • 长上下文微调(第 7 章);
  • 模型合并——不做训练也能改模型(第 8 章);
  • 评估——怎么判断微调好没好(第 9 章);
  • 常见框架的选择(第 10 章)。