跳到主要内容

微调评估

前面几章讲了怎么训。这一章讲一个同样重要、但常被忽视的话题——怎么判断你训得好不好。

微调之后你要回答两个问题:

  1. 模型有没有变好(比基线更好)?
  2. 有没有变坏的地方(哪些能力退化了)?

如果你的回答是"loss 一直在降"或者"感觉输出变好了"——不够。这一章讲清楚怎么系统地评估。

1. 为什么"loss 好"不代表模型好​

新手最常见的错误:看训练 loss 判断微调是否成功。

loss 是训练目标(下一个词预测的交叉熵),它衡量的是"模型对训练数据的拟合程度"。它不衡量:

  • 模型的实际推理能力;
  • 模型的常识;
  • 模型的对话体验;
  • 模型有没有过拟合。

几个具体反例:

  • loss 一直在降,但模型输出崩了:过拟合的经典表现——模型学会照抄训练数据,泛化能力反而下降。
  • loss 平稳,模型看似正常,但事实错误频发:SFT 训练用了含错误的答案,模型学得很认真。loss 不知道答案对不对。
  • loss 平稳,模型答对了但风格不对:可能是过度对齐——模型学会了模板,答的都对但都很"作"。

必须要有外部评估——一个和训练 loss 独立的信号,告诉你"模型真的好不好用"。

2. 三类评估​

主流评估大致分三类:

知识/能力型(Automatic Benchmarks):客观测试题——多选题、代码通过率、数学题答案。有确定答案,可以自动打分。适合"能力评估"。

对话质量型(LLM as Judge):用另一个 LLM(比如 GPT-4)当 judge,给回答打分。适合"对话体验评估"。

主观评估(Human Evaluation):人来评。最贵最准,只有关键决策时用。

三类各有取舍。任何一次微调都应该三类都做——只用其中一种会有盲点。

3. 常用的能力评估基准​

按能力维度大致有这些:

知识/通识:

  • MMLU(Massive Multitask Language Understanding):57 个学科的多选题,5.7 万条。衡量模型的通识水平。
  • CMMLU / C-Eval:中文版 MMLU,测试中文通识。
  • AGIEval:包括高考、SAT、法考、公务员考试等。

推理:

  • GSM8K:小学到初中数学题,8.5k 条。用 chain-of-thought 求解,答案是数字。
  • MATH:竞赛级数学,12.5k 条。远难于 GSM8K。
  • BBH(Big Bench Hard):23 个推理任务,5 万条。

代码:

  • HumanEval:164 条编程题,模型写代码通过测试用例。
  • MBPP:974 条 Python 基础题。
  • LiveCodeBench:持续更新的竞赛级代码题(避免污染)。

对齐:

  • MT-Bench:80 个多轮对话问题,GPT-4 打分。
  • AlpacaEval 2.0:805 个 prompt,GPT-4 判断"你的模型 vs 参考模型"哪个更好。
  • Arena Hard:500 个真实用户 prompt 的挑战集。

长上下文:

  • NIAH (Needle in a Haystack):长文档中插入 needle,测试是否能找到。
  • LongBench:多种长上下文任务的合集。

4. 用 LLM as Judge 打分​

MT-Bench 和 AlpacaEval 都是"让 GPT-4 打分"的思路。这类评估非常灵活:

MT-Bench 的工作方式:

  • 有 80 个 prompt(涵盖写作、推理、代码、数学、角色扮演等);
  • 每个都要求两轮对话;
  • 让模型完成对话;
  • GPT-4 作为 judge:读题、读回答,按 1-10 打分;
  • 平均分就是模型的 MT-Bench 分数。

AlpacaEval 2.0:

  • 805 条 prompt;
  • 对每个 prompt,你的模型和参考模型(比如 GPT-4)各生成一个回答;
  • GPT-4 判断"两个哪个更好"(成对比较);
  • 你的模型的胜率就是分数。

注意:LLM-as-judge 有一些已知偏见:

  • 位置偏见:GPT-4 略偏向后面的选项——比较时要两个位置都做一遍取平均;
  • 长度偏见:GPT-4 略偏向更长的回答——即使那些回答内容没变;
  • 风格偏见:GPT-4 偏向"结构化、markdown、分点"的输出——虽然实质可能不如自然文风;
  • 模型偏见:GPT-4 判 GPT-4 的输出会打高分——评自己家的产品别用自己家的 judge。

推荐做法:

  • 用多个 judge(GPT-4、Claude 3.5、Gemini)综合打分,减少单一模型偏见;
  • 至少做位置消偏;
  • 长度做一个后处理(惩罚过长的回答)。

5. LLM Arena:真实用户投票​

Chatbot Arena(现在叫 LMSys Arena):一个真人评测平台。用户匿名比较两个模型的回答,投票哪个更好。汇总几万到几十万投票,得到一个 Elo 榜单——这被认为是当前**最接近"真实用户体验"**的评估。

为什么 Arena 这么重要:

  • 多样 prompt:真实用户问的问题千奇百怪,覆盖 benchmark 里覆盖不到的场景;
  • 多样人群:不同用户对"好回答"的定义不同,Elo 反映综合偏好;
  • 难以作弊:不像 MMLU 之类的 benchmark 可以事先训过测试题。

局限:

  • 样本偏差:Arena 用户不是所有用户——技术爱好者居多;
  • 单次盲测:用户看单个回答判断,不看长期效果、不测知识密度;
  • 对小模型不友好:小模型不太可能上榜。

如果你的模型没上 Arena:可以用 Arena Hard——LMSys 从真实 Arena 数据里挑出的 500 条"难题",可以用 LLM-as-judge 自己测。

6. 领域评估​

上面这些都是通用 benchmark。但如果你的微调是特定领域的,还要有领域评估:

医疗:MedQA、MedMCQA、PubMedQA。

法律:LawBench、LegalBench。

金融:FinBench、FinQA。

教育:Educational-Bench 之类。

编程(细分):SWE-Bench(真实 GitHub bug 修复)、RepoBench(跨文件补全)。

如果没有现成的:自己造评估集。这是最重要的建议——每次微调都必须有自己的 test set,反映你的真实使用场景。

7. 自建 Test Set 的原则​

自建 test set 的一些经验:

数据独立性:test set 的数据必须从未参与训练(也不能来自训练数据同源)。至少 100-500 条,越多越好。

覆盖全:把你要 model 处理的所有类别都覆盖到。每类至少 20-50 条样本。

难度分布:easy/medium/hard 都要有。全 easy 你分不出模型好坏,全 hard 大家都 0 分。

答案有标准:如果是能自动评估的(分类、事实、数字),要有标注好的正确答案。如果是开放式回答,要有"参考答案"(用于 judge 时比对)。

保持不变:test set 长期不动——每次微调都在同一份 test 上评。这样才能对比几个模型的进步。如果你每次都在改 test set,你根本不知道你是在进步还是退步。

隔离:test set 单独存放,不能不小心污染到训练。放一个明确的目录、加 README 说明。

8. 灾难性遗忘的检测​

微调后你可能得到一个"新任务上很强,但其他方面变差"的模型——这就是灾难性遗忘。

检测方法:微调之前,先在几个通用 benchmark 上跑一遍原模型的分数,作为基线:

  • MMLU(通识)
  • GSM8K(数学)
  • HumanEval(代码)
  • MT-Bench(对话)

微调之后再跑一遍,对比每个 benchmark 的分数变化。任何一项掉超过 5%,就是明显退化。

  • 掉 1-2%:可以接受,是微调的正常代价;
  • 掉 3-5%:警告,看是否值得;
  • 掉 5-10%:明显退化,可能要重训(加更多通用数据);
  • 掉 10%+:微调失败——你把模型训坏了。

9. 评估工具​

Evaluation Harness(EleutherAI):主流的 benchmark 运行工具,支持几十个 benchmark。开源社区的标准。

HELM(Stanford):更全面的评估框架,支持公平性、鲁棒性、效率等多维度。

OpenCompass:中文/英文都覆盖的评估工具,支持一键跑一堆 benchmark。

vLLM-based eval:用 vLLM 做推理加速评估。跑一次 MMLU(14k+ 样本)在 A100 上大概 15-30 分钟。

MT-Bench 自动化:官方仓库里有跑分脚本,一晚上就能得到结果。

推荐 workflow:

# 1. 跑一堆客观 benchmark(自动打分)
lm_eval --model your-model \
--tasks mmlu,gsm8k,humaneval,truthfulqa \
--output_dir results/

# 2. 跑对话质量 benchmark(GPT-4 打分)
python mt_bench.py --model your-model --judge gpt-4

# 3. 跑自建 test set
python eval_domain.py --model your-model

10. 数据污染的检测​

数据污染:你的训练数据里意外包含了评估集的样本。这会让评估分数虚高——模型"背"过题目了。

检测方法:

  • n-gram overlap:把 test set 里的每个样本切成 n-gram,看训练集里有没有近似匹配。
  • Embedding 相似度:用 sentence-transformers 之类模型算 embedding,看 test 样本和 train 样本最相似的一对相似度多高。相似度 > 0.9 的就是可能泄漏。
  • 模型自查:让模型输出一段"应该只有它自己见过"的独特文本,看它能不能一字不差补出来。

预防:在训练前去污染(decontamination)——把评估集样本从训练集里剔除。LLaMA-3、GPT-4 都做过大规模去污染,这已经是行业标准。

11. 一些常见的评估错误​

只做通用 benchmark:MMLU 好不代表你的应用场景好。一定要有领域 test set。

只做领域评估:你的模型可能在领域上进步了,但通用能力崩了。一定要有通用 benchmark 兜底。

评估用的 prompt 和推理时不一致:训练时用了 system prompt,评估时忘了加——分数低是正常的。评估要用和推理时完全一致的 prompt 格式。

Judge 用的模型太弱:用 GPT-3.5 当 judge 评你训的 GPT-4-tier 模型——judge 不够强,评不出细微差异。Judge 要比被评的模型强。

temperature 设错:客观 benchmark 应该用 greedy(T=0),主观 benchmark 用 T=0.7。搞反了分数会失真。

没有基线:只测一个数字,不知道"好还是不好"。至少和 base model 对比。

样本量太小:只测 20 条 MT-Bench 里的样本,分数抖动大。至少全套跑完。

Test 只跑一次:因为随机性(temperature > 0 时),一次跑的结果有方差。跑 3-5 次取平均。

12. 微调过程中什么时候评估​

有几个时间点:

训练前:跑一遍原模型的所有 benchmark,作为基线。这一步做不好,后面无法对比。

训练中期:每几百 step 或每个 epoch,跑简化版评估(可能只跑 100 条 samples)——大致看趋势。别每次都跑完整 evaluation,太贵。

训练结束:跑完整评估——通用 + 领域 + 灾难性遗忘检查。

上线前:至少做一轮人工评估。50-100 条 prompt,让实际用户或者领域专家看回答质量。Benchmark 分数好但人评差的情况太多了。

上线后:真实用户反馈是最好的评估。加日志监控用户满意度(thumbs up/down),发现异常快速回滚。

13. 一句话总结​

评估决定了微调的"闭环":

  • 不评估 = 靠感觉:几乎肯定会训坏;
  • 只看 loss:会错过大部分问题;
  • 必须有:多任务客观 benchmark + LLM-as-judge + 自建 test set + 灾难性遗忘检测;
  • 必须做:基线对比、多次采样取平均、评估 prompt 与推理一致;
  • 必须防:数据污染。

没有评估的微调等于赌博。一个健康的微调项目里,"评估"应该占花费的 30-50%(不是训练本身)。这不是浪费,是投资——它让你知道"什么在起作用、什么没有"。

下一章讲选择——用哪个微调框架。开源社区框架多得让人眼花,我们把主流的几个对比一下。