跳到主要内容

LoRA参数高效微调

前面几章里讲的 SFT 也好、DPO 也好,都是全参数微调——所有几十亿参数都会被更新。这在算力上不便宜:训一个 7B 模型光是优化器状态就要 84GB 显存,训一个 70B 要多机集群。

但很多时候我们其实不需要改动模型太多——只是想在某个小领域微调一下。有没有办法让开销降下来,让个人用一张 4090 也能微调 7B 模型?

答案就是这一章的主角——LoRA。

1. 一个观察:微调其实是"低秩"的​

我们从一个数学观察开始。

一个矩阵 W 是 d × d 的(比如 attention 里的 W_Q)。全参数微调是给它一个更新量 ΔW,让它变成 W + ΔW。ΔW 也是 d × d——和原矩阵一样大。

关键问题:微调这件事的"信息量"真的有 d² 那么大吗?

不。微调只是让模型往某个特定方向偏一点点——学一个新任务、学一种新风格、学几个新知识。这个"偏移"其实非常低维——ΔW 是一个低秩矩阵。

LoRA 的核心假设:ΔW≈BA\Delta W \approx BA,其中 A 是 r × d、B 是 d × r。r 就是这个"秩",一般取 4、8、16、32——远小于 d(几千)。

2. LoRA 的形式化​

LoRA 的做法是:冻结原始权重 W,只训练两个小矩阵 A 和 B。

前向计算变成:

y=Wx+BAxy = W x + B A x
  • 原始通路 Wx 完全不变,参数冻结;
  • 新增一个"侧支"BAx,只有 A 和 B 是可训练的。

A 的形状 r × d、B 是 d × r。可训练参数总量 = r × d + d × r = 2rd。

参数量对比:全参数微调是 d²,LoRA 是 2rd。取 d=4096、r=8:全参数 1600 万,LoRA 只有 6.5 万,参数少 250 倍。

这么大的差距,效果会不会崩?

出乎意料地不会。多个论文和实验都发现,LoRA 微调在大多数任务上的效果接近全参数微调,很多时候差距在 1-2 个百分点以内。这就是 LoRA 之所以爆火的原因——用极小的成本得到几乎一样的效果。

3. 初始化的一个细节​

LoRA 里有一个很小但很重要的细节:A 用高斯随机初始化,B 用零初始化。

为什么?因为如果 A、B 都随机初始化,一开始 BAx 就是一个随机扰动——模型的原始输出会被立刻破坏。而 B 初始化为 0 的话,BAx = 0——训练一开始 LoRA 完全不影响原模型,输出和原模型完全一样。然后 B 慢慢从 0 学起来,模型逐步偏移。

这个"从 0 开始学"的初始化让 LoRA 非常稳。你不会在训练前几个 step 看到 loss 爆炸。

4. 一个额外的缩放因子 α​

工程上 LoRA 还有一个超参 α(alpha),最终的更新变成:

y=Wx+αr⋅BAxy = Wx + \frac{\alpha}{r} \cdot BAx

α/r 是个缩放系数。作用是:换 r 值时不用重新调学习率——r 从 8 换成 16,前面的系数会自动调整,训练过程差不多稳定。

一般 α 设成 r 的两倍(比如 r=8, α=16)——这个是大多数 LoRA 库的默认。你不用记具体值,理解"这就是个稳定训练的缩放技巧"就够了。

5. LoRA 应用到哪些层​

不是模型的所有层都要加 LoRA。实际做法一般是:

加到 attention 的 Q、K、V、O:这是最经典的做法。原始 LoRA 论文就只在这些矩阵上做。

也加到 FFN 的 W_up、W_down:更新的 LLaMA 系列 finetune 通常会加。因为 FFN 占 2/3 的参数量,只调 attention 的话表达能力有限。

Embedding 和 LM head 一般不加:这两个是 vocab 相关的巨型矩阵(V × d),加了效果不明显、还占参数。除非要扩词表。

一个常见配置(LLaMA-Factory 里的默认):

target_modules: [q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj]
r: 16
lora_alpha: 32
lora_dropout: 0.05

这样加下来,一个 7B 模型的可训练参数大概几千万——不到全参数的 1%。

6. 训练时的显存开销​

显存开销的对比是 LoRA 最直观的优势。让我们算一下 7B 模型:

全参数微调(BF16 + Adam):

  • 参数:14GB
  • 梯度:14GB
  • 优化器状态(Adam 一阶矩 + 二阶矩,FP32):56GB
  • Activations(随 batch 和序列长度变):10-30GB
  • 总计:100GB+——单张 80GB 卡都塞不下。

LoRA 微调:

  • 参数:14GB(冻结,不参与优化)
  • LoRA 权重:几十 MB
  • LoRA 梯度:几十 MB
  • LoRA 优化器状态:几百 MB
  • Activations:类似
  • 总计:约 20GB——一张 24GB 消费级显卡(4090)足够。

这是量级的差异。LoRA 让 7B 微调从"服务器工作"变成"消费级 PC 工作"。

7. QLoRA:把开销再压一半​

QLoRA 是 LoRA 之上的一个再优化:把冻结的基座模型量化到 4-bit。

想法很直接:既然基座模型是冻结的,它不需要精确的 FP16/BF16 表示——只要能做前向传播就行。用 4-bit 存它,前向时反量化到 BF16 计算。这样:

  • 7B 模型显存:14GB → 3.5GB
  • 加上 LoRA 权重和梯度:一共 6-8GB
  • 一张 8GB 显卡就能微调 7B 模型——甚至一些 T4 免费 GPU(Colab)都能跑

QLoRA 用了几个具体技术:

  • NF4 量化:一种非均匀 4-bit 量化,对正态分布友好;
  • Double Quantization:把量化系数也量化——再省一点;
  • Paged Optimizer:优化器状态在 GPU 满时自动换到 CPU 内存。

QLoRA 出来之后,"个人 PC 上跑 70B 微调"从科幻变成现实——一张 A100 80G 或者两张 4090 就能玩。开源社区几乎所有微调都在用 QLoRA。

8. LoRA 推理时能"合并回去"​

LoRA 训练完后有两种部署方式:

方式一:把 LoRA 合并回原模型。因为 Wx + BAx = (W + BA)x,我们可以计算 W' = W + BA,得到一个和原模型形状完全相同的新权重。合并后推理时没有任何额外开销——就像一个普通的微调模型。

方式二:LoRA 分开存。把 LoRA 权重单独存一份文件(几十 MB),推理时动态加载。好处是:同一个基座模型可以搭配不同的 LoRA 适配器——想切换任务就换 LoRA。这在服务多个不同风格的模型时非常省资源。

推理框架(vLLM、TGI)都支持"multi-LoRA serving"——单卡加载一个 base + 多个 LoRA,根据请求动态切换。这是 SaaS 场景下的标准部署方式。

9. LoRA 常见的坑​

r 太小:r=1、2 可能欠拟合,学不进去东西。r=8 通常是一个安全起点。

r 太大:r=128、256 参数量接近全参数微调,但一般效果不会比 r=16、32 好,只是训练变慢。有个经验值:对于大部分微调任务,r=16 是甜蜜点。

target_modules 选错:只加 attention 的 Q、V,不加 K、O,不加 FFN——表达能力有限,效果打折。加全一点更保险。

学习率过大:LoRA 因为参数少、可以承受更大学习率(比全参数微调大 10-100 倍)。常见的 1e-4 到 3e-4。太小学不动,太大会崩。

epoch 过多:LoRA 也会过拟合,只是没有全参数微调那么快。3-5 个 epoch 是常见范围。

QLoRA 精度掉一点点:4-bit 量化毕竟有信息损失。QLoRA 相比 LoRA 一般会掉 0.5-1 个点。对个人爱好者足够,对生产级追极致效果的话选常规 LoRA。

梯度累积很重要:显存省下来但你还想有大的等效 batch size,就靠梯度累积——8 个 mini-batch 累一次,等效 batch = mini × 8。这几乎是必须开的。

10. LoRA 什么时候不合适​

LoRA 效果好归好,但也有场景不合适:

从头训练新语言、新领域。比如把英文模型改造成中文模型,或者把一个通用模型改造成医学专精模型——这种"大改造"需要大量参数更新,LoRA 的低秩表达能力不够。

长时间持续学习。多个 LoRA 叠加会互相干扰,效果不稳定。持续学习最好用全参数或者更强的方法。

特殊结构改动。加 token、改层数、改 head 数——这些结构性改动 LoRA 做不了。

极端追求效果。如果你在冲榜、目标是最好的 benchmark 分数——全参数还是稍好一点。LoRA 是"性价比"的选择,不是"极致效果"的选择。

11. 更多变种:DoRA、LoRA+、rsLoRA​

LoRA 出来之后衍生出一大堆改进。列几个值得知道的:

DoRA(Weight-Decomposed LoRA):把权重分解成"方向 + 模长",LoRA 只调方向,模长用 LoRA 学。效果稍好,训练稍慢一点。

LoRA+:让 A 和 B 用不同的学习率(B 用大一点)。原因是数学上 A 和 B 的 gradient scale 不平衡。效果小幅提升,几乎零成本,值得默认开。

rsLoRA:α/r 的缩放改成 α/√r,让 r 更大时训练更稳。适合 r 特别大的情况。

AdaLoRA:动态分配秩——不同层用不同 r,不重要的层 r 小、重要的层 r 大。效果好但复杂。

MoRA:用方阵形式代替低秩形式,参数量相同但表达能力更强。较新,还在验证阶段。

一般人用 LoRA + LoRA+ 就够了,别的当作可选优化。

12. 一句话总结​

LoRA 是 LLM 微调里最重要的工程创新之一:

  • 核心假设:微调是低秩的,ΔW ≈ BA;
  • 参数量:从 d² 降到 2rd,通常小 100-1000 倍;
  • 显存:7B 微调从 100GB 降到 20GB 甚至 8GB(QLoRA);
  • 部署:可以合并回基座,也可以分开存做 multi-LoRA serving;
  • 代价:效果比全参数低 0-2 个点,绝大多数场景完全可以接受。

对个人和小团队来说,LoRA + QLoRA 让"训练大模型"从遥不可及变成可日常操作。开源社区几乎所有 finetune 都是 LoRA/QLoRA——它已经是事实上的标准。

下一章我们讲和 QLoRA 里 4-bit 类似但更工业级的话题——模型量化。