跳到主要内容

其他PEFT方法

LoRA 是当前 PEFT 的主流,但不是唯一的选择。历史上还有几条思路——Adapter、Prompt Tuning、Prefix Tuning、P-Tuning、IA3——它们在 LoRA 之前或者同时期出现,各有优劣。这一章过一遍这些方法,让你在做技术选型时能有更全面的判断。

1. 一张 PEFT 全景图​

参数高效微调(Parameter-Efficient Fine-Tuning, PEFT) 的核心思想都是一样的:冻结大部分参数,只训一小块。区别在于"这一小块"加在哪、长什么样。

大致分四类:

  • Additive(加法类):往模型里塞新的可训练模块(Adapter, LoRA, IA3);
  • Selective(选择类):只训模型自带的一部分参数(BitFit);
  • Reparameterization(重参类):把原参数重新表达成一个低维形式(LoRA 类);
  • Prompt-based(提示类):不动模型,只训"输入端的可学习向量"(Prompt Tuning, Prefix Tuning, P-Tuning)。

LoRA 属于重参类。下面主要讲另外三类。

2. Adapter:LoRA 的前身​

Adapter(Houlsby 2019)是 PEFT 里最早的方法之一,比 LoRA 早两年。

做法:在 Transformer 的每层里插入两个小的"瓶颈网络"——一个下投影(d → r),一个上投影(r → d),中间加非线性:

x →  attention  →  Adapter_1  → 残差 → LayerNorm →
│ │
└───────── residual ──────────────────────┘
...
→ FFN → Adapter_2 → 残差 → LayerNorm →

Adapter 里面的结构:

adapter(x) = x + W_up(σ(W_down(x)))
  • W_down:d → r 的投影;
  • σ:非线性(GeLU / ReLU);
  • W_up:r → d 的投影;
  • 外面套一个残差。

和 LoRA 对比:

  • Adapter 是串联到主流路上的(前向必须经过它),LoRA 是并联(旁路加项);
  • Adapter 有非线性,LoRA 是纯线性;
  • Adapter 是新的独立层,推理时不能合并回主模型;LoRA 可以合并,推理零开销。

推理开销:这是 Adapter 输给 LoRA 的关键。Adapter 是串联的新层,推理时每层都要多算一次——延迟增加 5-15%。LoRA 能合并回去,零延迟增加。

结果:Adapter 在 2019-2021 年很流行,但 LoRA 出来后基本被替代。现在还偶尔用在多任务共享 base 的场景——不同 Adapter 挂到同一个 base 上按需切换,做 A/B 测试或多用户 serving。

3. Prompt Tuning:不改模型,只调"软提示"​

Prompt Tuning(Lester 2021)思路非常大胆:根本不改模型,只在输入前面加一段"可学习的向量"。

做法:

  • 完全冻结整个模型;
  • 在每个输入 embedding 前面加 k 个"虚拟 token",每个虚拟 token 是一个可训练的 d 维向量;
  • 训练时只更新这 k 个向量的值。

一次前向长这样:

[soft_token_1, ..., soft_token_k, x_1, x_2, ..., x_n] → 模型 → 输出

前 k 个位置的 embedding 是可学习参数(不是词表里的任何 token),后面的 x 是普通输入。

参数量:k × d,几千到几万——极少。10B 模型上 Prompt Tuning 可能只有 5000 个可训练参数。

效果:

  • 模型足够大(10B+)时,Prompt Tuning 接近全参数微调;
  • 模型小(< 3B)时,效果显著低于 LoRA。

问题:

  • 训练不稳定——只训几千个参数改一个几十亿参数模型的行为,训练动力学很脆;
  • 收敛慢——需要更多 epoch;
  • 对超参敏感——k 值、LR、初始化都会显著影响。

现在的地位:不算主流。只在极少参数、模型很大的场景下值得试。

4. Prefix Tuning:更强的软提示​

Prefix Tuning(Li & Liang, 2021)是 Prompt Tuning 的加强版。

Prompt Tuning 只在输入层加软 token。Prefix Tuning 在每一层的 KV都加"prefix":

  • 冻结模型;
  • 每层的 attention 里,在 K 和 V 前面拼一段可学习的"prefix key"和"prefix value";
  • 训练时更新这些 prefix。

效果:

  • 参数量比 Prompt Tuning 大(每层都要一份),但依然比 LoRA 少;
  • 效果比 Prompt Tuning 好——因为每层都有干预,表达能力强。

缺点:

  • 每层 KV 都变了——推理时无法合并,KV Cache 也要相应处理;
  • 消耗上下文长度——prefix 占了 K/V 的一部分位置。

Prefix Tuning 一直没有像 LoRA 那样流行。但它的思想启发了后面的一些方案。

5. P-Tuning:中间的方案​

P-Tuning v1(清华,2021):类似 Prompt Tuning,但允许 soft token 插在输入的任意位置,而不只是开头。

P-Tuning v2(清华,2022):类似 Prefix Tuning,加深到每一层。相比 Prefix Tuning 的改进:

  • soft prefix 用一个小 MLP 生成,不是直接可训练——训练更稳定;
  • 在 encoder-only 和 encoder-decoder 上效果比较好。

P-Tuning 系列在中文 NLP 社区流行过一段(因为清华推动),现在也是逐渐让位于 LoRA。

6. IA³:最轻的 PEFT​

IA³(Infused Adapter by Inhibiting and Amplifying Inner Activations) 2022 提出。参数极少,效果不错。

做法:在每层 attention 的 K、V、和 FFN 中间输出上,各乘一个可学习的向量:

K' = K ⊙ l_K
V' = V ⊙ l_V
FFN_hidden' = FFN_hidden ⊙ l_ff
  • l_K, l_V, l_ff:每层 3 个可学习向量,每个维度 d;
  • ⊙ 是逐元素乘。

参数量:每层 3 × d,整个模型 3 × L × d。7B 模型(L=32, d=4096)大概 39 万个参数——比 LoRA 还少 100 倍。

效果:

  • 在很多分类任务上和 LoRA 接近;
  • 在生成任务上略输 LoRA。

推理开销:像 Adapter 一样是串联的,推理增加一点点开销。但因为只是逐元素乘,比 Adapter 快。

推荐使用场景:参数量极度敏感的场景。IA³ 的一个 adapter 可以只有几 MB。

7. BitFit:只训 bias​

BitFit(2021)是"选择类"PEFT 的代表:只训 bias 项,冻结所有 weight。

模型里每个 linear 层通常都有一个 bias 参数(很小的向量)。只训它们——参数量约占模型的 0.1%。

效果:

  • 分类任务上惊人地好,接近全参数微调;
  • 生成任务上效果一般。

推荐使用场景:几乎不需要用了。参数量少的诉求上 IA³/VeRA 更好,效果诉求上 LoRA 更好。BitFit 是"知识面广度"角度值得知道,但实操上一般不选。

8. 各方法对比表​

给一个综合对比:

方法参数量效果推理开销主流程度
LoRA0.1-1%好可为 0(合并后)主流
DoRA0.1-1%更好一点可为 0上升中
Adapter0.5-3%好+5-15%已过时
Prompt Tuning极少大模型上够用+少许少用
Prefix Tuning少好+少许少用
P-Tuning v2少好+少许少用
IA³极少一般-好+少许少用
BitFit极少分类好0已过时

总结:LoRA 家族是当前默认选择。其他方法在特殊场景(Adapter for multi-tenant serving、Prompt Tuning for 极少参数)还有价值,但一般用不到。

9. 什么时候不用 LoRA、用别的​

即使 LoRA 是主流,一些场景下还是值得考虑其他方法:

多个客户共享 base,每个客户一个 adapter:Adapter 或者 LoRA 都行。LoRA 更省内存(只要 LoRA 的量,Adapter 要整层)。

参数量极度敏感(比如给几万个用户各存一个 personal adapter):VeRA、IA³。

只做非常轻的行为改动(比如让模型多用某种口头禅):Prompt Tuning 就够。

追求最好效果:全参数 SFT/DPO。LoRA 和它总有 1-2 个点的差距。

极端资源限制(比如手机端 finetune):Prompt Tuning + 大模型。参数少到可以在手机上训。

10. 一个务实的选择路径​

给一个实操建议:

[目标是什么]
│
├─ 追极致效果 → 全参数 SFT/DPO
├─ 一般应用(效果好 + 便宜)→ LoRA + LoRA+ + DoRA ← 90% 的场景
├─ 大规模 multi-tenant → LoRA 或 Adapter,看你的框架支持
├─ 参数量极敏感 → VeRA / IA³
├─ 只想微调"输出风格" → Prompt Tuning 或直接 prompt engineering
└─ 学术研究 → 都试试

如果你不知道选什么,LoRA + LoRA+ + DoRA 是最不会错的默认。

11. PEFT 库和框架支持​

HuggingFace peft 库支持了几乎所有主流 PEFT 方法。用它的话切换方法非常简单:

from peft import LoraConfig, PrefixTuningConfig, PromptTuningConfig, IA3Config

# LoRA
config = LoraConfig(r=16, lora_alpha=32, target_modules=[...])

# Prefix Tuning
config = PrefixTuningConfig(num_virtual_tokens=30)

# Prompt Tuning
config = PromptTuningConfig(num_virtual_tokens=20)

# IA3
config = IA3Config(target_modules=[...], feedforward_modules=[...])

model = get_peft_model(base_model, config)

改一行代码就换一个方法。这也是"多方法实验"的成本很低——如果你不确定用哪个,各试一下。

12. 一些实践注意​

参数量 ≠ 存储大小。虽然一些方法(VeRA、IA³)参数量极少,但你要额外存下"哪些位置被改了"的元信息。总存储可能没想象的那么小。

加载速度不同。LoRA 加载很快(几个 MB),Adapter 因为是新层,可能要重新构建计算图。生产环境用要测一下。

训练时的显存。所有 PEFT 方法在训练时的激活值显存都差不多——因为激活值大小取决于模型架构,不是取决于可训练参数量。所以 PEFT 主要省的是"梯度 + 优化器状态",而不是"整个训练显存"。这个直觉很多人搞错。

不同 PEFT 方法能不能叠加:技术上能,比如"LoRA + Prompt Tuning"。但效果通常没有单独用 LoRA 好——叠加带来的复杂性 > 收益。别叠加。

13. 一句话总结​

PEFT 是个方法家族,LoRA 只是其中最成功的一支:

  • 主流选择:LoRA 家族——原始 LoRA、LoRA+、DoRA、rsLoRA、PiSSA;
  • 辅助地位:Adapter(多租户)、IA³/VeRA(极小参数);
  • 少用:Prompt/Prefix/P-Tuning(大模型上可以,但 LoRA 更好);
  • 已过时:BitFit。

大部分场景下,你都应该用 LoRA。 了解其他方法是为了在特殊场景下有备选,而不是为了替代 LoRA。

下一章我们看一个特殊的微调场景——长上下文微调。当你想把一个 4K 上下文的模型改造成 128K 的时候,会遇到 LoRA 也解决不了的问题。