跳到主要内容

模型量化

一个 7B 模型 BF16 权重 14GB。你如果想在手机上跑,或者想让 A100 同时服务更多用户,或者想让推理速度翻两倍——量化是几乎唯一的答案。

这一章讲量化的基本原理、常见方案(INT8/INT4/GPTQ/AWQ)、什么时候用什么,以及它对精度的影响。

1. 为什么要量化​

我们在 KV Cache 那一章里推过一个公式:decode 阶段的速度 ≈ 显存带宽 / 模型权重大小。

BF16 模型每个参数 2 字节。量化到 INT8 每个参数 1 字节,权重大小减半,理论 decode 速度翻倍。量化到 INT4 每个参数 0.5 字节,速度再翻倍。

除了速度,还有:

  • 显存:INT4 后 7B 模型只要 3.5GB,能塞进手机 GPU;
  • 成本:同一张 A100 能同时服务更多用户,降低单位推理成本;
  • 能耗:整数运算比浮点省电,边缘设备友好。

量化的代价是精度。但对绝大多数任务来说,"精度略降 + 速度大涨 + 显存大降"是划算的。

2. 量化的基本形式​

量化的本质:把一个 FP32/BF16 的浮点数用一个 INT8/INT4 整数近似。

最简单的对称线性量化:

wquant=round(ws),s=max⁡(∣w∣)2n−1−1w_{\text{quant}} = \text{round}\left(\frac{w}{s}\right), \quad s = \frac{\max(|w|)}{2^{n-1}-1}
  • s 是缩放系数(scale),把浮点范围映射到整数范围;
  • 反量化:w≈s⋅wquantw \approx s \cdot w_{\text{quant}}。

INT8 的整数范围是 [-127, 127]。假设权重张量最大绝对值是 0.5,那 s = 0.5/127 ≈ 0.00394。一个原本 0.3 的权重量化后大约变成 76,反量化回去大约是 0.2994——损失了一点精度。

为什么可以近似而不出大问题?因为神经网络对权重的绝对精度不敏感——权重的相对关系比绝对值重要。你把所有权重按同比例缩放,模型的行为几乎不变。

3. Per-Tensor vs Per-Channel​

一个直接的选择:scale 是每个张量一个,还是每个通道一个?

Per-tensor(张量级):整个权重矩阵共用一个 scale。简单快,但如果权重不同通道的分布差别大,会牺牲精度。

Per-channel(通道级):每个输出通道一个 scale。精度好很多,因为可以给不同通道用不同尺度。代价是多存了一堆 scale 值——但相比权重本身,这点开销可以忽略。

Per-group(分组级):把每 32 个或者 128 个数分一组,一组一个 scale。是 INT4 量化的标配——因为 INT4 精度太低,per-channel 还不够细,per-group 能进一步减少误差。

现代权重量化几乎全用 per-channel 或者 per-group。

4. Weight-Only 量化:最实用的方案​

有几个东西可以量化:权重、激活、KV Cache。最主流的是只量化权重(Weight-Only Quantization)——权重量化,激活值仍然是 BF16。

为什么?

权重是静态的。训练完了就固定,可以离线仔细分析每个通道的分布,慢慢量化到最精细。

激活是动态的。每个输入不一样,激活值分布也不一样,很难提前算好 scale。用动态量化会引入额外的运行时开销。

推理时的运算过程(简化版):

输入 x (BF16)
│
量化的权重 w_int4 → 反量化 → BF16
│
矩阵乘 x · w_bf16 (BF16)
│
输出 (BF16)

也就是说:权重以 INT4 存在显存里,用的时候临时反量化到 BF16 做矩阵乘。看起来"反量化"是额外开销,其实相对于"从显存搬 4 倍大小的 BF16 权重"这个节省,反量化的开销小得多。总账依然赚。

Weight-Only 量化的好处:

  • 精度损失小;
  • 实现简单,兼容性好;
  • 显存显著降低,速度上涨。

GPTQ、AWQ、bitsandbytes 都是 Weight-Only 量化的具体实现。

5. GPTQ:一个数据驱动的量化​

朴素量化是"直接 round"——把权重除以 scale 取整。这样简单,但误差大,尤其在 INT4 精度下。

GPTQ(GPT Quantization)的思路:量化时不看权重本身,而是看权重在给定校准数据上的实际影响。

想象一个 attention 权重 W_Q。我们有一小批校准数据(大概几百个样本),前向跑一遍,得到每层的输入。GPTQ 一次量化一列(或者一小块),每量化完一列,根据这个量化引入的误差,微调剩下未量化的列——把误差"补偿"到剩余权重里。这样最终整个矩阵在校准数据上的输出和原始 BF16 的输出接近。

一个粗略的公式:

wnew=w−quant_error(wj)Hjj⋅Hjw_{\text{new}} = w - \frac{\text{quant\_error}(w_j)}{\mathbf{H}_{jj}} \cdot \mathbf{H}_j

(其中 H 是海森矩阵——衡量误差怎么在权重间"传播"。)

GPTQ 的核心贡献是把量化从"每个参数独立近似"变成"整体最小化输出误差"。INT4 精度下 GPTQ 比朴素量化好非常多——甚至能做到几乎无损。

代价:GPTQ 需要一份校准数据(一般 128 条样本足够),需要几十分钟到几小时来量化一个模型。但只做一次,之后一直用。

6. AWQ:只量化"不重要"的通道​

AWQ(Activation-aware Weight Quantization) 是另一条思路。

观察:权重里有一小部分通道极其重要——比如那些对应"高频激活"的通道。这些通道量化误差稍微大一点,模型就崩了。而其他大多数通道量化到 INT4 也没什么影响。

AWQ 的做法:

  1. 分析激活值,找出"最活跃"的 1% 通道;
  2. 给这 1% 的通道加一个 scale factor,让它们的权重被放大再量化,这样量化误差被摊薄;
  3. 相应地在激活值端做逆缩放(数学上等价)。

这个操作能保留最关键通道的精度,同时其他通道用 INT4 也没问题。AWQ 的精度和 GPTQ 差不多,速度还快一点(因为不需要反复迭代)。

GPTQ vs AWQ:两者是当前 INT4 量化的两大主流方案,效果相近,具体选哪个看框架支持。llama.cpp、vLLM、TensorRT-LLM 都支持这两种。

7. bitsandbytes:即时量化​

bitsandbytes 是 HuggingFace 生态的量化库,走的是一条不同的路线——直接在加载时量化。

不需要预先量化的模型文件,你写:

from transformers import AutoModelForCausalLM, BitsAndBytesConfig

model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen2.5-7B",
quantization_config=BitsAndBytesConfig(load_in_4bit=True),
)

bitsandbytes 就会在加载时把权重量化到 4-bit(NF4 或者 FP4 格式)。

特点:

  • 不需要校准数据——量化直接从权重出发,没有"看数据优化"的过程;
  • 精度略低于 GPTQ/AWQ——因为没做数据驱动的优化;
  • 训练也能用——QLoRA 就是基于 bitsandbytes 的 4-bit 量化 + LoRA;
  • 兼容性最好——HuggingFace 生态里几乎所有模型都能用。

结论:如果你要训练(QLoRA),用 bitsandbytes;如果你要部署推理,用 GPTQ 或 AWQ。

8. KV Cache 量化​

KV Cache 那一章讲过:长序列下 KV Cache 会成为显存怪兽。量化 KV Cache 是另一个显著的显存优化。

INT8 KV Cache:KV 从 BF16 变成 INT8,显存减半,精度几乎无损。主流推理框架(vLLM、TGI、llama.cpp)都支持。

INT4 KV Cache:显存再减半,但会有明显精度损失。要看具体任务能不能接受。

一个 Qwen-14B 模型部署,如果开 32K 上下文 + batch 8:

  • FP16 KV Cache:几十 GB
  • INT8 KV Cache:直接减半

KV Cache 量化对长上下文场景意义特别大。做长文档 QA、长期对话时打开它,能显著提升同时能服务的并发数。

9. 精度损失大概是多少​

一些经验数字(Llama-2-7B 在几个通用基准上):

量化方案MMLU 分数HumanEval显存 (7B)
BF16 原始45.312.814 GB
INT8 (Weight-only)45.012.57 GB
GPTQ INT444.511.94 GB
AWQ INT444.612.04 GB
bitsandbytes 4bit43.811.54 GB

数字不是最新的,但趋势是稳定的:

  • INT8 基本无损——闭着眼睛用;
  • INT4 掉 0.5-1.5 个点——大多数任务可接受;
  • INT3、INT2 掉更多——比较激进的方案,只在极端资源限制下用。

任务越复杂,量化敏感度越高。数学、代码这类严格的任务比一般对话更敏感。

10. 量化 vs 蒸馏​

有时候你会问:量化和蒸馏(把大模型压成小模型)哪个好?

量化:保留模型结构,只改数值精度。开销小、部署简单、通常掉几个点。

蒸馏:训一个小模型模仿大模型的输出。开销大(要重新训练),但小模型可以设计得更适合部署(比如换成 GQA、更少层)。

实践中经常两者结合:先蒸馏得到一个小基座,再量化。比如"70B 蒸馏到 8B,再量化到 INT4",最终一个 4GB 的模型服务生产。

11. 一些实际的踩坑​

BF16 → INT4 时激活值离群点(outlier)。Transformer 的激活值里有一些极端值(几个通道特别大),朴素量化会把这些直接切掉,性能崩得厉害。SmoothQuant、AWQ 都是在解决这个问题。所以现代 INT4 量化几乎必须做"离群点处理"。

INT4 在 SM 上没有原生指令。GPU 的 tensor core 支持 INT8/FP16/BF16,但 INT4 需要通过 dequant → BF16 的方式做矩阵乘。所以 INT4 的速度提升不像你想象的"4 倍那么多"——一般是 1.5-2 倍。真正加速大的是 H100 上有 FP8 硬件支持。

batch 大的时候量化收益会减小。前面说 decode 是 memory-bound——权重搬运是瓶颈。但 batch 大到 compute 打满后,反量化的 FLOPs 又成了瓶颈。所以量化收益随 batch 逐渐递减。

长上下文时 KV Cache 量化比权重量化更值得。因为长上下文下 KV 已经比权重大了。

量化后重新 SFT/RLHF 效果好。QLoRA + 微调这条链路上,最后你会得到一个"量化 + 微调过"的模型——效果比"先微调再量化"要好,因为微调过程能补偿量化带来的误差。

12. 部署时怎么选​

一个务实的选型:

如果显存充足、追求最好效果:BF16 全精度。

如果只是想快一点:INT8 权重量化。掉 0-0.5 个点,速度 1.5 倍,显存减半,最不痛的选择。

如果显存紧张、要跑更大模型:INT4 GPTQ 或 AWQ。掉 0.5-1.5 个点,显存 1/4,速度可能 1.5-2 倍。开源部署(llama.cpp、vLLM、TGI)最常见的选择。

如果要在消费卡上训练:bitsandbytes 4bit + LoRA(QLoRA)。

长上下文场景(32K+):一定要开 KV Cache 量化。

手机、边缘设备:INT4 + 4B 以下的小模型,或者更极端的 INT3、INT2 蒸馏模型。

13. 一句话总结​

量化让 LLM 从"数据中心的玩具"变成了"每个人都能跑的东西":

  • 原理:用低精度整数近似浮点权重,减小存储和访存;
  • 收益:显存降 2-4 倍、速度快 1.5-2 倍、精度掉 0.5-1.5 个点;
  • 主流方案:GPTQ、AWQ(推理),bitsandbytes(训练);
  • 最实用的组合:Weight-only INT4 + KV Cache INT8。

从这里开始,一个 7B 模型的运行门槛从 40GB A100 降到了 8GB 消费级显卡。这是 LLM 民主化最关键的一环之一。

下一章我们看另一个把 GPU 榨到极限的优化——FlashAttention。