跳到主要内容

图像压缩:把冗余榨干

图像文件为什么能压缩?因为图像里到处都是冗余。相邻像素几乎一样(空间冗余)、相邻帧几乎一样(时间冗余)、色度通道信息比亮度少得多(心理视觉冗余)、有的灰度值出现频率远高于其他(编码冗余)。压缩本质上就是找出这些冗余、用更短的表示替代原始表示。

一个 24-bit 的 1920×10801920\times 1080 未压缩图 6 MB,JPEG 之后 500 KB,压缩比 12:1。这不是魔法,是用可接受的信息损失换空间。

1. 三种冗余​

编码冗余:如果一个灰度值出现 90% 的时间,用 1 bit 编码就够了,8 bit 就浪费。信源编码(Huffman、算术)针对这种冗余。

空间/时间冗余:f(x,y)f(x,y) 和 f(x+1,y)f(x+1,y) 高度相关。预测编码(DPCM)不存像素值,存"和预测值的差",差的动态范围小得多。

心理视觉冗余:人眼对亮度敏感、对色度不敏感;对低频敏感、对高频不敏感。可以主动扔掉一些人眼看不见的信息(这一步是有损的)。

2. 保真度和压缩比​

压缩比:C=n1/n2C=n_1/n_2。原文件 / 压缩后文件。

保真度:

  • PSNR:10log⁡10(2552/MSE)10\log_{10}(255^2/\text{MSE}),越大越好。40+ 视觉几乎无损,30 明显有损,20 以下惨不忍睹
  • SSIM:结构相似度,考虑局部亮度、对比度、结构,比 PSNR 更贴近感知
  • LPIPS:用 CNN 特征算距离,最贴近人眼判断,但需要神经网络

PSNR 是历史包袱——它假设"每个像素误差同等重要",与感知严重不符。但便宜好算,做基准还是它。

3. 无损压缩​

无损压缩要求解压后逐字节等于原始。压缩比一般 2:1 到 4:1。

3.1 Huffman 编码​

给每个符号一个不定长二进制码,出现频率高的码短,低的码长。构造过程:不断合并两个最低概率的节点,形成一棵树。

关键约束:前缀码——没有一个码是另一个码的前缀。保证解码时不需要分隔符。

Huffman 是最优的定长符号编码,但只对独立符号最优。图像相邻像素相关,直接对像素做 Huffman 效果一般,一般先做预测/变换再对残差做 Huffman。

3.2 算术编码​

Huffman 每个符号至少 1 bit。如果一个符号概率 0.9,理论最优码长是 −log⁡20.9≈0.15-\log_2 0.9\approx 0.15 bit,Huffman 做不到。

算术编码把整个消息编码成 [0,1)[0,1) 里的一个小数。每输入一个符号,区间缩小成对应概率的子区间。最终这个小数的二进制表示就是编码。可以做到接近熵下限的压缩率。

代价:慢,且专利多年被 IBM 卡着(现已过期)。JPEG 允许可选算术编码但很少人用。JBIG、H.264 里的 CABAC、JPEG XR 都是算术编码族。

3.3 LZW​

字典编码。字典初始化为所有单字符。扫描时贪心匹配最长已在字典的字符串,输出其编码,同时把"该字符串+下一字符"加入字典。

GIF 用 LZW(专利到期后又火了一阵);PNG 用 DEFLATE(LZ77+Huffman 组合);TIFF 支持 LZW/ZIP/PackBits 多种。

3.4 行程编码(RLE)​

AAAABBBCC→(A,4)(B,3)(C,2)AAAABBBCC \to (A,4)(B,3)(C,2)。对大面积同色的图(文档扫描、卡通、传真)效果好;对自然照片几乎无效。TIFF、BMP 支持 RLE,传真机 CCITT Group 3/4 是它的极致优化。

4. 有损压缩:JPEG 详解​

JPEG(1992)是至今最重要的有损压缩标准。压缩管线:

RGB ─→ YCbCr ─→ 色度下采样 ─→ 8×8 分块 ─→ DCT ─→ 量化 ─→ 之字扫描 ─→ 熵编码

每一步都在挤压一种冗余。

4.1 YCbCr 变换​

Y=0.299R+0.587G+0.114BY=0.299R+0.587G+0.114B 是亮度,Cb,CrCb, Cr 是色度。因为人眼对色度不敏感,Cb/Cr 可以水平和垂直各下采样 2 倍(4:2:04:2:0 采样),信息量已经砍掉一半,人眼几乎看不出来。

4.2 8×8 分块 DCT​

不用 Fourier 变换用离散余弦变换 DCT:

F(u,v)=14C(u)C(v)∑x=07∑y=07f(x,y)cos⁡(2x+1)uπ16cos⁡(2y+1)vπ16F(u,v)=\frac{1}{4}C(u)C(v)\sum_{x=0}^7\sum_{y=0}^7 f(x,y)\cos\frac{(2x+1)u\pi}{16}\cos\frac{(2y+1)v\pi}{16}

DCT 是实数变换,Fourier 是复数——省一半存储。DCT 隐式假设的信号扩展是偶对称,比 Fourier 的周期扩展在图像块边界处更连续,能量集中到少数低频系数的能力更强。

自然图像的 8×8 块 DCT 后,绝大多数能量集中在左上角(低频),右下角接近零。

4.3 量化​

关键的有损步骤:

Fq(u,v)=round(F(u,v)Q(u,v))F_q(u,v)=\text{round}\left(\frac{F(u,v)}{Q(u,v)}\right)

Q(u,v)Q(u,v) 是量化表,低频处小(保精度),高频处大(近似为零)。JPEG 标准提供一个默认量化表:

16 11 10 16 24  40  51  61
12 12 14 19 26 58 60 55
14 13 16 24 40 57 69 56
14 17 22 29 51 87 80 62
18 22 37 56 68 109 103 77
24 35 55 64 81 104 113 92
49 64 78 87 103 121 120 101
72 92 95 98 112 100 103 99

用户选择的"JPEG 质量"参数就是这个表的整体缩放因子。Q=100 时表全为 1(几乎无损),Q=10 时表放大 10 倍(大量高频清零,块效应明显)。

4.4 之字扫描 + 熵编码​

量化后大多数系数是零。之字扫描从左上角开始按对角线遍历,让零集中到末尾:

1  2  6  7  15 16 28 29
3 5 8 14 17 27 30 43
4 9 13 18 26 31 42 44
10 12 19 25 32 41 45 54
...

然后 (skip, value) 对做行程编码(记录中间跳过多少个零),再走 Huffman 编码。DC 系数单独做差分编码(DCk−DCk−1DC_k-DC_{k-1},块间相似度高)。

4.5 JPEG 的失败模式​

  • 块效应:8×8 边界处出现方格纹路,量化越粗越明显
  • 振铃/蚊子噪声:文字周围出现波纹(DCT 基函数是全局的正弦,边缘处 Gibbs 现象)
  • 色度模糊:色度下采样导致细字带彩色晕边(红字更明显)
  • 重复保存衰减:反复 open/save 会累积损失,因为每次都要重新量化

5. JPEG 2000:小波派系的反击​

小波变换章里详细讲过。JPEG 2000 用整幅图的 DWT 替代 8×8 DCT,好处:

  • 无块效应
  • 渐进传输(先粗后细)
  • 感兴趣区域高质量
  • 无损/有损同一算法

代价:计算量高、专利复杂、生态没跟上。医学 DICOM 和电影 DCP 是它的主要战场。

6. WebP、AVIF、HEIC:视频编码技术溢出到图像​

WebP(Google,2010)基于 VP8 的帧内编码。AVIF(2019)基于 AV1。HEIC(2015)基于 HEVC/H.265。

三者相比 JPEG 都能省 30-50% 空间,同 PSNR 下。核心技巧从视频编码借来:

  • 块内预测:8x8 或 16x16 块用邻块像素做方向性预测,只编码残差
  • 可变块大小:平坦区大块,纹理区小块
  • 环路滤波:解码后对块边界去伪影
  • 算术编码代替 Huffman

WebP 早就在网页上普及,AVIF 是新宠。HEIC 是苹果生态标准。JPEG 顽强不死是因为兼容性——所有平台都懂。

7. 视频压缩的关键:帧间预测​

图像压缩只利用空间冗余,视频压缩关键是时间冗余——相邻帧几乎一样。

I 帧:独立帧,就是一张 JPEG P 帧:预测帧,只存与前一帧的差 B 帧:双向帧,参考前后帧

运动估计:把当前块与参考帧的邻近位置比对,找匹配最好的位移向量(motion vector)。只存这个向量 + 残差。编码复杂度极高,占视频编码 60-80% 的计算时间。硬件视频编码器(Intel QuickSync、NVIDIA NVENC)就是把运动估计固化到芯片里。

8. 深度学习图像压缩​

近几年出现的端到端学习压缩:编码器把图像映射到潜空间,量化,熵编码;解码器还原图像。整个管线用率失真损失联合训练:

L=R+λDL = R + \lambda D

RR 是编码后的比特数(熵估计),DD 是失真(MSE/LPIPS)。λ\lambda 控制码率。

代表工作:

  • Ballé 2018(Google):变分自编码器 + 超先验
  • Cheng 2020:Gaussian mixture 熵模型
  • HiFiC(2020):加对抗损失,视觉质量比 BPG/JPEG 好很多
  • 2023-2024 的扩散压缩:极低码率下用扩散模型生成合理的细节

学习压缩相同 PSNR 下能比 JPEG 省 40%+ 空间,比 AVIF 也能省 10-20%。但计算量高、模型大、目前主要用于云端。JPEG XL 是"传统方法但吸纳学习思想"的最新尝试,暂未普及。

9. 选谁​

场景推荐理由
Web 图片AVIF/WebP,兜底 JPEG兼容性 vs 效率
存档摄影JPEG XL / PNG / DNG无损或视觉无损
医学影像JPEG 2000 / 无损诊断准确性
视频H.264/HEVC/AV1已成标准
屏幕截图PNG有大面积同色、锐利文字
卡通/线稿PNG / GIF色数少
传真CCITT G4二值图行程编码专家

JPEG 不能存文字截图。如果 PSNR 卡在 30+,文字周围的振铃会让人抓狂。这种时候必须用 PNG 或 WebP 无损。