跳到主要内容

表示与描述子:把图像变成可以比较的数字

前面分割章告诉我们怎么把图像切成区域。切完之后每个区域是一大堆像素——怎么用一个紧凑的表达来描述它,才能拿去比较、分类、检索?这就是表示(representation)和描述(description)的任务。

一个粗糙但有效的分类:表示 = 存下形状本身(边界、骨架、区域),描述子 = 从表示中抽取的特征向量(周长、面积、Hu 矩、HOG、SIFT)。表示是几何对象,描述子是数。

1. 边界表示:怎么存一条闭合曲线​

分割输出的是二值 mask。要处理边界,先要把 mask 的轮廓提取出来。

1.1 链码(Chain Code)​

从边界起点出发,用一串数字记录每一步的方向。8 邻域链码:

    3  2  1
4 × 0
5 6 7

一个正方形边界可能编码为 000022224444666。特点:

  • 紧凑:log⁡28=3\log_2 8=3 bit/点
  • 对起点敏感:从不同点开始编码结果不同 → 循环归一化:所有旋转版本里字典序最小的一个作为标准
  • 对旋转敏感:45°45° 旋转会让所有代码 +1 mod 8 → 差分链码 ci−ci−1 mod 8c_i-c_{i-1}\bmod 8 让编码旋转不变

1.2 多边形近似​

把边界近似成折线。经典算法是 Douglas-Peucker:

  1. 用一条线段连接边界的起点和终点
  2. 找边界上距这条线段最远的点 pp
  3. 如果距离 >ϵ>\epsilon,把 pp 加入折线,递归处理两半
  4. 否则丢弃这段

ϵ\epsilon 控制近似精度。地图 GIS 里用来简化海岸线,图像里用来简化 Canny 输出。OpenCV 的 cv2.approxPolyDP 就是这个。

1.3 标记(Signature)​

把闭合边界展开成一维函数。最常见的是质心距离标记:r(θ)r(\theta) 是从质心到边界的距离随角度变化的函数。凸形状的标记单调,凹形状有多值——所以先要保证唯一性。

标记的好处:一维函数比二维形状好做傅里叶分析,也好做动态时间规整(DTW)。缺点:对内部有洞或凹陷严重的形状不友好。

2. 区域表示​

2.1 骨架​

区域的中轴变换(MAT)——所有到边界"两个最近点"的位置。骨架保留形状的拓扑结构(几条分支、几个环),但对边界扰动敏感(一个小凸起会长出一根骨架分支)。

工业界的骨架提取用 形态学 章讲的 Zhang-Suen 细化:反复剥外层直到 1 像素宽。

用途:手写字符识别、印刷电路板检测、生物血管分析。

2.2 四叉树/连通图​

四叉树把区域递归分成四块,用于稀疏区域的压缩存储。GIS 和空间数据库里常用。

3. 边界描述子:把曲线变成数​

3.1 简单量​

  • 周长 PP:链码里的点数(斜方向计 2\sqrt 2)
  • 面积 AA:区域内像素数
  • 圆度 C=4πA/P2C=4\pi A/P^2:完美圆是 1,越窄长越小
  • 偏心率:外接矩形长宽比
  • 凸性缺陷:A凸壳/AA_{\text{凸壳}}/A,凸形状是 1,越凹越大

一堆简单量拼成一个特征向量足以做粗分类(圆、方、椭圆、不规则)。工业质检里 90% 的形状分类靠这些就够了。

3.2 傅里叶描述子​

把闭合边界看成复数序列 z(k)=x(k)+jy(k)z(k)=x(k)+jy(k),做 DFT 得到 Z(u)Z(u)。

变换性质:

  • 平移 → 只影响 Z(0)Z(0),扔掉即可
  • 缩放 → 全部系数按同比缩放,用 ∣Z(1)∣|Z(1)| 归一化
  • 旋转 → 每个系数乘同相位,∠Z(u)−∠Z(1)\angle Z(u)-\angle Z(1) 归一化
  • 起点 → 每个系数乘线性相位,也能归一化

归一化后剩下的 ∣Z(2)∣,∣Z(3)∣,…|Z(2)|, |Z(3)|, \ldots 是平移、缩放、旋转、起点全部不变的描述子。前 10-20 个系数就够表征大多数形状(低频对应粗形状,高频对应细节)。

4. 区域描述子​

4.1 拓扑量​

  • 欧拉数 E=C−HE=C-H:连通分量数减洞数。字母 "A" 是 1−1=01-1=0,"i" 是 2−0=22-0=2。对形状扭曲不敏感,对拓扑变化敏感
  • 紧致度、离心率、方向:从二阶矩推出

4.2 矩描述子​

几何矩:

mpq=∑x∑yxpyqI(x,y)m_{pq}=\sum_x\sum_y x^p y^q I(x,y)

m00m_{00} 是面积,m10/m00,m01/m00m_{10}/m_{00}, m_{01}/m_{00} 是质心。中心矩(减去质心)平移不变。归一化中心矩(除以面积的幂)加上尺度不变性。

Hu 矩:Hu 1962 年组合出 7 个非线性组合,同时具有平移、缩放、旋转、镜像不变性。至今仍是形状分类的经典基线。

Zernike 矩:在单位圆上用 Zernike 多项式基分解。数值更稳定,正交性更好。指纹识别、字符识别的老一辈标配。

4.3 纹理描述子​

统计法:灰度共生矩阵(GLCM)——P(i,j)P(i,j) 记录距离/方向 (d,θ)(d,\theta) 上灰度 ii 和 jj 共现的频率。从 GLCM 算出对比度、能量、熵、同质性等 14 种 Haralick 特征。

结构法:假设纹理是基元的重复。分析基元 + 排列规则。适合规则纹理(砖墙、格子布),不适合自然纹理。

谱法:Fourier 频谱的峰位置反映主纹理方向和频率。周期性纹理(网点、条纹)用这个最好。

局部二值模式(LBP):每个像素比自己的 8 个邻居大/小,得 8 位二进制码。整幅图统计 LBP 直方图当描述子。旋转不变(循环最小编码)、光照不变(只比较大小)。是深度学习之前人脸识别的经典特征。

5. 手工特征的黄金时代:SIFT 和 HOG​

2004-2012 年间,视觉领域被两个手工特征统治。

5.1 SIFT(Scale-Invariant Feature Transform)​

David Lowe 1999/2004。SIFT 找到的是关键点 + 128 维描述子。

关键点检测流程:

  1. 构建高斯金字塔:不同尺度模糊图像
  2. DoG 金字塔:相邻高斯层相减
  3. 极值点:在 DoG 里找 3D(x, y, σ)局部极值
  4. 精细化:Taylor 展开子像素精度定位
  5. 主方向:关键点邻域内的梯度方向直方图取峰值

描述子:把关键点周围 16×1616\times 16 区域按主方向旋转对齐,分成 4×44\times 4 网格,每格算 8 方向梯度直方图,共 4×4×8=1284\times 4\times 8=128 维。

不变性:尺度、旋转、光照、部分遮挡都近似不变。这是它称霸十年的原因。

后续 SURF(更快)、ORB(更快 + 免专利)都是它的变种。

5.2 HOG(Histogram of Oriented Gradients)​

Dalal & Triggs 2005。SIFT 是稀疏关键点,HOG 是稠密网格。

  1. Sobel 算梯度
  2. 划分 8×88\times 8 cell,每个 cell 算 9 方向梯度直方图
  3. 组合 2×22\times 2 cell 成 block,做 L2 归一化(光照不变)
  4. 拼接所有 block 直方图

在行人检测数据集上首次做到实用级性能,多年是人体检测的默认特征。

6. Bag of Words:从局部特征到全局表示​

一堆 SIFT 描述子怎么描述一幅图?借鉴 NLP:

  1. 视觉词典:所有训练图的 SIFT 描述子做 K-means 聚类,得 K=1000K=1000 个视觉词
  2. 量化:每幅图的 SIFT 分配给最近视觉词
  3. 直方图:数每个词出现多少次
  4. 归一化:得到 K 维向量

图像被压缩成 K 维直方图,可以拿去做检索、分类。这套流水线(BoW + SVM)主导了 2005-2012 年的视觉领域。缺点:忽略空间关系,狗头狗尾组成一幅图还是狗。

Spatial Pyramid Matching(SPM)加了空间金字塔缓解这个问题,Fisher Vector 用更精细的编码提升性能。这些都是 CNN 出现之前的手工设计能达到的极致。

7. 深度学习特征:手工描述子的终结​

2012 年 AlexNet 出来,一切改变。

CNN 中间层激活就是最强的描述子。取 AlexNet 的 fc7 层 4096 维输出,直接扔给 SVM——在几乎所有图像分类任务上碾压手工特征。

后续的进化:

  • VGG、ResNet:更深,更好的通用特征
  • ImageNet 预训练迁移:不再需要为每个任务重训
  • 对比学习(SimCLR, MoCo, DINO):无监督预训练,特征质量继续提升
  • CLIP:图文对比学习,特征直接对齐语言语义
  • DINOv2:自监督 ViT 特征,在很多下游任务上超过 CLIP

现在的"描述子"是一个 512/768/1024 维的稠密向量,来自某个大模型的中间层。相似度是余弦距离。图像检索、聚类、下游微调全用这一套。

8. 什么时候还用手工描述子​

深度特征强,但也不是万能的:

  • 数据太少:只有几十张训练图,CNN 会过拟合。用 Hu 矩、傅里叶描述子 + SVM 更稳
  • 需要可解释性:医学、法律场景要求"这个决策依赖什么特征"。手工特征清清楚楚
  • 实时嵌入式:ORB 只需要几毫秒,CNN 需要几十到几百
  • 精确几何:SIFT 的亚像素定位精度比 CNN 的分类结果更适合三维重建、SfM
  • 无学习条件:小型工业相机上不能部署 GPU

传统 SLAM 系统(ORB-SLAM3、VINS-Mono)现在还在大量用 ORB/SIFT,因为几何一致性、亚像素精度、无 GPU 需求这三个属性 CNN 特征暂时没做到同时满足。

9. 描述子的评价维度​

选描述子看四件事:

属性含义典型代表
不变性平移、缩放、旋转、光照、遮挡下稳定SIFT(尺度+旋转+光照)、Hu 矩(几何全不变)
判别性不同类别的描述子区分度大CNN 特征 > SIFT > Hu 矩
效率计算时间、内存占用ORB > SIFT,边界矩 > CNN
稠密/稀疏每个像素都有 vs 只在关键点HOG 稠密,SIFT 稀疏

任务定义决定权重。做 3D 重建要不变性 + 稀疏;做分类要判别性 + 稠密;做实时机器人要效率。

10. 描述子在生成式时代的位置​

生成式模型(Stable Diffusion、DALL·E)的 latent 空间也可以当作描述子——CLIP 空间是训练目标,天然是判别性特征;VAE latent 是压缩表示,重构性好但判别性一般。

未来趋势:描述子和生成模型的表示在合并。同一个 512 维向量可以既表征"这幅图长什么样"(判别)又能重建"这幅图长什么样"(生成)。CLIP + Diffusion 的组合已经证明这条路可行。