跳到主要内容

亚像素级角点检测:把角点定位精度往下压一个数量级

Harris、Shi-Tomasi、FAST 这一类检测器的输出是整数坐标——它们扫描每个像素、计算响应函数、做非极大值抑制,最后给你一堆 (xi,yi)∈Z2(x_i, y_i)\in\mathbb{Z}^2 的点。对多数应用够用,但只要精度需求上一个台阶,整数像素立刻不够。这就是亚像素角点检测(sub-pixel corner detection)要解决的问题:把角点位置精细到 0.01∼0.10.01\sim 0.1 像素级别。

1. 为什么整数像素不够​

相机标定是最典型的场景。用一张 7×107\times 10 的棋盘格标相机,每张图上大约 70 个角点,一次采集 15 张图就是上千个观测。标定的目标是拟合内参矩阵 KK 和畸变系数 (k1,k2,p1,p2,…)(k_1,k_2,p_1,p_2,\ldots),本质是一个 PnP 优化。如果每个角点的定位误差是 ±0.5\pm 0.5 像素(整数量化误差),那么 fx,fyf_x,f_y 的估计误差大约在 0.5%0.5\% 量级——听上去不多,但畸变系数的估计误差会被放大 5 到 10 倍,标定结果在图像四角的重投影误差可以到几个像素。

SLAM 前端是另一个例子。ORB-SLAM、VINS-Mono、DSO 里,前端特征跟踪或直接法优化都需要亚像素精度:整数级的匹配噪声进入后端捆集调整(BA),会污染所有位姿、所有地图点,累积到长轨迹上就是米级漂移。

光流(Lucas-Kanade 类)本身就是解亚像素位移的算法。金字塔搜索的每一层都在做亚像素精化,如果第一层的角点位置就是整数级的,输入噪声下限就锁死了。

结构光、双目视差、AR 标记定位都是同样的逻辑:下游任务的精度上限被前端定位精度锁死,所以把角点位置从整数刷到浮点是"性价比极高的一步"。

从信号角度看更本质:真实图像里的角点几乎不会恰好落在像素采样格点上——真实位置 (x∗,y∗)∈R2(x^*, y^*)\in\mathbb{R}^2,采样量化到 (⌊x∗+0.5⌋,⌊y∗+0.5⌋)(\lfloor x^*+0.5\rfloor, \lfloor y^*+0.5\rfloor)。检测器给你的整数坐标是采样后的近似,亚像素精化则是用邻域信息反推真实位置。这是一个反问题(inverse problem),有两条主流思路。

2. 方法一:响应函数的二次曲面拟合​

这是最直接的做法。既然 Harris 响应函数 R(x,y)R(x,y) 在角点处取局部极大,把它在极大值附近做二阶 Taylor 展开,用连续函数逼近离散网格上的采样:

R(x,y)≈R(x0,y0)+g⊤[x−x0y−y0]+12[x−x0y−y0]⊤H[x−x0y−y0]R(x,y) \approx R(x_0,y_0) + \mathbf{g}^\top \begin{bmatrix}x-x_0\\y-y_0\end{bmatrix} + \frac{1}{2}\begin{bmatrix}x-x_0\\y-y_0\end{bmatrix}^\top H \begin{bmatrix}x-x_0\\y-y_0\end{bmatrix}

其中 (x0,y0)(x_0,y_0) 是整数级检测器给出的极大值位置,g=∇R\mathbf{g}=\nabla R,HH 是 Hessian。真实极大值满足 ∇R=0\nabla R=0,解出偏移量:

[ΔxΔy]=−H−1g\begin{bmatrix}\Delta x\\\Delta y\end{bmatrix} = -H^{-1}\mathbf{g}

亚像素位置就是 (x0+Δx, y0+Δy)(x_0+\Delta x,\, y_0+\Delta y)。

实操里 g\mathbf{g} 和 HH 都可以用 3×33\times 3 邻域内 RR 值的差分算:

Rx=12(R+1,0−R−1,0)Ry=12(R0,+1−R0,−1)Rxx=R+1,0−2R0,0+R−1,0Ryy=R0,+1−2R0,0+R0,−1Rxy=14(R+1,+1−R+1,−1−R−1,+1+R−1,−1)\begin{aligned} R_x &= \tfrac{1}{2}(R_{+1,0}-R_{-1,0})\\ R_y &= \tfrac{1}{2}(R_{0,+1}-R_{0,-1})\\ R_{xx} &= R_{+1,0}-2R_{0,0}+R_{-1,0}\\ R_{yy} &= R_{0,+1}-2R_{0,0}+R_{0,-1}\\ R_{xy} &= \tfrac{1}{4}(R_{+1,+1}-R_{+1,-1}-R_{-1,+1}+R_{-1,-1}) \end{aligned}

优点:一次性、闭式解、无需迭代。SIFT 的关键点精化用的就是这个套路(在 DoG 尺度空间里做 3D 二次拟合,额外解出尺度偏移 Δσ\Delta\sigma)。

缺点也明显:

  • 它精化的是响应函数的极值,不是角点几何本身的极值。响应函数是检测器人为设计的(Harris 里 R=det⁡M−k tr2MR=\det M-k\,\mathrm{tr}^2 M),kk 变一下极值位置就漂移一下。
  • 高斯平滑改变响应函数的曲率,从而改变 HH,从而改变 Δ\Delta。理论上是无偏的,实际上对平滑参数敏感。
  • 二次逼近仅在极值极近邻有效,偏移量 ∣Δ∣>0.5|\Delta|>0.5 时基本不可信,此时说明整数级定位错了一格,需要重新找起点。

3. 方法二:梯度正交约束法(cv::cornerSubPix)​

这是 OpenCV 的 cv::cornerSubPix 用的算法,也是工业上标定、AR、SLAM 领域的默认选项。它不看响应函数,而是直接看图像梯度——在角点附近,梯度的几何结构非常规整,可以用一个漂亮的约束把真实角点位置解出来。

3.1 核心观察​

设 q\mathbf{q} 是真实的亚像素角点位置。在 q\mathbf{q} 的一个小邻域内任取一点 p\mathbf{p},考虑向量 q−p\mathbf{q}-\mathbf{p} 与该点图像梯度 ∇I(p)\nabla I(\mathbf{p}) 的关系:

情况一:p\mathbf{p} 落在均匀区域——梯度 ∇I(p)≈0\nabla I(\mathbf{p})\approx\mathbf{0},内积 ∇I(p)⊤(q−p)≈0\nabla I(\mathbf{p})^\top(\mathbf{q}-\mathbf{p})\approx 0 自动成立。

情况二:p\mathbf{p} 落在边缘上——梯度 ∇I(p)\nabla I(\mathbf{p}) 与边缘方向垂直,而 q−p\mathbf{q}-\mathbf{p} 沿着边缘方向(因为 q\mathbf{q} 是角点,从边缘上任一点指向 q\mathbf{q} 都是沿边缘方向),所以两者依然正交,内积为零。

        角点 q ●
╲
╲ ← 边缘方向 (q-p)
●─────→ ∇I(p) (垂直边缘)
p

(q-p) ⊥ ∇I(p) → ∇I(p)·(q-p) = 0

两种情况合起来,对邻域内任何一点 p\mathbf{p}:

∇I(p)⊤(q−p)=0\nabla I(\mathbf{p})^\top (\mathbf{q}-\mathbf{p}) = 0

这个约束就叫梯度正交约束。每个邻域点提供一个方程,q\mathbf{q} 是 2 个未知数,NN 个点组成超定方程组。

3.2 最小二乘求解​

把约束展开:

∇I(pi)⊤q=∇I(pi)⊤pi\nabla I(\mathbf{p}_i)^\top \mathbf{q} = \nabla I(\mathbf{p}_i)^\top \mathbf{p}_i

左右同时用 ∇I(pi)\nabla I(\mathbf{p}_i) 展开成外积形式并累加:

(∑i∇I(pi)∇I(pi)⊤)q=∑i∇I(pi)∇I(pi)⊤pi\Big(\sum_i \nabla I(\mathbf{p}_i)\nabla I(\mathbf{p}_i)^\top\Big)\mathbf{q} = \sum_i \nabla I(\mathbf{p}_i)\nabla I(\mathbf{p}_i)^\top \mathbf{p}_i

左边那个矩阵正是 Harris 里的结构张量 MM:

M=∑i[Ix2IxIyIxIyIy2]∣piM = \sum_i \begin{bmatrix}I_x^2 & I_xI_y\\I_xI_y & I_y^2\end{bmatrix}\Big|_{\mathbf{p}_i}

于是有闭式解:

  q=M−1(∑i∇I(pi)∇I(pi)⊤pi)  \boxed{\;\mathbf{q} = M^{-1}\Big(\sum_i \nabla I(\mathbf{p}_i)\nabla I(\mathbf{p}_i)^\top \mathbf{p}_i\Big)\;}

MM 可逆的条件正是 Harris 里"两个特征值都不小"的条件——这是真正的角点才有的性质。均匀区、边缘上都不可逆,也不该在那儿调 cornerSubPix。这个数学结构惊人的自洽:亚像素细化在数学上要求的正是角点性本身。

3.3 迭代与收敛​

真实图像里梯度带噪声、量化误差、光照渐变,一次求解通常不能精确落到 q\mathbf{q}。OpenCV 的做法是迭代:以当前 q(k)\mathbf{q}^{(k)} 为窗口中心重新采样邻域、重新算 MM 和右端项、解出 q(k+1)\mathbf{q}^{(k+1)},直到

∥q(k+1)−q(k)∥<ε或者k>kmax⁡\|\mathbf{q}^{(k+1)}-\mathbf{q}^{(k)}\| < \varepsilon\quad\text{或者}\quad k>k_{\max}

cv::cornerSubPix 的参数 criteria = (EPS+MAX_ITER, 30, 0.01) 说的就是"最多 30 次迭代或位移小于 0.01 像素"。

窗口大小是关键参数:太小则约束点数不足、噪声敏感;太大则违背"邻域内只有一个角点"的假设、被相邻角点污染。标定棋盘上典型取 11×1111\times 11,密集特征点(ORB 前端)取 5×55\times 5。此外还有一个内部零区(zero zone)参数,用来避开正中心的奇异梯度——中心像素本身的梯度在角点处不稳定,屏蔽一小圈可以增强数值稳定。

3.4 权重​

实际实现里每个 pi\mathbf{p}_i 还乘一个高斯权重 w(pi)w(\mathbf{p}_i),衰减远离窗口中心的点。这就变成加权最小二乘:

q=(∑iwi∇I∇I⊤)−1(∑iwi∇I∇I⊤pi)\mathbf{q} = \big(\sum_i w_i \nabla I \nabla I^\top\big)^{-1}\big(\sum_i w_i \nabla I \nabla I^\top \mathbf{p}_i\big)

高斯权重的动机和 Harris 里从矩形窗换成高斯窗完全一致(见 Moravec 角点检测 的缺陷分析):抑制窗口边缘的噪声影响,同时数学上让整个过程对采样偏移平滑可导。

4. 两种方法的对照​

维度二次曲面拟合梯度正交约束
输入响应函数 R(x,y)R(x,y) 的采样图像梯度 ∇I\nabla I
求解一次闭式(Hessian 求逆)迭代闭式
精度依赖响应函数曲率依赖梯度信噪比
对参数敏感平滑参数、kk 值窗口大小、迭代阈值
典型误差0.1∼0.30.1\sim 0.3 像素0.01∼0.10.01\sim 0.1 像素
典型场景SIFT / DoG 关键点相机标定、SLAM

工程实践上:SIFT / SURF 用二次曲面拟合(因为要顺便算尺度偏移),cv::cornerSubPix、Halcon、matlab detectCheckerboardPoints 用梯度正交约束。对精度要求极高的场景可以把两个方法级联:先响应函数拟合到 0.30.3 像素,再梯度正交精化到 0.010.01 像素。

5. 与光流、SLAM 的连接​

亚像素细化的数学结构在其它领域反复出现,一旦看穿本质就会发现它无处不在。

Lucas-Kanade 光流要解的方程是:

(∑W∇I∇I⊤)d=−∑W∇I⋅It\Big(\sum_W \nabla I \nabla I^\top\Big)\mathbf{d} = -\sum_W \nabla I\cdot I_t

左边是同一个 Harris 矩阵 MM,d\mathbf{d} 是待求的亚像素位移,ItI_t 是时间梯度。这告诉你 KLT 特征点跟踪的可跟踪条件正是"角点性"——Shi 和 Tomasi 1994 年那篇 Good Features to Track 名字里的 "good" 就是"MM 的最小特征值大"的意思。所以说 Shi-Tomasi 检测器和 KLT 跟踪器是同一个数学在不同侧面上的应用。

直接法 SLAM(DSO、LSD-SLAM) 更极端:干脆不显式检测角点,把亚像素细化直接作为整个后端优化的一部分——重投影误差对 3D 点位置和相机位姿的雅可比里,图像梯度 ∇I\nabla I 正是加权项。梯度正交约束推广成了梯度光度约束。

ORB-SLAM3 的前端在 FAST 检测出整数角点之后立刻调 cv::cornerSubPix 做精化,然后再算 ORB 描述子。整个前端的定位精度大致锁在 0.05∼0.10.05\sim 0.1 像素级别,这是后端 BA 能稳定收敛的前提。

VINS-Mono 用 Shi-Tomasi + KLT,跟踪里每帧都做亚像素金字塔搜索,本质上是把方法二做成时间维度上的连续版本。

一句话总结:亚像素细化不是一个孤立的技巧,而是所有依赖精确空间位置的视觉算法的公共子例程。理解它就理解了从棋盘标定到 SLAM BA 的这条完整数值路径。

6. 什么时候不需要它​

也不是每个应用都需要亚像素。整数级 FAST + BRIEF 已经够 AR SLAM 用于短时定位,深度学习特征(SuperPoint、DISK、R2D2)直接输出浮点坐标——它们的网络最后一层做了 soft-argmax,等价于内嵌了亚像素精化。当你的下游任务对空间精度不敏感(图像检索、场景识别、语义分割),跳过它。

一个粗略判据:如果重投影误差、跟踪残差、匹配残差是你关心的最终指标,亚像素几乎总是值得做的;如果你只关心是否存在某个物体或结构,整数像素足够。