亚像素级角点检测:把角点定位精度往下压一个数量级
Harris、Shi-Tomasi、FAST 这一类检测器的输出是整数坐标——它们扫描每个像素、计算响应函数、做非极大值抑制,最后给你一堆 的点。对多数应用够用,但只要精度需求上一个台阶,整数像素立刻不够。这就是亚像素角点检测(sub-pixel corner detection)要解决的问题:把角点位置精细到 像素级别。
1. 为什么整数像素不够
相机标定是最典型的场景。用一张 的棋盘格标相机,每张图上大约 70 个角点,一次采集 15 张图就是上千个观测。标定的目标是拟合内参矩阵 和畸变系数 ,本质是一个 PnP 优化。如果每个角点的定位误差是 像素(整数量化误差),那么 的估计误差大约在 量级——听上去不多,但畸变系数的估计误差会被放大 5 到 10 倍,标定结果在图像四角的重投影误差可以到几个像素。
SLAM 前端是另一个例子。ORB-SLAM、VINS-Mono、DSO 里,前端特征跟踪或直接法优化都需要亚像素精度:整数级的匹配噪声进入后端捆集调整(BA),会污染所有位姿、所有地图点,累积到长轨迹上就是米级漂移。
光流(Lucas-Kanade 类)本身就是解亚像素位移的算法。金字塔搜索的每一层都在做亚像素精化,如果第一层的角点位置就是整 数级的,输入噪声下限就锁死了。
结构光、双目视差、AR 标记定位都是同样的逻辑:下游任务的精度上限被前端定位精度锁死,所以把角点位置从整数刷到浮点是"性价比极高的一步"。
从信号角度看更本质:真实图像里的角点几乎不会恰好落在像素采样格点上——真实位置 ,采样量化到 。检测器给你的整数坐标是采样后的近似,亚像素精化则是用邻域信息反推真实位置。这是一个反问题(inverse problem),有两条主流思路。
2. 方法一:响应函数的二次曲面拟合
这是最直接的做法。既然 Harris 响应函数 在角点处取局部极大,把它在极大值附近做二阶 Taylor 展开,用连续函数逼近离散网格上的采样:
其中 是整数级检测器给出的极大值位置,, 是 Hessian。真实极大值满足 ,解出偏移量:
亚像素位置就是 。
实操里 和 都可以用 邻域内 值的差分算:
优点:一次性、闭式解、无需迭代。SIFT 的关键点精化用的就是这个套路(在 DoG 尺度空间里做 3D 二次拟合,额外解出尺度偏移 )。
缺点也明显:
- 它精化的是响应函数的极值,不是角点几何本身的极值。响应函数是检测器人为设计的(Harris 里 ), 变一下极值位置就漂移一下。
- 高斯平滑改变响应函数的曲率,从而改变 ,从而改变 。理论上是无偏的,实际上对平滑参数敏感。
- 二次逼近仅在极值极近邻有效,偏移量 时基本不可信,此时说明整数级定位错了一格,需要重新找起点。
3. 方法二:梯度正交约束法(cv::cornerSubPix)
这是 OpenCV 的 cv::cornerSubPix 用的算法,也是工业上标定、AR、SLAM 领域的默认选项。它不看响应函数,而是直接看图像梯度——在角点附近,梯度的几何结构非常规整,可以用一个漂亮的约束把真实角点位置解出来。
3.1 核心观察
设 是真实的亚像素角点位置。在 的一个小邻域内任取一点 ,考虑向量 与该点图像梯度 的关系:
情况一: 落在均匀区域——梯度 ,内积 自动成立。
情况二: 落在边缘上——梯度 与边缘方向垂直,而 沿着边缘方向(因为 是角点,从边缘上任一点指向 都是沿边缘方向),所以两者依然正交,内积为零。
角点 q ●
╲
╲ ← 边缘方向 (q-p)
●─────→ ∇I(p) (垂直边缘)
p
(q-p) ⊥ ∇I(p) → ∇I(p)·(q-p) = 0
两种情况合起来,对邻域内任何一点 :
这个约束就叫梯度正交约束。每个邻域点提供一个方程, 是 2 个未知数, 个点组成超定方程组。
3.2 最小二乘求解
把约束展开:
左右同时用 展开成外积形式并累加:
左边那个矩阵正是 Harris 里的结构张量 :
于是有闭式解:
可逆的条件正是 Harris 里"两个特征值都不小"的条件——这是真正的角点才有的性质。均匀区、边缘上都不可逆,也不该在那儿调 cornerSubPix。这个数学结构惊人的自洽:亚像素细化在数学上要求的正是角点性本身。
3.3 迭代与收敛
真实图像里梯度带噪声、量化误差、光照渐变,一次求解通常不能精确落到 。OpenCV 的做法是迭代:以当前 为窗口中心重新采样邻域、重新算 和右端项、解出 ,直到
cv::cornerSubPix 的参数 criteria = (EPS+MAX_ITER, 30, 0.01) 说的就是"最多 30 次迭 代或位移小于 0.01 像素"。
窗口大小是关键参数:太小则约束点数不足、噪声敏感;太大则违背"邻域内只有一个角点"的假设、被相邻角点污染。标定棋盘上典型取 ,密集特征点(ORB 前端)取 。此外还有一个内部零区(zero zone)参数,用来避开正中心的奇异梯度——中心像素本身的梯度在角点处不稳定,屏蔽一小圈可以增强数值稳定。
3.4 权重
实际实现里每个 还乘一个高斯权重 ,衰减远离窗口中心的点。这就变成加权最小二乘:
高斯权重的动机和 Harris 里从矩形窗换成高斯窗完全一致(见 Moravec 角点检测 的缺陷分析):抑制窗口边缘的噪声影响,同时数学上让整个过程对采样偏移平滑可导。
4. 两种方法的对照
| 维度 | 二次曲面拟合 | 梯度正交约束 |
|---|---|---|
| 输入 | 响应函数 的采样 | 图像梯度 |
| 求解 | 一次闭式(Hessian 求逆) | 迭代闭式 |
| 精度 | 依赖响应函数曲率 | 依赖梯度信噪比 |
| 对参数敏感 | 平滑参数、 值 | 窗口大小、迭代阈值 |
| 典型误差 | 像素 | 像素 |
| 典型场景 | SIFT / DoG 关键点 | 相机标定、SLAM |
工程实践上:SIFT / SURF 用二次曲面拟合(因为要顺便算尺度偏移),cv::cornerSubPix、Halcon、matlab detectCheckerboardPoints 用梯度正交约束。对精度要求极高的场景可以把两个方法级联:先响应函数拟合到 像素,再梯度正交精化到 像素。
5. 与光流、SLAM 的连接
亚像素细化的数学结构在其它领域反复出现,一旦看穿本质就会发现它无处不在。
Lucas-Kanade 光流要解的方程是:
左边是同一个 Harris 矩阵 , 是待求的亚像素位移, 是时间梯度。这告诉你 KLT 特征点跟踪的可跟踪条件正是"角点性"——Shi 和 Tomasi 1994 年那篇 Good Features to Track 名字里的 "good" 就是" 的最小特征值大"的意思。所以说 Shi-Tomasi 检测器和 KLT 跟踪器是同一个数学在不同侧面上的应用。
直接法 SLAM(DSO、LSD-SLAM) 更极端:干脆不显式检测角点,把亚像素细化直接作为整个后端优化的一部分——重投影误差对 3D 点位置和相机位姿的雅可比里,图像梯度 正是加权项。梯度正交约束推广成了梯度光度约束。
ORB-SLAM3 的前端在 FAST 检测出整数角点之后立刻调 cv::cornerSubPix 做精化,然后再算 ORB 描述子。整个前端的定位精度大致锁在 像素级别,这是后端 BA 能稳定收敛的前提。
VINS-Mono 用 Shi-Tomasi + KLT,跟踪里每帧都做亚像素金字塔搜索,本质上是把方法二做成时间维度上的连续版本。
一句话总结:亚像素细化不是一个孤立的技巧,而是所有依赖精确空间位置的视觉算法的公共子例程。理解它就理解了从棋盘标定到 SLAM BA 的这条完整数值路径。
6. 什么时候不需要它
也不是每个应用都需要亚像素。整数级 FAST + BRIEF 已经够 AR SLAM 用于短时定位,深度学习特征(SuperPoint、DISK、R2D2)直接输出浮点坐标——它们的网络最后一层做了 soft-argmax,等价于内嵌了亚像素精化。当你的下游任务对空间精度不敏感(图像检索、场景识别、语义分割),跳过它。
一个粗略判据:如果重投影误差、跟踪残差、匹配残差是你关心的最终指标,亚像素几乎总是值得做的;如果你只关心是否存在某个物体或结构,整数像素足够。