OKVIS:把关键帧滑窗写成通用优化框架
论文:Keyframe-Based Visual-Inertial Odometry Using Nonlinear Optimization(Leutenegger 等,ETH,2015)。OKVIS 是紧耦合滑窗 VIO 的原型系统——2015 年之前 VIO 主要是 EKF 路线(MSCKF、ROVIO),OKVIS 是第一个把"关键帧 + 滑窗 + 非线性最小二乘 + 边缘化"这一整套东西完整实现并开源的。后来的 VINS-Mono、ORB-SLAM3 里几乎所有骨架 idea 都能在 OKVIS 里找到雏形。
1. 为什么要"关键帧"
VIO 面对的现实是:相机拍得快(30 Hz),IMU 更快(200 Hz),但相邻帧之间信息高度冗余。每一帧都塞进优化会有两个后果——变量数爆炸,且大量相邻帧之间基线太短,三角化出来的地图点极不稳定。
OKVIS 的思路是把帧分成两类:
- 关键帧(keyframe):视差足够大、或者视觉环境有明显变化时选中。地图点主要靠关键帧观测三角化
- 普通帧(temporal frame):非关键帧,只有短期用途,用完就丢
窗口里保持 个关键帧 + 个最近普通帧(论文默认 )。关键帧空间上分布均匀,覆盖到大范围场景;普通帧时间上密集,用来提供最新的 IMU 约束和视觉观测。
对比 VINS-Mono 的做法——所有窗口帧一视同仁 10 个——OKVIS 的分层策略在长走廊里更抗漂移(关键帧稀疏放置,覆盖更远),但在快速旋转时容易掉关键帧(视差判据被大旋转打乱)。
2. 状态与残差
窗口里每个帧的状态:
外加一组地图点 (3D 位置)。相机-IMU 外参 可选进优化(在线标定)也可离线固定。
代价函数三项:
- 视觉重投影残差 :地图点 在帧 上的观测减去预测投影
- IMU 残差 :预积分(虽然 OKVIS 用的是自己的 IMU 项,不完全等价于 Forster 的流形预积分,本质思路一致)
- 先验项 :边缘化压出来的 Hessian
用 Google Ceres 里的 Levenberg-Marquardt 求解,10–20 次迭代收敛,单核 CPU 上 30 Hz 实时。
3. IMU 项的处理
OKVIS 早于 Forster 的流形预积分论文(2015 中和末尾),所以它的 IMU 项做法略不同:每次优化重新积分,但只积分一次并把 Jacobian 缓存下来。当 Bias 变化时用泰勒展开近似修正,思想上和后来的预积分一致但工程实现更朴素。
具体流程:
- 拿到两帧之间的 IMU 序列
- 用当前的 Bias 估计做一次前向积分,得到相对位姿、速度增量
- 对 IMU 起始状态做微分,得到解析 Jacobian(14×15 矩阵)
- 优化中如果 Bias 变了,用 Bias × Jacobian 修正一下预测值
这个方案的问题是 Bias 大幅变化时线性化误差累积。到 VINS-Mono 换用流形预积分之后,这一环才算彻底解决。
4. 前端
OKVIS 的前端用 BRISK 特征(作者本人的工作)——一种二进制描述子,比 SIFT 快 10 倍以上,比 ORB 抗旋转略强。检测 + 匹配 + RANSAC,得到帧间对应。
跟踪流程:
- 新帧来了,检测 BRISK 特征
- 用 IMU 预测下一帧位姿,把上一帧看到的地图点投过来
- 描述子匹配 + 3D-2D PnP RANSAC 剔除外点
- 剩下的匹配作为视觉观测送进后端
BRISK 的选择在 2015 年是合理的,但十年后 ORB-SLAM3 证明 ORB + 词袋(DBoW2)更适合工程,OKVIS 前端后来被认为是它的短板之一。
5. 边缘化
边缘化策略比 VINS-Mono 更精细,因为要处理关键帧和普通帧两种角色:
- 普通帧滑出窗口:直接边缘化,视觉观测和 IMU 项一起压进先验
- 关键帧滑出窗口:边缘化关键帧本身,但保留它观测过、还被窗内其他帧看到的地图点(因为这些点还在活跃使用)
Schur complement 消元时特别小心保留 IMU 时序连续性——不能让先验矩阵把两个不相邻的关键帧直接联到一起,否则实时约束图变稠密,优化速度崩掉。工程上通过精心组织变量排列顺序解决。
6. 实验结果
在 EuRoC 数据集上(这个数据集本身就是 OKVIS 作者的组做的,用来 benchmark VIO):
| 序列 | OKVIS RMSE (m) | 说明 |
|---|---|---|
| MH_01_easy | 0.34 | 慢速平飞 |
| MH_03_medium | 0.20 | 中速转向 |
| MH_05_difficult | 0.47 | 快速+暗光 |
| V1_02_medium | 0.13 | 房间内小场景 |
| V2_03_difficult | 0.29 | 快速旋转 |
数字上不及 VINS-Mono,但要放到 2015 年——那时候唯一能达到相近精度的是 EKF 派的 MSCKF-VIO,且 OKVIS 的开源代码质量、可读性、可扩展性远超同期系统。学界把 OKVIS 视为紧耦合滑窗 VIO 的参考实现,几乎所有后来者第一步都是"读 OKVIS 代码"。