跳到主要内容

OKVIS:把关键帧滑窗写成通用优化框架

论文:Keyframe-Based Visual-Inertial Odometry Using Nonlinear Optimization(Leutenegger 等,ETH,2015)。OKVIS 是紧耦合滑窗 VIO 的原型系统——2015 年之前 VIO 主要是 EKF 路线(MSCKF、ROVIO),OKVIS 是第一个把"关键帧 + 滑窗 + 非线性最小二乘 + 边缘化"这一整套东西完整实现并开源的。后来的 VINS-Mono、ORB-SLAM3 里几乎所有骨架 idea 都能在 OKVIS 里找到雏形。

1. 为什么要"关键帧"​

VIO 面对的现实是:相机拍得快(30 Hz),IMU 更快(200 Hz),但相邻帧之间信息高度冗余。每一帧都塞进优化会有两个后果——变量数爆炸,且大量相邻帧之间基线太短,三角化出来的地图点极不稳定。

OKVIS 的思路是把帧分成两类:

  • 关键帧(keyframe):视差足够大、或者视觉环境有明显变化时选中。地图点主要靠关键帧观测三角化
  • 普通帧(temporal frame):非关键帧,只有短期用途,用完就丢

窗口里保持 NKN_K 个关键帧 + NTN_T 个最近普通帧(论文默认 NK=3,NT=3N_K=3, N_T=3)。关键帧空间上分布均匀,覆盖到大范围场景;普通帧时间上密集,用来提供最新的 IMU 约束和视觉观测。

对比 VINS-Mono 的做法——所有窗口帧一视同仁 10 个——OKVIS 的分层策略在长走廊里更抗漂移(关键帧稀疏放置,覆盖更远),但在快速旋转时容易掉关键帧(视差判据被大旋转打乱)。

2. 状态与残差​

窗口里每个帧的状态:

xi=[pi,qi,vi,ba,i,bg,i]x_i = [p_i, q_i, v_i, b_{a,i}, b_{g,i}]

外加一组地图点 {lj}\{l_j\}(3D 位置)。相机-IMU 外参 TbcT_{bc} 可选进优化(在线标定)也可离线固定。

代价函数三项:

J(x)=∑i∑jρ(∥eri,j∥Wr2)+∑k∥esk∥Ws2+∥eprior∥2J(x) = \sum_i \sum_j \rho\left(\|e_r^{i,j}\|^2_{W_r}\right) + \sum_k \|e_s^k\|^2_{W_s} + \|e_{prior}\|^2
  • 视觉重投影残差 eri,je_r^{i,j}:地图点 jj 在帧 ii 上的观测减去预测投影
  • IMU 残差 eske_s^k:预积分(虽然 OKVIS 用的是自己的 IMU 项,不完全等价于 Forster 的流形预积分,本质思路一致)
  • 先验项 epriore_{prior}:边缘化压出来的 Hessian

用 Google Ceres 里的 Levenberg-Marquardt 求解,10–20 次迭代收敛,单核 CPU 上 30 Hz 实时。

3. IMU 项的处理​

OKVIS 早于 Forster 的流形预积分论文(2015 中和末尾),所以它的 IMU 项做法略不同:每次优化重新积分,但只积分一次并把 Jacobian 缓存下来。当 Bias 变化时用泰勒展开近似修正,思想上和后来的预积分一致但工程实现更朴素。

具体流程:

  1. 拿到两帧之间的 IMU 序列
  2. 用当前的 Bias 估计做一次前向积分,得到相对位姿、速度增量
  3. 对 IMU 起始状态做微分,得到解析 Jacobian(14×15 矩阵)
  4. 优化中如果 Bias 变了,用 Δ\DeltaBias × Jacobian 修正一下预测值

这个方案的问题是 Bias 大幅变化时线性化误差累积。到 VINS-Mono 换用流形预积分之后,这一环才算彻底解决。

4. 前端​

OKVIS 的前端用 BRISK 特征(作者本人的工作)——一种二进制描述子,比 SIFT 快 10 倍以上,比 ORB 抗旋转略强。检测 + 匹配 + RANSAC,得到帧间对应。

跟踪流程:

  1. 新帧来了,检测 BRISK 特征
  2. 用 IMU 预测下一帧位姿,把上一帧看到的地图点投过来
  3. 描述子匹配 + 3D-2D PnP RANSAC 剔除外点
  4. 剩下的匹配作为视觉观测送进后端

BRISK 的选择在 2015 年是合理的,但十年后 ORB-SLAM3 证明 ORB + 词袋(DBoW2)更适合工程,OKVIS 前端后来被认为是它的短板之一。

5. 边缘化​

边缘化策略比 VINS-Mono 更精细,因为要处理关键帧和普通帧两种角色:

  • 普通帧滑出窗口:直接边缘化,视觉观测和 IMU 项一起压进先验
  • 关键帧滑出窗口:边缘化关键帧本身,但保留它观测过、还被窗内其他帧看到的地图点(因为这些点还在活跃使用)

Schur complement 消元时特别小心保留 IMU 时序连续性——不能让先验矩阵把两个不相邻的关键帧直接联到一起,否则实时约束图变稠密,优化速度崩掉。工程上通过精心组织变量排列顺序解决。

6. 实验结果​

在 EuRoC 数据集上(这个数据集本身就是 OKVIS 作者的组做的,用来 benchmark VIO):

序列OKVIS RMSE (m)说明
MH_01_easy0.34慢速平飞
MH_03_medium0.20中速转向
MH_05_difficult0.47快速+暗光
V1_02_medium0.13房间内小场景
V2_03_difficult0.29快速旋转

数字上不及 VINS-Mono,但要放到 2015 年——那时候唯一能达到相近精度的是 EKF 派的 MSCKF-VIO,且 OKVIS 的开源代码质量、可读性、可扩展性远超同期系统。学界把 OKVIS 视为紧耦合滑窗 VIO 的参考实现,几乎所有后来者第一步都是"读 OKVIS 代码"。

7. OKVIS-2(2022 更新)​

原论文 2015 年发表,作者组 2022 年发了 OKVIS2,在原有骨架上加了:

  • 全局位姿图 + 回环检测(原版没有)
  • 双目/多目支持更完善
  • IMU 项换成流形预积分
  • 支持时间戳同步优化

思路上 OKVIS2 更像 VINS-Fusion 的对标产品,但影响力已经不如当年——因为 ORB-SLAM3 在 2020 年出现后,紧耦合 VIO + 回环 + 多地图的组合已经被后者占据主流。

8. 局限​

  • BRISK 前端在纹理弱场景下匹配率低:VINS-Mono 换成 KLT 光流后鲁棒性明显更好
  • 无回环、无重定位(原版):走两圈回来漂移能到米级
  • 单目模式下初始化过程简陋:需要用户手动摇一摇触发尺度可观
  • 代码基于 ROS + Ceres,跨平台移植麻烦:不像 VINS-Mono 有清晰的裸库版本

9. OKVIS 在 VIO 家谱里的位置​

往前看,OKVIS 继承了 iSAM/BA 的非线性最小二乘思路,第一次把它和滑窗、关键帧、IMU 紧耦合完整整合起来。往后看:

  • VINS-Mono:单目化,前端换 KLT,加了回环,工程更成熟
  • ORB-SLAM3:把 OKVIS 的滑窗 + ORB-SLAM 的地图管理合并
  • BASALT(TUM):直接借用 OKVIS 的滑窗结构 + 双目 + 更快的 IMU 预积分
  • Kimera:VIO 层几乎是 OKVIS 的重写

一句话总结:OKVIS 是紧耦合滑窗 VIO 的祖师文件,精度不是最高,但每个后来者都要向它致敬。