跳到主要内容

ORB-SLAM3:多地图 + IMU 的集大成者

论文:ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual-Inertial and Multi-Map SLAM(Campos 等,萨拉戈萨大学,2020)。ORB-SLAM3 想说的事情不复杂:把 ORB-SLAM2 的纯视觉多传感器体系和 VINS-Mono 系的紧耦合 IMU,再加一个允许"跟丢就开新地图、认出来了再合并"的 Atlas 机制,全部塞进一个开源系统里。它是 2020–2024 年 SLAM 领域最常被作为 baseline 的系统,也是至今为止工程完成度最高的传统 VIO+SLAM 之一。

1. ORB-SLAM3 简介​

ORB-SLAM3 是 ORB-SLAM 家族的第三代:ORB-SLAM(2015,单目)→ ORB-SLAM2(2017,加双目和 RGB-D)→ ORB-SLAM3(2020,加 IMU 和多地图)。每一代都是在前一代基础上加大传感器覆盖和后端能力,不推翻已有设计。

相对前作,3 版的两个关键升级:

  • 紧耦合 IMU:单目/双目/RGB-D 三种视觉模式全部支持 IMU 融合,用 MAP(最大后验)三阶段初始化把尺度和 Bias 一次解出来
  • Atlas 多地图:跟丢瞬间冻结当前地图为 non-active,同时开新地图继续跑;后续认出旧场景就自动合并

工程上,ORB-SLAM3 至今仍是 SLAM 教学和论文 baseline 的事实标准——绝大多数 VIO 新论文都会跟它对比 EuRoC 上的成绩。

2. ORB-SLAM3 架构​

ORB-SLAM3 沿用了 ORB-SLAM 系列的三线程架构,并额外挂了一个 Atlas 管理层:

Tracking(跟踪线程,~30 Hz)
│ 每帧特征提取 + 位姿估计 + 关键帧判定
▼
Local Mapping(局部建图线程)
│ 局部 BA + 关键帧管理 + IMU 初始化
▼
Loop & Map Merging(回环 + 地图合并线程)
│ 全局位姿图优化 + 多地图合并
▼
Atlas(多地图容器)
├── Active map(当前工作地图)
└── Non-active maps(跟丢时生成的历史地图)

三线程结构从 ORB-SLAM 一路继承而来,Atlas 是 3 版才有的新东西。

支持传感器列表​

ORB-SLAM3支持的相机(视觉传感器)包括:

  • 单目相机(Monoocular Camera)
  • 双目相机(Stereo Camera)
  • RGB-D相机(RGB-D Camera)

而支持的输入包括:

  • 单目相机图像(单目SLAM)+ 时间戳
  • 双目相机图像(双目SLAM)+ 时间戳
  • RGB-D相机图像(多目SLAM)+ 时间戳
  • 单目相机图像+ 惯性传感器数据(IMU)+ 时间戳 (VIO)
  • 双目相机图像+ 惯性传感器数据(IMU)+ 时间戳 (VIO)
  • RGB-D相机图像+ 惯性传感器数据(IMU)+ 时间戳 (VIO)

具体配置可见于examples文件夹下。

跨传感器统一在同一个后端里跑,是 ORB-SLAM3 相对前作的关键升级——ORB-SLAM2 只做纯视觉、ORB-SLAM-VI 只做单目 VIO,两个仓库各不相干。3 版把它们合并成一套代码。

3. IMU 初始化:MAP 三阶段法​

单目 VIO 冷启动是个老大难。VINS-Mono 用"松耦合先视觉后 IMU 对齐",快但 Bias 不精。ORB-SLAM3 换成一套最大后验(MAP)三阶段初始化,把可靠性和精度同时拉起来。

三阶段:

  1. 纯视觉初始化(Vision-only MAP):先跑 2 秒纯 ORB-SLAM,建一个尺度未知的关键帧地图。这一步和 VINS-Mono 类似
  2. 纯惯性 MAP(Inertial-only MAP):固定视觉估计结果,把尺度 ss、重力方向 RwgR_{wg}、加计 Bias bab_a、陀螺 Bias bgb_g、每关键帧速度 viv_i 一起当作变量,最小化 IMU 预积分残差解出来。特点是加计和陀螺 Bias 单独优化,不像 VINS-Mono 只解陀螺 Bias
  3. 视觉-惯性 MAP(Visual-Inertial MAP):把上面两步的解合并,做一次完整的紧耦合 BA 优化,视觉和 IMU 项一起收敛

三步走的关键洞察:单目视觉解出的地图结构本身就是可信的(相对精度高),只是差一个尺度;IMU 端的 Bias 又受视觉几何强约束。所以先解决好视觉几何、再解决 IMU 参数、最后联合精修,比 VINS-Mono 的两阶段做法更稳。作者报告初始化时间从 VINS-Mono 的 5–10 秒缩短到 2 秒,且尺度误差从 ~5% 降到 <1%。

4. Atlas:多地图管理​

Atlas 是 ORB-SLAM3 的招牌。传统 SLAM 系统跟丢了(快速旋转、遮挡、进电梯)通常有两种反应:

  • 纯定位失败:卡住等待重定位,长时间恢复不了就重启
  • 重新建图:丢掉旧地图,从当前位置开始新的

ORB-SLAM3 做的是第三种:跟丢瞬间把当前地图冻结成 non-active,同时开一张新地图继续跑。以后如果在新地图里认出了旧地图的场景(词袋检测),就触发地图合并——把两张地图的相对位姿解出来,把它们拼成一张更大的地图。

工程上的价值:

  • 电梯场景(进电梯前后是两个独立地图,出电梯后自动合并)
  • 长时间 SLAM(跟丢一次不会白干几分钟的工作)
  • 多次进出同一空间(每次的观测都能累积到同一张地图)

合并机制底层是"全局 BA + Sim(3) 相似变换"——旧地图的尺度和新地图的尺度可能不一样(单目场景),合并时用 Sim(3) 而不是 SE(3) 校正过来。

5. 关键升级细节​

相对 ORB-SLAM2,3 版在若干细节上做了修补:

MLPnP 位姿估计:ORB-SLAM2 用 EPnP,3 版换成 MLPnP,能同时处理针孔、鱼眼、全景等各种相机模型。前端不再假设特定投影模型,配鱼眼相机不用改内核代码。

先前地图重用:跟踪线程从 Atlas 里所有 non-active 地图里查关键帧词袋做重定位,不只查 active。用户如果知道自己走过一遍同样的地方,机器人第二次跑过来能立刻知道自己在哪。

滑窗-全图混合优化:short-term 用滑窗 BA(类似 VINS-Mono),long-term 用关键帧全图 BA(继承 ORB-SLAM 传统),mid-term 靠共视图连接。三层时空尺度并存。

IMU 项复用 Forster 预积分:直接用 OKVIS 之后成熟的流形预积分方案,Ceres 或 g2o 优化都能挂。

6. 实验结果​

EuRoC MAV 数据集,单目 VIO 模式:

序列VINS-MonoORB-SLAM3 (mono-inertial)
MH_010.150.036
MH_020.150.033
MH_030.160.035
MH_040.210.051
MH_050.290.082
V1_010.090.038
V1_020.110.014
V2_010.100.032
V2_020.150.014
V2_030.270.024

绝对轨迹误差(ATE)平均降低一个数量级。原因主要来自三方面:MAP 初始化更准、Atlas 允许跟丢恢复、全图 BA + 回环 + 地图合并的组合让长期漂移大幅收敛。

7. 局限​

  • ORB 特征在低纹理场景下失效:白墙、玻璃幕墙前 ORB 检测不出特征,前端跟丢。这个问题从 ORB-SLAM 一路遗留至今
  • CPU 占用高:三线程 + BA + 词袋,普通笔记本单目 VIO 大约要 4–6 个核,嵌入式部署(Jetson Nano、树莓派)要精心裁剪
  • 不支持事件相机、深度学习特征:这些扩展在社区里以 fork 形式存在,主分支没吸收
  • 回环需要词袋预训练:DBoW2 词典对新场景(如水下、极端光照)需要重训

8. ORB-SLAM3 在 VIO 家谱里的位置​

往前看,ORB-SLAM3 是 ORB-SLAM 系列的第三代,也是 OKVIS、VINS-Mono 的直接后继。往后看:

  • BASALT(TUM):走的是纯滑窗路线,没有 Atlas,但双目 VIO 精度更高
  • Kimera:ORB-SLAM3 + 语义分割 + Mesh 重建
  • DROID-SLAM:完全放弃传统特征,端到端学习
  • VIO 变体(GVINS、IC-GVINS、LVI-SAM):在 ORB-SLAM3 或 VINS 基础上再挂 GPS/LiDAR
  • Deep-SLAM 混合派:把 ORB 换成 SuperPoint、DBoW2 换成 NetVLAD 的一系列 fork

从 2020 到今天,如果一篇 VIO 论文号称"打败 SOTA",它多半在 EuRoC 上对比的就是 ORB-SLAM3。