跳到主要内容

Deep-SLAM:深度学习和优化后端的握手

这一篇不讲某个具体系统,而是把"用深度学习替换 SLAM 里某一环节但保留几何优化后端"这类工作放到一起看。之所以单独成篇,是因为它们既不是端到端黑盒(那是 DROID-SLAM 那一路),也不是纯传统几何(那是 ORB-SLAM3、VINS-Mono 那一路),而是介于两者之间的混合——用网络补传统方法的短板,同时不放弃几何约束这个强先验。

1. 为什么要"混合"​

传统 SLAM 的问题在 DROID-SLAM 那篇已经说过——特征法在低纹理/大旋转/动态场景下脆弱,参数调起来费劲。但完全端到端的方法也有它的问题:

  • 训练数据分布决定使用场景,跨域鲁棒性有限
  • 几何一致性没有硬约束,深度估计可能违背极线约束
  • 显存和 GPU 依赖让嵌入式部署困难
  • 可解释性差,出问题不好 debug

混合思路的核心是:几何约束在哪里天然成立就用几何,网络只填几何搞不定的地方。比如:

  • 特征检测/描述:用网络学一个比 ORB 更抗光照变化的描述子(SuperPoint、DISK、ALIKED)
  • 特征匹配:用网络替代最近邻 + RANSAC(SuperGlue、LoFTR、LightGlue)
  • 单目深度:CNN 预测稠密深度,作为 BA 的初值和正则项
  • 动态物体剔除:分割网络 mask 掉动态区域再送进 SLAM
  • 回环检测:用网络学的全局描述子(NetVLAD)替代 DBoW2

每一环节都可以独立替换,后端 BA/滤波仍然沿用传统方案。这一路的代表工作按环节整理如下。

2. 学习式特征:SuperPoint 系​

SuperPoint(Magic Leap,2018):CNN 同时输出关键点位置和描述子,端到端训练。相比 ORB 的优势——描述子长度短(256 维 float 或压缩到 32 字节二进制)、光照鲁棒性好、跨模态(RGB↔灰度)也能匹配。

SuperGlue(同 Magic Leap,2020):用注意力机制做特征匹配,把 SuperPoint 的匹配率再提一大截。缺点是慢——每对图像匹配要 100+ ms,实时 SLAM 用不起。

LightGlue(ETH,2023):SuperGlue 的轻量版,10× 快,精度接近。

LoFTR(浙大 + 商汤,2021):不显式提特征,直接从两张图端到端出稠密匹配。适合弱纹理场景(如白墙、玻璃)。

集成方式:把 ORB-SLAM3 里的 ORB 特征换成 SuperPoint,词袋换成 NetVLAD,其他不动。EuRoC 上精度提升不大(1.2 倍),但在跨光照/夜间数据集上能从 50% 成功率涨到 90%。代表工作:GCNv2-SLAM、Pixloc-SLAM、LIFT-SLAM。

3. 学习式深度:CNN-SLAM 系​

CNN-SLAM(Tateno 等,2017):把单目 CNN 深度估计(如 FCRN)的输出作为 LSD-SLAM 里稀疏深度的稠密补充。作用是给单目 SLAM 加一个绝对尺度先验,缓解单目"漂尺度"问题。

D3VO(TUM,2020):网络同时预测深度、光度对齐参数、位姿不确定性,全部塞进 DSO 的直接法 BA。这是"神经网络输出概率、几何优化用它"的典型做法。

DeepFactors(Bloesch 等,2020):网络学一个"深度 code"(低维隐向量),BA 在 code 空间做 SDF 式优化,得到稠密重建。

TANDEM(TUM,2021):CNN 预测的深度直接融入 MVS-net + DSO 的混合系统,实时稠密重建。

集成方式:这类工作的 BA 里除了几何残差还有"深度一致性残差"(网络预测的深度和三角化深度应该吻合),网络的输出既是初值又是正则。

4. 动态物体处理:Segment-then-SLAM​

传统 SLAM 假设场景静态。人、车、动物这些动态物体的特征点会污染 BA。混合方案是用分割网络在前端 mask 掉动态区域:

  • DynaSLAM(Bescos 等,2018):Mask R-CNN 分割 person/car/bike,SLAM 只用剩余静态区域
  • DS-SLAM(Yu 等,2018):语义分割 + 光流一致性检查,动态区域双重剔除
  • AirDOS(CMU,2022):把动态物体建模成"独立小 SLAM 子系统",主 SLAM 和它松耦合

集成成本极低——就是给 ORB-SLAM3 前端加一个 mask,其他不改。TUM Dynamic Objects 数据集上 ATE 能降低 5–10 倍。

5. 学习式闭环:NetVLAD 系​

传统闭环用 DBoW2 词袋——离线训一个视觉词典,查询时算词频直方图。问题是词典对训练数据的场景分布依赖大,换个场景可能召回率暴跌。

NetVLAD(INRIA,2016):CNN 输出一个全局图像描述子,直接用余弦相似度做地点识别。跨天气、跨季节、跨白天/夜晚的召回率远超词袋。

MixVPR(2023)、AnyLoc(2023):更大更强的地点识别模型,直接用现成 ViT 骨架。

集成方式:SLAM 后端保留位姿图优化,前端把 DBoW2 检索换成 NetVLAD 检索。

6. 混合方案的实验比较​

在 KITTI Odometry(车载室外)上纯几何 vs 混合 vs 端到端的对比:

方法类型平均 ATE (m)需要 GPU训练数据
ORB-SLAM3纯几何8.5否无
VINS-Mono纯几何12.3否无
SuperPoint + ORB-SLAM3混合6.8是(前端)HPatches
D3VO混合5.1是(网络)KITTI 半监督
DROID-SLAM端到端3.6是(全流程)TartanAir

混合方法在 KITTI 上比纯几何精度提升 30–50%,但仍不及端到端的 DROID-SLAM。真正的优势在部署成本:混合方法可以把网络挪到前端一次性推理,BA 后端仍然跑在 CPU 上,嵌入式部署可行。DROID-SLAM 的 Dense BA 需要 GPU 持续供电,无人机、AR 眼镜用不起。

7. 混合路线的三个流派​

我把这类工作分成三个流派:

替换派("网络 = 更好的特征"):SuperPoint、LightGlue 这类,把传统组件换成神经网络。后端不动,工程接入门槛最低。代表:ORB-SLAM3 的各种 learning-based fork。

注入派("网络 = 额外的先验"):D3VO、DeepFactors、CNN-SLAM 这类,把网络预测作为额外的残差项加进 BA 目标函数。这一路最讲究"网络输出置信度"——只有网络自己知道该信任多少。

外挂派("网络 = 数据流的滤网"):DynaSLAM、AirDOS 这类,网络只做数据预处理(分割、mask、去动态),SLAM 系统本身完全不改。集成成本最低,效果也最有限。

8. 局限​

  • 训练分布依赖:网络在训练场景内很好用,跨场景/跨模态需要重新训练
  • 网络推理开销:即使前端 GPU 推理也可能挤占 SLAM 的算力预算
  • 不同环节的深度学习组件互相不知道:SuperPoint 前端 + DBoW2 后端匹配不好,因为词典没在 SuperPoint 描述子上训练
  • 可解释性和可 debug 性下降:网络的行为有随机性,SLAM 崩了很难定位是网络还是几何的锅

9. 混合派在 SLAM 家谱里的位置​

往前看,混合方案是深度学习进入 SLAM 领域的过渡形态——2015–2020 年学术界普遍认为深度学习还不足以替代整个几何 SLAM,最保险的路是替换单一环节。往后看:

  • DROID-SLAM 之后端到端方法崛起,混合方案的地位相对下降
  • 但产业界仍然大量用混合方案——工程可控、CPU 可跑、故障可 debug
  • 2024 年后视觉基础模型(DUSt3R、MASt3R、VGGT、DINOv2)让混合派又活过来一次——用大模型做前端特征/深度,BA 后端保留

一句话:混合派是深度学习和几何 SLAM 妥协的产物,也是工程界至今用得最多的一类。它的存在证明"要么全学习要么全几何"是个假二元对立——真正的最优解在两者之间。