Deep-SLAM:深度学习和优化后端的握手
这一篇不讲某个具体系统,而是把"用深度学习替换 SLAM 里某一环节但保留几何优化后端"这类工作放到一起看。之所以单独成篇,是因为它们既不是端到端黑盒(那是 DROID-SLAM 那一路),也不是纯传统几何(那是 ORB-SLAM3、VINS-Mono 那一路),而是介于两者之间的混合——用网络补传统方法的短板,同时不放弃几何约束这个强先验。
1. 为什么要"混合"
传统 SLAM 的问题在 DROID-SLAM 那篇已经说过——特征法在低纹理/大旋转/动态场景下脆弱,参数调起来费劲。但完全端到端的方法也有它的问题:
- 训练数据分布决定使用场景,跨域鲁棒性有限
- 几何一致性没有硬约束,深度估计可能违背极线约束
- 显存和 GPU 依赖让嵌入式部署困难
- 可解释性差,出问题不好 debug
混合思路的核心是:几何约束在哪里天然成立就用几何,网络只填几何搞不定的地方。比如:
- 特征检测/描述:用网络学一个比 ORB 更抗光照变化的描述子(SuperPoint、DISK、ALIKED)
- 特征匹配:用网络替代最近邻 + RANSAC(SuperGlue、LoFTR、LightGlue)
- 单目深度:CNN 预测稠密深度,作为 BA 的初值和正则项
- 动态物体剔除:分割网络 mask 掉动态区域再送进 SLAM
- 回环检测:用网络学的全局描述子(NetVLAD)替代 DBoW2
每一环节都可以独立替换,后端 BA/滤波仍然沿用传统方案。这一路的代表工作按环节整理如下。
2. 学习式特征:SuperPoint 系
SuperPoint(Magic Leap,2018):CNN 同时输出关键点位置和描述子,端到端训练。相比 ORB 的优势——描述子长度短(256 维 float 或压缩到 32 字节二进制)、光照鲁棒性好、跨模态(RGB↔灰度)也能匹配。
SuperGlue(同 Magic Leap,2020):用注意力机制做特征匹配,把 SuperPoint 的匹配率再提一大截。缺点是慢——每对图像匹配要 100+ ms,实时 SLAM 用不起。
LightGlue(ETH,2023):SuperGlue 的轻量版,10× 快,精度接近。
LoFTR(浙大 + 商汤,2021):不显式提特征,直接从两张图端到端出稠密匹配。适合弱纹理场景(如白墙、玻璃)。
集成方式:把 ORB-SLAM3 里的 ORB 特征换成 SuperPoint,词袋换成 NetVLAD,其他不动。EuRoC 上精度提升不大(1.2 倍),但在跨光照/夜间数据集上能从 50% 成功率涨到 90%。代表工作:GCNv2-SLAM、Pixloc-SLAM、LIFT-SLAM。
3. 学习式深度:CNN-SLAM 系
CNN-SLAM(Tateno 等,2017):把单目 CNN 深度估计(如 FCRN)的输出作为 LSD-SLAM 里稀疏深度的稠密补充。作用是给单目 SLAM 加一个绝对尺度先验,缓解单目"漂尺度"问题。
D3VO(TUM,2020):网络同时预测深度、光度对齐参数、位姿不确定性,全部塞进 DSO 的直接法 BA。这是"神经网络输出概率、几何优化用它"的典型做法。
DeepFactors(Bloesch 等,2020):网络学一个"深度 code"(低维隐向量),BA 在 code 空间做 SDF 式优化,得到稠密重建。
TANDEM(TUM,2021):CNN 预测的深度直接融入 MVS-net + DSO 的混合系统,实时稠密重建。
集成方式:这类工作的 BA 里除了几何残差还有"深度一致性残差"(网络预测的深度和三角化深度应该吻合),网络的输出既是初值又是正则。
4. 动态物体处理:Segment-then-SLAM
传统 SLAM 假设场景静态。人 、车、动物这些动态物体的特征点会污染 BA。混合方案是用分割网络在前端 mask 掉动态区域:
- DynaSLAM(Bescos 等,2018):Mask R-CNN 分割 person/car/bike,SLAM 只用剩余静态区域
- DS-SLAM(Yu 等,2018):语义分割 + 光流一致性检查,动态区域双重剔除
- AirDOS(CMU,2022):把动态物体建模成"独立小 SLAM 子系统",主 SLAM 和它松耦合
集成成本极低——就是给 ORB-SLAM3 前端加一个 mask,其他不改。TUM Dynamic Objects 数据集上 ATE 能降低 5–10 倍。
5. 学习式闭环:NetVLAD 系
传统闭环用 DBoW2 词袋——离线训一个视觉词典,查询时算词频直方图。问题是词典对训练数据的场景分布依赖大,换个场景可能召回率暴跌。
NetVLAD(INRIA,2016):CNN 输出一个全局图像描述子,直接用余弦相似度做地点识别。跨天气、跨季节、跨白天/夜晚的召回率远超词袋。
MixVPR(2023)、AnyLoc(2023):更大更强的地点识别模型,直接用现成 ViT 骨架。
集成方式:SLAM 后端保留位姿图优化,前端把 DBoW2 检索换成 NetVLAD 检索。