跳到主要内容

开放世界 SLAM:从一次性建图到持续理解

经典 SLAM 通常默认环境近似静态、传感器观测来自训练或设计时已知的分布、地标身份集合封闭,且一张地图可以长期代表同一空间。这个静态闭世界假设让前端可以把变化视为外点、把未识别物体忽略为背景,并让后端只优化相机位姿与静态地标。然而机器人进入街道、仓库或家庭后,会同时遇到新类别、可动物体、季节与布局变化以及传感器域偏移;若仍把一切异常都当作噪声,定位、地图一致性和任务安全会一起失效。

开放世界 SLAM(Open-World SLAM)的目标不是简单地“识别更多类别”,而是在运行期间持续回答三个问题:哪些知识仍然有效,哪些观测属于未知,环境正在怎样变化,并把答案反馈给定位、建图和后续学习。

先分清五个相邻概念​

  • 开放集识别(open-set recognition):分类器既要识别训练时的已知类,也要拒识分布外或未知类。它解决的是“不要把未知硬分成已知”,不负责给未知命名,也不等于 SLAM。
  • 开放词汇感知(open-vocabulary perception):借助视觉—语言模型,用文本提示查询训练标签集之外的概念。它扩大了可查询语义,但相似度高不代表几何正确,也不能保证识别真正的新概念。
  • 动态 SLAM:显式检测、剔除或跟踪运动物体,以免其破坏位姿估计;部分系统还估计物体轨迹。它关心短时运动,不必处理新类别、长期地图演化或持续学习。
  • 终身/持续 SLAM(lifelong/continual SLAM):跨天、跨季节重复运行,维护长期定位能力与地图。重点是长期变化和知识保留,但系统未必具备开放集未知发现。
  • 开放世界 SLAM:把未知发现、开放语义、动态状态、长期地图维护和受控增量学习纳入同一估计闭环。它可以包含前四者,却不能由其中任意一个单独替代。

因此,“使用 CLIP”不自动成为开放世界 SLAM,“去掉动态点”也不等于理解动态世界。更实用的判据是:系统能否表示未知、维护变化、量化不确定性,并在获得新知识后更新地图而不破坏已有能力。

问题建模:状态不再只有位姿和静态点​

在时刻 tt,可以把联合状态抽象为

Xt={TWB,t,Mtstatic,Ot,Dt,Vt,Θt},\mathcal{X}_t = \left\{ \mathbf{T}_{WB,t}, \mathcal{M}^{\mathrm{static}}_t, \mathcal{O}_t, \mathcal{D}_t, \mathcal{V}_t, \Theta_t \right\},

其中 TWB,t\mathbf{T}_{WB,t} 是机器人位姿,Mtstatic\mathcal{M}^{\mathrm{static}}_t 是稳定几何,Ot\mathcal{O}_t 是带语义、实例和属性的物体地图,Dt\mathcal{D}_t 描述动态物体的位姿、速度与存在概率,Vt\mathcal{V}_t 是地图版本及变化历史,Θt\Theta_t 是可更新的感知模型。估计目标也从单次后验扩展为

p(X0:t∣z1:t,u1:t,Kt),p(\mathcal{X}_{0:t}\mid \mathbf{z}_{1:t},\mathbf{u}_{1:t},\mathcal{K}_t),

其中知识库 Kt\mathcal{K}_t 会随人工确认、任务反馈或主动学习而变化。关键不是把所有量塞进一个巨大优化器,而是明确它们之间的条件依赖和更新频率。

1. 未知目标发现​

前端应为每个候选区域输出已知类别分布、未知分数、视觉—语言嵌入和观测质量。未知分数不能只依赖 softmax 最大值;可组合能量分数、特征空间距离、模型集成分歧、时序一致性及几何新颖度。一次低置信观测只应成为“未知假设”,在多视角重现并通过几何一致性检验后,才提升为持久地图实体。这样可减少反光、运动模糊和局部遮挡造成的伪未知。

开放词汇标签同样应视为可修订的证据,而非地图真值。地图可以先记录 unknown-17 及其特征原型,后续收到“折叠推车”的文本或人工标签时再合并身份,同时保留标签来源、时间和置信度。

2. 语义与物体级地图​

点云或体素适合度量定位,却不足以表达“同一把椅子被移动了”。物体级地图应至少存储实例 ID、类别后验、三维形状/包围体、姿态、可动性、观测时间和特征原型;房间、支撑、邻接等关系可形成场景图。几何层、实例层和关系层应解耦:语义标签变化不必重建全部几何,局部几何更新也不应抹掉实体历史。

3. 动态物体状态估计​

对人、车辆等观测,系统需要在三条路径间选择:

  1. 静态分支:稳定背景进入相机位姿估计与长期地图;
  2. 动态分支:为物体建立运动模型,联合或交替估计相机与物体状态;
  3. 未知分支:身份或运动证据不足时暂存,等待多帧确认。

仅按语义类别屏蔽“可能运动”的物体会丢掉停放车辆等有用约束,也无法处理被风吹动的已知静态类别。更稳妥的是融合场景流、重投影残差、实例跟踪和类别先验,并区分当前在运动与具有可动性。动态轨迹应有生存/死亡管理,避免短暂遮挡导致 ID 泛滥。

4. 地图版本与长期变化​

长期地图不是不断覆盖的单一快照,而应是带时间范围的版本化地图。观测可被判为:

  • 短暂变化:行人经过、临时堆放,不写入稳定层;
  • 周期变化:门的开闭、昼夜光照,维护多模态状态;
  • 持久变化:货架移动、道路施工,创建新版本并降低旧版本权重;
  • 失效知识:长期未复现的实体进入墓地层,而非立即物理删除。

地图更新宜采用局部增量事务,记录“谁、何时、依据何种传感器”修改了哪些实体。版本图或时空子图允许机器人按地点、时间和条件检索合适地图,也便于回滚错误更新。

系统闭环​

前端感知几何 · 语义 · 运动Known稳定已知观测Unknown新颖性与候选实体Dynamic实例轨迹与运动状态数据关联时空门控 · 多假设状态估计机器人 · 物体 · 置信度地图维护版本 · 合并 · 遗忘主动学习查询 · 标注 · 受控更新

一条可落地的数据流如下:

  1. 前端感知同步产生几何特征、实例掩码、开放词汇嵌入、运动线索和校准后的置信度,而不是先把所有观测压成一个类别标签。
  2. 数据关联用几何门控、外观相似度、语义兼容性和运动模型建立多假设关联;对未知目标允许延迟决策,对冲突关联保留备选。
  3. 状态估计在滑窗或因子图中估计机器人、静态结构和动态实例。鲁棒核只能缓解外点,不能代替正确的数据生成模型;必要时使用切换约束或可逆因子。
  4. 地图维护把融合结果写入稳定层、短期层或候选层,执行版本创建、实体合并/拆分、证据衰减和历史归档。
  5. 主动学习按信息增益、任务风险和标注成本选择未知样本,请求人类、云端模型或机器人交互确认;更新后先在回放集和影子地图上验证,再发布到在线模型。

回环、遗忘与不确定性​

开放环境中的回环既可能是旧地点重访,也可能是“外观相似但版本不同”。因此回环验证需要几何一致性、语义/实例一致性与时间条件共同支持。对发生结构变化的区域,可只连接未变化的稳定子图,或建立跨版本约束;强行把新旧几何焊接在一起会造成地图折叠。

持续更新模型还会引入灾难性遗忘:适应新照明或新类别后,旧场景性能可能下降。常见控制手段包括代表样本回放、参数正则、冻结通用编码器并只更新轻量适配器、教师—学生蒸馏和按域维护专家模型。地图本身也会“遗忘”:证据衰减应按实体稳定性和任务价值设计,不能只按时间统一删除。

不确定性至少应覆盖四层:

  • 传感器与位姿的随机不确定性;
  • 数据关联的多模态不确定性;
  • 类别、未知和动态状态的认知不确定性;
  • 地图版本是否适用的时效不确定性。

安全策略必须消费这些量,而不只是把置信度画出来。当定位协方差、未知密度或关联冲突超过阈值时,系统应逐级降级:停止地图写入 → 只用稳定几何定位 → 降速并扩大避障距离 → 请求远程确认 → 安全停车。阈值应通过风险和校准实验确定,不能把神经网络原始相似度直接当作概率。

开放词汇模型与神经场表示​

开放词汇视觉模型​

CLIP 类视觉—语言编码器以及开放词汇检测/分割模块,可为地图实体提供可检索嵌入,使机器人无需为每个任务重建固定标签头。它们尤其适合“找到红色灭火器附近的出口”这类组合查询,也能为未知聚类提供语义邻域。

局限同样明确:文本提示敏感,长尾小物体和域外视角不稳定;二维相似度缺乏三维身份约束;模型可能给出听起来合理但错误的标签;大模型推理还带来显存、延迟和能耗压力。因此应缓存关键帧特征、使用轻量候选生成器,把开放词汇模型放在重排序或低频地图标注环节,并用多视角几何和时序证据校验。

NeRF 与 3D Gaussian Splatting​

NeRF 和 3D Gaussian Splatting(3DGS)能以可微渲染连接位姿、外观和稠密场景表示。与 SLAM 融合后,它们有机会提供跨视角一致的外观残差、语义特征场、可渲染地图和变化检测;对象级神经场还可把实例从背景中分离。NICE-SLAM、SplaTAM 等可作为神经隐式或 3DGS SLAM 研究路线的例子,但它们本身不应被笼统等同为完整开放世界系统。

主要限制是在线优化成本、内存随场景增长、动态区域造成的拖影、曝光变化与几何误差耦合,以及难以删除或审计已融合的错误知识。3DGS 的显式高斯元更便于局部增删,却仍需要稳定的数据关联和生命周期管理;NeRF 的连续表示紧凑,但局部版本化与实体级编辑通常更困难。工程上可采用“稀疏度量骨架 + 对象/局部神经子图”的混合地图,而非让单一神经表示承担定位、语义、历史和安全的全部职责。

代表系统应按能力边界引用:DynaSLAM 可说明动态区域处理,Kimera 可说明度量—语义建图,ORB-SLAM3 可作为多地图与回环后端参考;这些例子分别覆盖开放世界问题的一部分,不能据此推断它们都实现了未知发现和持续学习。

如何评价​

单一 ATE 无法说明系统是否适合开放世界。至少应报告以下维度,并按已知、未知、动态和长期变化场景分层统计:

  • 定位:ATE/RPE、跟踪成功率、重定位时间、错误回环率,以及动态比例和域偏移下的退化曲线。
  • 建图:几何精度与完整度、语义/实例 mIoU 或 PQ、对象姿态误差、地图一致性、变化检测延迟和错误写入率。
  • 开放集:未知检测 AUROC/AUPR、FPR@TPR、开放集分类率或 OSCR、未知聚类质量、新类发现后命名与合并准确率;同时检查置信度校准。
  • 长期适应:跨会话定位保持率、适应新域后的增益、旧域性能下降、跨版本回环准确率、地图增长率与恢复/回滚成功率。
  • 资源成本:端到端延迟、峰值显存/内存、功耗、网络与人工标注量、每平方公里或每小时的地图增量。

评价协议应明确训练知识截止点、文本提示、是否使用人工反馈以及在线更新预算,防止把预训练模型“见过测试概念”误写成新类发现。动态与长期数据还需给出时间顺序;随机打乱帧会掩盖遗忘和地图污染。

工程落地检查清单​

  • 为 known / unknown / dynamic / ambiguous 定义可记录、可回放的状态与转移条件。
  • 感知置信度经过独立校准;未知阈值按场景风险设定,而非只追求平均准确率。
  • 数据关联支持延迟决策、多假设和实体合并/拆分,并保存决策证据。
  • 动态对象具有独立轨迹、存在概率和生存期;静止可动物体不会被无条件删除。
  • 几何层、语义层、实例层和历史层可独立更新,地图写入是局部、原子且可回滚的。
  • 回环包含几何复核和版本检查;不允许单次语义相似度触发全局闭环。
  • 在线学习使用回放或其他抗遗忘机制,并设置发布前验证、模型版本和回退路径。
  • 未知高发、定位失稳和地图冲突均有明确的限速、只读、求助或停车策略。
  • 记录模型、提示词、地图版本、时间戳、传感器标定与人工干预,保证问题可追溯。
  • 在真实时序数据上同时验收定位、开放集、长期适应和资源预算,而非只跑离线单帧指标。

小结​

开放世界 SLAM 的核心变化,是把“异常观测”提升为需要估计和管理的对象:未知可能成为新实体,运动属于场景状态,长期变化形成地图版本,模型更新则成为受审计的系统行为。可靠方案往往不是单个更大的网络,而是几何、语义、动态、历史与不确定性之间边界清晰的闭环;只有当系统知道何时不确定、何时停止写图以及如何安全退化,它才真正具备在开放环境中长期工作的基础。