NeRF:从新视角合成到稠密神经 SLAM
NeRF(Neural Radiance Fields,神经辐射场)用一个可微函数表示场景,并通过体渲染把三维场映射为图像。它最初解决的是已知相机内参和位姿时的新视角合成,而不是定位;NeRF-SLAM 则把相机位姿也作为待估变量,使渲染误差同时服务于 tracking 与 mapping。
1. 它表示的不是点、体素或三角形
| 表示 | 存储内容 | 查询与渲染 | 对 SLAM 的典型意义 |
|---|---|---|---|
| 点云 | 离散三维点,可附颜色/法向 | 投影、splatting;点间为空 | 配准直接,几何显式,但表面不连续 |
| TSDF | 体素到最近表面的截断有符号距离 | 零水平集 ray casting | 易融合深度、提取 mesh,但分辨率受体素限制 |
| Mesh | 顶点、边、三角面及材质 | 光栅化 | 表面与拓扑显式,适合碰撞和规划 |
| NeRF | 连续坐标上的密度与视角相关颜色 | 沿射线积分 | 表达连续、可微、照片级;几何是隐式的 |
NeRF 的“密度” 不是占据概率,也不是 SDF。高密度区域会终止光线,因此其等密度面常能近似表面,但把 NeRF 直接当作精确几何地图并不稳妥。若任务需要可碰撞表面、可度量距离或网格拓扑,SDF/TSDF 或显式 mesh 往往更自然;NeRF 的强项是外观建模和可微渲染。
2. 辐射场与相机射线
经典 NeRF 是一个由参数 控制的连续函数:
其中 是世界坐标,单位方向 表示观察方向, 是体密度, 是 RGB 辐射度。通常令 只依赖位置,而颜色还依赖方向,以表达镜面反射等视角相关效应。
给定像素齐次坐标 、内参 和相机到世界变换