1. 为什么 3DGS 和 SLAM 非要在一起先说清楚这个组合解决的真问题我第一次看到 3DGS-SLAM 这个方向的时候第一反应不是又一个结合而是终于有人把路走通了。做 SLAM 的人长期憋着一口气定位和几何建图从 ORB-SLAM 到 LSD-SLAM 再到后来的各类学习方案大家其实都用得顺手但建出来的地图能拿来干什么这个问题一直卡着。传统稀疏点云只够定位稠密重建钻头大的细节还可以想用它做高质量的视角合成、要可以回放、可以做交互甚至要拿去做数字资产或者闭环后的逼真渲染那就是另一回事了。3DGS-SLAM 就是在这么个背景下冒出来的一边继续干 SLAM 的传统活——实时估计相机位姿、增量构建地图另一边把建图结果的表达换成了 3D 高斯泼溅。也就是说地图不再是一堆点、一堆体素或者一个隐式辐射场而是一簇带颜色、带方向、带透明度和协方差的各向异性高斯体。这套东西能干嘛就是你边走边扫扫完以后不光知道自己在哪里、房间长什么样还能直接以照片级质量把场景重新渲染出来换个视角看、拉近看、甚至做后期的场景编辑。这个方向适合谁来读如果你是做机器人感知、AR/VR 实时重建、三维视觉的研究生或者工程师又或者你手里已经有一套传统 SLAM 管线正在琢磨怎么升级成实时建图 逼真渲染的两栖方案那 3DGS-SLAM 是你绕不过去的一条主线。我下面会把原理、系统拆解、对比和实战中会踩的坑都过一遍争取当成一份能直接拿去评审和选型的参考报告用。而且你得理解一件事3DGS-SLAM 的火不是靠论文堆出来的是因为它在理论和工程之间找到了一个非常漂亮的平衡点。神经网络场NeRF 系质量是高可太慢TSDF 和八叉树是快可渲染质量和实感差得太多点云和网格根本不适合当作可微渲染的地图原语。3DGS 正好卡在中间显式、可微分、渲染速度能上实时而且优化迭代一把梭。这套逻辑天然就是为 SLAM 设计的。2. 3DGS-SLAM 的工作原理场景渲染、位姿优化和地图增量是怎么捏到一块的2.1 先把 3D 高斯泼溅这套场景表达说明白3D 高斯泼溅的核心想法是用一堆三维空间中的小椭球来表示场景。每个高斯体有五个基本属性中心位置一个三维均值向量、协方差矩阵描述这个高斯体在空间中沿着哪些方向膨胀、膨胀多少通常用四元数加缩放或者直接用一个 3×3 对称正定矩阵来表达、不透明度、颜色信息以及一组球谐系数用来做视角相关的颜色调制。渲染的方式是 splatting——把每个高斯体投影到相机成像平面上变成二维高斯斑块再按深度排序从后往前做 alpha blending最终合成每个像素的颜色。整个过程经过精心设计后是可以完全可微分的也就是说我们可以从渲染出来的像素误差反向传播梯度去更新高斯体的位置、形状、颜色和透明度。在 SLAM 里引入这种表达有几个非常直接的好处。第一地图是显式的不玩黑的——你随时可以把高斯体导出来、看分布、做编辑第二它是参数化的可微渲染这让渲染误差驱动优化这件 SLAM 里最依赖的事变得异常自然第三是实时性3DGS 的渲染快是经过实际验证的快在 RTX 级别的显卡上几毫秒渲染一帧不是问题这对 SLAM 这种要在线的系统是硬指标。2.2 SLAM 如何把高斯体、相机位姿、新关键帧全部塞进同一个优化闭环传统 SLAM 的核心逻辑是从图像/深度里提取特征或几何约束用这些约束估计位姿再以位姿为依据把观测融入地图。3DGS-SLAM 把核心逻辑换成了更直接的渲染比较范式。具体来说我们不仅把高斯体当作场景要素还把它当作一个可微分渲染器的输入。拿到当前帧后我们用假设的相机位姿去渲染场景中的高斯体得到一张预测的彩色图和一张预测的深度图然后与真实观测的彩色图和深度图做差算出一个包含颜色误差、深度误差、甚至边缘误差在内的损失。接着我们同时对这个相机位姿参数和各个高斯体的参数求梯度让位姿往下走一步、高斯体也往下走一步。这里最关键的是跟踪和建图不再是你推一步我推一步的串行流程而是在一个连续优化框架里互相约束。位姿估得准渲染出来的预测图就和观测对齐得好这场高斯体的优化就有正确的几何基础反过来高斯体建得真实、几何不出错渲染出来的图就更可信下次跟踪时梯度信号就更有指向性。这个联合循环就是 3DGS-SLAM 比传统 SLAM 更卷的地方。另外增量建图的策略也很重要。每来一帧新关键帧我们不是默认把里面的所有像素变成新高斯体塞进地图而是看这个区域是否已经被现有高斯体覆盖。如果渲染出来的误差已经很小说明地图已经完全能解释这帧观测就不重复加高斯基元了。只有那些误差大的区域才需要新增高斯体。这个按需生长的策略直接决定了地图的紧凑性和最终精度。3. 有代表性的 3DGS-SLAM 系统逐个拆SplaTAM、GS-SLAM、Photo-SLAM、LoopSplat 各自强在哪我挑几个在这个方向上社区讨论最频繁的系统说不是说它们就是最好的而是它们的做法基本覆盖了 3DGS-SLAM 的设计空间。3.1 SplaTAM把分割、映射和跟踪拉进同一个优化袋子SplaTAM 是较早把 3DGS 完整放进密集 SLAM 流程里的工作论文全称《SplaTAM: Splat, Track, and Map at Once》。它做的事情用一句话说地图就是一组高斯体位姿和地图一起优化新观测区域再增量补高斯体。SplaTAM 在初始化上做得比较保守。第一帧进来时它用当前帧的彩色图和一个初始深度通常来自深度传感器或者单目深度估计网络生成一组高斯体。之后每帧跟踪是用前一帧的位姿作为初始值渲染当前地图到当前视角和观测做损失微调位姿。建图阶段它会选关键帧做局部更新误差大的区域才加新的高斯体。它的损失函数里同时包含了颜色误差和深度误差。比较值得注意的细节是SplaTAM 对高斯体的透明度做了正则化处理——它不希望高斯体之间互相掩盖、透明度互相抵消这会导致空转的高斯体堆积所以加了一个与可见性相关的约束保证真正能被视角看到的高斯体才有意义。SplaTAM 在 TUM RGB-D 和 Replica 这类室内场景上效果很不错轨迹精度、渲染 PSNR 都排在同时期方法前列。它的局限也很明显本质上是一个 RGB-D SLAM没有深度输入就比较吃力而且地图更新用的是选定的关键帧对快速运动的鲁棒性一般。3.2 GS-SLAM从扫描式建图向几何约束下的实时追踪推进GS-SLAMGaussian Splatting SLAM在思路上和 SplaTAM 并行但侧重有所不同。它明确提出了一个粗到细的姿态优化策略先用较粗的几何信息估计一个大体位姿再用更精细的光度/几何约束把位姿磨到亚像素级。这个区分在工程上非常聪明因为 3DGS 渲染虽然快但如果你每次都在错误的小扰动范围内做位姿优化很容易掉进局部极小有个粗对齐做跳板成功率和稳定性会高很多。建图层面GS-SLAM 引入了所谓的像素级自适应高斯密度控制意思是对每一帧关键帧它根据误差分布决定哪些区域需要增加高斯体会、哪些需要移除——比误差大就加那种朴素策略多了一层控制。实际跑下来的体感是GS-SLAM 在单目场景下的适应性比 SplaTAM 好因为它的系统里设计了从深度传感器到单目深度估计器的无缝降级路径换言之它有深度输入就用深度没有就用估计深度反正整个 pipeline 是围绕可微渲染做的深度质量直接影响精度但在工程上不会直接崩。3.3 Photo-SLAM把照片级重建从离线变成在线可做Photo-SLAM 的名字就说了它的重点photorealistic SLAM奔着照片级真实感去的。它在系统框架上做了更复杂的编排用经典的稠密 SLAM比如 ORB 特征加光度/几何 BA来保证定位精度然后把稠密点云当作高斯体的初始化再进行 3DGS 的在线优化。这个传统 SLAM 出几何骨架3DGS 出视觉皮肉的混合设计是 Photo-SLAM 在效果上的关键。因为 3DGS 本身对噪声比较敏感如果直接用噪声很大的原始深度去初始化高斯体渲染出来会很脏但如果你先用传统几何把地图调得比较干净再用点云初始化高斯体渲染质量上限会高很多。我也测试过 Photo-SLAM 在 TUM 和 ScanNet 上的表现它在室内大场景、动态物体较少的数据集上渲染质量是肉眼可见的提升。而且它对硬件的要求比想象中友好——因为它不是每帧都做全图优化而是有一套管线的调度策略。3.4 LoopSplat 和 Gaussian-ICP-SLAM闭环和鲁棒的 ICP 是 3DGS-SLAM 走向实用的两道坎接下来这俩可能没前三者知名但它们解决的问题很关键。LoopSplat 直接瞄准闭环检测与大回环修正。传统 SLAM 的闭环是用图优化去调整位姿和地图的拓扑但在 3DGS-SLAM 里地图是连续参数化的高斯体集合你不能只靠把关键帧的位姿拉回正确位置了事还得让地图本身跟着调整否则渲染出来的场景会对不上。LoopSplat 提出了一个针对高斯地图的闭环约束方式当检测到闭环时不光是位姿图连重叠区域的高斯体也会被重新优化让整个场景保持一致。这个思路非常重要因为目前很多 3DGS-SLAM 都只在短轨迹上测试长轨迹大回环的问题远没有解决。Gaussian-ICP-SLAM 则是从配准算法本身切入把传统的 ICP 点云配准思想迁移到高斯体表示上。它管每个高斯体不叫点而叫带形状的分布所以两者间的距离要用分布差异比如基于高斯协方差的马氏距离来度量这样单纯点云配准容易踩的结构纹理相乘的坑就不存在了。这个方向对小漂移收敛有优势特别适合 LiDAR 或 RGB-D 输入的后端优化。3.5 语义方向的 3DGS-SLAM把重建出来的是什么也加入地图这里我还想提一句语义扩展。现在已经有不少工作在做 Semantic Gaussian Splatting SLAM思路很直白给每个高斯体额外挂一个语义标签分布渲染时不仅能渲染颜色还能渲染一张语义分割图于是 SLAM 就有了一个可语义查询的实体地图。这对机器人应用的意义很大我不光知道这里有一堵墙还能知道这是一扇门那是一个杯子当机器人要执行把桌上的杯子拿过来这种任务时地图里不只是几何位置还有物体级认知。这类系统目前还比较早期但在让地图对人更有用这个方向上我觉得是必然趋势。4. 决定实战效果的那些细节高斯体膨胀、关键帧策略、几何噪声一个都不能省很多人在看论文时只盯着图表里 PSNR 高了几 dB位姿误差降了多少但真正落到自己的传感器和自己的场景里最先冒出来的是论文里很少讲的工程细节。我把这段时间踩过的坑和观察到的问题按重要程度列一下。4.1 几何深度噪声会造成高斯体膨化——这是 3DGS-SLAM 最主要的失真来源3DGS 的场景表示里每个高斯体都有一个空间尺度协方差矩阵。这个尺度如果没人管它会往尽可能覆盖更多像素、降低渲染误差的方向膨胀。问题是如果你的深度观测有噪声那高斯体为了把噪声区域也填满会被撑得很大。我遇到过一种很典型的情况墙面深度图上有几毫米级别的噪声结果渲染出来墙面像有一层光晕摸上去模糊、边缘发毛。这就是高斯体膨胀的直接后果。要解决这个问题几乎所有的实用系统都会引入透明度或尺度正则化——宁可让它有些区域渲染得不够充分也别让它无限膨胀。你可以观察一个系统的高斯体数量与渲染 PSNR 的比值如果 PSNR 涨得慢但高斯体在飞速增长那大概率是膨胀问题没压住。这在 SLAM 里是不可接受的因为每多一个高斯体后续跟踪和地图更新就多一分计算负担。4.2 关键帧选择不是越密越好稠密帧对渲染精度帮助有限反而容易过拟合我在早期拿 3DGS-SLAM 跑自己的数据集时犯过一个特别蠢的错误觉得关键帧越密信息越全重建越好于是把每一帧都当关键帧塞进优化。结果地图是被过度解释了渲染质量上去了但位姿跟踪开始震荡了。原因也很简单相邻帧之间视角变化太小重叠观测太多优化的梯度里信息冗余度极高而高斯体会被这些近似重复的约束过拟合到最近的视角上反而对真实世界的泛化变差。更合理的做法是设置最小平移/旋转阈值或者用当前帧与已有关键帧渲染误差是否显著来判断是否值得新增关键帧。标准做法是新帧到来先跟踪然后判断新增关键帧的必要性如果判断为是再做一次局部的、只对地图中相关区域进行的高斯体优化。这个先跟踪、再判关键帧、再局部建图的流水线是所有实用系统的基本底盘。4.3 几何一致性和光度一致性要分工单靠颜色会让位置飘很多初学者会有一种错觉3DGS 渲染出颜色我就用颜色误差优化位姿这不就结束了吗但实际上纯颜色优化在纹理稀疏或者光照变化大的区域完全找不到北。墙面一片白颜色误差对位姿的梯度几乎是零。所以主流系统普遍引入几何一致性深度误差来兜底图像上每个像素都对应一个渲染深度当真实深度来自传感器或估计器和渲染深度差异小位姿才可信。换句话说彩色图负责对上纹理深度图负责锁住形状。这直接带来一个选型提示你的传感器有没有可靠的深度基本决定了你能在多大程度上依赖 3DGS-SLAM。没有深度输入就一定要有一个好的单目深度估计网络否则跟踪和重建的质量都会崩。我在自己项目里是宁可用消费级 RGB-D 相机比如 RealSense 系列也不要裸 RGB。4.4 地图规模控制高斯体数量不是一个可以任性的参数有人觉得 3DGS 的高斯体多了就细重建细了总归是好事。在一个离线渲染的场景里这话对但在 SLAM 里高斯体数量直接和内存、计算耗时挂钩。没有经过控制的地图跑个几十米走廊就能给你膨胀出几十万个高斯体然后实时性开始往下掉最后比 PPT 还卡。因此我现在看一个 3DGS-SLAM 系统会重点看它的地图压缩策略有没有做冗余高斯体合并有没有基于可见性做剪枝有没有动态分配策略在这件事上稀疏而有效永远比密集而冗余更适合在线系统。5. 复现和部署时的实测经验环境配置、指标解读、以及如何在真实数据上少走弯路这部分我不打算展开成一篇实验报告而是分享一些你如果没有真跑过一遍光看论文一定不知道的判断依据。5.1 复现中的环境与依赖八成的问题出在版本咬合上3DGS-SLAM 这一类项目因为要调用可微高斯光栅化器通常依赖一个 C/CUDA 扩展很多项目基于 relu 驱动的 Rasterizer 定制。这意味着你必须保证自己的显卡驱动、CUDA 版本、PyTorch 版本跟项目作者当时的环境一致否则编译那一步就可能劝退一批人。我的建议是拿到项目仓库后不要第一时间跟着 README 敲命令先看它的环境配置文件里 PyTorch 和 CUDA 的精确版本再检查自己的驱动支持。很多项目其实是用较老版本的 PyTorch CUDA 11.x 编译的你用最新的 CUDA 12.x 去编反而容易在算子签名上出冲突。另外如果只是想在设备上快速评测效果可以看看项目有没有提供官方 Docker 镜像没有的话新建一个干净的 conda env 并按 lock 文件装依赖是最省心的办法。5.2 评估指标不能只看 PSNR轨迹误差和渲染指标之间的表面繁荣要警惕论文里普遍会报 ATE绝对轨迹误差一般用 RMSE 衡量和渲染两组指标PSNR、SSIM、LPIPS。很多系统的 PSNR 高得惊人但 ATE 其实一般。为什么因为渲染误差是一个平均量某些区域建得好就能把平均值拉上去而轨迹则对全局一致性和每一帧的累积误差都极度敏感。一个局部糊但整体不偏的办法没什么大用SLAM 的底线是轨迹别飘。所以你在评价一个 3DGS-SLAM 系统时应该把 ATE 当作硬指标PSNR 当作参考指标LPIPS 才是比较符合人眼感知的渲染质量指标。最好再看一下它是否报告了地图规模高斯体数量这个数字能透露很多实现上的秘密。5.3 真实场景里比仿真数据多出来的坑真实传感器数据的问题论文数据集基本都帮你规避了。你得特别注意三件事动态物体3DGS-SLAM 的大量优化逻辑假设世界是静态的。行人、摇晃的树、流动的光影都有可能被当成需要新增高斯体的区域来对待导致地图上出现鬼影。这也是目前这类系统的最大短板之一。曝光突变快速转向时自动曝光的变化会让颜色误差瞬间激增从而干扰位姿优化。比较实用的缓解办法是提前记录曝光时间或者在输入时做光度校正。大场景回环我在室内测过几十米的走廊再转回原点的问题地图是否能在回环后保持一致最后发现只有带专门闭环模块的系统比如 LoopSplat能顶住单纯靠局部优化的话累积误差早就让地图对不上了。5.4 对一个好用的 3DGS-SLAM 系统的最低底线判断我在各种系统评测里慢慢形成了自己的几个硬标准。首先看能不能连续跑完一段 3 分钟以上的长轨迹不丢跟踪其次看高斯体数量有没有失控最好是一个可预期、有上界的曲线再看渲染 10 帧里有没有明显闪烁或飘移最后是看掉帧情况计算耗时是否稳定在一个区间而不是某个关键帧突然卡一下。这些都过关了这个系统才值得进入你业务的候选名单。6. 技术路线展望和个人判断下一代 3DGS-SLAM 会往哪里走最后说一点我对后续方向的观察也是自己接下来想投入精力去关注的地方。第一个方向是动态场景的支撑。现有 3DGS-SLAM 几乎都以静态世界为前提但机器人、AR 设备真正面对的环境里到处都是人、车、门。如果能把高斯体按静态/动态分组或者把时间维度引入高斯空间让地图能区分这个物体会动、这个区域是永久结构实用性会提升一大截。第二个方向是端上部署。3DGS 的渲染和优化目前还是需要一块中高端 GPU这对移动设备不太友好。但反过来想GS 的渲染本质上是一个可并行化的光栅化过程如果针对移动端做算子裁剪、精度降到 FP16 甚至 INT8压缩高斯体数量并使用稀疏场景结构来跳过空白区域实现在手机 SoC 上跑轻量 3DGS-SLAM 未必是天方夜谭。这个方向一旦打通AR 眼镜的实时空间记忆能力会有质的飞跃。第三个方向是和语义、具身智能融合。我在前面提到过语义高斯体这条路如果再往深走一步就是语言查询地图、动作规划地图。机器人在一张高斯地图里直接问哪里有红色杯子地图能返回一个概率和位置这比传统的先建几何地图、再做物体检测、再挂语义标签的串联管线要自然得多也更高效。第四个方向是回环后的全局一致性和地图编辑。目前大部分系统只在位姿层面做闭环高斯地图的全局调整还是一块硬骨头。未来我觉得会出现基于高斯体分布的全局束调整把回环误差摊到所有受影响的高斯体上这个问题的解法会直接决定大场景下 3DGS-SLAM 能不能真正落地。至于 3DGS 本身会不会被某种新的表达替代比如更紧凑的场表示或者某种混合表示我的判断是至少在视觉 SLAM 这个领域显式、可微、渲染快这三条刚需不太会变新的表达也得同时满足这三个条件才会有人愿意切换。3DGS 目前是最接近这个不可能三角平衡点的它即便不是终点也一定是一个重要的里程碑节点。如果你准备在这个方向投入精力我的建议是别急着从零实现一套先把开了源的主流系统各跑一遍体会它们对同一份数据的不同表现然后选一个你认同其设计哲学的系统做二次开发。你自己真正调试过一遍后对它的脾气、毛病和潜力会比读十篇论文理解得都深。