一句话定位
相对 SpatialNav:不再假设完美点云,让机器人主动探索 + 单目重建 + 尺度校正,再把脏点云变成「走某路会看见什么」的渲染,供 MLLM反事实选路。
背景概念
| 术语 | 白话 |
|---|---|
| Reality gap(本文) | 数据集干净重建 vs 真机 egocentric 吵重建 |
| Physical grounding | 把单目 SLAM 相对尺度对齐到真实米制 |
| Visual anticipation | 从点云渲染候选动作的未来画面 |
| Counterfactual reasoning | 「如果走左边会看到什么」→ 剪掉与指令矛盾的路径 |
论文在干什么
痛点:SpatialNav 类方法依赖高质量重建;真机只有单目时尺度模糊,重建又不完整——把脏图当绝对地图会崩。
三阶段:
- Active scene discovery(frontier + 可见性扫描路径,采 RGB/IMU)
- Physically-grounded reconstruction(neural SLAM → Depth-Anything 定标 → 全局拼接)
- Anticipation-guided navigation(渲染未来观测 → MLLM 子路径推理)
结果(文摘):R2R-CE SR 66%、RxR-CE 50.8%;Hello Robot 真机约 52% SR。
和 SpatialNav 的思想差
| SpatialNav | SpatialAnt | |
|---|---|---|
| 图从哪来 | 干净/标注级点云 | 自建吵点云 |
| 图干什么 | SSG 当知识库查布局/物体 | 当渲染底座做视觉预见 |
| 关键词 | 结构化语义 | 尺度接地 + 反事实预见 |
要点总结
- 系列第二问:脏重建怎么办。
- 答案不是「建更完美的 SSG」,而是别盲信坐标,用预见画面剪枝。
- 真机闭环:探索→重建→预见→执行。