1.SaPaVe: Towards Active Perception and Manipulation in Vision-Language-Action Models for Robotics（CVPR 2026）

摘要：主动感知与操作(manipulation)对于机器人与复杂场景交互至关重要。现有方法难以将语义驱动的主动感知与稳健的、视角不变的执行(execution)有机统一起来。为此，我们提出了SaPaVe，一个能够以数据高效的方式联合学习这些能力的端到端框架。我们方法的核心在于将相机动作与操作动作解耦(这与共享动作空间的做法相反)，并采用自下而上的策略进行学习:我们首先在我们提出的大规模数据集上训练语义相机控制，然后通过混合数据联合优化这两种动作类型。为了支持这一点，我们引入了包含20万个图像-语言-相机运动对的ActiveViewPose-200K数据集，用于语义相机运动学习;以及一个3D几何感知模块，该模块提高了动态视角下执行的鲁棒性。我们进一步提出了ActiveManip-Bench，这是首个旨在填补主动操作评估空白的基准测试。在仿真和真实世界环境中的大量实验表明，SaPaVe的性能优于近期的VLA模型(如GROOTN1和元。)，在真实世界任务中实现了高达31.25%的成功率提升。我们的结果表明，当采用解耦但相互协调的策略进行训练时，紧密耦合的感知与执行能够实现高效且具备泛化能力的主动操作。

本文是将语义主动感知和主动视角执行相结合，使得机器人能够依据任务主动调整观察视角，并完成实际操作。

首先是输入：包括文本输入和视觉输入，文本输入的语言指令负责告诉模型要完成什么目标，视觉输入则负责告诉模型当前环境中有什么

然后任务指令会被拆成token，视觉输入转为视觉特征输入给视觉语言模型，由其负责将两者进行关联，为后续的动作生成提供语义信息，其中的camera adapter负责调整vlm部分参数，使得联合更加适合相机运动。

接着这个语义信息会和由彩色图像和几何信息（可选的）作为融合的信息一起传输给解耦动作头，将其分成头部相机动作和其他机器人动作，在每个时间段都会有对应的头部动作和其他动作

每次的动作token（初始带噪声的一直到第t次迭代后的）会作为输入，进入到由多个扩散模型模块组成的的部分，其中cross attention负责让动作受到当前任务和场景的指导，self attention负责让动作token之间交换信息，学习动作序列内部，经此处理后的动作token会由相机动作解码器和其他动作解码器拆分成不同次数的头部和其他动作，继续参与到下一次的迭代中

整个训练阶段是分成两部分进行的：

第一阶段是学习相机动作预测，依据图像和指令调整视角，对于模型预测的结果会被标注成头部动作和其他动作

第二阶段则是在已有相机控制能力的基础上进一步训练主动操作即在相机视角变换后如何完成实际的机器人操作

本论文采取的是双系统设计，实现高层推理与底层动作执行的异步协同。

首先是系统2（慢）负责高层导航规划，输入包括：语言指令（提供导航目标和行动力约束），历史RGB图像（此前观察过的图像序列，给模型提供导航过程中的历史视觉上下文，帮助其结合先前看到的环境，理解当前处境）以及当前图像（提供当前环境的视觉证据）和轨迹查询（引导模型提取与导航轨迹和目标位置等相关信息）

输入给核心视觉语言模型后，会进行视觉语言理解和目标的预测，（进行高层推理）得到图像中的像素目标点和潜在目标特征（供给下游使用）同时这个过程会有视角自动调整参与，如有遮挡或者目标不在视野的情况时，会调整视角再输出目标点

而系统1（快）则是负责结合目标和实时视觉信息，生成机器人实际执行的连续轨迹。输入是RGB图像（当前时刻和先前的图像）以及系统2提供的目标信息，经过ViT提取图像的视觉特征，再经过self—attention融合不同时刻的视觉信息，由K（提供匹配依据），V（提供待提取信息），Q（主动查询视觉特征，按注意力权重提取信息）交给Q-former将视觉特征压缩成32个token，结合前面系统2的潜在目标特征供给DiT。

带噪声的轨迹+系统2的低频任务条件+32个视觉token交给DiT，即结合目标条件和视觉条件最后生成轨迹。在DiT内部包含让轨迹序列中不同位置交换信息使模型考虑整条轨迹内部的关系的（multi—head self attention），还有让轨迹特征利用外部条件信息的（multi—head cross attention）以及负责进一步变换和处理特征的（feedforward），经过重复堆叠多层的这三个部分最终输出得到一个可以让机器人跟随执行的连续运动轨迹（32个连续排列的轨迹路点）。

3.ActiveVLA: Injecting Active Perception into Vision-Language- Action Models for Precise 3D Robotic Manipulation（CVPR 2026）

摘要：近期机器人操作领域的进展利用了预训练的视觉-语言模型（VLM），并探索将3D空间信号集成到这些模型中以实现有效的动作预测，从而催生了前景广阔的视觉-语言-动作（VLA）范式。然而，大多数现有方法忽视了主动感知（active perception）的重要性：它们通常依赖于静态的、腕部安装的相机，这些相机提供以末端执行器为中心的视角。因此，这些模型无法在执行任务期间自适应地选择最佳视点或分辨率，这极大地限制了它们在长程任务和细粒度操作场景中的性能。为了解决这些局限性，我们提出了ActiveVLA，这是一种新颖的视觉-语言-动作框架，赋予机器人主动感知能力，以实现高精度、细粒度的操作。ActiveVLA采用由粗到细的范式，将过程分为两个阶段：（1）关键区域定位。ActiveVLA将3D输入投影到多视图2D投影上，识别关键3D区域，并支持动态空间感知。（2）主动感知优化。基于定位到的关键区域，ActiveVLA使用主动视点选择策略来选择最佳视点。这些视点旨在最大化非模态相关性（amodal relevance）和多样性，同时最小化遮挡。此外，ActiveVLA应用3D放大（zoom-in）来提高关键区域的分辨率。总之，这些步骤实现了更细粒度的主动感知，从而进行精确操作。大量实验表明，ActiveVLA实现了精确的3D操作，并在三个仿真基准测试上超越了最先进的基线方法。此外，ActiveVLA能够无缝迁移到真实世界场景中，使机器人能够在复杂环境中学习高精度任务。

图1：以往VLA方法和Active VLA的对比

场景：需要完成任务“将桌子上的苹果拿给我” 输入包括文字指令，和当前能观察到的彩色图像（图像是从小样身后的视角去拍摄的，是看不到桌子上的苹果的）

在传统方法中，处理方式是直接依据当前观察给出预测的动作（视觉图像+语言描述+机器人状态给VLA得到预测动作），这样的结果，由于关键物体看不清就到导致定位错误和执行失败

而本文所采取的方法则是 机器人利用三维场景信息判断任务相关区域，主动选择合适的观察角度，再对关键区进行三维放大，看清后再由机器人去执行

架构上的一个对比就是Active VLA方法在输入上除了当前视角，人物介绍外增加了一个三维场景信息，将3D信息交给主动感知模块，并输出主动选择的关键区域，在此基础上再放大。将这样一个清晰的信息一同交给动作专家模块再去做动作。

图2:文章架构图

1.输入：带有深度信息的彩色图像和语言指令

2.关键区域感知：（让机器人先找到任务相关的三维区域，为后面的仔细观察做准备）

依据彩色图像+深度信息进行点云重建（拍到的场景——>三维空间中的点）

经过正交投影得到三视图（顶部，正面，右面），（PaliGemma这个视觉语言模型只能读二维图像）

这三张正交虚像交给PaliGemma后，结合语言指令会进行粗处理阶段，也就是初步预测哪些位置是值得关注的。在PaliGemma内部图像被转换成数字特征，经过凸上采样，把较粗的空间预测变得更加细致，作为中间过程的输出，会有三张预测热力图（模型会给图像中的不同预测位置进行打分，用热力图的形式来表现得分情况），这三张图像会重新映射会3D，在3D空间确定关键点和关键区域。

3.主动感知：在已知关键区域后，要确定从哪个角度观察这个区域才能看得清

首先是主动视角选择：在生成出来的候选相机位置（围绕关键点在球面均匀分布）找出最佳视角

然后是在此基础上进行三维区域的放大

4.3D动作预测

依据新的视角重新生成虚拟图像（俯视，正视，右视），再把这三张图交给PaliGemma，结合语言指令进行精准预测，和粗处理阶段是一样的，内部转成数字特征，凸上采样处理得到清晰的局部预测热力图

结合模型输出的特征 动作解码器解码出最终的3D动作（Final Outputs），包括：

1.夹爪旋转（Gripper Rotation）2.夹爪开合（Fingers Open/Close）

3.碰撞检测（Collisions On/Off）

最终执行任务（右侧的机械臂成功夹起木棍）。

图3：细粒度操作任务

在四种机器人操作任务中 实际处理场景时的视觉效果

图4：Active VLA在复杂操作任务中的可视化

4.Affordances-Oriented Planning using Foundation Models for Continuous Vision-Language Navigation（AAAI 2025）

摘要：基于大语言模型（LLM）的智能体在视觉-语言导航（VLN）任务中展示了令人印象深刻的零样本性能。然而，现有的基于LLM的方法通常仅专注于通过选择预定义导航图中的节点来进行移动，从而解决高层任务规划问题，却忽视了导航场景中的底层控制。为了弥补这一差距，我们提出了AO-Planner，这是一种用于连续VLN任务的新型面向可供性（Affordances-Oriented）的规划器。我们的AO-Planner集成了各种基础模型，以实现面向可供性的底层运动规划和高层决策，且两者均在零样本设置下进行。具体而言，我们采用了一种视觉可供性提示（VAP）方法，其中可见地面由SAM（Segment Anything Model）进行分割以提供导航可供性，基于此，LLM选择潜在的候选航点并规划通往所选航点的底层路径。我们进一步提出了一个高层PathAgent，它将规划好的路径标记到图像输入中，并通过理解所有环境信息来推理出最可能的路径。最后，我们使用相机内参和深度信息将选定的路径转换为3D坐标，避免了让LLM进行具有挑战性的3D预测。在具有挑战性的R2R-CE和RxR-CE数据集上的实验表明，AO-Planner实现了最先进的零样本性能（SPL提升了8.8%）。我们的方法还可以作为数据标注器来获取伪标签，将其航点预测能力蒸馏到一个基于学习的预测器中。这种新的预测器不需要模拟器提供的任何航点数据，并在与有监督方法的竞争中达到了47%的成功率（SR）。我们在LLM和3D世界之间建立了一种有效的联系，为在底层运动控制中采用基础模型提供了新的前景。

图1：离散环境导航（左侧）与本文提出的连续环境导航（右侧）的差异

左侧是传统离散VLN，环境已经提供了预定义的观察位置，LLM只需要依指令判断下一步要去哪个观察位置就行

右侧是本文改进后的。在连续环境中，本文采用多模态基础模型（Gemini 1.5 和 GPT-4o）+视觉可供性提示（在图片中“能走的地面”上画满带有编号的标记点，然后把这些点连同图片一起交给大模型（LLM），让大模型像做“连线题”一样，选出可以通行的路线）预测出低层候选航点和路径

实现过程：通过SAM把地面可以通行的区域分割出来，可供性提示会在这些区域内均匀设置带数字的候选点让LLM有明确的位置可选，LLM会结合这个带数字的图+语言指令选择waypoint（子目标点），规划连接这些点的路径。

图2:低层阶段架构图

这张图主要讲的就是LLM的“底层路径规划”是怎么改的

首先是输入原始图像和文本提示词“地面”给SAM，SAM负责识别地面，分割出可见地面区域

再把图片交给视觉可供性提示，在地面标记候选点（均匀分布）得到编号图，并依据写好的文字提示包括任务描述，具体导航指令，说明什么样的位置适合做路径点，对选择路径点，规划路径的具体要求：

把标号图和文字提示给到LLM后，会输出waypoint（阶段性的目标位置）和path（到达阶段目标的路径）

图3：高层阶段架构图

输入是任务描述（规则，告诉LLM高层决策任务是什么，应如何选择路径，比如“你是一个执行视 觉语言导航的机器人...”）

导航指令（用户给出得整体导航目标，比如退出客厅，去厨房）

历史信息：之前探索过的位置，及对应的观察图像（走到哪了？之前看到了啥？指令执行 到哪一步了？）

还有四个方位的彩色图像（低层处理过的，带标记点和路径的）

把这些交给高层的PathAgent之后，由其选择下一步行动（也就是输出高层决策）

决策包括思考（结合导航指令和当前观察判断接下来该朝哪个方向前进）和动作（选中指定路径或停止）

找到 Path-4 这条线在 2D 图片上的具体像素点后需要结合深度信息和相机内参进行3D映射得到三维坐标，路径。

（图没写，最后这个路径被转换成机器人能执行的动作，低层做的）

图4：连续环境中成功导航的示例

第一张图是轨迹图（是最后执行的结果，Habitat 仿真器生成的）

左上角的黑白地图。红点是起点，蓝点是终点，绿线是机器人实际走过的轨迹。

下面的文字是长指令（也就是上一张图的输入中的那个任务描述）。要求机器人：走出有马桶的浴室并左转，经过浴缸（经过时浴缸在右边），穿过右侧第一扇门进入衣帽间（closet），一进去就停下。

右侧的依次是每一步的当前观察场景和决策说明