ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

物理AI新范式:机器人从“执行指令”到“理解世界”

物理AI新范式:机器人从“执行指令”到“理解世界”

一次给工业机器人做抓取测试时,我遇到了一个很有代表性的场景:机器人把杯子抓起来,杯壁太滑,中途脱手。系统倒是没慌,干脆利落地弹出一条“抓取失败,请人工干预”的报警,然后停在原地等我去处理。那一刻我脑子里冒出一个念头——它为什么不问问自己“杯子为什么会滑”呢?

【物理AI】这两年讨论度很高,许多人把它理解成“更聪明的机器人模型”,但我觉得它真正的分水岭在于:机器人从“执行指令”开始转向“理解世界”。而这个转向要走的,恰恰是一条我们最熟悉却很少认真分析过的路——【人类学习路线】。婴儿摔了几次杯子就学会轻重缓急,摸了几次积木就明白形状匹配,这种通过观察、试错、提问积累物理直觉的方式,正是物理AI试图搬上机器人的剧本。这篇文章我会把“机器人问为什么”拆开来看,讲讲物理AI到底学什么、人类学习路线到底给了它什么启发,以及我们做机器人开发的人,能从这条路上带走哪些能立刻用的东西。

适合读的人:搞机器人算法、具身智能、仿真到真机迁移的工程师,以及所有对“机器人怎么才能更聪明”这件事好奇的朋友。

1. “问为什么”摆在机器人面前的是一道认知门槛

1.1 三个层次的“为什么”,难度完全不同

“机器人问为什么”听起来是一个动作,但落到工程上,它其实是三个不同难度的问题。

第一层是表面故障的归因。比如上文的抓取失败,关节报错、视觉定位超时。这种“为什么”本质上是故障诊断,答案藏在传感器数据和报警码里,现在的工业机器人系统配合专家经验基本能处理,远程看日志就能定位。这个层次不稀奇,PLC时代的老师傅在产线上早就这么干了。

第二层是动作失败的内在原因。机器人抓取脱手,可能是夹爪力不够,可能是表面摩擦系数太低,也可能是运动轨迹带来的惯性导致了横向滑移。这层“为什么”需要把机械结构、动力学模型和传感器数据放在一起推演,传统控制理论能回答一部分,但代价很高——通常要靠一个懂行的人把各个环节排查一遍。

第三层是决策层面的因果寻求。机器人不只是想知道“我为什么抓不住”,而是想知道“如果我把抓取点往中心偏2厘米、把接近速度降到原来的70%,是不是就能抓住?”这句话的本质,不再是诊断,而是机器人在大脑里构建了一个关于物理世界的模拟器,先推演若干种可能,再判断哪一种最接近成功。这才是“问为什么”的完整含义,也是我认为物理AI真正要跨过的认知门槛。

1.2 传统机器人把“因为所以”写死在代码里

为什么大多数机器人不会问为什么?因为它不需要。传统机器人的工作逻辑是:感知到状态S,匹配规则R,执行动作A。规则R是什么?可能是工程师写的一堆if-else,可能是标注好的示教路径,也可能是一个训练好的策略网络。无论哪种,本质上都是在提前把“因为S,所以A”固定下来。

这套逻辑在工业场景里非常可靠,因为产线环境高度结构化:夹具固定、光照稳定、工件一致。机器人不需要理解“为什么这个工件会在这个位置”,它只需要知道“视觉拍到中心在这个坐标域内,就去那个位置抓”。

但一旦走出这个舒适区,问题就来了。我的一个朋友做物流拆垛机器人,遇到一种新包装箱,反光材质让视觉系统一天之内飘了三次,机器人抓空了好几次也没任何反应,每次都是高高兴兴执行完才知道没抓到。它不会在路上停下来想一想:“这个位置的置信度只有0.6,上一次在这里也失败了,我是不是应该换个角度再看一眼?”这就是“写死规则”和“主动理解”的本质差别。

我把这三个层次整理了一张表,方便对照:

层次机器人的问题回答方式是否需要物理AI
第一层哪里坏了日志+专家系统不需要
第二层为什么没做好动力学模型+人工分析部分需要
第三层换个方案能不能成世界模型推演+主动实验核心需要

现在的物理AI,目标就是把第三层真正打通,而不是停留在第一层第二层的“看起来在思考”。

2. 物理AI不是“另一个大模型”,而是理解世界规则的新范式

2.1 语言AI和物理AI的根本分野

很多人接触“物理AI”时,会下意识拿它和语言大模型对比,觉得不过是用机器人数据训练的大号模型。这个理解偏差很大。

语言大模型学的是符号的统计规律。你有多少文本,它就能通过“下一个词预测”学出词语之间的相关性。这种相关性在某些场景下表现得像推理,但本质上它并不接触物理世界,不知道一个玻璃杯从1米高度摔到水泥地上会碎,不知道一个2公斤的铁块放在薄木板上会把木板压断。语言模型可以写出关于重力势能的长篇大论,但它没有体验过重力本身。

物理AI学的是物理状态的因果转移。它的输入不是文本符号,而是视觉图像、力觉反馈、关节力矩、接触信息,它要学习的是“状态A + 动作B → 状态C”这个转移本身,以及对这种转移的预测能力。用句大白话说:语言AI学的是“名词之间的关系”,物理AI学的是“物体之间的作用”。

举个例子。你让一个语言模型回答“为什么杯子会滑落”,它能引经据典地告诉你摩擦系数、接触面积、正压力,但它没法帮你预测:在某个特定纹理的桌面、某种特定涂层材质的杯子、某个特定夹爪开度下,杯子到底会不会滑。物理AI要做的是后者——在具体情境里动态判断,而不是背知识。

2.2 世界模型:让机器人先在大脑里推演一遍

物理AI的核心组件里,目前我看下来最被认可的一个方向是“世界模型”。这个词虽然听起来偏科幻,但技术定义很朴素:世界模型是机器人内部对物理环境变化规律的一套可计算估计。用大白话说,就是机器人在大脑里装了一个“现实模拟器”。

接收到当前状态后,模型会快速推演——“如果我执行这个动作,后续几步环境会发生什么变化”。推演得到的结果,就是它回答“为什么”的候选答案来源。真正操作之前,它可能已经在隐空间里消化了好几个动作序列,选那个预测成功率最高的来执行。

世界模型的难点不在算力,在于物理世界的复杂性。一个简单桌面推搡任务,涉及物体质量、摩擦、形状、接触点,推一下之后物体的运动轨迹受无数微扰影响。早期我试过用纯神经网络建模这种转移,结果也不意外——预测的未来一帧还好,多推几步就漂得没法看,像段子里的天气预报。

后来大家的思路慢慢收敛到混合架构:用神经网络做视觉感知压缩,用物理规律做状态转移约束,把两者缝合起来。比如把刚体动力学方程作为隐层约束,让网络只去学习那些方程说不清楚的部分,比如摩擦系数的变化、软物体的形变、非刚体接触。这样世界模型既保留了对真实物理的硬约束,又有了应对未知细节的灵活性。

2.3 “为什么”的答案从哪来:物理规律与数据驱动结合

机器人问“为什么”之后,答案哪里来?物理AI提供的路径是两条腿走路。

第一条腿是数据驱动。从大量真实或仿真交互中学习,“什么时候的什么动作,导致什么后果”。这里最有价值的不是成功数据,而是失败数据。抓取脱手这个后果,关联了“夹爪力过小”“接触点摩擦不足”等前置因素,模型可以学到这些组合规律。数据驱动的优点是覆盖面广,能处理人类直觉不容易形式化的场景。

第二条腿是物理规律约束。重力、惯性、动量守恒这些东西不用靠数据学,是先在约束条件里写好的。两条腿合起来,机器人对“为什么”的回答就是:在前置条件中筛选出大概率的原因,同时对“如果改变某个条件会怎样”做一次定量推演。

这里有个容易被忽视的哲学点。这种回答方式和人类那种真正的“理解”,在表面上也许还差着十万八千里。但作为一个工程师,我不太纠结机器人是不是“真的理解”,我只看结果:它能不能减少失败率、能不能在没有人工干预的情况下自我修正。能完成这个目标,“回答为什么”这件事就已经有了工程价值。

3. 人类学习路线里最有价值的三件事:观察、试错、主动提问

3.1 婴儿的物理直觉是怎么建立的

人类婴儿是自然界最强的“物理AI”。你可能觉得这个结论夸张,但发展心理学的很多研究都指向一个事实:婴儿在很小年纪就具备了关于物理世界的核心知识,比如“看不到的东西还存在”“支撑不足的物体会掉落”“物体会因碰撞而改变方向”。

关键问题是,这些物理直觉是怎么来的?如果关在黑箱里不接触任何物体,婴儿不可能发展出这些能力。他们靠的正是观察、试错和主动提问三件套。

观察很好理解,婴儿花大量时间盯着物体运动看,眼睛、头部、手臂都在获取信息。试错呢?婴儿捡起一样东西就丢,反复丢,不是手欠,而是在系统性地探测“这东西掉下发出的声音跟刚才那个有何不同”。至于主动提问,表现为婴儿在某个“意图未能达成”的时候表现出惊讶,比如他推一个小车,推一次没动,再推一次还没动,他没有放弃,而是会换角度再次试探——这个“重复试探”本身就是一种原始的“为什么”。

这三件事构成了人类学习物理世界的基本循环:观察世界,行动改变世界,比较预期和结果,预期落空就再问一个“为什么”,然后带着这个问题进行下一轮行动。

3.2 把“人类学习路线”翻译成算法

听到这儿你会觉得,道理是这么个道理,怎么变成机器能跑的算法?过去五六年里,顺着这条路线,已经有不少明确的研究路径。

举个例子。婴儿那种“没预期到就会再试一次”的行为,在机器学习里对应的概念叫内在驱动探索。主流的做法是:把“预测误差”作为机器人额外的一路奖励信号。机器人在某个状态下执行某动作,如果世界模型的预测与实际结果之间的差距很大,说明这件事超出了它当前的认知水平,那就多给自己发一点奖励,驱动自己去重复这类未被理解的交互。原理跟人类一模一样——做闷头执行的劳动没有获得感,做略超出能力的事有挑战性和成就感,机器人的“好奇心”也是如此。

另外一条路径是从目标反推动机。婴儿想抓一个远处的玩具,但他不知道具体该用多大的力气、什么姿势,于是他会尝试不同方案,保留那些让结果接近目标的行为。算法上对应的是以任务目标为约束的深度强化学习,把成功结果作为稀疏奖励,让机器人自己找到那一串能通向目标的动作组合。这个做法虽然不直接产生“为什么”,但它让机器人积累了大量的“什么导致什么”的经验,这些经验是世界模型的重要燃料。

最后,主动提问在算法上的对应,我比较看好的是主动学习框架。机器人手里有一组尚未确认的假设,例如“不同重量抓取所需夹爪力的大致关系”,然后它会选择那些信息增益最大的动作去做验证,比如专门去抓几件中等重量的物体,快速缩小不确定性区间。这个过程其实就是“提出问题—设计实验—修正认知”的闭环。

3.3 预测误差是“提问”的动力源

我越来越觉得,“预测误差”是理解物理AI和人类学习路线之间纽带的钥匙。

人在什么情况下会自然地追问“为什么”?不是一切正常的时候,而是预期与实际出现落差的时候。杯子抓起来又滑掉,椅子一推以为会动却没动,球扔出去以为能弹回来却弹偏了——这些“意料之外”才是提问的导火索。物理AI要想让机器人产生有价值的“为什么”,核心就是给机器人一个可以产生预期、感知超出预期的机制。

世界模型的预测结果,就是预期;传感器反馈的真实状态,就是现实。两者之差,就是机器人的“惊讶度”。把个惊讶度配置为世界模型训练的损失函数,或者配置为探索策略的奖励信号,机器人在潜意识层面就有了“问为什么”的动力——模型差异小时说明世界符合预期,差异大时说明那里有尚未理解的现象,值得多分配计算资源和行动样本。

坦白讲,“预测误差最大化”这个策略并不是万能的,在有些环境里会导致机器人陷入无意义的随机行为。但现在很多研究团队在处理这个问题时已经加上了安全护栏:只允许在低风险区域使用好奇心策略,高风险区域回到保守策略。这个思路跟人很像——成人在厨房里做实验新菜会谨慎,只有小孩才会一边好奇一边把锅烧糊。

4. 落到工程上:让机器人“问为什么”的实践路径

4.1 仿真先行:在虚拟环境里建立“物理直觉”

理论说得再漂亮,最终还得靠实操跑通。从我的经验看,在真机上直接训练物理AI,目前还不是一个明智的选择——真机数据贵、周期长、风险大,一次侧翻、一次碰撞的代价就够你喝一壶。上一波在真实试错中翻车的例子已经够多了。我个人的建议是,从仿真环境开始建立机器人的“物理直觉”,等模型在仿真里达到95%以上的目标表现,再往真机迁移。

目前常见的仿真工具有MuJoCo、Isaac Sim、SAPIEN等。MuJoCo擅长快速模拟刚体接触,做抓取、推搡、堆叠这类任务很顺手;Isaac Sim跟NVIDIA的物理AI生态结合紧密,适合做多机器人协同和视觉输入的深度强化学习。我自己的习惯是先上MuJoCo做数据采集和模型预训练,等模型展现出不差的泛化能力后,再用域随机化技巧(随机化摩擦、质量、湿度、光照)让模型适应真机环境中的不确定性。

这个阶段的目标很朴素:机器人能对特定任务产出比较可靠的世界模型——比如,它能看到一张俯视图,就能预测把物体往右推20厘米后,物体会停在什么位置。这已经是在“理解”物理规律了,它不需要开口说话,但它的内部状态已经包含了对行动后果的估计。

4.2 具身数据:从“看视频”到“亲手摸一下”

仿真只是一个起点。真机物理世界的丰富程度,是仿真当前难以完整覆盖的。触觉信息就是一个典型盲区。夹爪与物体的接触力分布、轻微的滑移、材料的形变,在仿真里可以近似,但远达不到真机的真实度。物理AI的模型中如果缺少触觉信号,想要回答“为什么抓不稳”这类问题就始终隔着一层。

好在近两年具身数据的玩法已经从“录视频标注”向“可交互形式”进化。不是给机器人看一堆桌面物体的视频,而是让它亲手去推、去抓、去翻动物体,并记录所有传感器数据。有些团队把这种数据称为“物理交互数据”,我觉得名副其实。

做工程落地时,一个很现实的操作是:先拿仿真环境生成一大批“物理交互经验”用于训练主干网络,再在真机上小批量采集“微调数据”。微调数据不需要多,我做过的一个项目里,5000次真机交互就已经能让机器人对某几类物体的物理属性估计有明显改善。这里的关键不是数据规模,而是数据覆盖面——不同材质、不同重量、不同形状的物体都要碰一碰,才能形成全面的“物理直觉”。

4.3 主动学习的实施框架:意图识别、动作采样、反馈回路

那么,具体怎么让机器人“带着问题去行动”?我梳理了一个可落地的四步框架,你也可以把它理解为机器人的提问循环。

第一步是意图识别。机器人需要知道自己当前想验证的假设是什么。比如“这个灰色胶块的摩擦系数是不是不如旁边那个蓝色胶块”。意图可以来自人类工程师的提示,也可以来自世界模型的预测误差。

第二步是动作采样。根据当前验证假设,从动作空间中生成多个候选动作。重点是这些动作要有区分度,能最大化地暴露当前假设的不确定性,而不是机械性地重复同一个试探。

第三步是执行与观测。机器人执行动作,同步采集视觉、力觉、位姿等多模态信息。这个阶段对所有规划之外的现象保持敏感,往往是“没想到但很重要”的信息在这里冒出来。

第四步是反馈回路。把观测结果与模型预测做比对,更新假设置信度,决定继续追问,还是接受现有解释并进入下一个问题。这四步走完,就完成了一次质量不错的“问为什么”。

我把这套框架和传统控制流对比了一下,差异非常明显:

维度传统控制流物理AI主动学习流
动作依据预编程规则世界模型+假设验证
故障处理报错停机等人尝试解释并重规划
数据积累日志仅供事后分析实时更新认知模型
对未知场景敏感且脆弱能主动获取新信息

这个框架的代价是程序复杂度和算力需求明显上升,但它换来的是机器人从未有过的自适应能力。

4.4 评估:什么样的“为什么”算问得好

工程上有一句老话:不能评估的东西就没法优化。“机器人问为什么”也一样,你得定义什么叫问得好,不然优化无从谈起。

我给团队内部定过三个粗颗粒度的评估维度。

第一个是预测准确性。机器人说“这样推会滑”和“那样推不会”,最好让它在虚拟环境里先把话放出来,然后用仿真结果验证。预测与真实物理结果一致,说明它的世界模型靠谱。

第二个是数据效率。一个“为什么”要被回答,需要消耗多少次交互?人类婴儿可能只需要几十次试错就能形成直觉,机器人如果也做到这种水平,说明学习路线的设计是有效的。现在很多系统还是重口味学习者,动辄几百万次数据,这个评估维度就是悬在头上的剑,时刻提醒我们离人类学习路线还有多远。

第三个是问题有效性。机器人提出的“为什么”能不能覆盖真实任务的薄弱环节?如果机器人在一个成功率达到80%的动作上反复提问,但从不关注那失败率最高的20%,那它的“好奇心”就是在空转。我见过有团队在训练时给问题加了优先级权重——对预测失败概率高的情境赋予更高提问权重,据说效果不错。

这套评估标准不完美,但它至少让“机器人问为什么”从一句口号变成了可以用数据说话的指标。

5. 这条路要踩的坑和我的一些判断

5.1 数据陷阱:物理AI最缺的不是算力而是“反事实”经验

做物理AI时间长了,你会发现一个尴尬的事实:我们手里有海量的互联网文本,可以做语言大模型;也有海量的视频,可以做多模态模型;但真正高质量、带动作标注、能反推物理因果的可交互数据,极其稀缺。尤其是反事实数据——也就是“如果我当时不这么推,而是那样推,结果会怎样”的数据,在真实物理世界里无法事后采集,只能靠仿真生成。

所以仿真在这个技术路线里不只是预训练工具,它还是物理AI的“反事实数据工厂”。谁能把仿真做得既高效又贴近真实,谁就拥有更大的数据优势。这也是为什么我之前一直强调仿真先行——你不是在偷懒,你是在为机器人制造“可以试错三千次也不心疼成本”的训练场。

5.2 真实系统里的安全边界:允许机器人试错,但要给错误定价

人类婴儿学习物理世界的过程,代价很低,顶多摔几个玩具。但工业机器人、物流机器人,一次试错可能意味着产线停摆、工件报废,甚至人员受伤。所以在真机上部署物理AI的探索机制,必须设计好安全边界。

我的建议是给错误“定价”。给每类动作设定一个后果严重度分数,比如轻度推搡工件=1分,高速接近人体=10分,碰撞精密设备=20分。内部探索策略只能在后果分数低于某个阈值的状态空间内发挥好奇心;一旦预测超过阈值,回退到保守控制逻辑。这套机制写成一个独立的“安全过滤层”,放在模型输出和电机指令之间,能挡住绝大多数潜在事故。

另外,真机试错过程建议全程人工可紧急接管。这不是设计保守,而是物理学告诉我们,总有一些意外在模型覆盖范围之外。允许机器人问为什么,不等于允许它在工厂里为所欲为。

5.3 现阶段做项目的务实建议:从哪一个“为什么”开始

如果你正在做机器人相关项目,看到这篇文章后摩拳擦掌想上物理AI,我劝你先冷静一下,从一个最小可用的“为什么”开始。

我建议的第一个“为什么”是抓取稳定性。因为它是最直接影响机器人成功率、又最容易用世界模型建模的问题。从仿真环境里构建夹爪-物体接触模型开始,设法让基于视觉的机器人预测不同物体在特定夹持策略下的滑移概率,并在预测偏差大时自主调整夹爪位置和力度。一个能做的量化目标就是:抓取成功率从80%提升到90%以上,同时在失败前能调整抓取策略。

第二个值得尝试的方向是桌面推搡预测。设定一个物体,让机器人去推动它到目标位置,看它能不能通过世界模型预测物体的运动轨迹。这类任务虽然看似简单,但它背后涉及摩擦、接触、惯性等物理量,做到泛化并不容易,很能检验物理AI的实质水平。

我的判断是,未来两到三年,物理AI会大量落地在仿真环境成熟、风险可控、交互频繁的场景,比如仓储分拣、桌面整理、质检操作。能走完一条“预测—推演—试错—修正”闭环的机器人,将在一线项目里真正展现出“开始问为什么”带来的生产效率优势。到那个时候,我们再回头看“抓取失败,请人工干预”这条报警,可能会觉得它像极了老式拖拉机需要摇把启动的时代。

我个人最近的一次实验里,让一个仿真中的机械臂反复推桌子上一块形状不规则的小木块,从最初的毫无规律乱撞,到十几万次交互后开始能预判小木块未来的滚动方向,并在失败时调整推力角度——那个瞬间,我确实感觉到它不只是在执行代码,而是在用自己的交互经验回答自己的问题。这种感觉很难用指标量化,但我想,所有做机器人的人,都会懂那一下“它好像开始懂了”的成就感。

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进