ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

什么是EasyWAM-MoT-IDM-Cosmos25?基于NVIDIA Cosmos的世界动作模型机器人策略完全解析

什么是EasyWAM-MoT-IDM-Cosmos25?基于NVIDIA Cosmos的世界动作模型机器人策略完全解析
  • 人工智能
  • 具身智能
  • 机器人

【免费下载链接】EasyWAM-MoT-IDM-Cosmos25

项目地址:https://ai.gitcode.com/OpenMOSS/EasyWAM-MoT-IDM-Cosmos25
点击查看免费下载

EasyWAM-MoT-IDM-Cosmos25 是一套基于 NVIDIA Cosmos-Predict2.5-2B 世界模型构建的机器人操作策略(世界动作模型)检查点,在 LIBERO 基准上取得了平均 99.3% 的任务成功率,是同类架构中的最优表现。本文将用通俗语言带你彻底搞懂:什么是"世界动作模型"、IDM 架构为什么更强、以及如何下载检查点并运行评测。

🎯 一句话说清楚:它是做什么的?

要素说明
它是什么开源机器人操作策略检查点(EasyWAM 系列中 MoT-IDM 架构版本)
底层骨干NVIDIA Cosmos-Predict2.5-2B 视频世界模型
核心能力看视频、读机器人状态,预测并执行下一步动作(机械臂操作)
主要成绩LIBERO 四套件平均成功率99.3%,同骨干模型中最高
许可证检查点采用 CC BY-NC 4.0(代码为 MIT)

简单来说:它教机器人"先想象画面会怎样变化,再决定手该往哪动"——这就是世界动作模型(World Action Model, WAM)的核心思想。

🧠 前置概念:什么是"世界动作模型"?

世界模型(World Model)

世界模型是一种"在脑海中模拟世界"的神经网络,典型形态是视频生成模型:给定当前画面,预测接下来几帧视频。NVIDIA 的Cosmos系列正是这类物理世界基础模型,而本仓库使用的骨干是Cosmos-Predict2.5-2B(约 20 亿参数)。

从"会想象"到"会动手"

普通视频模型只预测画面,而世界动作模型在此基础上多了一个关键能力:预测机器人动作。EasyWAM-MoT-IDM 的架构要点有三:

  • 双 DiT 联合设计(Joint Dual-DiT):两条扩散 Transformer 分支协同工作,一支负责视频预测,一支负责动作预测,共享世界理解能力;
  • IDM(逆动力学模型)分支:新增一条"教师强制的条件视频分支"(teacher-forced conditional-video branch),让动作预测以条件化视频为参照,使"想画面"与"出动作"更紧密地绑定在一起——这正是MoT-IDM名称的由来;
  • 状态 Token 布局:采用sequence方式放置机器人本体状态(关节/末端状态),与视觉信息序列化处理。

💡 对新手的一句话总结:视频分支负责"想象",动作分支负责"执行",IDM 分支把两者用条件视频缝合起来,所以它比 Unified、MoT、Hidden 等兄弟架构更准。

📊 LIBERO 基准成绩:到底有多强?

LIBERO 是目前评估机器人操作策略最常用的基准之一,覆盖空间推理、物体操作、目标理解等多种任务。在 EasyWAM 官方评测协议下(所有结果使用state_position: sequence,数值越高越好):

主基准:LIBERO 四套件成功率(%)

模型SpatialObjectGoalLIBERO-10平均
EasyWAM-Unified97.899.497.093.096.8
EasyWAM-MoT98.098.498.495.697.6
EasyWAM-MoT-Joint98.699.898.496.098.2
🔥 EasyWAM-MoT-IDM99.499.499.898.499.3
EasyWAM-Hidden97.298.896.095.096.8

平均 99.3%,且四项全部位居第一——在"换背景、换相机、换光照"等扰动场景下同样稳健(见下表的 LIBERO-Plus)。

鲁棒性:LIBERO-Plus 扰动测试(%)

LIBERO-Plus 会对背景、相机位姿、光照、传感器噪声等 8 个维度逐一施加扰动,检验策略的"抗造"能力:

模型背景相机语言布局光照噪声机器人平均
EasyWAM-Unified72.763.790.182.689.272.179.278.2
EasyWAM-MoT60.775.192.382.692.681.358.577.7
EasyWAM-MoT-Joint62.160.896.684.594.469.476.977.7
🔥 EasyWAM-MoT-IDM66.459.893.885.789.072.381.978.4
EasyWAM-Hidden59.565.992.685.089.168.382.577.8

可以看到:在机器人本体扰动、语言指令、任务布局等维度上,MoT-IDM 均表现领先,平均鲁棒性 78.4% 位列第一。📈

📁 仓库文件详解

本仓库是一个纯检查点发布仓库,文件非常精简,各司其职:

文件作用
libero_mot_idm_cosmos25.ptLIBERO 全参数检查点(约 5.2 GB,EasyWAM PyTorch.pt格式,通过 Git LFS 托管)
libero_dataset_stats.json数据集归一化统计(状态 8 维、动作 7 维的 min/max/均值/标准差/分位数),评测时必需
README.md项目说明、成绩表格、下载与评测命令

📌小提示:libero_dataset_stats.json不是可有可无的附属文件——模型推理时需要它把机器人状态和动作缩放到统一数值范围,缺了它评测脚本无法运行。

🚀 快速上手:下载检查点并运行评测

完整流程分三步,按 README.md 的指引进行:

第 1 步:准备运行环境

  1. 安装EasyWAM代码库(本检查点的训练与评测框架);
  2. 按 EasyWAM 官方文档中的 Cosmos-Predict2.5-2B 骨干指南,配置 NVIDIA Cosmos 依赖;
  3. 按 LIBERO 评测指南搭建仿真环境。

第 2 步:下载检查点文件

hf download OpenMOSS-Team/EasyWAM-MoT-IDM-Cosmos25 \ libero_mot_idm_cosmos25.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints

执行后会得到两个文件:./checkpoints/libero_mot_idm_cosmos25.pt与./checkpoints/libero_dataset_stats.json。

第 3 步:运行 LIBERO 评测

python experiments/libero/run_libero_manager.py \ task=libero_easywam_mot_idm_cosmos25 \ ckpt=./checkpoints/libero_mot_idm_cosmos25.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json

默认协议会对LIBERO 全部四个套件、每个任务各跑 50 次试验;如果有多张 GPU,可以追加MULTIRUN.num_gpus=<gpu-count>参数把评测任务分布到多卡上并行加速。⏱️

⚖️ 许可与引用

  • 代码:EasyWAM 代码库采用 MIT License,可自由使用;
  • 检查点:本仓库发布的检查点采用CC BY-NC 4.0许可,且受其基础模型(Cosmos)与训练数据条款约束,商用前请务必确认授权范围;
  • 引用:如果在研究中使用了该项目,请引用:
@misc{easywam2026, title = {EasyWAM: A Unified and Efficient Framework for Training and Evaluating World Action Models}, author = {EasyWAM-Team}, year = {2026} }

✅ 总结:为什么值得了解 EasyWAM-MoT-IDM-Cosmos25?

  • 🧩架构创新:在 EasyWAM 双 DiT 联合设计上加入教师强制条件视频 IDM 分支,让"想象未来"与"输出动作"深度融合;
  • 🏆成绩过硬:LIBERO 平均成功率 99.3%、鲁棒性测试 78.4%,均为同骨干(Cosmos-Predict2.5-2B)模型最佳;
  • 📦开箱即用:仓库直接提供全参数检查点与归一化统计,按文档三步即可完成评测;
  • 🔭方向价值:它是"世界模型赋能机器人操作"这一前沿路线的高性价比参考实现,适合研究者与机器人新手快速复现与对比。

如果你想进一步研究世界动作模型,建议从 README.md 出发,对照各架构的成绩表(README.md)理解 IDM 分支带来的提升,再动手跑一次完整评测。

  • 人工智能
  • 具身智能
  • 机器人

【免费下载链接】EasyWAM-MoT-IDM-Cosmos25

项目地址:https://ai.gitcode.com/OpenMOSS/EasyWAM-MoT-IDM-Cosmos25
点击查看免费下载
上一篇:TiXL 中 CountInt 计数运算符完全指南:用整型计数器驱动实时视觉逻辑
下一篇:从0到1:ET框架单元测试全自动化实战——无缝对接CI/CD流程

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进