• 人工智能
• 大模型
• 具身智能
• 机器人

cosmos3-nano-libero10-sdg-export-D5是 NVIDIA Cosmos3-Nano 系列中一个面向机器人操作的视觉-动作（VLA）策略模型：它以Qwen3-VL 8B为语言主干，通过Mixture-of-Transformers（MoT）设计并联一个扩散生成专家，在 LIBERO-10 基准上后训练得到。标准场景成功率93.4%，光照/纹理扰动场景仍有82.9%。本文将带你从零读懂它的架构分层、关键配置和权重布局。

🤖 这个模型到底是做什么的？

一句话定位：给定机器人第一视角图像/视频 + 语言指令，输出动作序列（action chunks）。

它是 Cosmos Cookbook 中"用合成数据重风格化 LIBERO-10 演示并量化收益"受控实验里的一个单元（cell D5），训练数据为 379 条真实 LIBERO-10 演示 + 1895 条重风格化副本，共训练 2000 步（全局 batch 2048，seed 42）。核心指标见 README.md：

⚠️ 训练数据不在本仓库再分发：LIBERO-10 原始数据在nvidia/LIBERO_LeRobot_v3，重风格化数据由 Cookbook 配方现场再生成。

🧩 总体架构：一套骨架、双专家并联的 MoT 设计

这是理解本模型的核心。传统 VLM 只有一套 Transformer 层，而omni_mot_model_config（见 config.json）让每一层都同时拥有两套专家权重：

• 理解专家（language / und）：Qwen3-VL 8B 的语言塔，负责"看懂"图像与指令，走自回归因果 LM 路径；
• 生成专家（_moe_gen后缀）：扩散专家，负责"生成"——视频 latent 与动作的扩散去噪，采用双向（two-way）联合注意力与语言侧交互（joint_attn_implementation: "two_way"，config.json）。

打开 model.safetensors.index.json 可以直观验证：模型共36 层，每一层都成对出现——

两套权重完全独立、共享同一序列上的联合注意力，这正是 Mixture-of-Transformers 的精髓：用"复制一层"的成本换取理解与生成两条路径互不干扰，让语言模型强大的世界理解能力能被扩散生成侧直接"借用"。

🔍 一个有趣的细节：lora_target_modules只列了q/k/v/o_proj_moe_gen（config.json）——一旦启用 LoRA 微调，也只微调生成专家的注意力投影，语言主干保持冻结语义，进一步印证了"扩散专家是可插拔模块"的设计意图。

⚙️ 从 config.json 看懂五大配置模块

config.json 是整个模型的"蓝图"，按功能可拆成五块。

1️⃣ 语言主干：vlm_config

• model_name为Qwen/Qwen3-VL-8B-Instruct（config.json），配置源指向Qwen3-VL-8B-Instruct.json；
• 视觉塔（ViT）共 27 个 block，含 3 组deepstack_merger与 1 组merger，把图像/视频 patch 逐级合并成语言 token；
• 启用qk_norm_for_text（文本侧 QK 归一化），词嵌入与lm_head共享权重（tie_word_embeddings: true）。

2️⃣ 扩散专家：diffusion_expert_config

这块决定了"生成什么、怎么生成"（config.json）：

视频压缩由wan2pt2_vae_interface完成：空间压缩 16 倍、时间压缩 4 倍（config.json），推理端采用rectified flow（unipc 调度器、1000 个训练时间步、logitnormal 时间分布，config.json），动作损失权重特意放大到 10.0（action_loss_weight: 10.0），保证动作生成不被视频重建目标淹没。

3️⃣ 动作生成链路：action_gen与各投影层

本模型的核心身份是机器人策略，动作相关的"接头"全部集中在语言塔之外：

• max_action_dim: 64：动作维度上限；state_ch: 48、state_t: 300：机器人状态向量 48 维、时间窗 300；
• llm2action/action2llm：语言塔隐状态 ↔ 动作向量的双向投影（见 model.safetensors.index.json 末尾权重）；
• llm2vae/vae2llm：动作与视频 latent 之间共享 VAE 空间的桥接层；
• time_embedder：扩散时间步的正弦 MLP 嵌入；
• num_embodiment_domains: 32：最多支持 32 种"本体域"（不同机器人形态）嵌入，这是其跨具身泛化能力的基础。

4️⃣ 训练与并行策略

parallelism显示训练用 4 路数据并行分片（FSDP，master 精度 float32、reduce 精度 bf16，config.json）；attention_io_layout: sequence_sharded与选择性激活检查点（只重算fmfa之外的 op，保存fmha）兼顾显存与吞吐。checkpoint.json 还记录了导出时使用了EMA 权重（use_ema_weights: true）并关闭了预训练权重加载——你拿到的就是"训练完的真实状态"，而非中间态。

5️⃣ 精度与量化

precision: bfloat16，未启用 FP8 量化（quantization.method: null），与 7 个 safetensors 分片的实际精度一致。

📦 权重文件怎么读？

🚀 快速上手：如何加载这个模型

前置条件：Python 环境、transformers >= 4.57.6（config.json声明的版本）、cosmos-frameworkv1.2.2（策略服务器依赖）。

1. 获取模型（Git LFS 仓库，约 30 GB，请预留磁盘）： git clone https://gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D5
2. 确认完整性：7 个 safetensors 分片 +model.safetensors.index.json均在本地即可（分片应为 GB 级；若每个只有 4 KB 说明 LFS 未拉取，需执行git lfs pull）。
3. 加载方式：
   • 官方推荐：用cosmos-framework的policy server加载，它会按config.json的auto_map（AutoModel → cosmos3.model.Cosmos3OmniModel，config.json）装配 MoT 双专家结构；
   • 架构标识为Cosmos3OmniModel（model_type: cosmos3_omni），需 cosmos 专用代码路径，而非原生 transformers 权重目录直接推理。
4. 输入约定（来自 config.json）：图像走images键、视频走video键、指令字幕走ai_caption键；输出为 64 维上限的动作序列。

❓ 新手常见问题（FAQ）

Q1：MoT 和 MoE（混合专家）是一回事吗？不是。MoE 是"同一层里多个 FFN 用门控路由二选一"；MoT 是"同一层里按模态/任务拆出整套独立子层（注意力+MLP+归一化）并行运行"。本模型的 und / gen 双专家由输入模态决定走法，没有路由网络。

Q2：为什么扰动场景成功率掉到 82.9% 还能用？README 明确提示：cell 之间小于 2.5 分的差异在训练 seed 波动范围内（README.md）。82.9% 是在随机化光照、纹理、天空盒与相机抖动下的鲁棒性指标，恰好说明合成数据增强（SDG，即仓库名中sdg的由来）带来了环境不变性收益。

Q3：D5是什么？它是受控实验网格中的一个"单元格"编号（实验组 D 的第 5 个 seed/配置组合）。README 提醒：重风格化 cell 必须与其 duplicate control 对比解读，单独看 D5 没有意义。

Q4：能微调到自己的机器人吗？配置已预留 LoRA 开关（lora_enabled: false、rank 16、alpha 32，且目标模块默认只指向*_moe_gen投影，config.json）——微调时只动生成专家即可保留语言理解能力，这是官方架构给出的"最省力"微调路径。

💡小结：cosmos3-nano-libero10-sdg-export-D5展示了世界模型路线做机器人策略的完整工程形态——Qwen3-VL 8B 负责"理解"，36 层并联的扩散专家负责"生成"，动作头负责"落地"，三者在 MoT 骨架中各司其职。对想深入的同学，建议按config.json→model.safetensors.index.json→ README 实验数据的顺序逐层对照阅读。

• 人工智能
• 大模型
• 具身智能
• 机器人