ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

OpenWAM-α Training/Inference Pipeline Mermaid

OpenWAM-α Training/Inference Pipeline Mermaid

OpenWAM-α 模型架构图(Mermaid)

口径与来源

  • 风格规范:/nas01/work/wam/OpenWAM/z_mermaid_style.md(28 节规则表 + 示例)。本文件严格遵循其 6 类固定classDef、形状语义(Data 平行四边形 / Model 矩形 / Frozen 矩形 / Operation 胶囊 / Random 六边形 / Loss 矩形)、顶部 Raw Data → 中部 Forward → 最底部唯一 Loss subgraph(子 Loss 同排 → Total Loss 最底)。
  • 代码来源:/nas01/work/wam/OpenWAM(官方 repo,main@1e103e1)。
  • 论文来源:OpenWAM, arXiv:2609.07398(本地全文:/nas01/temp/openwam_paper/paper_fulltext.txt)。
  • 数字可信度分级:图/表中的参数量与 Shape全部来自真实运行(.py脚本在 meta device 上真实实例化 + 真实 forward,脚本:/nas01/temp/openwam_params/z_count_params_openwam.py,日志/nas01/temp/openwam_params/stdout.log)。凡写(实测)即为脚本 stdout 逐字取值;凡论文/脚本都没有的,写「论文未给出 / 未确认」,不猜测。
  • 对风格规范的显式让步与新增约定(真实性优先,见规范第 1/2 条):
    1. 模型节点内新增<br/>参数:…行—— 规范模板(第 25 节)只为 Model 定义结构:行。本次用户显式要求「每一个可分解的子模块的参数量」,按 P1「用户后续明确提出的新规则覆盖此前对应规则」处理,参数行统一加(实测)后缀。
    2. 规范要求「Model 节点不写 Shape」(第 72 条)—— 已遵守:Shape 只出现在 Data / Random 节点。
    3. 图 1 的 MoT 循环存在回环边(O6 → M6/M7 → Q0 → O6)—— 这是真实拓扑(每层都是 bridge 层,30 层循环),不截断,在图下注明。
    4. subgraph 底色按「阶段」区分(新增约定):规范只对 6 类节点定了classDef,未规定 subgraph 底色。为避免整张图糊成一片白、并让「阶段边界」一眼可辨,本节给每个 subgraph 一个浅色底 + 同色系描边,颜色按阶段递进分配;节点配色严格保持规范第 24/25 节的 6 类classDef不变(灰=Data、绿=Model、浅绿=Frozen、紫=Operation、橙=Random、红=Loss)。同一语义的 subgraph 跨图同色(MoT 主干 = 紫色系,输出头 = 靛蓝系,Loss = 红色系,辅助输入 = 橙色系)。
  • 术语澄清:论文全文0 次出现 “MoT / Mixture-of-Transformers”(grep -c "MoT\b"= 0);论文用词是Dual-System + Joint Self-Attention。MoT(Mixture-of-Transformers)是官方代码里的名字(openwam/model/architectures/dual_system/mot_driver.py:1-10,注明 Inspired by FastWAM-Joint)。下文两者同义,凡涉论文口径处标「论文」、代码口径处标「代码」。

图 1:OpenWAM-α 训练前向 + 联合 Flow-Matching 损失(总图)

阶段 7:联合 Flow-Matching 损失(Joint Flow-Matching Loss)

阶段 6:双流输出头与监督目标(Heads and Targets)

阶段 5:MoT 主干(Dual-System + Joint Self-Attention,30 层 bridge 层)

阶段 4:双流 token 嵌入(Stream Embedding)

阶段 3:双流独立 Flow-Matching 加噪(Independent Noising)

阶段 2:proprio 作为上下文 token(Proprio as Context)

阶段 1:冻结编码器(Frozen Encoders)

阶段 0:原始数据(Raw Data)

子损失(Sub Losses,同排)

x_v

x_a

Context

Context

t_mod

t_mod

Q_v K_v V_v

Q_a K_a V_a

Auxiliary

attn_v 返回本流

attn_a 返回本流

Prediction

Label

Prediction

Label

Gradient

Gradient

Gradient

Gradient

Gradient

Gradient

Gradient

Gradient

Gradient

数据模块:多视角 RGB 视频窗口(Raw Multi-view RGB Clip o_1:T)
Shape: [B, 3, T=33, 384, 320]

数据模块:原始动作块(Raw Action Chunk a)
Shape: [B, H=32, 80]

数据模块:本体状态(Raw Proprioception q)
Shape: [B, 80]

数据模块:语言指令(Raw Language Instruction)
Shape: [B, N_text],token id

冻结模型模块:❄️ Wan2.2-VAE 编码器(Frozen Wan2.2-VAE Encoder3d_38)
结构:因果 3D 卷积,首帧独立编码、后续每 4 帧一组,16×16×4 下采样 → 48 通道 latent
参数:149.63 M(实测)

数据模块:视频 latent(Video Latent z)
Shape: [B, 48, 9, 24, 20]

操作模块:首帧 latent 提取(First-Frame Latent Extract)
公式:z_first = z 的第 0 个 latent 帧,作为干净锚点

数据模块:首帧干净 latent(First-Frame Latents)
Shape: [B, 48, 1, 24, 20]

冻结模型模块:❄️ umT5-XXL 文本编码器(Frozen umT5-XXL Text Encoder)
结构:T5 Self-Attention Blocks × 24 → T5LayerNorm
参数:5.6809 B(实测)

数据模块:语言上下文(Text Context)
Shape: [B, N_text, 4096]

模型模块:🔥 本体感知编码器(Proprio Encoder)
结构:Linear(80 → 4096)
参数:331.78 K(实测)

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进