相关笔记
深讲：《ABot-World 概念深讲》
代码：《ABot-World 代码导读》
一句话定位
ABot-World-0是一个键盘动作条件的视频世界模型：你按 WASD/IJKL，模型实时生成下一段世界画面。目标是在单张消费级桌面 GPU（RTX 5090）上做近实时、可无限续写的交互式世界 rollout（约720P / 16 FPS / 1.2s 首帧延迟 / ~19GB 显存）。
你可以把它想成
不是「生成一段固定长度短视频」，而是「可玩的生成式沙盒」：你动一下，世界跟着变；生成过的画面又变成下一步的输入，可以一直玩下去（hour / day 级压力测试）。
0. 要解决的四个耦合瓶颈
| 瓶颈 | 白话 |
|---|---|
| 数据 | 要有同步动作的多样世界视频（游戏 / 仿真 / 互联网） |
| 控制 | 同时支持场景漫游与第三人称角色控制 |
| 长时稳定 | 自回归越滚越偏（模糊、花屏、卡死） |
| 部署 | 不仅少采样步，还要整条流水线能在桌面 GPU 跑起来 |
1. 数据基础设施（WorldExplorer）
三源互补：
| 来源 | 优点 | 动作标签 |
|---|---|---|
| AAA 游戏 | 画质高、控制精确 | 游戏 API 真值 |
| 仿真（UE / 3DGS） | 几何准、可控 | 轨迹投影得到 |
| 互联网视频 | 多样性强 | 姿态估计伪标签 |
WorldExplorer：agent 驱动采集 +训练反馈闭环（哪里弱就多采哪里）。
质检：14 项检查 × 6 维度 + VLM 语义评估。
标注：统一键盘动作空间 + 场景描述（故意不含相机运动文案，避免文本抢走动作控制）。
2. 模型怎么控？（键盘 + 身份记忆）
动作接口
- 原始键盘动作（离散、与帧对齐），不是 latent action
- 代码落地为 8 维：
W A S D I J K L（移动 + 视角/交互类键） - 每 4 帧 pack 成动作 token，经Action Control Adapter（PixelUnshuffle + Conv）加性注入到 DiT patch 特征
第三人称身份
- Reference-character memory：多视角角色参考图 → VAE → 身份 token
- 负时间 RoPE + 非对称注意力（视频可看记忆，记忆不看视频）→ 减轻长时「换脸」
3. 训练管线：双向教师 → 因果学生 + LongForcing
预训练视频 DiT ↓ 全参微调 双向 Teacher（看整段，质量高，不能实时） ↓ Stage1 Teacher Forcing 因果 Student（只看过去，可自回归） ↓ Stage2 ODE Distillation 少步因果模型（更快） ↓ Stage3 LongForcing（DMD） 长时自 rollout 与「更长视野教师」分布对齐 → 抗漂移LongForcing 直觉
短视距蒸馏只教「下一步好看」；闭环玩久了，历史全是自己生成的脏上下文。
LongForcing 让学生自己滚很长，再用扩展视野教师做分布级纠正——治的是「越滚越偏」的分布偏移。
4. 部署：全栈共设计（不是只压采样步）
| 组件 | 作用 |
|---|---|
| Chunk-wise streaming | 每块 3 latent ≈ 12 解码帧；吞吐↑，首帧有界延迟 |
| LightVAE (TAEHV) | 轻量解码，降延迟与显存 |
| FP8 / MXFP4… | DiT 低比特；VAE/文本更高精度 |
| SageAttention2 | 加速注意力 |
| Fast-RoPE | 流式局部窗口重锚定 RoPE |
| Bounded KV cache | 无限时长不让 KV 无限涨；可再量化 |
| Memory-aware scheduling | 模块换入换出，峰值显存可控 |
部署信封（1× RTX 5090）：1280×704，最高约16 FPS，首帧1.2 s，峰值 VRAM≤19.3 GiB。
消融：Base / 仅 SageAttention →OOM；必须多组件一起上才可部署。
5. 实验结论
WorldRoamBench（5B 模型）
相对 Genie 3 / HappyOyster / LingBot-World / HY-World：动作跟随、轨迹、美学、力学、记忆等子项有竞争力（部分次优）。
LongForcing 消融（60s）
相对 Causal-Forcing 风格基线：后半段 HPSv3 更高，饱和/模糊/重复 patch 更低 →长时误差累积更轻。
定性
- 小时 / 日级 rollout 仍可辨场景与可控角色
- OOD 场景/角色仍跟键盘
- 涌现物理：推箱子、脚印、溅水、撞墙不穿模等（非显式物理引擎）
要点总结
- 交互世界模型 = 数据闭环 + 因果少步模型 + 长时分布对齐 + 部署共设计
- 键盘动作是统一、用户友好的控制通道
- LongForcing针对「自回归闭环分布偏移」
- 实时 ≠ 少采样步：解码、注意力、KV、显存调度同样关键
- 开源：推理 + Gradio +5B-LF 学生权重；教师模型与 500h 数据集路线图中
开放问题
- LongForcing 扩展视野教师的具体 horizon 与 DMD 实现细节？
- 8 维键盘到游戏原生多轴控制的映射损失有多大？
- 日级 rollout「仍可辨」与真正持久世界状态还差多远？
- 与 Masked Visual Actions / RynnBrain 世界模型路线如何组合？
