- 人工智能
- 媒体生成
- 数字人
- 多模态
【免费下载链接】ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60
ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60 是 NVIDIA 发布的人类动作生成模型，基于 630 小时光学动捕数据训练，并借助 LLM 对文本标签做多样化增强，可实时生成交互式人形角色动作。本文带你完整拆解它的训练数据流水线、LLM 数据增强方案与评估指标体系。
🎯 一句话看懂：ARDY 是什么？
ARDY（Autoregressive Diffusion with Hybrid Representation）是一个为交互式动作生成设计的自回归扩散模型，支持在线文本提示与灵活长时程运动学约束（根路径/路径点、全身关键帧、稀疏关节位置/旋转），具备实时响应能力。
本仓库对应的模型变体由 4 个关键标识组成：
| 标识 | 含义 |
|---|---|
| SOMA-RP | 基于 30 关节 SOMA 人体模型骨架，使用 Bones Rigplay 1 动捕数据训练 |
| 30FPS | 动作帧率为 30 fps，训练时动作统一重采样到该帧率 |
| Horizon60 | 单次生成的时间窗口（horizon）为 60 帧，即 30 fps 下约 2 秒动作 |
| KimodoRep | 采用 Kimodo 模型使用的平滑根运动表示（smooth-root），使根约束与输出可直接与 Kimodo 系列对比 |
模型总参数量192 M：denoiser 157 M + 动作 tokenizer 36 M（不含文本编码器），运行引擎为 PyTorch，可部署在 A100、RTX 4090 等 GPU 上。
📦 仓库结构：模型包里有什么？
该仓库是一个纯粹的模型权重包，文件结构非常清晰：
| 文件 | 说明 |
|---|---|
| denoiser.safetensors | 两阶段 Transformer 去噪器主网络权重（157M 参数） |
| tokenizer.safetensors | FSQ VAE 动作 tokenizer（自编码器）权重（36M 参数） |
| config.yaml | 模型结构与推理配置：骨架、帧率、FSQ 量化级别、denoiser 超参数 |
| stats/motion/ | 动作特征归一化统计（mean/std），含 body、global_root、local_root 子目录 |
| stats/pre_quantization/ | FSQ 量化前的潜变量归一化统计 |
| stats/post_quantization/ | FSQ 量化后的潜变量归一化统计 |
config.yaml 中几个值得关注的配置项：
- config.yaml：
gen_horizon_len: 60，正好对应模型名中的 “Horizon60”； - config.yaml：
KimodoMotionRep运动表示 + 30 fps；num_fsq_levels: 128与fsq_level_list: 64定义 FSQ 量化码本，num_frames_per_token: 4表示每 4 帧动作被压缩成 1 个 token； - config.yaml：denoiser 为 8 层 8 头、latent 维度 1024 的两阶段 Transformer，
trt_compatible: true表示支持 TensorRT 加速推理。
🏋️ 训练数据：630 小时动捕数据从哪来？
模型在Bones Rigplay 1数据集上完成训练与评估，核心数据信息如下（来自 README.md 模型卡）：
| 项目 | 详情 |
|---|---|
| 数据规模 | 630 小时人类动捕数据 |
| 数据模态 | 文本 + 人类动捕（光学动捕数据） |
| 文本规模 | 小于 10 亿 tokens |
| 采集方式 | 自动化 / 传感器采集 |
| 标注方式 | 混合式（自动化 + 人工） |
| 内容覆盖 | 行走奔跑等位移、日常活动、手势等多样行为 |
数据预处理流水线的关键步骤：
- 片段切分：原始动捕数据被统一切分为10 秒片段，匹配自回归序列训练的节奏；
- 帧率重采样：动作统一重采样至 30 fps，与 SOMA 30 关节骨架的推理帧率对齐；
- 文本描述：每段动作都配有对应文本描述，覆盖位移、日常活动与手势等丰富行为。
🤖 LLM 增强：让文本标签“更多样”
数据增强的关键一步，是使用 LLM 对原始文本标签生成多样化的改写（paraphrase），扩充数据集。
这一步的价值在于：
- 提升文本-动作配对多样性：同一段动作可对应多种自然语言描述，降低模型对单一措辞的过拟合；
- 强化文本跟随能力：ARDY 用 R-precision 与 latent similarity 度量文本跟随准确率，训练文本越多样，语义对齐越稳健；
- 高性价比：无需额外动捕拍摄，用 LLM 改写即可低成本扩大“有效数据量”，是动作生成模型训练中常见的技巧。
🧪 评估体系：70 小时留出集 + 三大指标
测试集设置：从 630 小时数据中留出70 小时用于测试，且测试集包含训练中未出现的内容类别——这一设计专门验证模型对未知行为的泛化能力。
根据 README.md 的 Performance Metrics，评估覆盖三个维度：
| 评估维度 | 指标 | 衡量什么 |
|---|---|---|
| 姿态约束精度（Pose Constraint Accuracy） | 关节距离误差 | 生成动作对根路径、关节位置等运动学约束的遵循程度 |
| 动作质量（Motion Quality） | 滑步误差（foot-skating）、FID、潜变量相似度 | 动作的物理合理性与生成分布质量 |
| 文本跟随准确率（Text-Following Accuracy） | R-precision、潜变量相似度 | 生成动作与文本提示的语义对齐程度 |
几个指标的含义快速上手：
- FID：衡量生成动作与真实动作之间的分布距离，越小越好；
- R-precision：给定文本，真实动作是否出现在生成的 Top 候选中；
- foot-skating 误差：捕捉动作生成中最常见的物理瑕疵——脚该贴地时却“滑动”。
⚙️ 技术亮点速览
- 架构：Novel Two-Stage Transformer 两阶段 Transformer + FSQ 量化 VAE（FSQVAETransformer），动作被压缩为离散 token 后送入去噪器；
- 输入：文本 + 姿态约束 + 历史姿态（最多 8 秒）；输出：含全局根平移与关节旋转的姿态序列（最长 8 秒）；
- 推理：TensorRT 加速，已验证 A100 与 RTX 4090 平台；
- 生态位：ARDY 项目还有多个变体（20 fps 核心骨架、Unitree G1 机器人骨架等），本模型是其中的 SOMA 30 fps 版本。
🚀 适合谁用？典型场景与已知限制
官方用例面向任何动画经验水平的开发者与研究人员，典型场景包括：
- 🤖 人形机器人运动规划
- 🏭 数字孪生与工业仿真中的角色运动
- 📊 合成数据数字人动作
- 🎮 游戏与交互式应用动画
已知局限：生成动作可能出现滑步等伪影；模型最擅长位移、手势、格斗、舞蹈与日常活动；只能生成写实风格动作，无法产出卡通化或非物理合理的动作，且不会感知角色周围的物体。
许可条款遵循 NVIDIA Open Model Agreement，详见 README.md 模型卡；具体安装与使用方法请参考官方 ARDY 代码仓库。
- 人工智能
- 媒体生成
- 数字人
- 多模态
【免费下载链接】ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60
相关推荐
一文读懂ARDY-SOMA-RP-30FPS-Horizon60：NVIDIA实时人体动作生成扩散模型全景概览
一文读懂ARDY SOMA RP 30FPS Horizon60：NVIDIA实时人体动作生成扩散模型全景概览 ARDY SOMA RP 30FPS Horiz
人工智能媒体生成数字人SOMA 30关节骨架与动作表示：ARDY-SOMA-RP-30FPS-Horizon60从输入姿态到输出动作的数据流全解
SOMA 30关节骨架与动作表示：ARDY SOMA RP 30FPS Horizon60从输入姿态到输出动作的数据流全解 本文带你完整看懂 NVIDIA 的
人工智能媒体生成数字人ARDY-SOMA-RP-30FPS-Horizon60实时推理加速：用TensorRT在A100与RTX 4090上实现交互式动作生成
ARDY SOMA RP 30FPS Horizon60实时推理加速：用TensorRT在A100与RTX 4090上实现交互式动作生成 NVIDIA ARDY
人工智能媒体生成数字人
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
