1. 具身数据荒的破局思路：为什么要在仿真里造一个自我改进飞轮

做具身智能这一块的人都有一个共同感受：模型架构其实已经相对成熟了，真正卡脖子的是数据。真实机器人采集一条抓取轨迹，需要人工遥操作、场景搭建、物体重置，一条高质量轨迹的成本轻松上到几十甚至上百元，而且换个光照、换个物体摆放位置，数据分布就变了。这种采集方式根本撑不起大规模训练的需求，更别提让模型学会泛化。

EmbodiedSmith 这个项目要解决的就是这个问题。它的核心思路是把数据生产从“人工采集”变成“仿真环境里的自动化流水线”，而且这条流水线不是静态的，是一个递归自我改进的飞轮——每一轮产出的数据用来训练更强的策略，更强的策略在仿真里探索出更高质量、更多样化的轨迹，这些轨迹又反过来提升下一轮的数据质量。说白了，就是让数据生产和模型能力互相喂养，形成正循环。

这个方向适合谁参考？如果你在做具身智能的策略学习、仿真环境搭建、合成数据生成，或者你正在被真实数据采集成本压得喘不过气，这套思路值得仔细拆解。它不依赖特定硬件，核心在于仿真环境的设计、任务难度的自动课程调度，以及数据筛选回路的搭建。下面我会从整体设计、核心模块、实操流程、常见坑四个层面，把这条飞轮的每一环都拆开讲清楚。

2. 整体架构设计：飞轮的四级传动与选型逻辑

2.1 为什么是“递归自我改进”而不是一次性生成

一次性生成合成数据的做法很常见：固定一个仿真场景，随机化物体位姿，跑一批轨迹就完事。但这样做出来的数据有个致命问题——策略在早期很弱，它探索出来的轨迹大部分是失败的、低效的，这些低质量数据混进训练集反而拖累模型。EmbodiedSmith 的关键区别在于“递归”：它不是跑一轮就结束，而是把每一轮的数据质量作为下一轮环境难度调整的依据。

具体来说，飞轮有四级传动。第一级是基础策略在仿真中探索，产生原始轨迹池；第二级是质量评估模块对轨迹打分，筛选出成功且高效的样本；第三级是用筛选后的数据微调策略，得到能力更强的策略；第四级是课程调度器根据当前策略的成功率，自动调整任务难度和场景复杂度，让策略始终处在“跳一跳够得着”的学习区间。这四级循环往复，每一圈的起点都比上一圈高。

这个设计背后的逻辑其实来自课程学习（Curriculum Learning）和自训练（Self-Training）的结合。课程学习保证难度递进，自训练保证数据规模可以无限扩展。两者结合，就形成了一个不需要人工干预的数据增长引擎。

2.2 仿真环境选型的三个硬指标

仿真环境的选择直接决定了飞轮能转多快、转多稳。我在实际搭建中总结了三个硬指标，缺一个都会让后续的递归循环卡住。

第一个指标是物理精度与速度的平衡。具身任务里接触力、摩擦、形变这些物理量必须足够真实，否则策略在仿真里学到的操作技能迁移到真机就废了。但物理精度越高，仿真步进越慢，数据生成吞吐量就上不去。我的经验是，对于抓取、推拉这类刚体操作，物理引擎的接触求解器精度调到中等偏上即可，重点保证碰撞检测的稳定性；对于涉及柔性物体的任务，才需要拉高精度。实测下来，把物理步长设在 1/240 秒到 1/120 秒之间，配合子步进（substepping）策略，能在精度和速度之间取得不错的平衡。

第二个指标是并行实例化能力。飞轮要转起来，单靠一个仿真实例跑太慢。必须支持在同一台机器上并行跑几十甚至上百个环境实例，每个实例独立随机化场景。选型时要看仿真环境是否支持无头模式（headless）、是否能在 GPU 上批量前向物理计算。我试过用 CPU 多进程并行，16 核机器跑 32 个实例，吞吐量大概每秒几百步；换成 GPU 批量仿真后，同样硬件能跑到每秒上万步，差距非常明显。

第三个指标是场景与资产的程序化生成接口。飞轮需要不断调整任务难度，这就要求场景里的物体数量、摆放密度、障碍物布局都能通过代码动态控制，而不是手工建模。选型时要确认仿真环境是否提供 Python API 来动态加载资产、修改关节参数、随机化纹理和光照。如果每次调整难度都要重新导出场景文件，飞轮根本转不起来。

2.3 数据筛选回路的阈值设定逻辑

筛选回路是飞轮的“质检员”，它的阈值设定直接决定了进入训练集的数据质量。设得太松，低质量数据混进来，策略学歪；设得太严，数据量不够，飞轮转得慢。

我的做法是设两个阈值：一个成功率阈值，一个效率阈值。成功率阈值控制“这条轨迹有没有完成任务”，效率阈值控制“完成得干不干脆”。具体来说，成功率阈值初期可以设低一点，比如 0.3，让策略先看到一些成功案例；随着训练轮次增加，逐步提高到 0.7 甚至 0.8。效率阈值用轨迹长度或能量消耗来衡量，比如同样完成抓取，一条轨迹用了 50 步，另一条用了 200 步，那 200 步的那条就要被筛掉。

这里有个容易踩的坑：阈值不能设成固定值，必须跟着策略能力动态调整。我一开始把成功率阈值固定在 0.6，结果早期策略根本达不到，筛选后数据量几乎为零，飞轮直接停转。后来改成滑动窗口自适应，用最近 N 轮的成功率均值乘以一个系数作为当前阈值，飞轮才稳定转起来。

3. 核心模块拆解：从轨迹生成到策略迭代的完整链路

3.1 基础策略的冷启动：怎么让飞轮转第一圈

飞轮最难的其实是第一圈。策略一开始是随机初始化的，在仿真里乱动，成功率极低，筛选回路几乎筛不出有效数据。这时候需要冷启动策略。

我的做法是分两步走。第一步，用少量人工示教数据或脚本化策略（scripted policy）先跑一批“保底”轨迹。脚本化策略不需要很聪明，比如抓取任务里，可以用逆运动学算出一条从初始位姿到目标位姿的直线轨迹，虽然笨，但能保证一定成功率。这批数据用来做第一轮微调，让策略从完全随机变成“有点方向感”。

第二步，在冷启动数据上训练一个初始策略后，立刻启动飞轮的递归循环，但初期把课程难度调到最低——物体只放在桌面中央，不施加随机扰动，光照固定。这样策略的成功率能快速爬升到 0.5 以上，筛选回路开始有稳定输出。等策略在这个难度下稳定了，再逐步引入随机化。

注意：冷启动阶段不要追求数据量，追求的是数据“干净”。哪怕只有几百条成功轨迹，只要质量高，就足够让策略迈过随机阶段。我见过有人冷启动就灌了几万条低质量数据，结果策略学了一堆错误动作，后面怎么调都救不回来。

3.2 课程调度器的实现：自动难度调整的三种策略

课程调度器是飞轮的“油门”，它决定什么时候该加速、什么时候该减速。我实践下来有三种策略比较有效，可以组合使用。

第一种是基于成功率的离散跳变。把任务难度分成若干等级，比如等级 1 到等级 10，每个等级对应不同的物体数量、随机化范围和障碍物密度。当策略在某个等级上的滑动窗口成功率超过 0.8 时，自动跳到下一等级；低于 0.4 时，退回上一等级。这种策略实现简单，适合任务难度可以清晰分级的场景。

第二种是基于信息熵的连续调整。不预设难度等级，而是用一个连续变量控制场景复杂度，比如物体位姿的随机范围从 0 到 1。调整依据是策略输出的动作分布熵——熵太低说明策略太确定，可能过拟合当前难度；熵太高说明策略太迷茫，难度可能超纲。目标是把熵维持在一个中间区间。这种策略更平滑，但调参更麻烦。

第三种是基于失败类型的定向加难。分析策略失败的轨迹，看失败原因是什么：是抓取点偏了，还是避障没做好，还是物体滑落了。针对失败最多的类型，定向增加该类场景的比例。比如发现 70% 的失败都是因为物体表面太滑，那就专门增加高摩擦系数物体的训练比例。这种策略最精准，但需要失败分类器，实现成本最高。

我一般先用第一种快速跑通，等飞轮稳定后再引入第二种做精细调节，第三种作为补充。

3.3 轨迹质量评估：除了成功率还要看什么

成功率是最粗粒度的评估指标，但光看成功率会漏掉很多信息。两条轨迹都完成了抓取，但一条动作平滑、路径短，另一条抖动严重、绕了大圈，显然前者质量更高。EmbodiedSmith 的评估模块需要多维度打分。

我用的评估维度包括：任务完成度（是否成功）、轨迹效率（步数或路径长度）、动作平滑度（相邻动作的加速度变化）、能量消耗（关节力矩积分）、以及鲁棒性余量（在轻微扰动下是否还能成功）。每个维度归一化后加权求和，得到一个综合质量分。

这里有个经验：权重的设定要跟下游任务对齐。如果下游是真机部署，那平滑度和鲁棒性余量的权重就要调高，因为真机对抖动和扰动很敏感；如果下游只是仿真里的 benchmark，那效率权重可以高一些。我一开始用等权重，结果筛出来的轨迹在真机上抖动严重，后来把平滑度权重提到 0.3，问题才解决。

3.4 策略迭代：微调还是重训

每轮筛选出高质量数据后，下一步是用这些数据更新策略。这里有个选择：是在上一轮策略基础上微调，还是从头重训？

我的经验是，飞轮早期用微调，后期用重训加微调结合。早期策略能力弱，数据分布变化快，微调能让策略快速适应新数据，学习率可以设大一点，比如 1e-4 到 3e-4。到了后期，策略能力趋于稳定，数据分布变化慢，这时候如果一直微调，容易陷入局部最优，对早期学到的技能产生灾难性遗忘。所以后期我会每隔几轮做一次重训，把历史所有高质量数据混在一起重新训练，然后再用最新数据微调。

重训的频率不用太高，我一般每 5 到 10 轮做一次。重训时数据量会很大，需要做好数据回放缓冲区的管理，避免内存爆掉。我的做法是给每条轨迹打上时间戳和质量分，重训时按质量分分层采样，保证高质量数据被充分学习，同时保留一定比例的早期数据防止遗忘。

4. 实操全流程：从零搭建一条能转起来的飞轮

4.1 环境搭建与并行实例配置

先讲环境搭建。我用的是一台带 GPU 的工作站，仿真环境选的是支持 GPU 批量物理计算的方案。安装完基础依赖后，第一件事是配置并行实例。

# 伪代码示意：初始化并行仿真环境 import sim_env num_envs = 64 # 并行实例数，根据GPU显存调整 env = sim_env.make( task="pick_and_place", num_envs=num_envs, physics_dt=1/120, # 物理步长 control_dt=1/30, # 控制频率 substeps=4, # 子步进数 headless=True, # 无头模式，省显存 device="cuda" )

并行实例数不是越多越好。我实测下来，64 个实例在单张 24G 显存的卡上比较稳，再往上加会出现显存碎片和同步等待。如果任务场景特别复杂，比如有大量柔性物体，实例数要降到 32 甚至 16。配置完后先跑一个空场景测试，看每秒能跑多少步，记下这个基准值，后面调优时作为参考。

4.2 冷启动数据生成与初始策略训练

冷启动阶段我用脚本化策略生成 500 条轨迹。脚本化策略的逻辑很简单：从当前末端执行器位姿到目标位姿做线性插值，加上简单的避障偏移。生成时把场景随机化关掉，保证成功率。

# 伪代码：脚本化策略生成冷启动数据 trajectories = [] for i in range(500): obs = env.reset(randomize=False) done = False traj = [] while not done: action = scripted_policy(obs) # 线性插值+避障 obs, reward, done, info = env.step(action) traj.append((obs, action, reward)) if info["success"]: trajectories.append(traj)

500 条里大概能筛出 300 多条成功轨迹。用这批数据训练初始策略，网络用简单的 MLP 或 Transformer 都行，我用的是一个 4 层 MLP，隐藏层 256，训练 100 个 epoch，学习率 3e-4。训练完后在仿真里测一下，成功率大概能到 0.4 到 0.5，这时候就可以启动飞轮了。

4.3 飞轮主循环的代码骨架

飞轮主循环是整个项目的核心，我把它拆成五个步骤：采样、评估、筛选、训练、调难度。

# 伪代码：飞轮主循环 policy = load_initial_policy() buffer = ReplayBuffer() curriculum = CurriculumScheduler(initial_level=1) for round in range(max_rounds): # 1. 采样：用当前策略在仿真里跑一批轨迹 raw_trajs = collect_trajectories(policy, env, num_trajs=1000) # 2. 评估：对每条轨迹多维度打分 scored_trajs = [evaluate(traj) for traj in raw_trajs] # 3. 筛选：按动态阈值过滤 threshold = compute_threshold(scored_trajs, round) good_trajs = [t for t in scored_trajs if t.score > threshold] # 4. 训练：微调或重训 buffer.add(good_trajs) if round % 5 == 0: policy = retrain(buffer) # 重训 else: policy = finetune(policy, good_trajs) # 微调 # 5. 调难度：根据成功率调整课程 success_rate = compute_success_rate(raw_trajs) curriculum.update(success_rate) env.set_difficulty(curriculum.level) # 记录日志 log(round, success_rate, len(good_trajs), curriculum.level)

这个骨架跑起来后，重点观察三个指标：每轮的成功率、筛选后的数据量、课程等级。正常情况下，成功率应该震荡上升，数据量先增后稳，课程等级逐步提高。如果成功率一直上不去，说明课程调太快或筛选太严；如果数据量突然暴跌，说明策略出现了遗忘或崩溃。

4.4 关键参数的计算与调优过程

飞轮里有几个关键参数需要仔细调，我把我实际用的计算过程写出来。

筛选阈值：用滑动窗口自适应。设最近 5 轮的成功率均值为avg_sr，当前阈值threshold = avg_sr * 0.8。比如最近 5 轮成功率是 0.5、0.55、0.6、0.58、0.62，均值 0.57，阈值就是 0.456。这样阈值始终略低于平均成功率，保证有足够数据被筛出，同时淘汰掉明显低于平均水平的轨迹。

课程等级：用成功率区间控制。设目标成功率区间为 [0.6, 0.8]。如果当前成功率 > 0.8，等级 +1；如果 < 0.6，等级 -1；否则不变。等级变化后，场景随机化范围按等级线性映射，比如等级 1 对应随机范围 0.1，等级 10 对应 1.0。

学习率：微调时用余弦退火，初始 3e-4，最低 1e-5。重训时用固定 1e-4，训练 200 epoch。实测下来，微调学习率太大容易把策略带偏，太小又学不动新数据，3e-4 是个比较稳的起点。

回放缓冲区大小：我设的是 50000 条轨迹。太小了容易遗忘，太大了训练慢。50000 条大概对应 200 到 300 轮的数据量，足够覆盖策略的整个成长过程。

5. 常见问题与排查技巧实录

5.1 飞轮停转：数据量突然归零怎么办

这是最常见的问题。表现是某一轮筛选后，good_trajs 数量骤降到个位数甚至零，飞轮转不动了。原因通常有三个：一是课程难度跳得太快，策略还没适应；二是筛选阈值设太高，把边缘成功的数据也筛掉了；三是策略崩溃，成功率暴跌。

排查顺序：先看成功率曲线，如果成功率也暴跌，那是策略崩溃或难度超纲；如果成功率正常但数据量少，那是阈值问题。策略崩溃的话，回滚到上一轮策略，降低课程等级，用更小的学习率重新微调。阈值问题的话，把阈值系数从 0.8 降到 0.6，或者改用固定阈值先跑几轮恢复数据量。

我踩过最坑的一次是课程等级从 3 直接跳到 7，因为成功率连续几轮超过 0.85，调度器以为策略很强，结果等级 7 的随机化范围太大，策略直接懵了，成功率掉到 0.1。后来我给等级跳变加了限制：每次最多跳 1 级，而且跳级后要观察 3 轮，确认成功率稳定才允许继续跳。

5.2 策略遗忘：新数据学好了，旧技能却丢了

飞轮后期容易出现这个问题。策略在最新难度上表现很好，但回到早期难度反而不会做了。这是典型的灾难性遗忘。

解决方法有两个。一是重训频率提高，从每 10 轮改成每 5 轮，让历史数据反复出现。二是回放缓冲区里保留一定比例的早期数据，我设的是 20% 的配额，按时间戳分层采样，保证每个阶段的 data 都有代表。另外，微调时可以加一个蒸馏损失，让新策略在旧数据上的输出尽量接近旧策略，约束不要跑太偏。

实测下来，加了蒸馏损失后，遗忘问题明显缓解，但训练时间增加了大概 30%。如果算力紧张，可以只在重训时加蒸馏，微调时不加。

5.3 仿真到现实的差距：飞轮转得再好，真机不行

这是具身智能的老大难。飞轮在仿真里把成功率刷到 0.95，真机一测只有 0.3。差距来源主要是物理参数不匹配、传感器噪声、执行器延迟。

我的应对策略是在飞轮后期引入域随机化（Domain Randomization）。具体做法是在课程等级到 7 以上时，开始随机化物理参数：摩擦系数在 0.5 到 1.5 倍之间随机，物体质量在 0.8 到 1.2 倍之间随机，关节力矩加 5% 的高斯噪声，观测加 2% 的噪声。这样策略学到的技能对参数变化更鲁棒。

另外，真机部署前一定要做一次系统辨识，把真机的关键物理参数测出来，然后在仿真里把这些参数作为随机化的中心值，而不是用仿真默认值。我试过不做辨识直接迁移，成功率 0.3；做了辨识后，成功率能到 0.6 以上。

5.4 常见问题速查表

提示：飞轮跑起来后，建议每轮都保存策略 checkpoint 和对应的课程等级。一旦出现崩溃，可以快速回滚到之前的稳定状态，不用从头再来。

6. 飞轮扩展方向：从单任务到多任务、从仿真到真机

飞轮跑通单任务后，自然想扩展到多任务。我的做法是共享底层策略网络，但给每个任务一个独立的课程调度器和筛选阈值。底层网络用任务 ID 做条件输入，训练时多任务数据混在一起。这样任务之间可以互相促进，比如抓取任务学到的接近策略对放置任务也有帮助。

另一个扩展方向是把真机数据也接入飞轮。真机采集的数据虽然少，但质量高、分布真实。我试过把真机数据按 1:10 的比例混入仿真数据一起训练，策略在真机上的表现有明显提升。关键是真机数据也要过筛选回路，不能直接灌进去。

再往后可以考虑多智能体飞轮，多个策略在同一个仿真环境里互相竞争、互相学习。这个方向我还在探索，目前的想法是用种群训练的方式，每轮保留表现最好的几个策略，让它们分别探索不同难度的场景，数据汇总后统一训练。这样能进一步加速飞轮的转动。

我个人在实际操作中的体会是，飞轮的核心不在于某个模块多精巧，而在于整个回路的稳定性。任何一个环节卡住，飞轮就转不动。所以搭建时不要追求一步到位，先把最简单的版本跑通，哪怕成功率只有 0.3、数据量只有几十条，只要回路能转，后面慢慢调参就能越转越快。最怕的是一上来就堆复杂模块，结果哪个环节出问题都找不到。