ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

LeRobot 实战指南:从零训练并部署你的第一个机器人策略

LeRobot 实战指南:从零训练并部署你的第一个机器人策略 LeRobot 实战指南从零训练并部署你的第一个机器人策略【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobotLeRobot 是 Hugging Face 开源的机器人学习框架它把硬件控制、数据集格式、模型训练和真机评测打包成一套命令行工具链让你不用自己拼接各种库。本文以低成本的 SO-100 机械臂为例带你把环境装好、数据采到、策略训出来最后跑上真机。三步装好 LeRobot 环境先说结论当前版本 0.6.2 要求 Python 3.12老环境直接用会撞依赖不如新开一个。git clone https://gitcode.com/GitHub_Trending/le/lerobot cd lerobot pip install -e .[core_scripts] lerobot-info[core_scripts]这一组依赖装好后录制、回放、校准这些硬件相关命令就都能用了lerobot-info打出版本信息即安装成功。接下来要训练模型的话再补一句pip install -e .[training]接 Feetech 舵机之类的硬件则按.[feetech]这样安装对应附加包完整说明见安装文档。提示视频解码依赖 ffmpeg。Linux 下报缺视频库时先用sudo apt install ffmpeg装上再安装。接上 SO-100先找端口再校准在机械臂第一次动起来之前两件事缺一不可找到串口号、完成关节校准。SO-100 是一款可 3D 打印的开源低成本机械臂也是 LeRobot 最常见的入门硬件。整个流程是主臂leader你手动操作 从臂follower负责执行成对出现。接好 USB 后先找端口lerobot-find-port lerobot-setup-motors --robot.typeso100 lerobot-calibrate --robot.typeso100第一条命令会提示你反复插拔 USB 线以此区分哪条/dev/tty路径对应哪只手臂。后两条依次配置电机 ID 和关节角度校准时手动把机械臂摆到全开/全关两个极限位姿。成功的标志上电后关节不抖、有稳定的初始姿态。不同硬件平台的依赖和接线各有差异大致如下硬件类别说明SO100 / SO101低成本机械臂Feetech 舵机3D 打印结构LeKiwi / HopeJR / EarthRover移动平台装对应电机附加包Reachy2 / Unitree G1人形机器人有独立的安装指引手柄 / 键盘 / 手机遥操作输入不想买第二只手臂时的替代方案细节参见 SO-100 硬件文档。遥操作采数据模型只会模仿你演示的结论先行模仿学习不会推理它只是照着你的演示学所以演示质量直接决定模型上限。遥操作的含义是你动主臂从臂实时跟着动从臂上的相机录画面同时把关节角度和你的动作一起写进数据集。LeRobotDataset 是统一的存储格式——画面存成 MP4 视频关节和动作这类数值存成 Parquet 文件一种读写查询都快的列式格式好处是体积可控、加载时不用解压一整个压缩包。lerobot-record \ --robot.typeso100 \ --teleop.typeso100 \ --dataset.repo_idyourname/my-first-dataset \ --dataset.num_episodes10运行时会有画面预览窗口。动作要慢、重复、任务目标一致比如反复把瓶子放到杯子上每个演示结束按键保存攒够 10 条左右就能第一次训练。采完务必跑一下lerobot-dataset-viz回放确认视频和关节曲线对齐不对齐就别拿去训。一条命令训练策略新手选 ACT 就够LeRobot 内置了一批纯 PyTorch 实现的策略入门阶段不用被数量吓到常用的是这几类类别代表模型一句话理解模仿学习ACT、Diffusion、VQ-BeT直接从演示数据学数据要求最低VLA视觉-语言-动作模型能看图、听懂指令、直接输出动作Pi0、Pi0.5、GR00T N1.7、SmolVLA可以按语言指令干活强化学习HIL-SERL、TDMPC在环境里试错改进门槛更高以 GR00T 这类 VLA 为例图像、语言和动作流在同一套 Transformer 里编码融合结构如下训练只改两个参数即可lerobot-train \ --policy.typeact \ --dataset.repo_idyourname/my-first-datasetloss 平稳下降就算在正常学检查点会存到outputs/train/下。每个模型一个独立目录想看实现直接翻策略源码。真机评测先回放再上模型结论上真机前先回放一次采集的数据这是排查数据→动作链路最便宜的手段。回放让从臂逐帧复现你录下的轨迹动作歪了就是校准或端口出了问题先修它再谈训练。lerobot-replay --dataset.repo_idyourname/my-first-dataset lerobot-eval \ --policy.pathoutputs/train/你的run名/pretrained_model \ --env.typelibero --env.tasklibero_object --eval.n_episodes10第二条是官方示例的仿真评测LIBERO 是常用的桌面操作基准在真机上评测则把环境参数换成--robot.typeso100。两个常见现象的对策动作抖通常是控制频率和录制帧率不一致按录制 FPS 对齐控制节拍即可示例脚本里就是用precise_sleep对齐的动作偏快或毛刺多在处理器管线里加一级动作平滑步骤。卡住时按这张清单自查装不上、依赖打架 → 重开 Python 3.12 环境别在旧环境里硬凑连不上硬件 → 确认端口找对了Linux 下串口无权限时把用户加进dialout组数据没存上或音视频错位 → 先检查 ffmpeg 是否正常训练 loss 不降 → 回看数据回放多半是演示里混进了无关动作现在就能做的三件事按第一节把环境装好用lerobot-info确认版本打开examples/so100_to_so100_EE/通读录制和回放脚本理解一次数据是怎么落盘的手上没有机械臂先跑一次lerobot-train --policy.typeact用 Hub 上现成的公开数据集走完训练流程【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进