ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

LeRobot十分钟上手指南:从零跑通第一个机器人学习Demo

LeRobot十分钟上手指南:从零跑通第一个机器人学习Demo LeRobot十分钟上手指南从零跑通第一个机器人学习Demo【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot想教机械臂抓起杯子你往往要同时踩进三个坑不同品牌舵机的串口驱动各写一套、视频和关节数据散落一地、策略训练代码要从零搭起。LeRobot是 Hugging Face 出品的开源机器人学习框架用纯 PyTorch 打通了数据采集 → 策略训练 → 真机部署全流程硬件接口统一、数据集格式标准化、SOTA 策略开箱即用。这篇文章带你用约 10 分钟走通最小闭环装好环境、验证硬件、加载一个公开数据集、一条命令启动训练全程不需要你手里有真机。先看懂它解决什么问题把 LeRobot 想成机器人界的 Hugging Face Transformers模型、数据、工具都围绕一套接口组织你只需要关心算法本身。1. 一套代码驱动多种机器人。统一的Robot类把控制逻辑和硬件细节解耦SO100、LeKiwi、Unitree G1、游戏手柄、手机遥操作等设备都走同一套 API一次开发多平台部署不是口号。2. 数据不再各成一岛。机器人社区长期被数据碎片化困扰LeRobotDataset 格式用 MP4 视频视觉 Parquet 文件状态/动作同步存储直接托管在 Hugging Face Hub数千个数据集可检索、可流式加载。3. 策略模型开箱即用。从模仿学习ACT、Diffusion到强化学习TDMPC再到 Pi0、SmolVLA、GR00T 等视觉语言动作VLA模型都能在lerobot-train一条命令下启动训练。理解了这三点下面直接进入实操。十分钟跑通从安装到加载数据集安装与验证两条命令搞定LeRobot 要求 Python 3.12 以上直接从 PyPI 安装pip install lerobot # 核心安装 lerobot-info # 一行验证环境是否就绪如果你要使用遥操作、录制等硬件脚本再补一个功能包包含数据集、硬件和可视化依赖pip install lerobot[core_scripts]想浏览源码或跑测试也可以先克隆仓库git clone https://gitcode.com/GitHub_Trending/le/lerobot硬件检测先看端口再找相机装好后先做体检别急着连真机lerobot-find-port # 扫描串口确认舵机/机器人是否被识别 lerobot-find-cameras # 扫描可用摄像头设备加载第一个机器人数据集不碰硬件也能先体验数据能力。下面几行代码会从 Hub 拉取公开数据集视频解码全自动处理from lerobot.datasets.lerobot_dataset import LeRobotDataset dataset LeRobotDataset(lerobot/aloha_mobile_cabinet) print(dataset[0][action].shape) # 自动解码视频返回动作维度一条命令启动训练lerobot-train \ --policy.typeact \ --dataset.repo_idlerobot/aloha_mobile_cabinet这条命令会加载数据集、归一化统计、启动 ACT 策略训练checkpoint 默认输出到outputs/train目录。关键模块拆解代码到底放在哪跑通 Demo 后建议花十分钟扫一眼源码结构心里有地图后面排错会快很多。核心模块集中在 src/lerobot/ 下硬件抽象层src/lerobot/robots/。所有机器人实现同一个接口核心就是三个方法robot.connect() # 建立连接并完成标定 obs robot.get_observation() # 读取相机关节状态 robot.send_action(policy.select_action(obs)) # 下发动作策略模型库src/lerobot/policies/。每个策略一个子目录act/、diffusion/、groot/、pi0/等配置类 模型类 配套文档的结构高度统一照着现成的抄结构是最快的入门方式。数据与处理管线src/lerobot/datasets/与src/lerobot/processor/。前者负责读写、统计、可视化 LeRobotDataset后者是一串可插拔的处理器归一化、重命名、设备迁移等训练时观察数据进模型前会依次穿过这条流水线。两个真实场景走一遍场景一双机械臂遥操作采数据。这是 LeRobot 最典型的工作流——左手柄/主臂示教从臂跟随执行全程自动落盘成标准数据集lerobot-record \ --robot.typeso100_follower \ --teleop.typeso100_leader \ --dataset.repo_id${HF_USER}/my-dataset场景二仿真评测策略。训完的模型可以丢进 LIBERO 等标准基准里验证无需真机lerobot-eval \ --policy.pathlerobot/pi0_libero_finetuned \ --env.typelibero \ --eval.n_episodes10从录制到评测两条命令首尾呼应这就是框架端到端的含义。三个高频坑与排查清单 新手 80% 的问题都集中在下面三处先对照自查再查 issue。坑一机器人连接失败。先跑lerobot-find-port确认串口名和文档一致检查用户是否有设备访问权限Linux 下可把用户加入dialout组用 WSL 跑硬件代码时记得补装evdev否则手柄/键盘类遥操作会失灵。坑二数据集加载慢或报错。首次加载会联网下载先确认网络与磁盘空间视频解码依赖较重确认装了含数据集依赖的包lerobot[dataset]或lerobot[core_scripts]老数据集格式不匹配时仓库提供了 v2.1 → v3.0 的转换脚本见 src/lerobot/scripts/。坑三功能装了却不可用。LeRobot 的依赖按功能拆分各策略、各机器人都有独立 extras装完核心包后跑某个策略报缺依赖通常是没装对应功能包回pyproject.toml查一下 extras 列表即可对症补装。进阶路线与关键资源排完坑之后你的路线大致是三步接自己的硬件 → 写自己的策略 → 在仿真与真机间反复迭代。接入自定义硬件docs/source/integrate_hardware.mdx开发自定义策略docs/source/bring_your_own_policies.mdx安装细节与依赖说明docs/source/installation.mdx完整训练示例代码examples/training/train_policy.py关键资源官方文档索引 docs/source/、硬件抽象层 src/lerobot/robots/、策略模型库 src/lerobot/policies/、数据工具 src/lerobot/datasets/。社区讨论和项目动态可关注 README 中给出的 Discord 与 X 账号入口。别把框架读完才动手——现在就去跑一遍lerobot-info你的第一个机器人 Demo 离你只有十分钟。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进