ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

LeRobot 快速上手指南:如何教机械臂学会抓取

LeRobot 快速上手指南:如何教机械臂学会抓取 LeRobot 快速上手指南如何教机械臂学会抓取【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot想让机械臂学会把红色积木放进碗你需要自己录演示、对齐数据、训练策略、再部署回真机每一步都可能卡在环境配置上。LeRobot 是 Hugging Face 推出的开源机器人学习框架把这条完整流水线封装进一个 PyTorch 包里统一接口控制不同机器人、标准化数据集格式、内置多种预训练策略让你从调硬件转向调模型。省掉的三件事不用写驱动、不用管数据格式、不用挑算法硬件无关的 Robot 接口换机器人只换配置以前每接一台机器人都要重写一套舵机、电机、传感器的控制代码。LeRobot 用一个统一的Robot类把这层抽象掉——connect()、get_observation()、send_action()三个方法从几十元的 SO-100 机械臂到人形 Reachy2 通用一套。你切换机器人时改的是配置不是代码。第三方生态也走同一条路任何安装后以lerobot_robot_等前缀命名的包会被自动发现装完就能在命令行里直接引用。LeRobotDataset机器人数据的通用插座各家机器人的数据格式五花八门模型很难跨硬件迁移。LeRobotDataset 把这个问题定死了视觉数据存成 MP4 视频流状态和动作存成 Parquet 表格两者天然对齐支持流式读取和 Hub 托管删片段、拆分、合并都有一行工具命令可用。你不用关心视频帧和状态数据怎么对得上这类脏活。策略库即插即用ACT、Diffusion、Pi0 都在里面框架内置的纯 PyTorch 策略覆盖三类需求模仿学习ACT、Diffusion、强化学习HIL-SERL、TDMPC、以及能听懂语言指令的视觉-语言-动作模型Pi0、Pi0.5、Gr00T N1.7、SmolVLA 等。选哪个策略基本取决于你的任务和数据量而不需要自己实现算法。5 分钟跑通第一条指令安装、录数据、开训先装包并验证环境pip install lerobot lerobot-info一条命令装好第二条确认安装成功之后所有功能都以lerobot-开头的命令行工具存在。采集演示数据以 SO-101 机械臂为例完整参数见常用命令速查lerobot-record \ --robot.typeso101_follower --robot.port/dev/ttyACM0 \ --teleop.typegamepad --dataset.repo_id${HF_USER}/my_demo录制时用键盘控制方向键保存或删除当前片段Esc 结束并上传。数据自动同步记录视频、关节状态和你的动作指令。有了数据就能开训lerobot-train --dataset.repo_id${HF_USER}/my_demo \ --policy.typeact --output_diroutputs/train/act_test没有本地 GPU给命令加--job.targeta10g-small训练会跑在云端机器上完事把模型推回你的账号。深挖 LeRobotDataset视频帧和状态数据为什么永远不会错位机器人数据集最常见的翻车点是错位视频有 12 万帧、状态表少了 3 行训练时才发现对不上。LeRobotDataset 的做法是让时间轴只有一份——视觉走视频流状态/动作走 Parquet 表格读取时框架自动做视频解码和时间对齐你拿到的第 N 帧视觉和状态天然是一对。围绕这个格式还配了一整套工具删片段、按比例拆分、增删特征、合并多个数据集都有对应命令数据集工具用法。这意味着数据质量不达标不再等于推倒重采。新手最常问的四个问题没有 GPU 能跑吗可以。训练时加--job.targeta10g-small走云端即可本地连调试都不用 GPU。各策略的显存需求见硬件需求文档。数据格式到底是什么MP4 视频 Parquet 表格。视频是像素表格是关节角和动作指令两者按帧号对齐加载后自动处理视频解码你直接按索引取样本就行。我的机器人不在支持列表里怎么办实现标准 Robot 接口connect/get_observation/send_action三个方法即可接入整套录制、训练、评估流程集成思路见硬件集成文档。训练时要盯着屏幕吗不需要。命令默认集成 WandB 日志训练完的模型直接推到 Hub再用lerobot-rollout在真机上推理验证。下一步可以做什么打开快速上手 Notebook把上面三条命令换成你的硬件参数跑一遍读一遍官方文档重点看安装和数据集两章没有硬件也没关系从 ACT 训练示例 入手先在公开数据集上把训练和评估跑通再考虑上真机。先录 30 段演示剩下的交给框架。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进