Psi0真机部署指南SONIC全身控制器PICO的4进程部署架构详解【免费下载链接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.项目地址: https://gitcode.com/gh_mirrors/ps/Psi0Psi0Ψ₀是一个开源的人形机器人视觉-语言-行动VLA基础模型在 Unitree G1 真机上通过 SONIC 全身控制器实现行走与操作并支持 PICO VR 头显进行遥操作示教与视觉回传。本文将完整拆解 Psi0 真机部署的核心一套4进程 RTCReal-Time Chunking部署架构帮你从零理解每个进程的职责、启动顺序与安全操作快速把模型跑在真机上。一、Psi0 真机部署全景VLA 大脑 SONIC 小脑Psi0 的部署分为三个层级负责想的 VLA 模型System-2 视觉语言骨干 System-1 动作专家、负责动的 SONIC 全身控制器System-0 低层跟踪控制以及提供第一视角画面的机器人相机。模型内部结构上Qwen3-VL 视觉语言骨干输出特征条件化一个约 500M 参数的多模态扩散 Transformer 动作专家预测全身动作块action chunks底层则由 SONIC 全身控制器实时执行下肢与手臂指令保证稳定站立与运动。 想先了解训练侧细节可阅读发布说明 examples/psi0_for_sonic.md其中解释了 SONIC 版 checkpoint 为什么要在 80 维 SONIC 动作空间上重新后训练。二、部署前准备一键克隆与环境检查1️⃣ 克隆仓库并初始化 SONIC 子模块SONIC 即 GR00T-WholeBodyControl 全身控制器git clone https://gitcode.com/gh_mirrors/ps/Psi0 cd Psi0 git submodule update --init --recursive third_party/GR00T-WholeBodyControl2️⃣ 准备两套运行环境Psi0 策略环境基于uv管理的.venv-psi依赖见 pyproject.toml用于策略服务器sonic conda 环境包含 TensorRT、C 控制器依赖用于 SONIC 全身控制器与 RTC 客户端初始化脚本见 real/SONIC/scripts/sonic_conda_env.sh。3️⃣ 机器人侧准备一台运行相机服务的机器G1 自带 PC安装pyrealsense2等依赖详见 real/README.md。三、4 进程架构详解谁负责什么Psi0 官方 RTC 部署流由4 个独立进程组成每个进程运行在自己的终端里进程运行位置职责入口脚本① 相机服务器机器人 PC采集 RealSense 第一视角ego view并推送real/SONIC/realsense_server.py② Psi0 策略服务器工作站 GPU加载 checkpointRTC 模式推理动作块scripts/deploy/serve_psi0-rtc-sonic.sh③ SONIC 全身控制器工作站C/TensorRT 低层控制接收动作 token 驱动机器人real/scripts/deploy_psi0-sonic-rtc-robot.sh④ Psi0 RTC 客户端工作站汇聚相机与本体状态请求策略并下发动作real/scripts/deploy_psi0-sonic-rtc-client.sh下面按启动顺序逐个说明。进程 1相机服务器机器人在环的眼睛在机器人 PC 上启动相机服务把第一视角图像经 ZMQ 推送到工作站python -m gear_sonic.camera.composed_camera \ --ego-view-camera realsense \ --port 5555该视角既是策略推理的输入也会经 SIMPLE 的 Remote Vision 通道回传到 PICO 头显让你以机器人第一视角观察作业过程。进程 2Psi0 策略服务器RTC 模式在工作站上启动推理服务核心参数为--rtc实时分块执行与--action_exec_horizon 30export CHECKPOINT_DIR/path/to/psi0-sonic-run export CHECKPOINT_STEP40000 bash scripts/deploy/serve_psi0-rtc-sonic.sh服务默认监听0.0.0.0:8014出现Application startup complete即就绪RTCReal-Time Chunking机制让模型在动作块执行到一半时就能用最新观测预测下一块显著提升失败恢复能力——这也是官方 SONIC 训练配方中--model.no-rtc测试时 RTC 的设计来源checkpoint 可从 HuggingFace 的USC-PSI-Lab/psi-model仓库下载SONIC 版目录为psi0/sonic-checkpoints/multi-task.psi-dream.2609092156下载工具见 scripts/data/download.py。进程 3SONIC 全身控制器C 实时控制bash real/scripts/deploy_psi0-sonic-rtc-robot.sh real这个启动器做了很多脏活自动探测192.168.123.x机器人网络接口、检查 TensorRT 与 ONNX 模型文件、用just构建并运行g1_deploy_onnx_ref。关键交互出现Init done.后按一次]等待机器人回到默认站立姿态此时不要开启 ZMQ 流等客户端就绪再激活正常结束时按Enter回到默认参考姿态按O退出紧急情况下立即按 O 停止。进程 4Psi0 RTC 客户端数据流调度中枢export SONIC_CONDA_PREFIX$HOME/miniconda3/envs/sonic bash real/scripts/deploy_psi0-sonic-rtc-client.sh \ --host 127.0.0.1 --port 8014 \ --camera-address tcp://192.168.123.164:5558 \ --network enp4s0 \ --instruction Pick up the object and place it in the container.客户端从 real/SONIC/run_psi0_rtc_sonic_dex1.py 启动它通过 DDS 订阅机器人本体状态、从相机服务器取图组装成策略输入发往 8014 端口的策略服务器再把预测的 80 维 SONIC 动作 token 经 ZMQ 发布给 C 控制器。当终端打印recv_action interval与Received action后回到控制器终端按一次Enter看到ZMQ STREAMING MODE: ENABLED即开始执行。四、PICO 接入VR 遥操作与第一视角回传Psi0 的示教数据采集基于 PICO 头显XRoboToolkit 方案部署阶段同样可用工作站的psi_deploy环境中编译安装 PICO 流式 Python SDK步骤见 real/README.md 的 PICO Only Setup 章节PICO 与工作站连同一 WiFiPC Service 中填入工作站 IPTracking Session 勾选Head、Controller、Hand并打开Send开关PICO 会自动进入手部跟踪模式可见虚拟双手Remote Vision Session 选择ZEDMINI点Listen并输入 PC IP即可在头显中看到机器人第一视角画面H.264 码流连接workstation-ip:13579。遥操作按键约定与 SONIC 官方状态机一致长按右摇杆单击 0.6 秒切换策略开关、Left Grip A开始/结束一个 episode、Left Grip Y丢弃 episode、A X切换 Planner 与全身 POSE 模式。完整采集流程见 real/SONIC/README.md 的 real/SONIC/scripts/collect_psi0-sonic-data.sh。五、启动顺序速查清单✅正确顺序每步一个独立终端机器人 PC启动相机服务器进程 1工作站启动策略服务器等待Application startup complete进程 2工作站启动 SONIC 控制器Init done.后按]让机器人站稳进程 3工作站启动 RTC 客户端看到Received action后在控制器终端按Enter开启 ZMQ 流进程 4✅收尾顺序按Enter回默认姿态 → 客户端 CtrlC → 控制器终端按O退出。⚠️安全提醒机器人作业期间所有人员保持安全距离任何异常先在控制器终端按O紧急停止。完整官方部署文档见 real/SONIC/DEPLOYMENT.md。六、常见问题Troubleshooting找不到 192.168.123.x 网络接口机器人需设置为开发模式遥控器 L2B 后 L2R2工作站 IP 手动配置为192.168.123.123/24相机画面推不过来确认--camera-address指向机器人 PC 的正确 IP 与端口机器人 PC 上realsense_server.py是否存活模型文件缺失控制器启动器会逐项检查 ONNX 模型与配置缺失时执行git lfs pull拉取TensorRT 未找到设置export TensorRT_ROOT$HOME/TensorRT并写入~/.bashrc数据格式转换问题SONIC 采集的原始数据需先用 scripts/data/raw_sonic_to_psi_lerobot.py 转为 Psi0 的 LeRobot 格式再计算统计量后微调训练。小结Psi0 的真机部署本质上是一个清晰的四层分工相机服务器提供视觉、策略服务器输出意图、SONIC 控制器负责落地、RTC 客户端居中调度。理解了这 4 个进程的边界与启动顺序你就能复现官方部署流并进一步替换为自己的 checkpoint、指令或夹爪适配层如 Dex1-1 双夹爪虚拟手映射源码见 real/SONIC/psi0_vla_dex1_bridge.py。【免费下载链接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.项目地址: https://gitcode.com/gh_mirrors/ps/Psi0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考