教人形机器人分拣:Unitree G1 上的仿真、VLA 微调与真机部署
人形机器人能在为人设计的空间里干活,但要让它稳定地完成一次"看见方块、抓起来、放进对应托盘",需要视觉、手臂、灵巧手和整机控制同时靠谱。这个项目里,我作为 5 人团队的组长,负责主控、仿真和 VLA 路线,在 Unitree G1 上把红绿方块分拣从仿真一路做到了真机:VLA 在仿真闭环中的成功率从 10% 提升到 70%,真机灵巧手分拣 7 次成功 6 次。
一、为什么做这件事?
传统自动分拣线只适合结构化的工业场景,人工分拣又慢又不稳定。人形机器人的价值在于能直接进入人的工作空间,但它的自由度多、手更复杂,任何一个模块出问题,整条链路就会断。
我们给自己定了两条路线:
- 经典路线:YOLO 视觉 + 双臂运动规划 + 灵巧手力控,先保证真机能跑通;
- 学习路线:用 VR 遥操作采集示教数据,微调 VLA 大模型,探索"端到端"的可能性。
两条路线共用同一套仿真环境和控制器,这是整个项目的骨架。
二、平台与系统架构

图1 29 自由度 G1 全身仿真:从传送带上分拣 4 个方块后的场景
| 模块 | 负责内容 | 技术方案 |
|---|---|---|
| 视觉(团队) | 红绿方块检测与 3D 定位 | YOLO11 + RealSense RGB-D,约 20 FPS |
| 手臂与整机(我) | 安全的取放动作、身体稳定 | Unitree arm_sdk,轨迹预检、关节限位和力矩监控 |
| 灵巧手(团队) | 预抓、抓取、保持、释放 | BrainCo Revo2,基于触觉的自适应抓取 |
| 集成与界面(我) | 统一接口、单一操作台 | ROS 2 + Web 控制台 + Python/HTTP API |
我写的分拣控制器有三个后端:mock、MuJoCo 和 Unitree SDK2。同一套分拣逻辑可以离线调试、在仿真里验证、再原样上真机,这让调试效率高了很多。我还定义了 ROS 2 接口约定,把团队的视觉、灵巧手模块和整机控制整合到机载电脑 PC2 上。
三、仿真:只靠手指接触和摩擦完成分拣
我把官方 G1 模型(29 自由度和 EDU 23 自由度两版)和 Revo2 灵巧手模型组合进 MuJoCo,手指抓取完全靠接触和摩擦,没有用吸附或"粘住"这类捷径。
- 29 自由度双臂版本:从传送带上依次分拣 4 个方块(红、绿、红、绿);
- 单臂版本:用左手完成 4 个方块分拣,并带有实时遥测数据。
这套仿真后来也成了 VLA 数据采集和闭环评估的环境。
四、VLA:从 10% 到 70% 的三轮迭代
学习路线这边,我在 MuJoCo 里用 Quest 3S 做 VR 遥操作,录了 144 段人类示教(人类自己的成功率是 151/153),然后全参数微调 6B 的 LingBot-VLA 2.0。训练都租云 GPU 完成,最后一轮在 2 张 H200 上训练加评估,花费约 27 美元。
三轮结果差别很大:
| 轮次 | 主要改动 | 30 个测试场景完整成功 |
|---|---|---|
| 第 1 轮 | 合成扩增数据 | 3/30(10%) |
| 第 2 轮 | 加入恢复数据续训 | 5/30 |
| 第 3 轮 | 改成官方数据格式,加两路腕部相机,手部改用 grip + trigger 双值表示 | 21/30(70%) |
再加 60 个从没用过的新场景,合计 62/90 ≈ 69%,新场景上的成功率基本一致;只有一个方块的场景 18/18 全部成功。
关键突破在第 3 轮。前两轮 loss 一直在降,闭环成功率却上不去。我定位到问题不在数据量,而在数据格式、相机视角和动作表示与模型预训练时的习惯不一致;对齐之后,成功率从 5/30 跳到 21/30。
以上评估都在 MuJoCo 仿真中闭环进行。
五、RL 后训练与端侧量化
在 70% 的基础上,我又做了两件事:
- DSRL 强化学习后训练:在扩散策略的噪声空间上做 RL,搭好了从训练到评估的完整链路,并在同一组 100 个场景上做了对照评估(成功率 67 → 69,与基线持平)。
- NF4 4bit 量化:显存从 25.2 GB 降到 7.7 GB(降低 70%),量化后的模型可以放进 G1 机载 Jetson Orin NX(16 GB)的内存;同时评估了量化对成功率和推理时延的影响,为端侧部署选型提供依据。
六、真机:灵巧手分拣跑通

图2 真机左手分拣:头部相机视角,带 YOLO 检测框
最终演示前,一只 Revo2 灵巧手和原来的相机出现硬件故障。我们及时调整方案,改用 G1 EDU 23 自由度 + 左手,头部换装 D455 相机,在 11 月 5 日完成了真机左手分拣,7 次记录中成功 6 次。
真机演示采用经典路线:YOLO 视觉定位 + 手臂运动规划 + 灵巧手触觉抓取。
七、成果
- ✅ 仿真:29 自由度双臂传送带分拣、单臂分拣,纯接触物理抓取
- ✅ VLA:6B 模型全参数微调,仿真闭环成功率 10% → 70%
- ✅ 端侧:4bit 量化显存降低 70%,可放进 G1 机载 Jetson Orin NX;DSRL 后训练链路打通
- ✅ 真机:G1 + 灵巧手左手分拣,7 次成功 6 次
- ✅ 团队:带领 5 人团队,统一接口,从仿真到真机一套控制器
技术栈一览
- 🤖 机器人:Unitree G1(29 / 23 自由度)、BrainCo Revo2 灵巧手、RealSense
- 🧠 模型:LingBot-VLA 2.0(6B)、DSRL、NF4 量化、YOLO11
- 🧪 仿真与数据:MuJoCo、Quest 3S VR 遥操作、LeRobot v3
- 🔧 系统:ROS 2 Foxy、Unitree SDK2、Python/HTTP API、Web 控制台
Comments