|
|
VR遥操+动捕遥操双模切换:一套系统搞定复杂场景与精细操作发表时间:2026-10-28 11:10 人形机器人早已进入到人们的真实世界,机器人能做些什么,取决于我们“教会了”它们什么。强化学习和模仿学习训练,是机器人“学会”的途径。不管是强化还是模仿,都离不开最基础的--高质量训练数据。一套好的遥操数采系统正在成为团队喂养模型的首选。虚拟动力的VDexFull Plus灵控全身遥操数采系统,这套集成于VR遥操和动捕遥操的一站式数据采集平台,为强化和模仿学习训练提供了坚实的基础。 在VR遥操作模式下,操作者带上Pico4头显,使用手柄或手势操纵,实时控制机器人底盘、躯干、双臂及双手,系统同步采取位姿与状态数据。人的双手如何屈伸,机器人的双手就怎么屈伸。操作者戴上头显以第一人称的视角自然做出动作,系统完成指令并完整记录,适合专注于手臂操作的轻量化场景。 ![]() 到了更加复杂,难度更高的任务时,动捕遥操就更为合适。操作者要先穿上动捕服装,动捕遥操模式会通过UDP接收全身动捕数据,结合机器人多轴陀螺仪与压力传感器实时监测重心受力,由强化学习模型自适应调整状态,支持完成走、跑、跳、蹲等常规动作和踢腿跨腿、单双膝下跪、跳舞等复杂动作。当完成一些精细动作,如抓取,拿捏物体时,动捕设备会精确地捕捉操作员的动作,识别手指的每一个抓取和延伸,赋予了机器人真正的“灵巧”。 ![]() 在双模式高效采集的背后,是一套完整的遥操数采系统。该系统基于WebSocket实现双向数据传输、支持位姿、关节参数、控制指令实时交互,配备心跳检测和智能连接管理,保障传输稳定;支持机器人本体一键启停,还能保持当前动作,支持动作冻结;提供3D视图实时显示宇树G1+强脑灵巧手数字孪生模型,支持自由视角操控等。最重要的是,VDexFull Plus能够同步采集多路核心数据和数据导出、质量回溯、可视化状态监控和运维。这意味着数据得导出采用的是标准化格式和完整任务元数据,支持训练数据快速规整和全程质量回溯,切实保障了数据集的可靠性和稳定性。 数据采集的质量决定了模型学习的上限。灵控遥操数采系统以灵活的双模式的形态打通了不同需求的不同解法。当优质的数据源源不断的进入训练,人形机器人才能不断学习,推动机器人走向更广阔的真实世界。 |