|
|
动捕设备与数据手套应用丨支持灵巧手及具身智能机器人开发发表时间：2024-12-20 09:27  作为“人工智能的下一个发展浪潮”，具身智能已经成为众多业内企业研究的焦点。如何高效训练具身智能体，推动其自主感知和执行任务的发展，已成为业界关注的核心问题。 什么是“具身智能”？——“具身智能”从字面可理解为“具身化的人工智能”，通常指的是机器人等各种不同形态的物理实体与环境交互，能进行环境感知、信息认知、自主决策和采取行动，并能够从经验反馈中实现智能增长和行动自适应的智能系统。 广州虚拟动力作为一家动作捕捉技术、产品提供商，旗下系列动捕产品，在具身智能、灵巧手开发等领域已成功赋能多家合作单位实现产品开发与商业价值。 广州虚拟动力自研全功能身体动作捕捉设备VDSuit-Full、动捕数据手套mHand Pro，配套专业引擎系统与二次开发包，支持开发单位获取运动过程中的位姿及运动轨迹数据，助力人形机器人、灵巧手、机械臂等完成复杂训练及测试。其中具体运用包括具身智能训练数据集生产、仿生示教、遥操作等。    基于真实本体数据集生产 基于真实本体进行数据集生产往往对动作捕捉设备的精度要求较高，需要通过由真人穿戴设备将真人的动作实时映射在人形机器人，机器臂/灵巧手等硬件设备上以同步模仿的形式进行视觉，运动信息数据的收集。  而广州虚拟动力自研的VDSuit-Full与mHand Pro 作为一种高精度的动作捕捉设备，分别集成了16、27个传感器节点，可以对真人的身体动作或手部动作进行精准捕捉并进行低延迟实时传输，可助力具身智能体训练数据集高效生产。 基于虚拟本体数据集生产 基于虚拟本体进行数据集生产，动作捕捉设备可以通过集成头显，腕部追踪器等装置在虚拟环境中进行运用。   *虚拟环境驱动演示 虚拟动力VDSuit-full与mHandPro两款设备，兼具动作捕捉与VR交互功能，可以搭配HTC Vive Tracker、Oculus Quest2、PlCO等腕部追踪器在虚拟环境中驱动与真实本体构型一致的灵巧手、机器臂等虚拟本体进行数据信息采集,不仅可以获得较高质量的运动数据，还可以节省一定的数据采集成本。 基于人体运动数据的数据集生产 基于人体运动数据进行数据集生产，不仅对动捕设备的采集精度做出了要求，还需要能对真人的动作数据进行快捷记录与导出。  *动作数据录制演示  *mHand Pro动捕效果展示 在此方面，VDSuit-Full与mHand Pro 搭配的动作捕捉引擎可以在真人执行任务的过程中同步展现真人的3D模型姿态，并对真人的运动数据进行同步记录，用户可以根据需要导出FBX、BVH、CSV格式的数据简化数据处理流程，通过大量真人数据的不断输入与积累，优化机器学习模型，提升机器人对复杂指令的理解与执行能力。  机器人示教指的是由人类操控机器人运动，而后由机器人将运动路径等信息记录下来从而实现自主执行具体任务的过程。 虚拟动力的行业合作客户单位基于此应用模式，由真人穿戴设备实时将动作实时映射到机器人身上，获得轨迹平滑的运动数据，用于示教驱动机器人自主完成任务，已实现在制造业、服务业、医疗、教育等行业的机器人落地应用。   *仿生机器人示教演示  在灵巧手的开发训练中，动捕数据手套mHand Pro不可或缺，通过提供高度精确的手部运动数据，结合机器学习算法，训练机器人预测和模仿人类动作，自动执行任务，加速了高精度机器人操作技能的培训进程。在此领域，虚拟动力动捕手套已合作多家灵巧手开发单位并获得卓越的商业应用和市场反馈。   在使用VDSuit-Full动捕设备与mHand Pro动捕手套进行具身智能的开发训练、遥操作时，产品配套多种应用插件与SDK可供开发者进行使用。用户可以通过这些工具进行二次开发与集成，构建定制化管道或开发个性化的集成方案，进行机器人的灵活训练。  随着具身智能领域研究的不断深入，动作捕捉技术将会凭借其快速产出动作数据、实时远程操控的优势持续赋能人形机器人、机器臂、灵巧手的开发训练，促进具身智能体的自主感知、自主决策、自主执行的实现进程。 广州虚拟动力也将持续革新其动作捕捉手套与全身惯性动作捕捉设备，致力于为具身智能训练的数据集生产、人形机器人遥操作、仿生机器人示教提供更高质量的软硬件设备与开发方案。 *文章部分素材源于网络 |