论文标题：

OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning

论文作者：

Tairan He, Zhengyi Luo, Xialin He, Wenli Xiao, Chong Zhang, Weinan Zhang, Kris Kitani, Changliu Liu, Guanya Shi

编译：Scarlett

审核：Los

OmniH2O是一个全身类人的机器人遥控和自主操作系统，使用运动学姿势作为通用控制界面，支持通过VR头显、口头指令和RGB摄像头等多种方式进行控制。它还能通过模仿遥控演示或集成前沿模型如GPT-4o实现完全自主性。OmniH2O在多种真实世界的全身任务中展现了多功能性和灵活性，如进行体育活动、移动和操作物体以及与人类互动。开发团队还构建了一个基于强化学习的仿真到现实的pipeline，发布了首个包含六项日常任务的类人机器人全身控制数据集OmniH2O-6，展示了从遥控数据集中学习全身技能的能力。

▲图1 | (a) OmniH2O 使操作者能够遥控全尺寸类人机器人（Unitree H1）完成既需要高精度操作又需要移动的任务；(b) OmniH2O 还通过视觉输入实现了完全自主性，由 GPT-4o 或从遥控演示中学习到的策略控制©️

在类人机器人控制的研究领域，学习型方法正逐渐展现出其潜力，尽管这些机器人因其高度的自由度和缺乏自我平衡能力而控制起来颇具挑战性。尽管如此，大多数现有研究主要集中于开发稳健的行走策略，并未完全释放类人机器人的全部功能。对于需要全身运动操作的任务，下半身必须为上半身的多样化和精确动作提供支持。

OmniH2O系统通过学习端到端的全身策略，协调上半身和下半身的动作，解决了这一问题。

在遥控操作方面，先前的工作提出了基于强化学习的全身遥控框架，使用第三人称RGB摄像头来获取人类操作者的全身关键点。然而，由于RGB姿态估计的延迟和不准确性，以及对全局线性速度估计的需求，H2O在测试期间需要动作捕捉（MoCap）设备，并且仅支持简单的移动任务，缺乏执行灵巧操作任务所需的精度。与此相反，OmniH2O能够在室内外环境中实现高精度的灵巧运动操作。

此外，为了控制全尺寸类人机器人，已经提出了多种接口，包括外骨骼、动作捕捉和虚拟现实（VR）。最近，基于VR的类人机器人控制因其能够使用稀疏输入创建全身运动而受到关注，但这些VR基础的工作主要集中在动画制作，并不支持移动操作。OmniH2O则能够控制真实的类人机器人完成现实世界的操纵任务。

在开源机器人数据集和模仿学习方面，机器人社区面临的一个主要挑战是相比于语言和视觉任务，公开可用的数据集数量有限。近期的工作集中在使用不同的体现形式收集机器人数据进行不同任务。然而，这些数据集大多是使用固定基座的机器人臂平台收集的。即使是最全面的Open XEmbodiment数据集，也不包括类人机器人的数据。据我们所知，OmniH2O是首个发布全尺寸类人机器人全身运动操作数据集的，这为机器人学习和模仿提供了宝贵的资源。

OmniH2O系统在实现人体到类人机器人的全身控制方面展现了其全面性和灵活性。这一控制机制的核心在于使用运动学姿势作为通用的控制接口，它允许人类操作者通过自然的身体语言来指导机器人的动作。无论是通过虚拟现实（VR）头显的沉浸式控制，还是通过RGB摄像头捕捉的实时影像，或是简单的口头指令，OmniH2O都能够精确地将人类的意图转化为机器人的动作。

这种控制方式的关键在于其对人类运动的深入理解和高度模仿能力。OmniH2O系统通过分析大量的人类运动数据，学习到了如何稳定地控制机器人的下半身，同时灵活地操作上半身。这使得机器人不仅能够行走和保持平衡，还能够执行如打球、浇花、书写和与人互动等需要手眼协调的复杂任务。此外，OmniH2O系统的设计考虑了不同操作环境下的实用性。通过精心设计的控制接口，系统能够适应不同的输入设备和操作条件，从而实现对机器人全身的精确控制。这种灵活性使得OmniH2O不仅在实验室环境中表现出色，也能够在现实世界的多变环境中稳定工作。

▲图2 | (a) OmniH2O 重新定位大规模人类运动，并为类人机器人过滤掉不可行的运动；(b) 我们的仿真到现实政策是通过监督学习从使用特权信息的强化学习训练的教师政策中提炼出来的；(c) OmniH2O 的通用设计支持多样化的人类控制接口，包括 VR 头显、RGB 摄像头、语言等©️

OmniH2O系统的全身控制能力为类人机器人的应用打开了新的可能性。从工业生产线上的精准操作到日常生活中的辅助工作，再到灾难救援中的勇敢行动，OmniH2O都展现出了其巨大的潜力和价值。随着技术的不断进步和应用的深入探索，我们有理由相信，OmniH2O将在未来的人机协作领域发挥更加重要的作用。

OmniH2O系统通过一系列精心设计的实验，验证了其在仿真和现实世界中的卓越性能。实验的核心目标是评估系统在全身运动跟踪、多模态控制接口的实用性以及自主学习能力方面的表现。

在仿真环境中，OmniH2O系统首先接受了大规模人类运动数据集的测试。

通过使用AMASS数据集进行重定位，系统学习了如何模类人类动作。实验结果显示，OmniH2O能够准确跟踪复杂的全身运动，包括站立、下蹲、行走和各种精密操作。系统在仿真中的成功，为现实世界的部署打下了坚实的基础。转移到现实世界，OmniH2O系统在物理实验室中的表现同样令人瞩目。利用VR头显和RGB摄像头，研究人员能够实时地控制机器人，完成如挥动球拍、浇花、书写和搬运物品等任务。这些任务的成功完成，证明了OmniH2O在高精度操作和稳健运动方面的实际应用潜力。

OmniH2O的自主学习能力通过模仿学习得到了验证。

系统通过分析人类操作者在VR环境中执行的任务，学习并复现了六项日常任务，包括锤子接球、篮子挑选等。这些任务的完成不仅展示了OmniH2O在模仿学习上的能力，也证明了其在处理复杂、多阶段任务时的潜力。此外，OmniH2O与GPT-4o的集成实验进一步扩展了其自主性。在自主拳击和与人类打招呼的任务中，OmniH2O能够根据视觉输入做出决策，执行相应的动作。这些实验不仅展示了OmniH2O在自主决策方面的能力，也显示了其在理解人类手势和反应方面的巨大潜力。

▲图3｜OmniH2O 使用研究人员收集的数据训练的 LfD（从演示学习）模型，自主执行四项任务©️

通过这些实验，OmniH2O系统证明了其在遥控操作和自主学习方面的先进技术水平。实验结果不仅为研究人员提供了宝贵的数据支持，也为OmniH2O系统在现实世界中的应用提供了强有力的证据。随着技术的不断进步和实验的深入，OmniH2O有望在未来实现更加广泛和深入的应用。

OmniH2O的应用前景广阔，它将在工业自动化、家庭服务、灾难救援等多个领域发挥作用。它能够帮助老人和孩子完成日常任务，在工厂中执行精确的装配工作，甚至在灾难现场进入人类难以到达的区域进行搜救。

尽管OmniH2O已经取得了显著的成果，但仍有改进空间。未来的工作将集中在提高对极端情况的适应性和安全性，优化遥控系统以更好地处理复杂环境，并通过整合更多类型的传感器和更先进的算法来提升自主学习能力。

OmniH2O系统的成功研发，不仅展示了人工智能的潜力，更为人机和谐共处的未来描绘了美好蓝图。随着技术的不断进步，我们有理由相信，OmniH2O将在更多领域发挥重要作用，成为人类生活中不可或缺的伙伴。