论文标题：

OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning

论文作者：

Tairan He, Zhengyi Luo, Xialin He, Wenli Xiao, Chong Zhang, Weinan Zhang, Kris Kitani, Changliu Liu, Guanya Shi

编译：Scarlett

审核：Los

OmniH2O是一个全身类人的机器人遥控和自主操作系统，使用运动学姿势作为通用控制界面，支持通过VR头显、口头指令和RGB摄像头等多种方式进行控制。它还能通过模仿遥控演示或集成前沿模型如GPT-4o实现完全自主性。OmniH2O在多种真实世界的全身任务中展现了多功能性和灵活性，如进行体育活动、移动和操作物体以及与人类互动。开发团队还构建了一个基于强化学习的仿真到现实的pipeline，发布了首个包含六项日常任务的类人机器人全身控制数据集OmniH2O-6，展示了从遥控数据集中学习全身技能的能力。

▲图1 | (a) OmniH2O 使操作者能够遥控全尺寸类人机器人（Unitree H1）完成既需要高精度操作又需要移动的任务；(b) OmniH2O 还通过视觉输入实现了完全自主性，由 GPT-4o 或从遥控演示中学习到的策略控制©️

在类人机器人控制的研究领域，学习型方法正逐渐展现出其潜力，尽管这些机器人因其高度的自由度和缺乏自我平衡能力而控制起来颇具挑战性。尽管如此，大多数现有研究主要集中于开发稳健的行走策略，并未完全释放类人机器人的全部功能。对于需要全身运动操作的任务，下半身必须为上半身的多样化和精确动作提供支持。

OmniH2O系统通过学习端到端的全身策略，协调上半身和下半身的动作，解决了这一问题。

在遥控操作方面，先前的工作提出了基于强化学习的全身遥控框架，使用第三人称RGB摄像头来获取人类操作者的全身关键点。然而，由于RGB姿态估计的延迟和不准确性，以及对全局线性速度估计的需求，H2O在测试期间需要动作捕捉（MoCap）设备，并且仅支持简单的移动任务，缺乏执行灵巧操作任务所需的精度。与此相反，OmniH2O能够在室内外环境中实现高精度的灵巧运动操作。

此外，为了控制全尺寸类人机器人，已经提出了多种接口，包括外骨骼、动作捕捉和虚拟现实（VR）。最近，基于VR的类人机器人控制因其能够使用稀疏输入创建全身运动而受到关注，但这些VR基础的工作主要集中在动画制作，并不支持移动操作。OmniH2O则能够控制真实的类人机器人完成现实世界的操纵任务。

在开源机器人数据集和模仿学习方面，机器人社区面临的一个主要挑战是相比于语言和视觉任务，公开可用的数据集数量有限。近期的工作集中在使用不同的体现形式收集机器人数据进行不同任务。然而，这些数据集大多是使用固定基座的机器人臂平台收集的。即使是最全面的Open XEmbodiment数据集，也不包括类人机器人的数据。据我们所知，OmniH2O是首个发布全尺寸类人机器人全身运动操作数据集的，这为机器人学习和模仿提供了宝贵的资源。

OmniH2O系统在实现人体到类人机器人的全身控制方面展现了其全面性和灵活性。这一控制机制的核心在于使用运动学姿势作为通用的控制接口，它允许人类操作者通过自然的身体语言来指导机器人的动作。无论是通过虚拟现实（VR）头显的沉浸式控制，还是通过RGB摄像头捕捉的实时影像，或是简单的口头指令，OmniH2O都能够精确地将人类的意图转化为机器人的动作。

这种控制方式的关键在于其对人类运动的深入理解和高度模仿能力。OmniH2O系统通过分析大量的人类运动数据，学习到了如何稳定地控制机器人的下半身，同时灵活地操作上半身。这使得机器人不仅能够行走和保持平衡，还能够执行如打球、浇花、书写和与人互动等需要手眼协调的复杂任务。此外，OmniH2O系统的设计考虑了不同操作环境下的实用性。通过精心设计的控制接口，系统能够适应不同的输入设备和操作条件，从而实现对机器人全身的精确控制。这种灵活性使得OmniH2O不仅在实验室环境中表现出色，也能够在现实世界的多变环境中稳定工作。

▲图2 | (a) OmniH2O 重新定位大规模人类运动，并为类人机器人过滤掉不可行的运动；(b) 我们的仿真到现实政策是通过监督学习从使用特权信息的强化学习训练的教师政策中提炼出来的；(c) OmniH2O 的通用设计支持多样化的人类控制接口，包括 VR 头显、RGB 摄像头、语言等©️

OmniH2O系统的全身控制能力为类人机器人的应用打开了新的可能性。从工业生产线上的精准操作到日常生活中的辅助工作，再到灾难救援中的勇敢行动，OmniH2O都展现出了其巨大的潜力和价值。随着技术的不断进步和应用的深入探索，我们有理由相信，OmniH2O将在未来的人机协作领域发挥更加重要的作用。

OmniH2O系统通过一系列精心设计的实验，验证了其在仿真和现实世界中的卓越性能。实验的核心目标是评估系统在全身运动跟踪、多模态控制接口的实用性以及自主学习能力方面的表现。