OmniH2O是一个全身类人的机器人遥控和自主操作系统，使用运动学姿势作为通用控制界面，支持通过VR头显、口头指令和RGB摄像头等多种方式进行控制。它还能通过模仿遥控演示或集成前沿模型如GPT-4o实现完全自主性。OmniH2O在多种真实世界的全身任务中展现了多功能性和灵活性，如进行体育活动、移动和操作物体以及与人类互动。开发团队还构建了一个基于强化学习的仿真到现实的pipeline，发布了首个包含六项日常任务的类人机器人全身控制数据集OmniH2O-6，展示了从遥控数据集中学习全身技能的能力。
在仿真环境中，OmniH2O系统首先接受了大规模人类运动数据集的测试。
通过使用AMASS数据集进行重定位，系统学习了如何模类人类动作。实验结果显示，OmniH2O能够准确跟踪复杂的全身运动，包括站立、下蹲、行走和各种精密操作。系统在仿真中的成功，为现实世界的部署打下了坚实的基础。转移到现实世界，OmniH2O系统在物理实验室中的表现同样令人瞩目。利用VR头显和RGB摄像头，研究人员能够实时地控制机器人，完成如挥动球拍、浇花、书写和搬运物品等任务。这些任务的成功完成，证明了OmniH2O在高精度操作和稳健运动方面的实际应用潜力。
OmniH2O的自主学习能力通过模仿学习得到了验证。
系统通过分析人类操作者在VR环境中执行的任务，学习并复现了六项日常任务，包括锤子接球、篮子挑选等。这些任务的完成不仅展示了OmniH2O在模仿学习上的能力，也证明了其在处理复杂、多阶段任务时的潜力。此外，OmniH2O与GPT-4o的集成实验进一步扩展了其自主性。在自主拳击和与人类打招呼的任务中，OmniH2O能够根据视觉输入做出决策，执行相应的动作。这些实验不仅展示了OmniH2O在自主决策方面的能力，也显示了其在理解人类手势和反应方面的巨大潜力。
▲图3｜OmniH2O 使用研究人员收集的数据训练的 LfD（从演示学习）模型，自主执行四项任务©️
通过这些实验，OmniH2O系统证明了其在遥控操作和自主学习方面的先进技术水平。实验结果不仅为研究人员提供了宝贵的数据支持，也为OmniH2O系统在现实世界中的应用提供了强有力的证据。随着技术的不断进步和实验的深入，OmniH2O有望在未来实现更加广泛和深入的应用。
OmniH2O的应用前景广阔，它将在工业自动化、家庭服务、灾难救援等多个领域发挥作用。它能够帮助老人和孩子完成日常任务，在工厂中执行精确的装配工作，甚至在灾难现场进入人类难以到达的区域进行搜救。
尽管OmniH2O已经取得了显著的成果，但仍有改进空间。未来的工作将集中在提高对极端情况的适应性和安全性，优化遥控系统以更好地处理复杂环境，并通过整合更多类型的传感器和更先进的算法来提升自主学习能力。
OmniH2O系统的成功研发，不仅展示了人工智能的潜力，更为人机和谐共处的未来描绘了美好蓝图。随着技术的不断进步，我们有理由相信，OmniH2O将在更多领域发挥重要作用，成为人类生活中不可或缺的伙伴。
