近年来，基于人类示范数据的机器人模仿学习技术取得了显著进展，展现出了巨大的应用前景和发展潜力。然而，如何使这一过程更加高效，并得到更加通用的机器人操控策略，目前依然是一个挑战。提高真实世界中人类示范数据收集的效率，对于实现高效的模仿学习至关重要。

为此，上海交通大学卢策吾教授团队提出了大规模真实世界机器人操控数据集RH20T，包含超过11万个接触丰富的机器人操控轨迹，涵盖多种技能、场景、机器人和摄像机视角。这些轨迹通过人类遥操作收集，为模仿学习算法提供了丰富多样的资源。与RH20T相关的论文成果收录于RSS 2023和 ICRA 2024。

为了降低规模化双臂数据采集的成本，上交大卢策吾教授团队联合上海AI Lab引入了低成本的外骨骼系统AirExo。与AirExo相关的论文收录于ICRA 2024，其中上海交通大学与上海AI Lab联培博士生方泓杰为论文一作。

AirExo旨在采集野外环境中的双臂操作数据，减少机器人操控策略对于遥操作数据的需求，使低成本规模化双臂数据采集成为可能。该系统使机器人仅通过3分钟的遥控演示和收集到的野外数据学习的效果，超越了从20多分钟遥控演示中的学习效果。

在模仿学习方面，穹彻智能联合上交大卢策吾教授团队提出了基于3D感知的真实世界机器人操控策略RISE，显著提升了机器人操控策略对物体位置以及相机视角变化的泛化能力。与RISE相关的论文收录于IROS 2024。

RISE通过3D感知，能够有效地提取空间信息，并在多个机器人操作任务中取得了优于2D和3D基线方法的性能。并且，在不同物体位置、新工作空间和新相机视角下都表现出良好的泛化能力，增强了其在真实世界部署中的鲁棒性。

为进一步提高人类示范数据的利用效率，上交大卢策吾教授团队联合上海AI Lab又提出了具有极强泛化性的操控策略CAGE。该策略能利用仅50条单平台单相机视角采集的数据，无需任何预训练，即可将技能迁移至不同机械臂、不同相机视角和背景环境中。CAGE能够使机器人实现更加高效且通用的模仿学习，为机器人操控策略在复杂多变的真实环境中的应用提供了有力支持。

11月26日晚7点，智猩猩邀请到上海交通大学与上海AI Lab联培博士生方泓杰参与「智猩猩具身智能前沿讲座」第16讲，主讲《基于人类示范数据的高效机器人模仿学习》。