绑定手机号
确认绑定
机器人动作规划的核心在于基于实时观测和任务指令,预测并完成一系列复杂的未来操作。然而,现有方法在应对复杂具身任务时存在通用视频生成模型缺乏对具身场景的针对性优化的局限性,以及视觉记忆泛化能力不足。
为此,智元机器人联合上海AI Lab、港中文、上交大等提出了全球首个具身4D世界模型EnerVerse。该模型能够通过自回归扩散模型,在生成未来具身空间的同时引导机器人完成复杂任务。其中,上海交通大学与上海AI Lab的联培博士生黄思渊为论文一作;智元机器人具身算法专家陈立梁为共同一作和项目负责人。
不同于现有方法简单应用视频生成模型,EnerVerse还引入稀疏记忆机制(Sparse Memory)与自由锚定视角(Free Anchor View,FAV),在提升4D生成能力的同时,实现了动作规划性能的显著突破。
实验结果表明,EnerVerse不仅具备卓越的未来空间生成能力,更在机器人动作规划任务中实现了当前最优(SOTA)表现。
2月11日晚7点,智猩猩邀请到论文一作、上海交通大学与上海AI Lab的联培博士生黄思渊参与「智猩猩AI新青年讲座具身智能专题」第20讲,以《具身4D世界模型EnerVerse》为主题带来直播讲解。