绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智猩猩服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智猩猩
具身4D世界模型EnerVerse
智猩猩AI新青年讲座具身智能专题 2025/02/11 19:00:00
课程讲师
黄思渊 上海交通大学 与上海AI Lab的联培博士生

师从李鸿升教授。博士期间的研究课题为基于多模态大模型的具身智能研究。在CoRL、MM、 IROS、ECCV等顶级会议上,以第一作者或共同第一作者身份发表多篇论文。

黄思渊
上海交通大学 与上海AI Lab的联培博士生

师从李鸿升教授。博士期间的研究课题为基于多模态大模型的具身智能研究。在CoRL、MM、 IROS、ECCV等顶级会议上,以第一作者或共同第一作者身份发表多篇论文。

课程提纲
  • 1、具身世界模型的应用场景
  • 2、机器人动作规划在应对复杂任务时的挑战
  • 3、基于自回归扩散模型的具身4D世界模型
  • 4、利用EnerVerse生成4D空间并完成复杂任务
  • 5、实验结果及分析
课程简介

机器人动作规划的核心在于基于实时观测和任务指令,预测并完成一系列复杂的未来操作。然而,现有方法在应对复杂具身任务时存在通用视频生成模型缺乏对具身场景的针对性优化的局限性,以及视觉记忆泛化能力不足。

为此,智元机器人联合上海AI Lab、港中文、上交大等提出了全球首个具身4D世界模型EnerVerse。该模型能够通过自回归扩散模型,在生成未来具身空间的同时引导机器人完成复杂任务。其中,上海交通大学与上海AI Lab的联培博士生黄思渊为论文一作;智元机器人具身算法专家陈立梁为共同一作和项目负责人。

不同于现有方法简单应用视频生成模型,EnerVerse还引入稀疏记忆机制(Sparse Memory)与自由锚定视角(Free Anchor View,FAV),在提升4D生成能力的同时,实现了动作规划性能的显著突破。

实验结果表明,EnerVerse不仅具备卓越的未来空间生成能力,更在机器人动作规划任务中实现了当前最优(SOTA)表现。

2月11日晚7点,智猩猩邀请到论文一作、上海交通大学与上海AI Lab的联培博士生黄思渊参与「智猩猩AI新青年讲座具身智能专题」第20讲,以《具身4D世界模型EnerVerse》为主题带来直播讲解。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...