清华大学计算机系TSAIL实验室的二年级博士生谭恒楷(Hengkai Tan),本科毕业于清华计算机系,师从朱军教授。主要研究方向是具身智能和强化学习,此前一作论文FCNet发表在ICML 2024,ManiBox一作,也是清华 RDT 大模型的作者之一。还曾是全国青少年信息学奥林匹克竞赛(NOI)的银牌,全国84名。
- 1、什么是空间泛化性
- 2、利用模拟器从视觉泛化转移到策略泛化
- 3、机器人操作算法框架ManiBox
- 4、sim2real经验分享
- 5、具身智能的空间泛化性Scaling Law
- -空间泛化性、成功率和数据量的幂律
- -Michaelis-Menten 动力学曲线
在具身智能和机器人操作实验室中,往往会选择固定的setting进行实验。但在现实环境中,实现机器人的空间泛化,以应对多样化的物体位置和复杂的场景布置,一直是个艰难的挑战。
近日,来自清华和NUS的团队,发现了具身智能空间泛化Scaling Law。在此基础上,提出了一个创新的机器人操作算法框架ManiBox。其中,清华大学计算机系TSAIL实验室博士生谭恒楷为论文一作。
ManiBox深入探索了具身智能的空间泛化性 Scaling Law,并通过大量模拟器数据和Bounding Box这样的视觉低维特征引导,成功实现了空间泛化、背景泛化和物体泛化的抓取任务,能够从固定点到34440cm³最大操作空间范围的高效覆盖,抓取成功率高达90%。
此外,ManiBox 不仅能够完成常规抓取,还扩展到更复杂的任务,如倒水,抓取杯子把手,杂乱桌面抓取等等精细操作场景,展现了出色的 Sim2Real 能力。更为引人注目的是,用户只需输入一个物体的prompt,ManiBox 即可自动执行对应物体的抓取、倾倒等操作,显著提升了机器人操作任务的鲁棒性与灵活性。
1月16日晚7点,智猩猩邀请到论文一作、清华大学计算机系TSAIL实验室博士生谭恒楷参与「智猩猩新青年讲座具身智能专题」第19讲,以《探索具身智能空间泛化性的Scaling Law》为主题带来直播讲解。