- 课程回放
科技部空天领域专班固定专家(参与落实中央领导同志重要批示5件)。首次定义空天具身智能研究方向,提出空天智能体概念,牵头研制空天具身世界模型AeroVerse系列,发表Nature Communications、IEEE TPAMI、IEEE TNNLS等顶刊/顶会论文20余篇,授权专利10余项,参编“十四五”教材2本。任The Innovation Informatics青年编委,Pattern Recognition期刊客座编委,I&R、SmartBot、JAICS、AIAS、Robot Learning等期刊青年编委,任AAIA具身智能与空间智能分会主席、IAAI空天委员会主席(筹),CICC、CAAI、CIPS具身智能专委会常务委员/委员,CSIG三维视觉专委会委员等。主持国家自然科学基金项目C类、北京市自然科学基金联合基金等,获中国科学院院长奖、CICC科技进步一等奖等。
科技部空天领域专班固定专家(参与落实中央领导同志重要批示5件)。首次定义空天具身智能研究方向,提出空天智能体概念,牵头研制空天具身世界模型AeroVerse系列,发表Nature Communications、IEEE TPAMI、IEEE TNNLS等顶刊/顶会论文20余篇,授权专利10余项,参编“十四五”教材2本。任The Innovation Informatics青年编委,Pattern Recognition期刊客座编委,I&R、SmartBot、JAICS、AIAS、Robot Learning等期刊青年编委,任AAIA具身智能与空间智能分会主席、IAAI空天委员会主席(筹),CICC、CAAI、CIPS具身智能专委会常务委员/委员,CSIG三维视觉专委会委员等。主持国家自然科学基金项目C类、北京市自然科学基金联合基金等,获中国科学院院长奖、CICC科技进步一等奖等。
- 空天智能体与世界模型构建
- -空天世界模拟器
- -具身大小脑
- 空天具身智能体系的演进
- 空天具身智能综述
- 未来展望
空天具身智能旨在赋能无人机实现自主感知、认知、行动端到端闭环,具备以自我为中心主动与人类和环境交互的能力。构建空天具身世界模型,是实现无人机自主智能的有效手段,也是通往空天具身智能的必经之路。
然而,现有具身世界模型主要面向室内场景的地面智能体,在无人机等空天智能体方面鲜有探索,缺乏系统化、标准化的基准测试套件。
为此,中国科学院空天信息创新研究院联合中国科学院大学等,提出了一个用于空天具身世界模型仿真、预训练、微调和评估的基准套件AeroVerse。
为模拟无人机飞行的真实场景,AeroVerse构建了空天世界模拟器AeroSimulator,使空天具身世界模型学习到世界物理规律。该模拟器支持不同的光照条件(白天、傍晚、夜晚等)、不同的季节(春夏秋冬)和气候模式(阳光、多云和小雪等),更容易将训练的无人机智能体迁移到现实世界中。
为应对空天智能体大规模训练数据缺乏的情况,促进空天具身世界模型的训练,AeroVerse构建了首个大规模的真实世界图像-文本预训练数据集AerialAgent-Ego10k和虚拟图像-文本-姿态对齐数据集CyberAgent-Ego500k。
AeroVerse还定义了五个空天具身下游任务:场景感知、空间推理、导航探索、任务规划和运动决策,并构建了五个相应的指令数据集。为评估任务的执行效果,提出了基于GPT-4的自动化评估方法SkyAgent-Eval,分别针对场景感知、空间推理与导航探索及路径规划任务。
此外,让无人机准确执行“沿河飞行,越桥后搜寻红顶建筑”的指令,是无人机视觉语言导航的前沿挑战。其核心瓶颈在于实现语言、三维感知与动力学控制三者的高效协同。
中科院空天信息创新研究院联合中国科学院大学、国防科技大学等10余个单位,发布首篇无人机视觉语言导航系统综述AeroVerse-Review,详述了无人机具身视觉语言导航的核心进展,勾勒出无人机从遥控工具向能理解、能感知、能决策的“空中智能体”的演进之路,AeroVerse-Review发表于The Innovation Informatics第1卷第1期。
高保真仿真平台是推进无人机视觉语言导航研究的核心基础设施,主要包括通用领域模拟器、真实场景模拟器和虚拟场景模拟器。其中,真实场景模拟器正逐渐成为无人机视觉语言导航研究的关键基础设施。
在导航核心算法方面,正在从规则向大模型的跨越。早期无人机导航依赖几何与规则方法,现有研究是引入大语言/多模态模型,实现无人机请求解析与目标检测,将感知、语义与规划统一建模。在协同导航方面,单一无人机的感知范围与计算能力受到限制,正在从具身个体向陆海空天任务、环境、场景耦合的具身体系演进。
未来,无人机视觉语言导航需发展具身世界模型,支持预测推理、长程规划及跨模态状态维护,对长时飞行任务至关重要。
1月9日晚7点,「智猩猩具身智前沿公开课」第2期邀请到AeroVerse一作、中科院空天信息创新研究院副研究员姚方龙,以《空天具身智能世界模型的研究进展》为主题进行实时视频讲解与答疑互动。