双臂机器人操作在机器人技术中至关重要。但由于协调两个机械臂的固有复杂性以及训练数据的稀缺，开发基座模型极具挑战性。而现有的操作策略要么只局限于特定任务，要么仅限于小规模模型、数据和简单任务。

为此，清华大学人工智能研究院 TSAIL 团队构建了用于双臂机器人操作的扩散基座模型——Robotics Diffusion Transformer（RDT），是目前最大的用于机器人操作的扩散基座模型，拥有模型参数量1.2B，现已开源。

RDT模型以扩散模型作为基础，能够有效地表示多峰的人类动作分布，并采用可扩展的Transformer架构来处理异构的多模态输入，捕捉机器人数据中的非线性和高频特性。为了解决数据稀缺问题，该模型还引入了一种物理可解释的统一动作空间，用于统一各种机器人的动作表示，并保留原始动作的物理含义，方便学习可迁移的物理知识。

RDT模型为 ALOHA 硬件本体植入了 “小脑”，使其能摆脱人类的操控，自主完成没见过的任务。RDT 将 “小模型” 扩展为 “大模型”，是目前运动控制水平最接近人类的机器人小脑之一。在 RDT 模型的加持下，双臂机器人ALOHA 成功挑战 7 项高难度任务，平均成功率上比当前最好的模型还高出56%。

12月18日晚7点，智猩猩邀请到论文一作、清华大学TSAIL团队博士生刘松铭参与「智猩猩AI新青年讲座」第258讲，主讲《双臂机器人操作扩散大模型RDT》。