绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智猩猩服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智猩猩
达摩院通义 AliceMind 预训练大模型在 AIGC 文本创作的探索
2022/12/14 19:00:00
课程讲师
李晨亮 阿里巴巴达摩院 高级算法工程师

2019 年硕士毕业于北京邮电大学;主要研究方向为自然语言处理,包括预训练语言模型、文本生成、多模态等。曾经在相关领域顶级会议如 ACL、EMNLP、AAAI 等发表十多篇相关论文;参与多个国际评测和比赛,在生成、结构化、多模态的多个相关评测榜单上达到第一,并在多模态 VQA 榜单上首次超越人类水平。

李晨亮
阿里巴巴达摩院 高级算法工程师

2019 年硕士毕业于北京邮电大学;主要研究方向为自然语言处理,包括预训练语言模型、文本生成、多模态等。曾经在相关领域顶级会议如 ACL、EMNLP、AAAI 等发表十多篇相关论文;参与多个国际评测和比赛,在生成、结构化、多模态的多个相关评测榜单上达到第一,并在多模态 VQA 榜单上首次超越人类水平。

课程提纲
  • AIGC 文本创作的研究现状与应用前景
  • 英文 SOTA 生成预训练模型 PALM 及全新中文 PALM 2.0
  • 超大规模中文理解和生成联合模型 PLUG
  • 中文 GPT-3 的零样本生成能力探究
课程简介

12月14日晚7点,阿里巴巴达摩院高级算法工程师李晨亮将主讲《达摩院通义 AliceMind 预训练大模型在 AIGC 文本创作的探索》。李晨亮将对英文SOTA生成预训练模型PALM、中文社区首个超大规模生成模型PLUG,和GPT-3的中文复现版本三个大模型,以及它们在AIGC 文本创作领域的应用进行深度讲解。

PALM 提出时是英文SOTA生成预训练模型,结合自编码和自回归的预训练,在英文CNN/Daily Mail、Giagaword等数据集上超过BART、T5等模型。而最新的PALM 2.0,在中文社区的生成预训练模型中也达到了SOTA。

PLUG提出时是当时中文社区最大规模的纯文本预训练语言模型,集语言理解与生成能力于一身,在语言理解(NLU)任务上,以80.179分刷新了当时Chinese GLUE分类榜单的新记录排名第一;在语言生成(NLG)任务上,在多项业务数据上较State-of-the-art平均提升8%以上。除此之外,PLUG在zero-shot生成的表现上,也较此前的模型均有明显的优势。 

中文GPT-3是对2020年OpenAI提出GPT-3的中文版本。其主要思想是通过大幅度增大模型规模至1750亿,同时利用无监督数据和language model预训练,使模型具备强大的zero-shot生成能力。因为GPT-3主要支持英文,对于中文效果较差,同时访问使用需要申请,因此达摩院推出了中文GPT-3,并创新性的结合无监督数据和有监督prompt数据,训练了不同版本规模的中文GPT-3,为中文社区带来更好用的中文生成大模型,目前模型具备多种生成能力,包括:代码生成,小说续写,作文生成、论文生成等。

「阿里达摩院大模型公开课」第1讲的直播将以视频直播形式进行。直播由主讲与问答两部分组成,其中主讲40分钟,问答为20分钟。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...