- 课程回放
- AIGC 文本创作的研究现状与应用前景
- 英文 SOTA 生成预训练模型 PALM 及全新中文 PALM 2.0
- 超大规模中文理解和生成联合模型 PLUG
- 中文 GPT-3 的零样本生成能力探究
12月14日晚7点,阿里巴巴达摩院高级算法工程师李晨亮将主讲《达摩院通义 AliceMind 预训练大模型在 AIGC 文本创作的探索》。李晨亮将对英文SOTA生成预训练模型PALM、中文社区首个超大规模生成模型PLUG,和GPT-3的中文复现版本三个大模型,以及它们在AIGC 文本创作领域的应用进行深度讲解。
PALM 提出时是英文SOTA生成预训练模型,结合自编码和自回归的预训练,在英文CNN/Daily Mail、Giagaword等数据集上超过BART、T5等模型。而最新的PALM 2.0,在中文社区的生成预训练模型中也达到了SOTA。
PLUG提出时是当时中文社区最大规模的纯文本预训练语言模型,集语言理解与生成能力于一身,在语言理解(NLU)任务上,以80.179分刷新了当时Chinese GLUE分类榜单的新记录排名第一;在语言生成(NLG)任务上,在多项业务数据上较State-of-the-art平均提升8%以上。除此之外,PLUG在zero-shot生成的表现上,也较此前的模型均有明显的优势。
中文GPT-3是对2020年OpenAI提出GPT-3的中文版本。其主要思想是通过大幅度增大模型规模至1750亿,同时利用无监督数据和language model预训练,使模型具备强大的zero-shot生成能力。因为GPT-3主要支持英文,对于中文效果较差,同时访问使用需要申请,因此达摩院推出了中文GPT-3,并创新性的结合无监督数据和有监督prompt数据,训练了不同版本规模的中文GPT-3,为中文社区带来更好用的中文生成大模型,目前模型具备多种生成能力,包括:代码生成,小说续写,作文生成、论文生成等。
「阿里达摩院大模型公开课」第1讲的直播将以视频直播形式进行。直播由主讲与问答两部分组成,其中主讲40分钟,问答为20分钟。
