返回论文笔记资料库
OpenAI 2019语言模型与 Transformer论文笔记

GPT-2

四十八层解码器

原始论文

Language models are unsupervised multitask learners

论文作者

Alec Radford · Jeffrey Wu · Rewon Child · David Luan · Dario Amodei · Ilya Sutskever

发表版本
OpenAI 2019技术报告
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@techreport{transformersgpt22019,
  title = {{Language models are unsupervised multitask learners}},
  author = {Alec Radford and Jeffrey Wu and Rewon Child and David Luan and Dario Amodei and Ilya Sutskever},
  year = {2019},
  institution = {OpenAI},
  url = {https://openai.com/index/better-language-models/}
}
本页内容

第一代的 GPT 叠了十二层 Transformer 解码器。

OpenAI 觉得这样不够,于是他们叠了四十八层 Transformer 解码器,这就是 GPT-2。

定义问题

作者认为现有的机器学习系统表现出色,但其实充满问题。

在这篇文章中,简要的说明了几个方向:

脆弱性

  • 机器学习系统在数据分布和任务规范的轻微变化方面表现出脆弱性。
  • 这些系统对于不同输入的多样性和变化缺乏稳定性,导致不稳定的行为。

狭隘专家的局限性

  • 当前的机器学习系统更像是狭隘的专家,而不是通用型的系统,限制了其应用范围。
  • 这些系统依赖于为每个特定任务手动创建和标记训练数据集,过程繁琐且不具通用性。

泛化能力不足

  • 单域数据集上单任务训练的普遍存在导致了系统缺乏泛化能力。
  • 为了实现稳健的系统,可能需要在更广泛的领域和多任务上进行培训和测量性能。

解决问题

这篇论文沿用 GPT-1 的纯解码器架构,扩大模型规模,并修改归一化、初始化与分词方式。

模型设计

首先,将 LayerNorm 移到了每个子块的输入处,这与预激活残差网络类似。此外,作者在最后一个自注意力块(self-attention block)之后添加了一个额外的层归一化。

作者使用了一种修改过的初始化方法,考虑到模型深度增加时残差路径上的累积。在初始化时将残差层的权重按 1/√N 的因子进行缩放,这里 N 是残差层的数量。

为了增强模型的能力,作者将词汇表扩展到 50,257。上下文大小也从 512 增加到 1024 个 Tokens,并且使用更大的 Batch size 为 512。

多任务学习

一个通用系统应该能够运行许多不同的任务。这意味着系统需要对 P(输出|输入,任务) 进行建模,而不仅仅是对单一任务的条件分布 P(输出|输入) 进行建模。

在这里,作者提出的实现方式为:将输入和输出全部指定为符号序列,并使用语言建模来训练模型。例如,翻译训练范例可以表示为(翻译为法文、英文文本、法文文本),而阅读理解训练范例可以表示为(回答问题、文档、问题、答案)。

总之,就是用文本说明,来区分不同的任务。这些格式是论文用来解释想法的例子;GPT-2 实际上仍是在 WebText 上做下一个 token 预测,没有另外用一份人工标记的多任务数据集训练。

多样化的数据

大多数先前的语言模型训练工作集中在单一文本域,例如新闻文章、维基百科或小说书籍。作者提出的方法则鼓励创建尽可能大和多样化的数据集,以便涵盖更多领域和上下文的自然语言演示。

为此,作者考虑过 Common Crawl,但在初步实验发现数据质量问题。

但是用了之后,发现 Common Crawl 存在严重的数据质量问题...

  • 解决方案

    • 新的网页抓取:为了提高数据质量,作者抓取 Reddit 上获得至少 3 点 karma 的出站链接,以此作为内容可能有价值的筛选线索,并非逐篇确认内容干净。
    • 数据集 WebText:产生的数据集 WebText 包含这 4500 万个链接的文本子集。WebText 初步版本不包括 2017 年 12 月之后创建的链接,经过重复数据删除和启发式清理后,包含略超过 800 万个文档,共计 40 GB 文本。
    • 维基百科文档排除:从 WebText 中删除维基百科文档,以减少与常用评估数据重叠、方便分析。

优化 BPE 编码

字节级 BPE 的优势在于其灵活性和通用性,因为它可以将任何字符分解为字节序列。然而,直接将 BPE 应用于字节序列上,可能会因为 BPE 使用贪婪的频率算法来构建词汇,导致次优的合并结果。

为了解决这个问题,作者提出了一种改进的方法:在字节序列中,阻止不同字符类别之间的合并,仅对空格作为例外。这样可以显著提高压缩效率,同时仅在多个词汇标记中添加最少的单字碎片。

讨论

模型尺寸

本论文提出了四个模型参数设计,进行了训练和基准测试。

图中的四列分别是 117M/12 层、345M/24 层、762M/36 层和 1542M/48 层;下文的 GPT-2 指最大的 1542M 模型。

Zero-shot

作者首先查看模型的零样本性能:评估时不对目标数据集进行训练或微调,再依任务提供文本提示或计算语言模型分数。

在这张表中,作者报告 8 个数据集里有 7 个达到当时最佳;例外是 1B Word Benchmark。Penn Treebank 和 WikiText-2 等数据集原有训练部分只有约 100 到 200 万个 token,GPT-2 在此不使用它们训练。

针对长期依赖性测量的数据集(如 LAMBADA 和儿童图书测试)也取得了巨大的进步。

指标含义解读方式
PPL困惑度:由模型对测试文本的平均负对数概率计算。同一数据与前处理条件下,分数愈低愈好。
ACC准确率:衡量模型预测正确的比例。分数越高,表示模型预测正确的比例越高,即模型越准确。
BPB每字节位数:模型在测试文本上平均每个字节的负对数概率,以 bit 表示。同一数据条件下愈低愈好;不是字节本身的固定编码长度。
BPC每字符位数:同样的模型分数改以每个字符计算。同一数据条件下愈低愈好。

各类实验

作者在各种不同的任务上进行了实验,包括语言建模、机器翻译、问答、文本摘要、文本生成等。

我们就简单汇整一份表格,让你快速了解 GPT-2 在各个任务上的表现:

测试名称目的测试方式结果
儿童图书测验 (CBT)检查模型在不同类别单字上的表现。在无显著 WebText 重叠的验证集,从 10 个候选词预测完形填空答案。普通名词准确率 93.3%,命名实体准确率 89.1%。
LAMBADA测试对远程依赖关系的建模能力。预测文本的最后一个词。困惑度从先前的 99.8 降至 8.6;未加过滤器时准确率为 52.66%,加上停用词过滤器后为 63.24%。
Winograd Schema 挑战测量解决文本歧义的能力。比较两个指代选项的语言模型分数。在仅 273 个范例的数据集上达到 70.70% 准确率。
阅读理解(CoQA)测试回答依赖对话历史的问题能力。以文档、对话历史及 A: 提示生成答案。开发集上达到 55 F1,达到或超过四个监督训练基线中的三个。
摘要测试总结能力。在文章后加 TL;DR:,用 top-k(k=2)抽样,取生成的前三句。ROUGE 平均 21.40,仅略高于随机选三句的 20.98;细节有时混淆。
翻译测试翻译能力。以英法句对作提示,产生另一种语言的句子。WMT-14 英法为 5 BLEU;法英为 11.5 BLEU,仍低于当时最佳无监督方法的 33.5 BLEU。
问答测试为事实性问题产生正确答案的频率。以范例问答对提示,在 Natural Questions 评估精确匹配。答对 4.1%,是最小模型的 5.3 倍;最有信心的 1% 问题中答对 63.1%。

结论

本研究旨在探索无监督任务学习在自然语言处理(NLP)中的应用和潜力,特别是利用 GPT-2 模型在无需监督适应或修改的情况下直接运行各种 NLP 任务的能力。

GPT-2 告诉我们:当大型语言模型在足够大且多样化的数据集上进行训练时,它们能够在许多领域和数据集上表现良好,并且能够在不需要显式监督的情况下运行大量任务。

这些发现为未来 NLP 任务中的无监督学习和模型改进提供了新的视角和可能性。