返回论文笔记资料库
arXiv 2020NeurIPS 2020语言模型与 Transformer论文笔记

GPT-3

九十六层解码器

原始论文

Language Models are Few-Shot Learners

论文作者

Tom B. Brown · Benjamin Mann · Nick Ryder …

查看全部 31 位作者

Tom B. Brown · Benjamin Mann · Nick Ryder · Melanie Subbiah · Jared Kaplan · Prafulla Dhariwal · Arvind Neelakantan · Pranav Shyam · Girish Sastry · Amanda Askell · Sandhini Agarwal · Ariel Herbert-Voss · Gretchen Krueger · Tom Henighan · Rewon Child · Aditya Ramesh · Daniel M. Ziegler · Jeffrey Wu · Clemens Winter · Christopher Hesse · Mark Chen · Eric Sigler · Mateusz Litwin · Scott Gray · Benjamin Chess · Jack Clark · Christopher Berner · Sam McCandlish · Alec Radford · Ilya Sutskever · Dario Amodei

发表版本
NeurIPS 2020会议
arXiv 首次提交
arXiv:2005.14165
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{transformersgpt32020,
  title = {{Language Models are Few-Shot Learners}},
  author = {Tom B. Brown and Benjamin Mann and Nick Ryder and Melanie Subbiah and Jared Kaplan and Prafulla Dhariwal and Arvind Neelakantan and Pranav Shyam and Girish Sastry and Amanda Askell and Sandhini Agarwal and Ariel Herbert-Voss and Gretchen Krueger and Tom Henighan and Rewon Child and Aditya Ramesh and Daniel M. Ziegler and Jeffrey Wu and Clemens Winter and Christopher Hesse and Mark Chen and Eric Sigler and Mateusz Litwin and Scott Gray and Benjamin Chess and Jack Clark and Christopher Berner and Sam McCandlish and Alec Radford and Ilya Sutskever and Dario Amodei},
  year = {2020},
  eprint = {2005.14165},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2005.14165}
}
本页内容

第二代的 GPT 叠了四十八层 Transformer 解码器。

OpenAI 觉得这样不够,于是他们继续往上叠了九十六层 Transformer 解码器,参数量达到史无前例的 175 B,名为 GPT-3。

定义问题

最近的工作已经证明,通过对大量文本进行预训练,然后对特定任务进行微调,在许多 NLP 任务和基准测试中取得了巨大的成果。在我们的理想中的 NLP 技术应能像人类一样,在接收少量指示或示例的情况下,快速适应和处理多种语言任务,但现阶段的研究中还是有几个问题,显然和理想上还有很大的差距:

多样化的语言任务需求

当前的语言模型面临着适应广泛且多样化的语言任务的需求,从语法纠正到抽象概念生成等。每个新任务通常需要大量特定的标记数据集,这限制了模型的普遍适用性。

依赖大规模监督数据集

收集和标记大型数据集对于许多语言任务来说既昂贵又耗时。每个新任务都需要重复这一数据收集过程,这增加了开发成本并延长了部署时间。

模型的过度专业化和泛化问题

当前模型在特定任务上进行微调可能导致过度专业化,使得模型在训练分布之外的数据上泛化能力差。训练中的虚假相关性可能会误导模型,影响其长期和广泛的应用。

人类的学习效率与模型的对比

相对于人类通过少量示例或直接指令就能快速适应新任务的能力,当前模型对大量标记数据的依赖显得效率低下。

解决问题

在 GPT-3 中,基本预训练方法,包括模型、数据和训练,都与 GPT-2 中描述的过程类似,相对简单地扩大了模型大小、数据集大小和多样性以及训练长度。对情境学习的使用也与 GPT-2 类似,但在这项工作中,作者们系统地探索了情境中学习的不同设置,主要的分别为:

  1. Fine-tuning

    • 这是最常见的方法,涉及通过对特定于所需任务的监督数据集进行训练来更新预训练模型的权重。通常使用数千到数十万个标签的范例。微调的主要优点是在许多基准测试中表现出色。
    • 主要缺点是每个任务都需要一个新的大型数据集,分布外泛化能力差的可能性,以及利用训练数据的虚假特征的可能性,这可能会导致与人类表现进行不公平的比较。
    • 在这项工作中,作者们没有对 GPT-3 进行微调,因为他们的重点是与任务无关的性能,但 GPT-3 原则上可以进行微调,这是未来工作的一个有希望的方向。
  1. Few-shot

    • Few-shot 是指:在推理时为模型提供一些任务演示作为条件,但不允许权重更新。
  • 主要优点是:大幅减少了对特定任务数据的需求,并降低了从大而窄的微调数据集中学习过于狭窄的分布的潜力。
  • 主要缺点是:迄今为止,这种方法的结果比最先进的微调模型要差得多。此外,仍需要少量任务特定数据。
  1. One-shot

    • One-shot 与 Few-shot 相同,只是只允许进行一次演示,此外还需要对任务进行自然语言描述。这种方法提供了最接近某些任务与人类沟通的方式。例如,当要求人类在人类工作者服务(例如 Mechanical Turk)上产生数据集时,通常会给出一个任务演示。相较之下,如果不给予范例,有时很难传达任务的内容或格式。
  2. Zero-shot

    • 与 One-shot 相同,只是不允许进行演示,并且仅向模型提供描述任务的自然语言指令。这种方法提供了最大的便利性、稳健性的潜力,并避免了虚假相关性,但也是最具挑战性的设置。在某些情况下,如果没有先前的范例,人类甚至可能很难理解任务的格式,因此这种设置在某些情况下「相当困难」。

模型架构

在本文中,作者使用与 GPT-2 相同的模型和架构,包括修改后的初始化、预归一化和可逆标记化。

不同之处在于:作者在 Transformer 各层交替使用密集注意力与局部带状稀疏注意力,关于该技术的详细内容,读者可以参考我们的另外一篇文章以获取更多信息:

为了研究机器学习性能对模型大小的依赖性,作者们训练了 8 种不同大小的模型,范围从 1.25 亿个参数到 1750 亿个参数三个数量级,最后一个是他们称为 GPT-3 的模型。

从上表中可以看到,所有模型都使用 2048 个 Token 的上下文窗口。作者们沿着深度和宽度维度跨 GPU 划分模型,以最大程度地减少节点之间的数据传输。每个模型的精确架构参数是根据运算效率和跨 GPU 模型布局的负载平衡来选择的。

数据集设置

在本文中,作者以筛选后的 Common Crawl 为主要数据源,并混合其他语料来预先训练模型。

另外,作者也发现未经筛选或仅轻度筛选的 Common Crawl 版本的数据品质通常不如精心准备的数据集。

为了提升数据集的平均品质,他们采取了以下三个步骤:

  1. 数据筛选和品质控制:筛选 Common Crawl 的数据,选择与一系列高品质参考语料库相似度较高的数据。
  2. 去重处理:在文档层级进行模糊重复数据删除,既在数据集内部进行,也跨数据集进行,以防止数据冗余,并保持验证集的完整性。
  3. 增强数据多样性:在训练组合中加入了已知的高品质参考语料库,以增强 Common Crawl 数据并提高其多样性。

通过这种方法,作者收集了从 2016 年至 2019 年间的 41 个 Common Crawl 每月数据片段,这些数据包含过滤前的 45TB 压缩明文和过滤后的 570GB,大约等同于 4000 亿个字节对编码(BPE)的 Token。

此外,在训练期间并非按数据大小进行采样,而是更频繁地采样品质较高的数据集,例如 Common Crawl 和 Books2 数据集在训练期间的采样次数不足一次,而其他数据集则采样 2 至 3 次。这种做法本质上是为了用少量的过度拟合换取更高品质的训练数据。

讨论

作者测试 GPT-3 在语言建模和相关任务中的表现,包括预测单字、完成句子或段落。

LAMBADA

LAMBADA 数据集要求模型预测一个句子的最后一个单字,需要阅读整段上下文。这个基准测试特别挑战模型对远程依赖关系的建模能力。

  • 最近研究指出,在 LAMBADA 基准测试中,语言模型的持续扩展已经带来收益递减。过去的研究显示,两个先进结果间模型大小加倍仅提升了 1.5 个百分点的准确率,并提出结论认为通过扩展硬件和数据规模来提升性能并不是可行之路。
  • 而 OpenAI 则表示:那是你的规模不够。在 Zero-shot 的设置中,GPT-3 在 LAMBADA 上达到了 76.2% 的准确率,比之前最佳技术水平「高出 8.2 个百分点」。(上图的蓝线)
  • 在 Few-shot 设置中,GPT-3 达到了 86.4% 的准确率,比之前最佳技术水平「高出 18.4 个百分点」。(上图的橘线)

特别需要注意的是,对图中最小的模型,Few-shot 比 Zero-shot 低了将近 20 个百分点;但到了 2.7B 模型,Few-shot 的表现明显提高。这张图呈现的是 LAMBADA 在这些模型大小与提示格式下的结果;One-shot 在此任务上也低于 Zero-shot。

Closed Book Question Answering

这项任务用来衡量 GPT-3 回答广泛事实知识问题的能力,通常这些问题通过信息检索系统查找相关文本并生成答案。此任务被称为「open-book」设置,即系统可以搜索并利用相关文本回答问题。另一种设置是「闭卷」(closed-book),系统直接回答问题,不依赖外部信息。

本研究在 Natural Questions、WebQuestions 和 TriviaQA 上测试 GPT-3 的 closed-book 表现。上图是 TriviaQA:Zero-shot 达到 64.3%,One-shot 达到 68.0%,Few-shot 达到 71.2%。相比微调后的 T5-11B,GPT-3 在 Zero-shot 设置中高出 14.2 个百分点,比带有 Q&A 定制跨度预测的版本高出 3.8 个百分点;One-shot 则追平使用检索的 RAG 基准,Few-shot 再超出 3.2 个百分点。

在这三个问答数据集上,作者发现性能随模型大小的变化相当平滑,并推测这可能反映模型参数吸收了更多「知识」。

结论

该论文是一份共有 75 页的 PDF 文件,里面提供的图表远不止上面提到的这些;许多任务显示,大语言模型在 Few-shot 设置下能发挥更好的性能,但并非所有任务都如此。这也在后续衍生出一连串的「提示工程(Prompt Engineering)」研究,寻找适合任务的提示方式,让模型更好地利用示例。

尽管 GPT-3 在文本生成和自然语言处理任务上相较于前代模型有显著进步,它仍然存在诸如语义重复、失去连贯性及逻辑错误等问题。在处理常识物理问题和上下文学习行为上,GPT-3 显示出特定的弱点,这反映了模型在某些特定语言任务上的局限性。

另外就是关于偏见与公平性问题,GPT-3 和类似的大型语言模型在训练过程中使用的大量数据来自于互联网,这使得模型不可避免地吸收并反映了训练数据中的偏见。主要为以下几个方面:

1. 性别偏见

GPT-3 在处理性别相关内容时展示出明显的偏见。

例如,在关于职业的生成文本中,模型往往将男性与某些职业(如科技、工程等)联系起来,而将女性与护理、教育等领域相关联。

这种偏见可能强化了社会中对性别角色的刻板印象。

2. 种族偏见

在种族方面,语言模型可能生成包含或暗示某种族群特征的文本,这可能导致对某些族群的负面描述。

例如,当模型被引导讨论特定种族的人时,生成的文本可能不成比例地反映了负面或刻板的特质。

3. 宗教偏见

GPT-3 在处理与宗教相关的查询时也可能展现出偏见,例如,在描述不同宗教信徒的特性时,可能使用了过于一般化或具有偏见的描述。


这些挑战和解决策略突显了开发大型语言模型时,平衡技术进步和伦理责任的重要性,并强调了持续研究和改进的必要性,以减少 AI 系统可能带来的不公正现象。

GPT-3 及类似的语言模型在提升文本生成和自然语言处理能力方面具有显著的潜力,但也面临诸多挑战。未来的研究需平衡技术进步与伦理、公平性和效率之间的关系,确保这些先进技术在为人类服务的同时,也能促进更加公平和可持续的技术发展。