Language models are unsupervised multitask learners
- 发表版本
- OpenAI 2019技术报告
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@techreport{transformersgpt22019,
title = {{Language models are unsupervised multitask learners}},
author = {Alec Radford and Jeffrey Wu and Rewon Child and David Luan and Dario Amodei and Ilya Sutskever},
year = {2019},
institution = {OpenAI},
url = {https://openai.com/index/better-language-models/}
}
第一代的 GPT 叠了十二层 Transformer 解码器。
OpenAI 觉得这样不够,于是他们叠了四十八层 Transformer 解码器,这就是 GPT-2。
定义问题
作者认为现有的机器学习系统表现出色,但其实充满问题。
在这篇文章中,简要的说明了几个方向:
脆弱性
- 机器学习系统在数据分布和任务规范的轻微变化方面表现出脆弱性。
- 这些系统对于不同输入的多样性和变化缺乏稳定性,导致不稳定的行为。
狭隘专家的局限性
- 当前的机器学习系统更像是狭隘的专家,而不是通用型的系统,限制了其应用范围。
- 这些系统依赖于为每个特定任务手动创建和标记训练数据集,过程繁琐且不具通用性。
泛化能力不足
- 单域数据集上单任务训练的普遍存在导致了系统缺乏泛化能力。
- 为了实现稳健的系统,可能需要在更广泛的领域和多任务上进行培训和测量性能。
解决问题
这篇论文沿用 GPT-1 的纯解码器架构,扩大模型规模,并修改归一化、初始化与分词方式。
模型设计
首先,将 LayerNorm 移到了每个子块的输入处,这与预激活残差网络类似。此外,作者在最后一个自注意力块(self-attention block)之后添加了一个额外的层归一化。
作者使用了一种修改过的初始化方法,考虑到模型深度增加时残差路径上的累积。在初始化时将残差层的权重按 1/√N 的因子进行缩放,这里 N 是残差层的数量。
为了增强模型的能力,作者将词汇表扩展到 50,257。上下文大小也从 512 增加到 1024 个 Tokens,并且使用更大的 Batch size 为 512。
多任务学习
一个通用系统应该能够运行许多不同的任务。这意味着系统需要对 P(输出|输入,任务) 进行建模,而不仅仅是对单一任务的条件分布 P(输出|输入) 进行建模。
在这里,作者提出的实现方式为:将输入和输出全部指定为符号序列,并使用语言建模来训练模型。例如,翻译训练范例可以表示为(翻译为法文、英文文本、法文文本),而阅读理解训练范例可以表示为(回答问题、文档、问题、答案)。
总之,就是用文本说明,来区分不同的任务。这些格式是论文用来解释想法的例子;GPT-2 实际上仍是在 WebText 上做下一个 token 预测,没有另外用一份人工标记的多任务数据集训练。
多样化的数据
大多数先前的语言模型训练工作集中在单一文本域,例如新闻文章、维基百科或小说书籍。作者提出的方法则鼓励创建尽可能大和多样化的数据集,以便涵盖更多领域和上下文的自然语言演示。
为此,作者考虑过 Common Crawl,但在初步实验发现数据质量问题。
但是用了之后,发现 Common Crawl 存在严重的数据质量问题...
-
解决方案
- 新的网页抓取:为了提高数据质量,作者抓取 Reddit 上获得至少 3 点 karma 的出站链接,以此作为内容可能有价值的筛选线索,并非逐篇确认内容干净。
- 数据集 WebText:产生的数据集 WebText 包含这 4500 万个链接的文本子集。WebText 初步版本不包括 2017 年 12 月之后创建的链接,经过重复数据删除和启发式清理后,包含略超过 800 万个文档,共计 40 GB 文本。
- 维基百科文档排除:从 WebText 中删除维基百科文档,以减少与常用评估数据重叠、方便分析。
优化 BPE 编码
字节级 BPE 的优势在于其灵活性和通用性,因为它可以将任何字符分解为字节序列。然而,直接将 BPE 应用于字节序列上,可能会因为 BPE 使用贪婪的频率算法来构建词汇,导致次优的合并结果。
为了解决这个问题,作者提出了一种改进的方法:在字节序列中,阻止不同字符类别之间的合并,仅对空格作为例外。这样可以显著提高压缩效率,同时仅在多个词汇标记中添加最少的单字碎片。
讨论
模型尺寸
本论文提出了四个模型参数设计,进行了训练和基准测试。
图中的四列分别是 117M/12 层、345M/24 层、762M/36 层和 1542M/48 层;下文的 GPT-2 指最大的 1542M 模型。
Zero-shot
作者首先查看模型的零样本性能:评估时不对目标数据集进行训练或微调,再依任务提供文本提示或计算语言模型分数。
在这张表中,作者报告 8 个数据集里有 7 个达到当时最佳;例外是 1B Word Benchmark。Penn Treebank 和 WikiText-2 等数据集原有训练部分只有约 100 到 200 万个 token,GPT-2 在此不使用它们训练。
针对长期依赖性测量的数据集(如 LAMBADA 和儿童图书测试)也取得了巨大的进步。
| 指标 | 含义 | 解读方式 |
|---|---|---|
| PPL | 困惑度:由模型对测试文本的平均负对数概率计算。 | 同一数据与前处理条件下,分数愈低愈好。 |
| ACC | 准确率:衡量模型预测正确的比例。 | 分数越高,表示模型预测正确的比例越高,即模型越准确。 |
| BPB | 每字节位数:模型在测试文本上平均每个字节的负对数概率,以 bit 表示。 | 同一数据条件下愈低愈好;不是字节本身的固定编码长度。 |
| BPC | 每字符位数:同样的模型分数改以每个字符计算。 | 同一数据条件下愈低愈好。 |
各类实验
作者在各种不同的任务上进行了实验,包括语言建模、机器翻译、问答、文本摘要、文本生成等。
我们就简单汇整一份表格,让你快速了解 GPT-2 在各个任务上的表现:
| 测试名称 | 目的 | 测试方式 | 结果 |
|---|---|---|---|
| 儿童图书测验 (CBT) | 检查模型在不同类别单字上的表现。 | 在无显著 WebText 重叠的验证集,从 10 个候选词预测完形填空答案。 | 普通名词准确率 93.3%,命名实体准确率 89.1%。 |
| LAMBADA | 测试对远程依赖关系的建模能力。 | 预测文本的最后一个词。 | 困惑度从先前的 99.8 降至 8.6;未加过滤器时准确率为 52.66%,加上停用词过滤器后为 63.24%。 |
| Winograd Schema 挑战 | 测量解决文本歧义的能力。 | 比较两个指代选项的语言模型分数。 | 在仅 273 个范例的数据集上达到 70.70% 准确率。 |
| 阅读理解(CoQA) | 测试回答依赖对话历史的问题能力。 | 以文档、对话历史及 A: 提示生成答案。 | 开发集上达到 55 F1,达到或超过四个监督训练基线中的三个。 |
| 摘要 | 测试总结能力。 | 在文章后加 TL;DR:,用 top-k(k=2)抽样,取生成的前三句。 | ROUGE 平均 21.40,仅略高于随机选三句的 20.98;细节有时混淆。 |
| 翻译 | 测试翻译能力。 | 以英法句对作提示,产生另一种语言的句子。 | WMT-14 英法为 5 BLEU;法英为 11.5 BLEU,仍低于当时最佳无监督方法的 33.5 BLEU。 |
| 问答 | 测试为事实性问题产生正确答案的频率。 | 以范例问答对提示,在 Natural Questions 评估精确匹配。 | 答对 4.1%,是最小模型的 5.3 倍;最有信心的 1% 问题中答对 63.1%。 |
结论
本研究旨在探索无监督任务学习在自然语言处理(NLP)中的应用和潜力,特别是利用 GPT-2 模型在无需监督适应或修改的情况下直接运行各种 NLP 任务的能力。
GPT-2 告诉我们:当大型语言模型在足够大且多样化的数据集上进行训练时,它们能够在许多领域和数据集上表现良好,并且能够在不需要显式监督的情况下运行大量任务。
这些发现为未来 NLP 任务中的无监督学习和模型改进提供了新的视角和可能性。