Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
- arXiv 首次提交
- arXiv:1910.10683
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{transformerst52019,
title = {{Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer}},
author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
year = {2019},
eprint = {1910.10683},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1910.10683}
}
2019 年下半年,NLP 的预训练论文多到读不完。
BERT 用掩码语言模型,GPT-2 用从左到右的语言模型,XLNet 用排列语言模型,RoBERTa 说 BERT 只是没训练够。每一篇都同时换了好几样东西:目标函数、模型架构、预训练数据、训练步数、微调方式。最后分数变高了,却很难说清楚是哪一项的功劳。
Google 的 Raffel、Shazeer 等人在这篇论文里做了一件很笨也很昂贵的事。他们把所有任务改写成同一种格式,固定一个基准设置,再一次只换一个因素,逐项比较。比完之后,把每一项的最佳选择组合起来,放大到 110 亿参数,训练约 1 万亿个 token(在 2019 年这是巨无霸,放到今天只能算小模型)。
作者在引言里就说清楚了,这篇的目的不是提出新方法,而是梳理整个领域的现状。这个统一的模型叫 T5(Text-to-Text Transfer Transformer)。论文同时发布了一份清洗过的网页语料 C4,之后成了许多语言模型的预训练数据。
定义问题
迁移学习(transfer learning)在 NLP 中的做法,是先在大量无标注文本上预训练,再用下游任务的标注数据微调。到了 2019 年,这条流程的每一段都有好几种选择,而且彼此很难比较。
BERT 这类只有编码器的模型,擅长分类或从原文中标出答案的位置,却没办法直接生成翻译或摘要。GPT 这类语言模型可以生成,但在分类任务上通常要另外接一个分类头。只要模型、损失函数或解码方式不同,比较出来的差异就混进了其他变量。
所以作者需要一个能同时处理分类、问答、翻译、摘要的共同框架,让同一个模型、同一个损失函数、同一套超参数跑完所有任务。有了它,才能一次只改一个因素。
解决问题
文本进,文本出

每个任务都改写成「输入一段文本,输出一段文本」,任务名称直接写在输入前面作为前缀。翻译就是输入「translate English to German: That is good.」,训练模型输出「Das ist gut.」。
分类任务也一样,只是输出换成类别名称。MNLI 要判断前提和假设之间的关系,输入是:
mnli premise: I hate pigeons. hypothesis: My feelings towards pigeons are filled with animosity.
目标输出是 entailment 这个词。如果模型输出了不在选项里的词,例如「hamburger」,就直接算错;作者说实际上从没遇到过这种情况。
有两类任务需要多做一点转换。STS-B 要预测两句话的相似度,是 1 到 5 之间的实数。作者发现标注大多以 0.2 为间隔,就把分数四舍五入到最近的 0.2,再转成字符串,例如 2.57 变成「2.6」,回归问题就变成了 21 类的分类。Winograd 类的代词消歧任务,则把有歧义的代词用星号标出来,让模型输出它指代的名词:
输入:The city councilmen refused the demonstrators a permit because *they* feared violence.
输出:The city councilmen
所有任务都用最大似然估计训练,也就是一般的交叉熵加上 teacher forcing。前缀的写法本身算是一个超参数,作者试过换措辞,影响不大。
模型:接近原始的 Transformer
模型是标准的编码器-解码器 Transformer,作者只改了三处:
- LayerNorm 只缩放、不加偏置。
- LayerNorm 移到每个子层的输入端,残差路径本身不做归一化,也就是后来常说的 Pre-LN。
- 相对位置编码简化成一个标量,直接加在注意力分数上。每个注意力头各有一组,所有层共享。总共 32 个桶,对应的距离范围按对数增长,超过 128 的距离全部归到同一个桶。单独一层分辨不出 128 以外的位置差异,多层叠起来就可以。
输出层和输入嵌入共享权重,这点和原始 Transformer 相同。作者没有对这三处改动做消融,因为它们和本文要比较的因素无关。
基准模型的编码器与解码器各 12 层,大小都和 BERT-Base 相当:、前馈层 、12 个注意力头,每个头 。总共约 2.2 亿参数,因为有编码器和解码器两个堆叠,大约是 BERT-Base 的两倍。
C4:清洗过的网页文本
Common Crawl 每个月会抓取约 20TB 的网页文本,但大部分是菜单、错误信息、重复的模板文字或代码。作者对 2019 年 4 月的快照应用了一系列规则:
- 只保留以句号、感叹号、问号或结束引号结尾的行。
- 少于 3 句的页面整页丢掉;只保留至少 5 个词的行。
- 页面里出现「脏话清单」中的任何一个词,就整页删除。
- 含有「Javascript」的行删掉,含有「lorem ipsum」的页面删掉。
- 含有花括号
{的页面删掉,因为那多半是代码。 - 删掉维基百科的引用标记,以及含有「terms of use」「cookie policy」这类字符串的行。
- 去重:任何重复出现的三句连续片段,只保留一份。
- 用 langdetect 只留英文概率至少 0.99 的页面。
结果约 750GB,作者取名 Colossal Clean Crawled Corpus,简称 C4。三年多后 Meta 训练 LLaMA 时,C4 还占了预训练数据的 15%。
基准的训练设置
预训练跑 步,每批 128 条长度 512 的序列,打包后一批约 个 token,总共约 亿个 token。这比 BERT 的约 1,370 亿、RoBERTa 的约 2.2 万亿都少很多,但足以比较各种设置,而且 C4 够大,整个过程不会重复任何数据。
优化器是 AdaFactor。预训练前 步固定学习率 0.01,之后按步数的平方根倒数递减。每个下游任务都微调 步,学习率固定为 0.001,每 5,000 步保存一次,报告验证集上最好的那个 checkpoint。词表是用 SentencePiece 训练的 32,000 个词片,训练数据是英文 C4 与德语、法语、罗马尼亚语按 10:1:1:1 混合,因为下游有这三种翻译任务。
预训练目标:只预测被挖掉的片段

基准目标由 BERT 的掩码语言模型改来。随机选 15% 的 token 破坏,连续被选中的 token 合成一段,用一个「哨兵」(sentinel)token 替换;每段的哨兵都不同。输出只包含被挖掉的片段,各段前面放上同一个哨兵,最后再补一个哨兵作为结尾。
我们照着图上的例子写一遍:
tokens = "Thank you for inviting me to your party last week .".split()
noise = [0, 0, 1, 1, 0, 0, 0, 0, 1, 0, 0] # 1 = 被选中要破坏的 token
def span_corrupt(tokens, noise):
sentinels = iter(["<X>", "<Y>", "<Z>"])
inputs, targets, prev = [], [], 0
for tok, n in zip(tokens, noise):
if n and not prev: # 一段连续破坏的开头,放一个哨兵
s = next(sentinels)
inputs.append(s)
targets.append(s)
if n:
targets.append(tok) # 被破坏的 token 只出现在输出里
else:
inputs.append(tok)
prev = n
targets.append(next(sentinels)) # 最后再补一个哨兵作为结尾
return inputs, targets
inputs, targets = span_corrupt(tokens, noise)
print(" ".join(inputs)) # Thank you <X> me to your party <Y> week .
print(" ".join(targets)) # <X> for inviting <Y> last <Z>
print(len(tokens), len(inputs), len(targets)) # 11 10 6
「for」和「inviting」相邻,所以共用一个 <X>。原句 11 个 token,输入剩 10 个,输出只有 6 个。如果照 BERT 的做法改成「输出整句原文」,解码器要生成 11 个 token。作者选择只预测挖掉的片段,主要是为了省计算,解码器的序列越短,预训练越快。
实际的 T5 用 <extra_id_0>、<extra_id_1> 这类特殊 token 当哨兵,它们加在词表里,不对应任何词片。
基准有多稳
每个实验都重复多次太贵了。作者改成把基准设置从头训练 10 次,用这 10 次的标准差作为所有变体的参考。多数任务的标准差小于分数的 1%;CoLA、CB、COPA 这类小数据集例外,CB 的验证集只有 56 条,F1 的标准差高达 3.2。论文的表格会把与最高分相差两个标准差以内的结果都标成粗体。
同样的模型不预训练、直接训练 步,GLUE 从 83.28 掉到 66.22,SQuAD 从 80.88 掉到 50.31。英法翻译则几乎不受影响(39.82 对 39.77),因为那个数据集本身就够大。
讨论
论文的主体是一连串对照实验,从架构、目标、数据、训练策略到规模化。表格里报告的是 GLUE 与 SuperGLUE 的平均分、CNN/DM 摘要的 ROUGE-2、SQuAD 的精确匹配率,以及三组翻译的 BLEU;除了最后的总成绩,都是验证集上的结果。
架构:参数量与计算量要分开算

图中深灰线表示全可见的注意力,浅灰线表示因果掩码,也就是只能看过去的位置。语言模型处理翻译时,要把输入和输出接成一条序列:「translate English to German: That is good. target: Das ist gut.」。问题在于,因果掩码让输入部分的每个位置也只能看前面,前半句的表示看不到后半句。prefix LM 把输入那段改成全可见,就解决了这一点。在分类任务上,prefix LM 其实很像 BERT,区别只在分类结果直接由输出层生成。
比较架构前,得先确定「公平」的标准。编码器、解码器各 层的模型,参数量和 层的语言模型差不多;但它的计算量只和 层的语言模型相当,因为编码器只处理输入、解码器只处理输出,语言模型则要把每一层都套在输入加输出上。作者实测,两者每一步的时间几乎一样。
设 BERT-Base 大小的一个堆叠有 个参数、处理一组输入输出需要 FLOPs,结果如下:
| 架构 | 目标 | 参数 | 计算 | GLUE | SuperGLUE | SQuAD | 英德 BLEU |
|---|---|---|---|---|---|---|---|
| 编码器-解码器 | 去噪 | 83.28 | 71.36 | 80.88 | 26.98 | ||
| 编码器-解码器,共享参数 | 去噪 | 82.81 | 70.73 | 80.63 | 26.72 | ||
| 编码器-解码器,各 6 层 | 去噪 | 80.88 | 68.42 | 77.59 | 26.38 | ||
| 语言模型 | 去噪 | 74.70 | 55.02 | 61.14 | 25.09 | ||
| Prefix LM | 去噪 | 81.82 | 68.11 | 78.94 | 26.43 | ||
| 编码器-解码器 | 语言模型 | 79.56 | 64.29 | 76.02 | 26.27 |
整理自原论文 Table 2,节选部分行与列。
在同样的计算量下,编码器-解码器配去噪目标在所有任务上都最好。让编码器和解码器共享参数,参数量减半,分数只掉一点,表现还胜过同样 个参数的 prefix LM,作者认为显式的编码器-解码器注意力有帮助。把层数减半则明显变差。另一个一致的结果是,去噪目标在每种架构上都胜过语言模型目标。
预训练目标:差异不大,选便宜的
目标函数的比较分三轮。第一轮比较三个大方向,prefix 语言模型(GLUE 80.69)、BERT 式掩码(82.96),以及把句子打乱再还原(73.17)。BERT 式最好,打乱还原明显落后。
第二轮比较 BERT 式的变体:去掉随机替换、改用哨兵替换整段,或者直接删掉被破坏的 token。四种变体的分数都很接近。直接删 token 在 GLUE 上略高,主要来自 CoLA(60.04 对基准的 53.84),作者推测判断句子是否合乎语法,和察觉哪里少了词有关;但它在 SuperGLUE 上比哨兵版差。
第三轮调整破坏比例和片段长度。10% 到 25% 差别不大,50% 时 GLUE 和 SQuAD 明显下降。片段破坏用两个参数描述。一条 500 个 token 的序列,破坏 15% 就是 75 个 token;如果规定分成 25 段,平均每段长 3。平均长度 3 的版本在多数非翻译任务上略胜逐 token 随机破坏(SuperGLUE 72.53 对 71.36),而且序列更短、训练更快。
作者的结论是,在他们试过的去噪目标之间,性能差异很小,应该主要按计算成本来选。
预训练数据:过滤有用,太小会背题
把 C4 的过滤规则全部去掉(只保留语言检测),数据变成 6.1TB,所有任务都变差,GLUE 从 83.28 掉到 81.46。
较小但领域集中的数据,在特定任务上会赢。Wikipedia 加上 Toronto Books Corpus(BERT 用的组合,共 20GB)让 SuperGLUE 升到 73.24,几乎全部来自 MultiRC:它的精确匹配率从 25.78 跳到 50.93,而 MultiRC 最大的数据来源正是小说。只保留新闻网站内容的 RealNews-like 版本,则让新闻阅读理解 ReCoRD 从 68.16 升到 73.72。下游任务和预训练数据的领域越接近,效果越好。
代价是数据量。模仿 GPT-2 WebText 的做法(只留 Reddit 上得分至少 3 的链接),用了 12 个月的 Common Crawl,只得到 17GB。作者又刻意把 C4 截短,让同样 340 亿 token 的训练反复看同一批数据。重复 64 次时影响很小;重复 1,024 次,GLUE 掉到 79.55;重复 4,096 次掉到 76.34,训练损失却明显更低,说明模型开始背数据了。
训练策略:微调全部参数仍然最好
只更新部分参数的方法比较吃亏。Adapter 在每个前馈层后加一个小的「全连接-ReLU-全连接」模块,只训练它和 LayerNorm。内部维度 时,SQuAD 还有 79.32,英德翻译却只剩 13.84 BLEU。数据少的任务用小 adapter 就够,数据多的任务需要大得多的维度。逐层解冻(gradual unfreezing)则在所有任务上都小幅退步。
多任务学习在 text-to-text 框架下很简单,把不同数据集的样本混在同一个批次里就行;麻烦在于每个任务该占多少比例。作者比较了三种混合方式:
- 按数据量比例:数据越多抽得越多,但设一个上限 ,避免无标注数据和英法翻译这种大数据集把其他任务淹没。
- 温度缩放:把各任务比例取 次方再归一化; 等于按比例, 越大越接近均匀。
- 均匀分配:每个任务被抽到的概率相同。
均匀分配最差,GLUE 只有 76.13。按比例混合时,多数任务都有一个最佳的 ;温度缩放以 最好。但没有任何一种混合方式追上「先无监督预训练、再分别微调」。
折中的做法有效。先用多任务混合预训练,再对个别任务微调,GLUE 83.11,和基准的 83.28 差不多,英罗翻译还略高。把目标任务排除在预训练混合之外(leave-one-out),分数只略低,说明见过许多任务的模型仍能适应没见过的任务。只用有标注任务预训练、完全不用无标注数据,除了翻译以外都明显变差。
给你 4 倍算力,该怎么用
多了 4 倍算力,是要训练更久、把模型变大,还是做集成?作者实际比了一次。
| 做法 | GLUE | SuperGLUE | SQuAD | CNN/DM | 英德 BLEU |
|---|---|---|---|---|---|
| 基准 | 83.28 | 71.36 | 80.88 | 19.24 | 26.98 |
| 同样大小,训练步数 4 倍 | 85.33 | 74.72 | 82.45 | 19.33 | 27.08 |
| 同样大小,批量大 4 倍 | 84.60 | 74.64 | 82.52 | 19.42 | 27.07 |
| 模型大 2 倍,训练步数 2 倍 | 86.18 | 77.18 | 84.18 | 19.66 | 27.52 |
| 模型大 4 倍,步数不变 | 85.91 | 78.04 | 83.86 | 19.73 | 27.47 |
| 4 个独立训练的模型集成 | 84.77 | 71.74 | 83.09 | 20.10 | 28.05 |
整理自原论文 Table 13,节选部分行与列。
四种用法都有帮助。加大模型通常比只增加训练量更有效;模型大 2 倍、训练 2 倍久,和模型大 4 倍,两者差不多。集成则在 CNN/DM 摘要和英德、英罗翻译上胜过所有其他做法,但对 SuperGLUE 几乎没有帮助。作者也提醒,大模型会让之后的微调和推理都更贵;小模型多训练的成本则可以分摊到许多下游任务上。
组合起来:T5
最后的 T5 把研究结论组合了起来:
- 目标:片段破坏,破坏 15%、平均片段长度 3。
- 训练量:100 万步、每批 条长度 512 的序列,约 1 万亿个 token,是基准的 32 倍。领域较集中的数据集太小,会重复数百次,所以仍用 C4。
- 模型大小:Small(6000 万)、Base(2.2 亿)、Large(7.7 亿)、3B、11B。3B 与 11B 主要放大前馈层: 分别是 16,384 和 65,536,注意力头分别为 32 与 128 个。作者说加宽前馈层的原因是 TPU 最擅长大型稠密矩阵乘法。
- 多任务预训练后再微调,GLUE 与 SuperGLUE 改成逐个子任务微调,批量缩小到 8,避免小数据集过拟合。
- 翻译与摘要改用宽度为 4 的 beam search。
T5 在 24 项任务中的 18 项拿下了当时的最佳成绩。3B 已经在几项任务上超越前人,作者认为放大到 11B 是拿到最好成绩最重要的一步。GLUE 平均 90.3;SuperGLUE 平均 88.9,之前的最佳是 84.6,人类是 89.8;SQuAD 精确匹配率 91.26,之前的最佳是 90.1。CNN/DM 的 ROUGE-2 是 21.55,之前的最佳是 20.30。
分数背后也有作者自己点出的问题。T5 在 MultiRC 与 ReCoRD 上大幅超过人类,作者认为这更可能是评估指标偏向机器的输出;人类在 COPA 与 WSC 上都是 100%,T5 还差一截。翻译则一项都没拿下。预训练只用英文,当时最佳的翻译系统还用了回译(back-translation)等数据增强。
最后一个实验回答 T5 的进步有多少只是来自规模。基准模型同样训练 1 万亿个 token(Baseline-1T),GLUE 84.80、SuperGLUE 73.90、SQuAD 83.01;T5-Base 是 85.97、75.64、85.44。两者大小与训练量相同,差别只在研究中挑出的那些非规模化改动,而 T5-Base 在所有任务上都胜出。
后来的检验
C4 发布后被广泛使用,Dodge 等人在 2021 年做了第一份较完整的 C4 文档化研究。单个域名中,贡献 token 最多的是 patents.google.com;内容里有机器翻译生成的文本,也有其他 NLP 基准的测试题,例如 XSum 摘要有 15.49% 的参考答案原封不动地出现在 C4 里。
他们特别检查了被脏话清单删掉的内容。被删掉的文档里,以性内容为主的簇约占三成,其他还有科学、医学、健康与法律政治类的文档。用方言主题模型分类后,非裔美国人英语与西班牙裔英语的文档被删除的比例是 42% 和 32%,白人英语只有 6.2%;提到性取向的文档最容易被滤掉,人工抽查「gay」相关的被删文档,36% 既不冒犯也不是色情内容。整页删除的关键词过滤很便宜,但删掉的东西并不中性。
架构的结论也值得对照后续研究。T5 的比较是在「预训练后再对各任务微调」的设置下做的。BigScience 的 Wang 等人在 2022 年换了一个设置重新比较,只看预训练后的零样本表现时,因果解码器配自回归语言模型目标最好;加上多任务提示微调后,输入全可见、用掩码目标训练的架构最好。换句话说,T5 的结论在它的设置下成立;后来大型模型普遍走向仅解码器的架构,和越来越看重的零样本、少样本用法有关。
结论
这篇读起来像一份很长的实验手册。先把所有任务写成文本进、文本出,再一次只换一个因素,从架构、目标、数据、微调到规模,每一项都有表格可以查。
如果只想带走几条,大概是这些。去噪目标彼此差不多,挑训练便宜的那个;预训练数据要先清洗干净,也要大到不必重复看;多出来的算力,先拿去把模型加大。
至于「编码器-解码器最好」这一条,两年后连 Google 自家的 PaLM 都没有照做。