RoBERTa: A Robustly Optimized BERT Pretraining Approach
- 发表版本
- 正式发表信息尚未核实
- arXiv 首次提交
- arXiv:1907.11692
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{transformersroberta2019,
title = {{RoBERTa: A Robustly Optimized BERT Pretraining Approach}},
author = {Yinhan Liu and Myle Ott and Naman Goyal and Jingfei Du and Mandar Joshi and Danqi Chen and Omer Levy and Mike Lewis and Luke Zettlemoyer and Veselin Stoyanov},
year = {2019},
eprint = {1907.11692},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1907.11692}
}
BERT 的成功带给后续研究者大量的启发。
作者在这个阶段,回顾了 BERT 的设计,做了大量的实验,发现原来 BERT 还有超多可以改进的地方。
定义问题
先复习一下 BERT 的设计:
BERT 的预训练过程主要包括两个目标:遮蔽语言模型(Masked Language Modeling, MLM)和下一句预测(Next Sentence Prediction, NSP)。
BERT 会先在大规模未标注的文本上进行预训练,之后再使用标注的数据进行微调。
BERT 采用了 Transformer 架构,并在此基础上进行改进。模型由 L 层 Transformer 组成,每层包含 A 个自注意力头(self-attention heads),并具有 H 维的隐藏层。
预训练目标主要包括两个部分:
-
遮蔽语言模型(MLM):
- 在输入序列中,随机选择 15% 的词汇进行替换,主要目标是预测被遮蔽的词汇。选中的词汇有 80% 会被替换成特殊标记
[MASK],10% 保持不变,另 10% 会被随机词汇替换。
- 在输入序列中,随机选择 15% 的词汇进行替换,主要目标是预测被遮蔽的词汇。选中的词汇有 80% 会被替换成特殊标记
-
下一句预测(NSP):
- NSP 是一个二元分类任务,用来预测两个段落是否在原文中连续。正样本来自于连续的句子,负样本则是来自于不同文档的句子段落。正负样本各占一半。
BERT 采用了 Adam 优化器,具体参数如下:
- ,,L2 正则化参数 weight decay 设为 0.01。
- 学习率在前 10,000 步逐渐增至 1e-4 的峰值,之后再线性递减。
- 各层及注意力权重使用 0.1 的 dropout 概率,模型使用 GELU 激活函数。
- 模型预训练持续 1,000,000 次更新,每个小批量包含 256 条序列,序列的最大长度为 512。
BERT 的训练数据来自 BOOKCORPUS 和英文 WIKIPEDIA 的组合,共计 16GB 的未压缩文本。
本篇论文的作者认为:上面这些设计都要优化,通通都要改。
解决问题
优化实现细节
大部分超参数遵循原始 BERT 的优化设置,除了学习率峰值和预热步数会根据不同设置进行调整。
作者发现训练对 Adam 优化器中的 epsilon 值非常敏感,调整后可能会提升性能或稳定性;当批量大小较大时,设置 也能增强稳定性。
预训练时,序列长度最多为 512 个 token,与之前文献不同,这里没有随机插入短序列,也没有在前 90% 的更新中减少序列长度,仅使用完整长度序列进行训练。
作者使用混合精度浮点运算进行训练,使用 DGX-1 机器,每台配有 8 × 32GB 的 Nvidia V100 GPU。
优化训练数据
BERT 式预训练非常依赖大规模文本数据,过去研究显示,增加数据量可以提升最终任务的性能。
许多研究使用了比原始 BERT 更大且更多样化的数据集,但这些附加数据集并非都可以公开发布。作者在这里尽可能收集大量数据进行实验,以便在比较时达到合适的数据品质和数量。
最后,作者使用了五个不同大小和领域的英文语料库,总计超过 160GB 的未压缩文本;下列第一项合并列出其中两个语料库:
-
BOOKCORPUS 和 WIKIPEDIA:这是原始 BERT 训练所用的数据集。(16GB)
-
CC-NEWS:我们从 CommonCrawl News 数据集中收集的英文部分,包含 2016 年 9 月至 2019 年 2 月期间的 6300 万篇英文新闻文章。(经过过滤后共 76GB)
-
OPENWEBTEXT:这是 Radford 等人(2019)所描述的 WebText 数据集的开源重建版,包含来自 Reddit 并获得至少三个点赞的 URL 所提取的网页内容。(38GB)
-
STORIES:Trinh 和 Le(2018)引入的一个数据集,包含从 CommonCrawl 中筛选出的与 Winograd schema 故事风格匹配的文本。(31GB)
讨论
在论文中,作者将主要调整的部分分为几个方面来讨论:
静态遮蔽 vs. 动态遮蔽
原始 BERT 的实现使用静态遮蔽,预处理时将遮蔽一次并在每个 epoch 重复使用相同的遮蔽模式。为了避免每个训练实例使用相同的遮蔽,数据会重复 10 次,使每个序列在 40 个训练 epoch 中以 10 种不同方式进行遮蔽,每个序列重复看到相同的遮蔽四次。
动态遮蔽则是在每次将序列输入模型时生成新的遮蔽模式,对于进行更多训练步骤或使用更大数据集的预训练过程尤为重要。
表中的 BERTBASE 开发集结果显示,动态遮蔽的 SQuAD 2.0 F1 和 SST-2 准确率略高,但 MNLI-m 准确率由 84.3 降至 84.0;整体与静态遮蔽相当,因此后续实验采用动态遮蔽。
下一句预测(NSP)
原始 BERT 的输入由两个文档段落组成,这些段落可能来自同一文档或不同文档,并且模型会学习是否来自相同文档的辅助任务 NSP。
过去有研究质疑 NSP 的必要性,并提出去除 NSP 可能不会对性能造成负面影响。
为了验证 NSP 的有效性,作者比较了几种不同的输入格式:
- SEGMENT-PAIR+NSP:与原始 BERT 相同,保留 NSP 损失,输入为两个段落。
- SENTENCE-PAIR+NSP:输入为两个自然句,保留 NSP 损失;由于每个输入明显比 512 个 token 短,作者调大批量以维持相近的 token 总数。
- FULL-SENTENCES:连续装入完整句子,移除 NSP 损失;序列可能跨越文档边界,跨越时另加分隔标记。
- DOC-SENTENCES:与 FULL-SENTENCES 类似,但不跨越文档边界,移除 NSP 损失;靠近文档末端时动态调整批量大小。
表中的 BERTBASE 开发集比较显示,去掉 NSP 并改用完整句子装填的设置,通常能匹配或略微提升下游任务性能;输入格式也同时改变,不能只把差异归因于移除 NSP。DOC-SENTENCES 略优于 FULL-SENTENCES,但作者为便于比较,在后续实验选用后者。
大批量训练
大批量训练较易平行化,BERTBASE 原始训练使用 256 个序列的批量大小,总共进行 100 万步的训练。作者也调整学习率和步数,使表中三组设置读过相同轮数的数据,计算量大致相同。
结果显示,批量从 256 增至 2K 时,在保留的预训练语料上测得的 MLM 困惑度与 MNLI-m、SST-2 开发集准确率都改善;增至 8K 时,这三项比 2K 略差,并非批量愈大愈好。大批量也更易于进行分布式数据并行训练,因此作者在后续实验中使用 8K 个序列的批量大小。
文本编码
使用 Byte-Pair Encoding (BPE) 能够处理自然语言中的大规模词汇,BPE 将子词单位作为基础单位。
原始 BERT 使用 30K 个 WordPiece 子词词汇表,而本篇论文中,作者考虑采用 50K 个字节级别的 BPE 词汇表,并且不对输入进行额外的预处理或分词。
初步实验显示,两者性能差异不大,字节级别 BPE 在某些任务上略微表现较差,但考虑到其通用性,作者在后续实验中使用字节级别 BPE。
训练数据规模
作者首先采用 的架构设置(L = 24,H = 1024,A = 16;原架构约 355M 参数),并在 BOOKCORPUS 和 WIKIPEDIA 上进行 100K 步的预训练;本篇的较大 byte-level BPE 词汇表还会增加约 20M 参数。
使用 1024 颗 V100 GPU,训练约持续一天。
表中的首列只使用 BOOKCORPUS 和 WIKIPEDIA,已优于列出的 结果;但两列的数据量分别标为 16GB 与 13GB,批量和更新步数也不同,因此不能把差距全归因於单一设计选择。RoBERTa 自身的后三列再分别比较增加语料至 160GB、延长预训练至 300K 与 500K 步后的结果。
结论
总结全文中提到的改善方向:
- 延长模型的训练时间。
- 使用更大批量并训练更多数据。
- 移除「NSP」的目标。
- 使用更长的输入序列进行训练。
- 动态调整应用于训练数据的遮蔽模式。
RoBERTa,在 GLUE、RACE 和 SQuAD 基准上取得了最先进的结果,且在 GLUE 上不需要多任务微调,SQuAD 也不需要额外的数据支持。这些结果展示了这些之前被忽略的设计选择的重要性。
同理可以类推到其他模型架构:一个优秀的模型训练架构可以带来更好的模型性能,这个概念在每个领域也同样适用。