ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
- 发表版本
- ICLR 2020会议
- arXiv 首次提交
- arXiv:1909.11942
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{transformersalbert2019,
title = {{ALBERT: A Lite BERT for Self-supervised Learning of Language Representations}},
author = {Zhenzhong Lan and Mingda Chen and Sebastian Goodman and Kevin Gimpel and Piyush Sharma and Radu Soricut},
year = {2019},
eprint = {1909.11942},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1909.11942}
}
BERT 之后,还是 BERT。
定义问题
一个 BERT 大概有 340M 个参数,很难 Train,要 Train 很久。有了 BERT 作为基础比较对象,后续研究开始加大模型规模,模型参数愈来愈多。
0.1B ➔ 0.3B ➔ 0.5B ➔ 1.0B ➔ 1.5B ➔ ???
这篇论文的作者说:不行,不能再更大了,我们快要 Train 不起了!
- 我们需要小的 BERT!
解决问题
ALBERT 的基础架构与 BERT 一样,但做了以下几个改进:
分解的嵌入参数化
在 BERT 及其后续改进模型(这里说的是 XLNet 和 RoBERTa)中,词汇嵌入大小 与隐藏层大小 被绑定,即 ;其中 RoBERTa 采用的是 byte-level BPE 词汇。
这样的设计在模型和实用性上有两个缺点:
-
模型角度:WordPiece 嵌入主要学习与上下文无关的表示,而隐藏层嵌入则专注于上下文相关的表示。通过分离 和 ,模型可以更有效地根据需求分配参数,因为隐藏层应有较大的容量(即 )。
-
实用角度:自然语言处理中,词汇表大小 通常很大。如果 ,则增大 会显著增加嵌入矩阵的大小,该矩阵的尺寸为 。这可能会导致模型的参数量达到数十亿,且大多数参数在训练中仅会稀疏更新。
因此,ALBERT 使用了嵌入参数的分解,将它们分成两个较小的矩阵:
- 首先将 one-hot 向量投影到较低维度的嵌入空间,大小为
- 然后再将其投影到隐藏层空间
此分解使嵌入参数的数量从 降低至 。
当 时,参数量会显著地减少!
跨层参数共享
过去有许多研究专注于提高模型的参数效率:
-
Dehghani 等人 (2018) 的 Universal Transformer (UT):
他们提出了一种 Universal Transformer,并发现这种模型在性能上超越了标准的 Transformer。Universal Transformer 是一种改进版的 Transformer,它通过让多层 Transformer 共享参数(类似 ALBERT 的做法),强化了模型的学习能力,特别是在处理不同层的时间步进时,有效提升了模型的表现。
-
Bai 等人 (2019) 的 Deep Equilibrium Models (DEQ):
他们的研究发现,Deep Equilibrium Models (DEQ) 能够达到一个「平衡点」,在该平衡点上,某一层的输入和输出嵌入变得相同,这意味着该层模型的表示不再发生变化。也就是说模型的表达能力在达到这个平衡点后,逐渐趋于稳定,不再有显著的变动。
除了上述两个研究,共享参数的概念实现的方式有很多种:
- 只在层与层之间共享前馈网络 (FFN) 的参数
- 只共享注意力机制的参数
ALBERT 的默认设计是跨编码器层共享所有层参数,除非另有说明,所有实验均基于此默认进行。如下图,作者测量每层输入与输出表示之间的 L2 距离及余弦角度;ALBERT 的层间变化较平滑,但两项差异并未趋近于零,不像 DEQ 模型那样收敛至平衡点。
这里比较的是每层的输入与输出表示。
句序预测损失 Loss
句序预测损失,Sentence-Order Prediction, 简称 SOP。
BERT 除了 MLM 损失外,还使用了一种额外的损失函数 NSP(Next Sentence Prediction)。在许多后续研究发现 NSP 的效果不稳定,并选择移除 NSP 损失。
作者推测 NSP 的低效原因是该任务相对于 MLM 来说过于简单。NSP 将主题预测与一致性预测混为一体,而主题预测相对于一致性预测更容易学习,并且与 MLM 损失的学习重叠较大。
考虑到这些因素,作者认为跨句建模是语言理解中重要的一部分,为此提出了句序预测损失:
- 正样本与 BERT 相同,来自同一文档中的两个连续片段。
- 负样本则是相同两个连续片段,但交换它们的顺序。
模型必须判断哪个片段是先出现的,这样能强迫模型学习更细致的一致性区别。
讨论
BERT 与 ALBERT 的整体比较
ALBERT 的设计选择主要体现在参数效率的提升。
如上表所示:在 BOOKCORPUS 和 Wikipedia 预训练 125K 步的开发集比较中,ALBERT-xxlarge 使用 235M 参数,约为 BERT-large 334M 的 70%,且多个代表性下游任务分数较高:SQuAD v1.1 F1(+1.9 个百分点)、SQuAD v2.0 F1(+3.1 个百分点)、MNLI(+1.4 个百分点)、SST-2(+2.2 个百分点)、RACE(+8.4 个百分点)。
此外,在相同 TPU 数量下,以 BERT-large 的数据吞吐量为基准,ALBERT-large 约快 1.7 倍;ALBERT-xxlarge 虽然参数较少,却因隐藏层更大而约慢三倍。
嵌入参数分解
上表展示了在 ALBERT-base 设置下,改变词汇嵌入大小 的效果。
对于非共享参数的情况下(BERT 风格),较大的嵌入尺寸带来了些许性能提升,但在全参数共享(ALBERT 风格)下,嵌入大小 表现最佳。
基于这些结果,作者决定在未来的设置中使用嵌入大小 进行模型扩展。
跨层参数共享
上表展示了不同的跨层参数共享策略实验结果:
- 使用 ALBERT-base 配置( 和 )。
相较于不共享,全共享策略在两种条件下都降低表中的 Avg 分数; 降 1.5 分, 降 2.5 分。
大部分分数下降出现在共享 FFN 参数的设置;只共享注意力参数时, 的 Avg 比不共享高 0.1 分, 则低 0.7 分。
虽然可以考虑将 L 层划分为 N 个大小为 M 的组,每组内共享参数,但实验表明,分组的大小愈小,性能愈好,但参数总数也随之增加。
因此,作者最终选择了全共享策略作为默认。
句序预测的有效性
作者比较了三种跨句损失条件:
- 无(XLNet 和 RoBERTa 风格)
- NSP(BERT 风格)
- SOP(ALBERT 风格)。
结果显示,使用 NSP 损失的模型在 SOP 任务上只有 52.0% 准确率,接近未加入跨句损失的 53.3%;这支持作者认为 NSP 主要学到主题转换的解释。使用 SOP 损失的模型在 NSP 任务上得到 78.9%,在 SOP 任务上得到 86.5%。
此外,与 NSP 列相比,SOP 列在多句输入任务的开发集分数较高:SQuAD 1.1 F1 高 0.9 个百分点、SQuAD 2.0 F1 高 2.8 个百分点、RACE 准确率高 1.7 个百分点;SST-2 则由 91.1 降至 90.3。
NLU 任务的当前最先进水平
ALBERT 在 GLUE benchmark 上的表现
ALBERT 在 SQuAD and RACE benchmarks 上的表现
最后,作者在两种微调设置下发表了 SOTA 结果:单模型 和 系集模型:
- 单模型:
- 开发集分数报告五次运行的中位数;GLUE 的这一组单模型开发集结果不能直接当作测试集成绩。
- 单模型的 ALBERT 配置使用了最佳表现的设置:ALBERT-xxlarge 配置,结合了 MLM 和 SOP 的损失函数,且不使用 dropout。
- 系集模型:
- 候选检查点根据开发集表现选取,每个任务考虑的检查点数量为 6 到 17 个。
- 在 GLUE 和 RACE 基准测试中,系集模型的预测结果是对来自不同训练步骤的 12 层和 24 层架构进行微调后的模型预测进行平均。
- 在 SQuAD 中,则是对具有多个概率的 span 的预测分数进行平均,并对「无法回答」的决策分数进行平均。
表 9、10 的下列最佳成绩来自测试集的系集模型,不能与上方的单模型开发集列混用:
- GLUE:取得了 89.4 分
- SQuAD 2.0:测试 F1 分数达到 92.2
- RACE:测试准确率达到 89.4
RACE 测试的结果特别好,相较于其他模型的提升幅度巨大:
- 比表中的 BERT-large 单模型高 17.4 个百分点。
- 比 XLNet 单模型高 7.6 个百分点。
- 比 RoBERTa 单模型高 6.2 个百分点。
- 比 DCMN+ 系集模型高 5.3 个百分点。
这些列的单模型/系集设置不同;若只看 ALBERT 单模型,RACE 测试准确率是 86.5%。
结论
ALBERT 以创新的方式大幅提升了参数效率,并且引入了更具针对性的损失函数来提升跨句理解任务的表现。它的设计理念对于未来的大型语言模型具有深远的影响。
如果你也是在资源有限的环境下开发语言模型,ALBERT 可能是一个不错的选择!