返回论文笔记资料库
arXiv 2019ICLR 2020语言模型与 Transformer论文笔记

ALBERT

爱因斯 BERT

原始论文

ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

论文作者

Zhenzhong Lan · Mingda Chen · Sebastian Goodman · Kevin Gimpel · Piyush Sharma · Radu Soricut

发表版本
ICLR 2020会议
arXiv 首次提交
arXiv:1909.11942
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{transformersalbert2019,
  title = {{ALBERT: A Lite BERT for Self-supervised Learning of Language Representations}},
  author = {Zhenzhong Lan and Mingda Chen and Sebastian Goodman and Kevin Gimpel and Piyush Sharma and Radu Soricut},
  year = {2019},
  eprint = {1909.11942},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1909.11942}
}
本页内容

BERT 之后,还是 BERT。

定义问题

一个 BERT 大概有 340M 个参数,很难 Train,要 Train 很久。有了 BERT 作为基础比较对象,后续研究开始加大模型规模,模型参数愈来愈多。

0.1B ➔ 0.3B ➔ 0.5B ➔ 1.0B ➔ 1.5B ➔ ???

这篇论文的作者说:不行,不能再更大了,我们快要 Train 不起了!

  • 我们需要小的 BERT!

解决问题

ALBERT 的基础架构与 BERT 一样,但做了以下几个改进:

分解的嵌入参数化

在 BERT 及其后续改进模型(这里说的是 XLNet 和 RoBERTa)中,词汇嵌入大小 EE 与隐藏层大小 HH 被绑定,即 E≡HE ≡ H;其中 RoBERTa 采用的是 byte-level BPE 词汇。

这样的设计在模型和实用性上有两个缺点:

  • 模型角度:WordPiece 嵌入主要学习与上下文无关的表示,而隐藏层嵌入则专注于上下文相关的表示。通过分离 EE 和 HH,模型可以更有效地根据需求分配参数,因为隐藏层应有较大的容量(即 H>EH > E)。

  • 实用角度:自然语言处理中,词汇表大小 VV 通常很大。如果 E≡HE ≡ H,则增大 HH 会显著增加嵌入矩阵的大小,该矩阵的尺寸为 V×EV \times E。这可能会导致模型的参数量达到数十亿,且大多数参数在训练中仅会稀疏更新。

因此,ALBERT 使用了嵌入参数的分解,将它们分成两个较小的矩阵:

  • 首先将 one-hot 向量投影到较低维度的嵌入空间,大小为 EE
  • 然后再将其投影到隐藏层空间

此分解使嵌入参数的数量从 O(V×H)O(V \times H) 降低至 O(V×E+E×H)O(V \times E + E \times H)。

当 H>EH > E 时,参数量会显著地减少!

跨层参数共享

过去有许多研究专注于提高模型的参数效率:

  • Dehghani 等人 (2018) 的 Universal Transformer (UT):

    他们提出了一种 Universal Transformer,并发现这种模型在性能上超越了标准的 Transformer。Universal Transformer 是一种改进版的 Transformer,它通过让多层 Transformer 共享参数(类似 ALBERT 的做法),强化了模型的学习能力,特别是在处理不同层的时间步进时,有效提升了模型的表现。

  • Bai 等人 (2019) 的 Deep Equilibrium Models (DEQ):

    他们的研究发现,Deep Equilibrium Models (DEQ) 能够达到一个「平衡点」,在该平衡点上,某一层的输入和输出嵌入变得相同,这意味着该层模型的表示不再发生变化。也就是说模型的表达能力在达到这个平衡点后,逐渐趋于稳定,不再有显著的变动。

除了上述两个研究,共享参数的概念实现的方式有很多种:

  • 只在层与层之间共享前馈网络 (FFN) 的参数
  • 只共享注意力机制的参数

ALBERT 的默认设计是跨编码器层共享所有层参数,除非另有说明,所有实验均基于此默认进行。如下图,作者测量每层输入与输出表示之间的 L2 距离及余弦角度;ALBERT 的层间变化较平滑,但两项差异并未趋近于零,不像 DEQ 模型那样收敛至平衡点。

这里比较的是每层的输入与输出表示。

句序预测损失 Loss

句序预测损失,Sentence-Order Prediction, 简称 SOP。

BERT 除了 MLM 损失外,还使用了一种额外的损失函数 NSP(Next Sentence Prediction)。在许多后续研究发现 NSP 的效果不稳定,并选择移除 NSP 损失。

作者推测 NSP 的低效原因是该任务相对于 MLM 来说过于简单。NSP 将主题预测与一致性预测混为一体,而主题预测相对于一致性预测更容易学习,并且与 MLM 损失的学习重叠较大。

考虑到这些因素,作者认为跨句建模是语言理解中重要的一部分,为此提出了句序预测损失:

  • 正样本与 BERT 相同,来自同一文档中的两个连续片段。
  • 负样本则是相同两个连续片段,但交换它们的顺序。

模型必须判断哪个片段是先出现的,这样能强迫模型学习更细致的一致性区别。

讨论

BERT 与 ALBERT 的整体比较

ALBERT 的设计选择主要体现在参数效率的提升。

如上表所示:在 BOOKCORPUS 和 Wikipedia 预训练 125K 步的开发集比较中,ALBERT-xxlarge 使用 235M 参数,约为 BERT-large 334M 的 70%,且多个代表性下游任务分数较高:SQuAD v1.1 F1(+1.9 个百分点)、SQuAD v2.0 F1(+3.1 个百分点)、MNLI(+1.4 个百分点)、SST-2(+2.2 个百分点)、RACE(+8.4 个百分点)。

此外,在相同 TPU 数量下,以 BERT-large 的数据吞吐量为基准,ALBERT-large 约快 1.7 倍;ALBERT-xxlarge 虽然参数较少,却因隐藏层更大而约慢三倍。

嵌入参数分解

上表展示了在 ALBERT-base 设置下,改变词汇嵌入大小 EE 的效果。

对于非共享参数的情况下(BERT 风格),较大的嵌入尺寸带来了些许性能提升,但在全参数共享(ALBERT 风格)下,嵌入大小 E=128E=128 表现最佳。

基于这些结果,作者决定在未来的设置中使用嵌入大小 E=128E=128 进行模型扩展。

跨层参数共享

上表展示了不同的跨层参数共享策略实验结果:

  • 使用 ALBERT-base 配置(E=768E=768 和 E=128E=128)。

相较于不共享,全共享策略在两种条件下都降低表中的 Avg 分数;E=128E=128 降 1.5 分,E=768E=768 降 2.5 分。

大部分分数下降出现在共享 FFN 参数的设置;只共享注意力参数时,E=128E=128 的 Avg 比不共享高 0.1 分,E=768E=768 则低 0.7 分。

虽然可以考虑将 L 层划分为 N 个大小为 M 的组,每组内共享参数,但实验表明,分组的大小愈小,性能愈好,但参数总数也随之增加。

因此,作者最终选择了全共享策略作为默认。

句序预测的有效性

作者比较了三种跨句损失条件:

  • 无(XLNet 和 RoBERTa 风格)
  • NSP(BERT 风格)
  • SOP(ALBERT 风格)。

结果显示,使用 NSP 损失的模型在 SOP 任务上只有 52.0% 准确率,接近未加入跨句损失的 53.3%;这支持作者认为 NSP 主要学到主题转换的解释。使用 SOP 损失的模型在 NSP 任务上得到 78.9%,在 SOP 任务上得到 86.5%。

此外,与 NSP 列相比,SOP 列在多句输入任务的开发集分数较高:SQuAD 1.1 F1 高 0.9 个百分点、SQuAD 2.0 F1 高 2.8 个百分点、RACE 准确率高 1.7 个百分点;SST-2 则由 91.1 降至 90.3。

NLU 任务的当前最先进水平

ALBERT 在 GLUE benchmark 上的表现


ALBERT 在 SQuAD and RACE benchmarks 上的表现


最后,作者在两种微调设置下发表了 SOTA 结果:单模型 和 系集模型:

  • 单模型:
    • 开发集分数报告五次运行的中位数;GLUE 的这一组单模型开发集结果不能直接当作测试集成绩。
    • 单模型的 ALBERT 配置使用了最佳表现的设置:ALBERT-xxlarge 配置,结合了 MLM 和 SOP 的损失函数,且不使用 dropout。
  • 系集模型:
    • 候选检查点根据开发集表现选取,每个任务考虑的检查点数量为 6 到 17 个。
    • 在 GLUE 和 RACE 基准测试中,系集模型的预测结果是对来自不同训练步骤的 12 层和 24 层架构进行微调后的模型预测进行平均。
    • 在 SQuAD 中,则是对具有多个概率的 span 的预测分数进行平均,并对「无法回答」的决策分数进行平均。

表 9、10 的下列最佳成绩来自测试集的系集模型,不能与上方的单模型开发集列混用:

  • GLUE:取得了 89.4 分
  • SQuAD 2.0:测试 F1 分数达到 92.2
  • RACE:测试准确率达到 89.4

RACE 测试的结果特别好,相较于其他模型的提升幅度巨大:

  • 比表中的 BERT-large 单模型高 17.4 个百分点。
  • 比 XLNet 单模型高 7.6 个百分点。
  • 比 RoBERTa 单模型高 6.2 个百分点。
  • 比 DCMN+ 系集模型高 5.3 个百分点。

这些列的单模型/系集设置不同;若只看 ALBERT 单模型,RACE 测试准确率是 86.5%。

结论

ALBERT 以创新的方式大幅提升了参数效率,并且引入了更具针对性的损失函数来提升跨句理解任务的表现。它的设计理念对于未来的大型语言模型具有深远的影响。

如果你也是在资源有限的环境下开发语言模型,ALBERT 可能是一个不错的选择!