返回论文笔记资料库
arXiv 2019ICML 2019模型适配论文笔记

Adapter

参数节省九成六

原始论文

Parameter-Efficient Transfer Learning for NLP

论文作者

Neil Houlsby · Andrei Giurgiu · Stanislaw Jastrzebski …

查看全部 8 位作者

Neil Houlsby · Andrei Giurgiu · Stanislaw Jastrzebski · Bruna Morrone · Quentin de Laroussilhe · Andrea Gesmundo · Mona Attariyan · Sylvain Gelly

发表版本
ICML 2019会议
arXiv 首次提交
arXiv:1902.00751
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{modeltuningadapter2019,
  title = {{Parameter-Efficient Transfer Learning for NLP}},
  author = {Neil Houlsby and Andrei Giurgiu and Stanislaw Jastrzebski and Bruna Morrone and Quentin de Laroussilhe and Andrea Gesmundo and Mona Attariyan and Sylvain Gelly},
  year = {2019},
  eprint = {1902.00751},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1902.00751}
}
本页内容

BERT 提出后,奠定了 NLP 的学习范式:

  • 我们必须先用「大量」数据训练一个「大型」模型,然后再进行微调。

遵循这个学习范式,往往能在各种 NLP 任务上取得良好表现。

定义问题

本论文的作者认为这件事有个显而易见的问题:

浪费!

回想一下,在目标任务上,我们是不是必须拿整个预训练模型来微调?

  • 即使我们只需要改变其中一小部分。

所以,如果我们想解决十个不同的任务,我们就必须训练十个不同的模型?

  • 即使这些任务之间有很多共通之处。

明明有很多共通之处,为什么我们还要浪费这么多资源?

解决问题

这里,我们需要的东西不多,只是给每个任务一个小小的「Adapter」。

作者在现有的 Transformer 架构中加入了一些小但高效的 Adapter 模块,这些 Adapter 的目的是在不增加太多额外参数的情况下,提高模型的表现。

这里请搭配上图看一下,作者在 Transformer 的每一层中加入两个 Adapter 模块。

  • 第一个加在 Self-Attention 的输出投影之后、原有残差相加与 LayerNorm 之前。
  • 第二个加在 Feed-Forward 的输出投影之后、原有残差相加与 LayerNorm 之前。

每个 Adapter 模块的工作方式就像一个小型的神经网络,先将原始的高维特征压缩到较低维度,再应用非线性转换,最后再转换回原来的高维度。

这样的设计就是我们以前常在 MobileNet 或 SqueezeNet 等轻量级模型中看到的「瓶颈」的设计,这种设计有两个好处:

  • 节省参数: 这样的设计只需要原模型大约 0.5% - 8% 的参数量。
  • 调整特征: 在较窄的瓶颈中学习任务相关的变换,再投影回原本维度。

另外,为了确保每个 Adapter 模块能够顺利运作,作者还为每个 Adapter 模块内部加入了一个「跳跃连接」,这样一来,如果 Adapter 模块初始化的参数接近于零,它们就会像恒等函数一样不会影响原来的输出,保证了稳定性。

在模型训练时,预训练的 Transformer 权重保持冻结;除了 Adapter,作者也训练每个任务的 LayerNorm 参数和最后的分类层。

讨论

GLUE 评价

作者用 GLUE 验证集选择超参数与模型,上表报告的是 GLUE 测试集成绩。

结果显示:这种 Adapter 模块的设计只增加少量任务专属参数,就能接近完整微调的表现。

上面表格中有分两种实验设计:

  • 第一组实验 (8-256):这个设计是针对不同任务设计不同的 Adapter 模块,其特征维度(瓶颈中的单元数量)在 「8, 64, 256」 三选一。
  • 第二组实验 (64):每个任务仍有各自的 Adapter,但瓶颈维度都固定为 64。

最后,由于训练不稳定,作者使用不同的随机种子重新运行 5 次,并在验证集上选择最佳模型。

从上面的表格中,Adapter (8–256) 的综合 GLUE 得分为 80.0,而「完全微调」为 80.4。虽然 Adapter 的表现略低,但每个任务训练的参数约为 BERT-Large 的 3.6%;解决表中所有任务时,总参数量约为基底模型的 1.3 倍,而完整微调需要 9 倍。这样的效果已经非常惊人了。

消融实验

为了检验 Adapter 模块的有效性,作者进行了一系列的消融实验。

这是热图,显示已训练好的 BERT-Base 模型从连续层跨度中移除 Adapter、且不重新训练时,验证集准确率的相对变化;左、右图分别是 MNLI 和 CoLA。

实验结果展示了 Adapter 整体结果:

  1. 移除层影响:

    • 移除单层的 Adapter 对整体性能影响不大,验证集准确率的相对下降最多约 2%。
    • 但如果移除所有 Adapter,验证集准确率会大幅下降,在 MNLI 上降到约 37%,在 CoLA 上降到约 69%,相当于预测多数类别的基线;这里的 CoLA 准确率不同于上表使用的 Matthews correlation。
  2. 高低层影响:

    • 在 MNLI 上,低层 Adapter(例如 0–4 层)的影响较小,移除它们几乎不影响性能。
    • 高层 Adapter 对性能影响更大;作者推测高层较常建构特定任务的特征。
  3. 初始化尺度:

    • Adapter 的初始化标准差低于 0.01 时,性能稳健。
    • 初始化标准差过大会导致性能下降,尤其在 CoLA 数据集上。
  4. 瓶颈特征大小:8、64、256 三种维度在该组分类任务的平均验证准确率分别为 86.2%、85.8%、85.7%,性能相对稳定。

  5. 架构扩展:添加 BatchNorm 或 LayerNorm、增加 Adapter 层数、更换激活函数(例如:tanh)、仅在注意层内插入 Adapter 等方法没有显著提升性能。

因此,作者推荐最原始的 Adapter 的设计,因为它既简单又有效,不用伤脑筋。

结论

Adapter 模块的设计理念,就像是在模型中加了一些小而高效的插件,只需很少的参数,大约 0.5% 至 8%,就能让模型性能迁移到我们的目标任务上。例如一个 30B 参数量的模型,按这个比例计算,任务专属参数约为 0.15 ~ 2.4B;实际效果还要看模型与任务。

能够让算力有限的普通人更容易微调大型 Transformer 模型,从各方面来说,都是个非常好的消息!