Parameter-Efficient Transfer Learning for NLP
- 发表版本
- ICML 2019会议
- arXiv 首次提交
- arXiv:1902.00751
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{modeltuningadapter2019,
title = {{Parameter-Efficient Transfer Learning for NLP}},
author = {Neil Houlsby and Andrei Giurgiu and Stanislaw Jastrzebski and Bruna Morrone and Quentin de Laroussilhe and Andrea Gesmundo and Mona Attariyan and Sylvain Gelly},
year = {2019},
eprint = {1902.00751},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1902.00751}
}
BERT 提出后,奠定了 NLP 的学习范式:
- 我们必须先用「大量」数据训练一个「大型」模型,然后再进行微调。
遵循这个学习范式,往往能在各种 NLP 任务上取得良好表现。
定义问题
本论文的作者认为这件事有个显而易见的问题:
浪费!
回想一下,在目标任务上,我们是不是必须拿整个预训练模型来微调?
- 即使我们只需要改变其中一小部分。
所以,如果我们想解决十个不同的任务,我们就必须训练十个不同的模型?
- 即使这些任务之间有很多共通之处。
明明有很多共通之处,为什么我们还要浪费这么多资源?
解决问题
这里,我们需要的东西不多,只是给每个任务一个小小的「Adapter」。
作者在现有的 Transformer 架构中加入了一些小但高效的 Adapter 模块,这些 Adapter 的目的是在不增加太多额外参数的情况下,提高模型的表现。
这里请搭配上图看一下,作者在 Transformer 的每一层中加入两个 Adapter 模块。
- 第一个加在 Self-Attention 的输出投影之后、原有残差相加与 LayerNorm 之前。
- 第二个加在 Feed-Forward 的输出投影之后、原有残差相加与 LayerNorm 之前。
每个 Adapter 模块的工作方式就像一个小型的神经网络,先将原始的高维特征压缩到较低维度,再应用非线性转换,最后再转换回原来的高维度。
这样的设计就是我们以前常在 MobileNet 或 SqueezeNet 等轻量级模型中看到的「瓶颈」的设计,这种设计有两个好处:
- 节省参数: 这样的设计只需要原模型大约 0.5% - 8% 的参数量。
- 调整特征: 在较窄的瓶颈中学习任务相关的变换,再投影回原本维度。
另外,为了确保每个 Adapter 模块能够顺利运作,作者还为每个 Adapter 模块内部加入了一个「跳跃连接」,这样一来,如果 Adapter 模块初始化的参数接近于零,它们就会像恒等函数一样不会影响原来的输出,保证了稳定性。
在模型训练时,预训练的 Transformer 权重保持冻结;除了 Adapter,作者也训练每个任务的 LayerNorm 参数和最后的分类层。
讨论
GLUE 评价
作者用 GLUE 验证集选择超参数与模型,上表报告的是 GLUE 测试集成绩。
结果显示:这种 Adapter 模块的设计只增加少量任务专属参数,就能接近完整微调的表现。
上面表格中有分两种实验设计:
- 第一组实验 (8-256):这个设计是针对不同任务设计不同的 Adapter 模块,其特征维度(瓶颈中的单元数量)在 「8, 64, 256」 三选一。
- 第二组实验 (64):每个任务仍有各自的 Adapter,但瓶颈维度都固定为 64。
最后,由于训练不稳定,作者使用不同的随机种子重新运行 5 次,并在验证集上选择最佳模型。
从上面的表格中,Adapter (8–256) 的综合 GLUE 得分为 80.0,而「完全微调」为 80.4。虽然 Adapter 的表现略低,但每个任务训练的参数约为 BERT-Large 的 3.6%;解决表中所有任务时,总参数量约为基底模型的 1.3 倍,而完整微调需要 9 倍。这样的效果已经非常惊人了。
消融实验
为了检验 Adapter 模块的有效性,作者进行了一系列的消融实验。
这是热图,显示已训练好的 BERT-Base 模型从连续层跨度中移除 Adapter、且不重新训练时,验证集准确率的相对变化;左、右图分别是 MNLI 和 CoLA。
实验结果展示了 Adapter 整体结果:
-
移除层影响:
- 移除单层的 Adapter 对整体性能影响不大,验证集准确率的相对下降最多约 2%。
- 但如果移除所有 Adapter,验证集准确率会大幅下降,在 MNLI 上降到约 37%,在 CoLA 上降到约 69%,相当于预测多数类别的基线;这里的 CoLA 准确率不同于上表使用的 Matthews correlation。
-
高低层影响:
- 在 MNLI 上,低层 Adapter(例如 0–4 层)的影响较小,移除它们几乎不影响性能。
- 高层 Adapter 对性能影响更大;作者推测高层较常建构特定任务的特征。
-
初始化尺度:
- Adapter 的初始化标准差低于 0.01 时,性能稳健。
- 初始化标准差过大会导致性能下降,尤其在 CoLA 数据集上。
-
瓶颈特征大小:8、64、256 三种维度在该组分类任务的平均验证准确率分别为 86.2%、85.8%、85.7%,性能相对稳定。
-
架构扩展:添加 BatchNorm 或 LayerNorm、增加 Adapter 层数、更换激活函数(例如:tanh)、仅在注意层内插入 Adapter 等方法没有显著提升性能。
因此,作者推荐最原始的 Adapter 的设计,因为它既简单又有效,不用伤脑筋。
结论
Adapter 模块的设计理念,就像是在模型中加了一些小而高效的插件,只需很少的参数,大约 0.5% 至 8%,就能让模型性能迁移到我们的目标任务上。例如一个 30B 参数量的模型,按这个比例计算,任务专属参数约为 0.15 ~ 2.4B;实际效果还要看模型与任务。
能够让算力有限的普通人更容易微调大型 Transformer 模型,从各方面来说,都是个非常好的消息!