Longformer: The Long-Document Transformer
- 发表版本
- 正式发表信息尚未核实
- arXiv 首次提交
- arXiv:2004.05150
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{transformerslongformer2020,
title = {{Longformer: The Long-Document Transformer}},
author = {Iz Beltagy and Matthew E. Peters and Arman Cohan},
year = {2020},
eprint = {2004.05150},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2004.05150}
}
Transformer 的自注意力机制的计算复杂度为 。
当任何一个算法的计算复杂度出现这种情况时,都意味着其中有非常大量的优化空间。
恩?这个开头是不是有点熟悉?
定义问题
为了解决原始的 Transformer 计算复杂度的问题,研究者不停地寻找优化的方法。
一部分的方法是采用 Transformer-XL 的设计理念,按固定长度片段处理长文档,并复用前面片段的记忆。
但滑动窗口的这种设计,对于双向的注意力机制上有着天生的设计缺陷。
另外一种流派则是采用稀疏注意力机制,例如:比这篇论文还要早一年提出的 Sparse Transformer。
而过去关于稀疏注意力机制的研究,虽然已有预训练和下游任务的尝试,但对长文档预训练模型的微调与更多下游任务的泛化能力,仍缺少全面验证。
本篇论文的作者的动机到这里就很明确了:
- 长上下文采用「稀疏注意力机制」是一个不错的解题方向。
- 但是注意力图的设计必须进行优化。
- 并且应该引入预训练的框架和测试更多下游任务的泛化能力。
解决问题
模型架构
这篇论文其实非常容易阅读,因为看到这张图就差不多了。
这里的描述非常明确,图中以原始全注意力为对照,展示了三种稀疏注意力模式:
- 上图 (a) 是原始的注意力机制,每个 Token 都需要关注到所有其他 Token。
- 上图 (b) 是 Sliding Window Attention,每个 Token 只关注到前后固定范围内的 Token。
- 上图 (c) 是 Dilated Sliding Window Attention,每个 Token 关注到前后固定「间隔」的 Token。
- 上图 (d) 是 Global+Sliding Window Attention,除了每个 Token 只关注到前后固定范围内的 Token 之外,有「特定」几个 Token 会和所有其他的 Token 「互相」关注。
- 图中的特定位置只是示意;实际选取的全局 Token 由任务决定。
自回归建模
这里使用的是 Dilated Sliding Window Attention 的注意力机制,也就是上图 (c) 的设计,同时也跟随过去的研究,对于不同层应用了不一样的间隔大小。
特别是低层使用较小的间隔,高层使用较大的间隔,这样的设计可以让模型在不同层次上有不同的感受野。
训练的方面也有一些技巧,首先并不是一开始就直接使用超长的上下文,而是逐渐增加上下文的长度,这样可以让模型更容易收敛。
在初始阶段从较短的序列长度和窗口大小开始。这有助于模型快速学习捕捉局部细节的能力。在后续的每个阶段,系统将窗口大小和序列长度加倍,同时将学习率减半。这种训练方法不仅可以加速训练过程,还可以使模型在进行更复杂计算前有充足的准备,进而处理更长的序列。
模型在总共五个阶段中进行训练。在这五个阶段中,模型逐渐适应处理越来越长的序列。
第一阶段的序列长度是 2,048,逐阶段增长后,最后一阶段达 23,040。这样的逐步增长使模型有能力在不超出内存限制的前提下,处理大规模数据。
自编码建模
除了对比自回归模型之外,作者也想和自编码的模型 BERT 进行比较。
但是考虑到从头预训练的成本高昂,因此作者选择从预训练好的 RoBERTa 权重继续进行 MLM 预训练,同时将原本的自注意力改为 Longformer 的设计。
在这边使用 Sliding Window Attention 的注意力机制,也就是上图 (b) 的设计。
由于是稀疏注意力机制,作者把可处理的序列长度从 RoBERTa 的 512 扩充到 4,096,并复制原有位置嵌入来初始化添加位置。
此外,有些任务会指定全局注意力位置,例如文本分类的 [CLS] Token,还有 QA 任务的所有 Question Token。这些情况下,作者会使用 Global+Sliding Window Attention 的设计,也就是上图 (d) 的设计。
讨论
自回归实验结果
导入图的上半部是论文 Table 2:在小模型的字符级语言建模测试中,Longformer 的 text8/enwik8 测试 BPC 分别是 1.10/1.00,为该表所列最低值。
下半部是 Table 3:较大的 enwik8 模型中,Longformer 以 102M 参数得到 0.99 BPC,与约 100M 参数的 Sparse Transformer 持平;另外两个 209M/277M 参数模型的 0.98/0.97 BPC 更低,不能说它与所有较大模型并列最佳。
自编码实验结果
上表是六项下游任务的开发集结果;WikiHop/IMDB 用准确率,TriviaQA/Hyperpartisan 用 F1,HotpotQA 用 joint F1,OntoNotes 用平均 F1,不能把各栏当成同一指标。
作者观察到 Longformer 始终优于 RoBERTa 基准。
- 对于需要长上下文的任务(例如 WikiHop 和 Hyperpartisan),其性能提升尤其明显。
- 对于 TriviaQA 来说,改进幅度较小,因为本地上下文通常足以回答问题。
- 就 HotpotQA 而言,支持事实辅助监督使模型可以轻松找到相关上下文,然后专注于本地上下文,从而获得较小的收益。
- WikiHop 仅包括对中间推理链的远程监督,Longformer 的方法通过对整个上下文进行推理而表现出色。
- 在 IMDB 和 OntoNotes 数据集上,性能提升较小。IMDB 多数影评较短;OntoNotes 则是提及之间的距离通常较短,所以逐块处理的基线仍能把提及接成共指链。
自回归消融实验
作者以 text8 小模型在第一阶段训练 150K 步,做了两组自回归注意力消融;表中是开发集 BPC,数值愈低愈好,未必代表完整训练后的排序。
第一组实验测试滑动窗口的设计中:
- Decreasing w (from 512 to 32),意思是从底层开始,逐步缩小滑动窗口的大小。
- Fixed w (=230),意思是从头到尾都使用相同大小的滑动窗口。
- Increasing w (from 32 to 512),意思是从底层开始,逐步增加滑动窗口的大小。
结果显示 Increasing w 的 BPC 为 1.21,优于固定窗口的 1.23 和递减窗口的 1.24;在这组消融中,让高层使用较大窗口较有效。
另外一组实验是测试是否使用膨胀滑动窗口;在两个注意力头上加入膨胀后,BPC 从 1.21 降至 1.20。
自编码消融实验
作者针对自编码模型做了一连串的消融实验。
首先是使用 Longformer-base 模型进行所有实验。除非另有说明,所有实验均使用相同的超参数并对五个时期进行微调。
- 长序列的效益: Longformer 能够从更长的序列中受益,提升模型性能。
- 全局注意力的影响: 移除全局注意力的独立投影矩阵时,73.8 降至 72.2;再连全局注意力一起移除时降至 65.5。后者同时改了两项,不能单独归因于全局注意力。
- 预训练的影响: MLM 预训练有助于提升模型性能。
- 训练时间的影响: 将微调从五个 epoch 延至 15 个 epoch,WikiHop 准确率由 73.8 升至 75.0。
- 与 RoBERTa-base 的比较: 当 Longformer 改用 512 长度与完整 注意力时得到 71.7,低于 RoBERTa-base 的 72.4;这支持作者认为主要增益不是额外的 MLM 预训练,但两者并非完全相同的训练设置。
- 仅解冻位置嵌入的影响: 使用预先训练的 RoBERTa 模型并仅解冻附加位置嵌入时,性能略有下降。这表明 Longformer 可以在大型训练数据集(如 WikiHop)的任务特定微调中有效地学习并利用长范围上下文。
结论
我们认为本篇论文的研究重点还是在于稀疏注意力机制的设计。
Longformer 的全局的注意力机制,是通过下游任务来决定应该让「哪个」 Token 具有全局的视野;对比先前的 Sparse Transformer 而是使用固定的间隔来实现「类」全局的注意力机制。
至于哪种设计更好,就实验的表格上来看,Longformer 确实优于过去的其他稀疏架构,但差异其实没有很大。
所以具体要怎么选择,还是看用户的需求吧。(或是每个架构都试试看,也是个可以考虑的方式。)