返回论文笔记资料库
arXiv 2019语言模型与 Transformer论文笔记

Sparse Transformer

稀疏注意力机制

原始论文

Generating Long Sequences with Sparse Transformers

论文作者

Rewon Child · Scott Gray · Alec Radford · Ilya Sutskever

发表版本
正式发表信息尚未核实
arXiv 首次提交
arXiv:1904.10509
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{transformerssparsetransformer2019,
  title = {{Generating Long Sequences with Sparse Transformers}},
  author = {Rewon Child and Scott Gray and Alec Radford and Ilya Sutskever},
  year = {2019},
  eprint = {1904.10509},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1904.10509}
}
本页内容

Transformer 的自注意力机制的计算复杂度为 O(n2)O(n^2)。

当任何一个算法的计算复杂度出现这种情况时,都意味着其中有非常大量的优化空间。

OpenAI 在基础研究上做了非常多的努力,其中一个就是本篇论文所提出的 Sparse Transformer。

定义问题

为了研究原本的 Transformer 模型在实际场景中,注意力机制是如何运作的,研究者首先做了一个影像生成模型。

这个模型是基于 Decoder-Only 的 Transformer 架构,将图像的像素通道值按顺序排成原始字节序列,再由 Transformer 自回归地生成图像。

模型有 128 层,在 CIFAR-10 数据集上训练,注意力可视化如上图,这张图在这篇论文中非常重要,这是本研究的起点。


在上图中,你会看到一些白色的光斑,这是作者将模型的注意力图可视化后得到的结果。黑色的部分是还没有解码的部分,所以你看到黑色的交界处,就是此刻的「正在解码的 Token」,而白色的光斑这是这个「正在解码的 Token」所关注的范围。

这里分为几个部分进行分析:

最前面的几层

在最前面的几层,模型的注意力范围环绕在「正在解码的 Token」周围,这像是卷积神经网络的感受野。

第 19~20 层

在第 19 层和第 20 层,网络学会了将注意力分散到行注意力和列注意力上,从而有效地分解全局注意力计算。

不特定几层

在有些层,注意力范围非常大,这意味着这些层有全局的视野。

第 64~128 层

这里占据了模型一半的层数,在后半部分。

可以发现,这些层的注意力权重高度稀疏,只有少数位置获得较高权重,这些层仍会对相应位置进行计算。


这种实验结果,带给我们的启示是:

  • 在 Transformer 中,注意力机制并不是所有 Token 都需要关注所有 Token,不断地堆叠全局注意力是非常浪费的行为。

解决问题

解决问题的思路就是:我们预先指定每个位置可以关注哪些 Token,而不是让每个 Token 都与所有先前 Token 计算注意力。

在上图 (a) 中,指的是原本的 Transformer,而 (b) 和 (c) 是作者尝试使用的 Sparse Transformer 的架构。上面的小图以 6×6 影像示意两种注意力连接,大图是把这些连接摊平成 N x N 的矩阵;两种稀疏模式经过连续的注意力步骤,仍可让任意先前位置的信息传到后续位置。

你可能会注意到上三角的部分呈现空白,因为这是一个 Decoder-Only 的模型,所以每个 Token 只需要关注自己之前的 Token。

解题思路 1: 固定步长

也就是上图 (b) 中的架构,这个架构参考了刚才所提到的实验结果:

  • 一个注意力步骤关注目前位置附近、前面约一个步长的 Token,即 Row 的部分。
  • 另一个注意力步骤沿固定步长,关注前面同一列位置的 Token,即 Column 的部分(例如相隔 6、12、18... 个位置)。

解题思路 2: 固定特定 Index 的 Token

也就是上图 (c) 中的架构。「固定步长」适合位置与步长对齐的数据,例如图像;对文本这类缺少周期结构的数据,作者发现它可能难以传递相关信息。

因此作者提出「固定特定 Index 的 Token」策略:每个区块先做局部注意力,另一个注意力步骤再读取先前区块末尾的几个位置。论文中的音频实验仍使用固定步长。

这个策略所期待的效果是将区块末尾的 Token 作为类似「锚点」的感觉,让模型先将先前区块的信息汇聚在这些「锚点」上,而后经由下一个注意力步骤传到后续位置。

修改后注意力机制

看懂上面的设计理念之后,论文中提到的数学式就变得非常直观了:

  1. Attention

    • Attend(X,S)=a(xi,Si),i∈{1,…,n}\text{Attend}(X, S) = a(x_i, S_i), i \in \{1, \ldots, n\}
  2. Attention weight function

    • a(xi,Si)=softmax((Wqxi)(KS)Td)VSa(x_i, S_i) = \text{softmax} \left( \frac{(W_q x_i) (K_S)^T}{\sqrt{d}} \right) V_S
  3. Key and Value

    • KS=Wkxj,j∈SiK_S = W_k x_j, j \in S_i
    • VS=Wvxj,j∈SiV_S = W_v x_j, j \in S_i

其中, WqW_q, WkW_k, 和 WvW_v 分别代表查询 (Query)、键 (Key) 和值 (Value) 的权重矩阵。

简单来说,就是只在预先指定的 SiS_i 位置之间计算注意力权重;每个位置仍可依内容分配不同权重。两种模式的注意力计算量由 O(n2)O(n^2) 降为 O(nn)O(n\sqrt n)。

其他优化

除了上面提到的注意力机制的优化,论文中还提到了一些其他的优化方法:

为了训练数百层网络,作者也改用预先归一化的残差区块,并依层数缩小注意力与前馈输出投影的初始化尺度。

  1. 引入 Checkpointing 的技术

    梯度检查点技术的基本原理是,在前向传播的过程中,并不会保存所有的中间激活值。相反,它只保存一部分关键的激活值。在反向传播时,根据保留的激活值重新计算丢弃的中间激活值。因此内存的使用量会下降,但计算量会增加,因为需要重新计算一些前向传播的部分。

    这个技术来自于这篇论文:

    在本文中,注意力矩阵与前馈网络的中间结果会于反向传播时重新计算,以减少内存使用量,让模型可以训练更深的网络。

  2. Position Embedding 的重要性

    作者发现使用能够编码数据结构注意力模式的 Position Embedding 对模型的性能非常重要。

    • 对于图像数据

      作者使用 ddata=3d_{\text{data}} = 3,对应于每个输入 Token 的行、列和通道位置。

    • 对于文本和音频数据

      作者使用 dattn=2d_{\text{attn}} = 2,索引对应于矩阵中每个位置的行和列索引。

    这样的 Embedding 方法对应不同数据类型或注意力模式的结构;作者发现这些位置信息对模型表现很重要。

  3. 混合精度

    作者以单精度浮点保存网络权重,但以半精度计算网络激活值和梯度。在梯度计算过程中,使用动态损失缩放来减少数值下溢,并且在跨多个 GPU 求平均值时传递半精度梯度。采样时,将查询和键转换为单精度,因为查询键乘积有时会溢出半精度的最大值。

训练设置

  • 使用 Adam 优化器。
  • 进行 5000 次迭代的线性预热 (linear warm-up)。
  • 使用 1.0 的梯度裁剪 (gradient clipping)。
  • 使用 0.01 的权重衰减惩罚 (weight decay penalty)。
  • 根据余弦衰减 (cosine decay) 对学习率进行退火 (参考 Radford et al., 2018)。
  • 默认在 8 个 V100 GPU 上进行训练。
  • 从 N(0,0.125/d)\mathcal{N}(0, 0.125 / \sqrt{d}) 初始化内容嵌入 WeW_e。
  • 从 N(0,0.125/d⋅nemb)\mathcal{N}(0, 0.125 / \sqrt{d \cdot n_{emb}}) 初始化位置嵌入。
  • 在注意力和 FFN 组件中的所有 Bias 均初始化为 0。
  • 所有权重均从 N(0,0.125/din)\mathcal{N}(0, 0.125 / \sqrt{d_{\text{in}}}) 初始化。
  • 输出 logits 的权重矩阵初始化为 0。

讨论

CIFAR-10

测试集上达到 2.80 bits per byte(影像任务亦称 bits per dim),低于表中先前最佳的 2.85。

  • 模型配置:
    • 2 个头(heads)
    • 128 层
    • 嵌入维度 d=256d = 256
    • 半尺寸前馈网络和查询键投影
  • 训练参数:
    • 学习率:0.00035
    • Dropout 率:0.25
    • 训练 120 个 epoch,直到验证误差停止减少
  • 数据划分:
    • 训练集:48000 个样本
    • 验证集:2000 个样本

论文 Table 2 的 CIFAR-10 对照中,strided、dense、fixed 模式分别为 2.80、2.82、2.85 bits per byte;这里是 strided 最好。

EnWik8

模型达到 0.99 Bits per byte,超越了类似尺寸的 Transformer-XL 的最先进水平 1.03,并与使用两倍以上参数训练的模型的 0.99 持平。

在论文 Table 2 的相同数据集比较中,fixed 模式为 0.99、dense attention 为 1.00、strided 模式为 1.13 bits per byte;稀疏模式并非在所有数据上都同样有效。

  • 模型配置:
    • 30 层(Fixed)
    • 8 个头(heads)
    • 嵌入维度 d=512d = 512
    • Dropout 率:0.40
  • 训练参数:
    • 训练 80 个 epoch,直到验证损失停止减少
    • 上下文长度:12,288
    • 步长:128
  • 数据划分:
    • 训练集:前 9000 万个 Token
    • 验证集和测试集:最后 1000 万个 Token

ImageNet 64x64

为了测试模型学习长范围依赖性和扩展到大型数据集的能力,作者在下采样 ImageNet 版本上进行训练,并在验证集上进行评估。

模型在验证集上达到 3.44 Bits per byte,相比先前的 3.52 有提升。

论文另展示参数约 3 亿的较大模型生成样本;作者在这些样本的大多数图像中看到了长期结构的证据,这与上面的 1.52 亿参数模型验证集数值是不同实验。

  • 模型配置:
    • 48 层(Strided)
    • 16 个头(heads)
    • 嵌入维度 d=512d = 512
    • 总参数量:1.52 亿
  • 训练参数:
    • 步长:128
    • Dropout 率:0.01
    • 训练 70 个 epoch
    • 使用 64 个 V100 GPU,训练时间为 7 天

结论

Sparse Transformer 展示了在多种数据类型(包括自然图像、文本和原始音频)上的应用效果。论文表明,在多个基准上,它以更少的注意力计算,取得与全注意力基线相当或更好的结果;具体表现仍取决于数据与稀疏模式。

该研究成果在之后的研究中得到了更广泛的应用和发展,后续有很多研究项目都有提到,我们先把这篇论文读起来放着,之后一定会再遇到的。