Generating Long Sequences with Sparse Transformers
- 发表版本
- 正式发表信息尚未核实
- arXiv 首次提交
- arXiv:1904.10509
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{transformerssparsetransformer2019,
title = {{Generating Long Sequences with Sparse Transformers}},
author = {Rewon Child and Scott Gray and Alec Radford and Ilya Sutskever},
year = {2019},
eprint = {1904.10509},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1904.10509}
}
Transformer 的自注意力机制的计算复杂度为 。
当任何一个算法的计算复杂度出现这种情况时,都意味着其中有非常大量的优化空间。
OpenAI 在基础研究上做了非常多的努力,其中一个就是本篇论文所提出的 Sparse Transformer。
定义问题
为了研究原本的 Transformer 模型在实际场景中,注意力机制是如何运作的,研究者首先做了一个影像生成模型。
这个模型是基于 Decoder-Only 的 Transformer 架构,将图像的像素通道值按顺序排成原始字节序列,再由 Transformer 自回归地生成图像。
模型有 128 层,在 CIFAR-10 数据集上训练,注意力可视化如上图,这张图在这篇论文中非常重要,这是本研究的起点。
在上图中,你会看到一些白色的光斑,这是作者将模型的注意力图可视化后得到的结果。黑色的部分是还没有解码的部分,所以你看到黑色的交界处,就是此刻的「正在解码的 Token」,而白色的光斑这是这个「正在解码的 Token」所关注的范围。
这里分为几个部分进行分析:
最前面的几层
在最前面的几层,模型的注意力范围环绕在「正在解码的 Token」周围,这像是卷积神经网络的感受野。
第 19~20 层
在第 19 层和第 20 层,网络学会了将注意力分散到行注意力和列注意力上,从而有效地分解全局注意力计算。
不特定几层
在有些层,注意力范围非常大,这意味着这些层有全局的视野。
第 64~128 层
这里占据了模型一半的层数,在后半部分。
可以发现,这些层的注意力权重高度稀疏,只有少数位置获得较高权重,这些层仍会对相应位置进行计算。
这种实验结果,带给我们的启示是:
- 在 Transformer 中,注意力机制并不是所有 Token 都需要关注所有 Token,不断地堆叠全局注意力是非常浪费的行为。
解决问题
解决问题的思路就是:我们预先指定每个位置可以关注哪些 Token,而不是让每个 Token 都与所有先前 Token 计算注意力。
在上图 (a) 中,指的是原本的 Transformer,而 (b) 和 (c) 是作者尝试使用的 Sparse Transformer 的架构。上面的小图以 6×6 影像示意两种注意力连接,大图是把这些连接摊平成 N x N 的矩阵;两种稀疏模式经过连续的注意力步骤,仍可让任意先前位置的信息传到后续位置。
你可能会注意到上三角的部分呈现空白,因为这是一个 Decoder-Only 的模型,所以每个 Token 只需要关注自己之前的 Token。
解题思路 1: 固定步长
也就是上图 (b) 中的架构,这个架构参考了刚才所提到的实验结果:
- 一个注意力步骤关注目前位置附近、前面约一个步长的 Token,即 Row 的部分。
- 另一个注意力步骤沿固定步长,关注前面同一列位置的 Token,即 Column 的部分(例如相隔 6、12、18... 个位置)。
解题思路 2: 固定特定 Index 的 Token
也就是上图 (c) 中的架构。「固定步长」适合位置与步长对齐的数据,例如图像;对文本这类缺少周期结构的数据,作者发现它可能难以传递相关信息。
因此作者提出「固定特定 Index 的 Token」策略:每个区块先做局部注意力,另一个注意力步骤再读取先前区块末尾的几个位置。论文中的音频实验仍使用固定步长。
这个策略所期待的效果是将区块末尾的 Token 作为类似「锚点」的感觉,让模型先将先前区块的信息汇聚在这些「锚点」上,而后经由下一个注意力步骤传到后续位置。
修改后注意力机制
看懂上面的设计理念之后,论文中提到的数学式就变得非常直观了:
-
Attention
-
Attention weight function
-
Key and Value
其中, , , 和 分别代表查询 (Query)、键 (Key) 和值 (Value) 的权重矩阵。
简单来说,就是只在预先指定的 位置之间计算注意力权重;每个位置仍可依内容分配不同权重。两种模式的注意力计算量由 降为 。
其他优化
除了上面提到的注意力机制的优化,论文中还提到了一些其他的优化方法:
为了训练数百层网络,作者也改用预先归一化的残差区块,并依层数缩小注意力与前馈输出投影的初始化尺度。
-
引入 Checkpointing 的技术
梯度检查点技术的基本原理是,在前向传播的过程中,并不会保存所有的中间激活值。相反,它只保存一部分关键的激活值。在反向传播时,根据保留的激活值重新计算丢弃的中间激活值。因此内存的使用量会下降,但计算量会增加,因为需要重新计算一些前向传播的部分。
这个技术来自于这篇论文:
在本文中,注意力矩阵与前馈网络的中间结果会于反向传播时重新计算,以减少内存使用量,让模型可以训练更深的网络。
-
Position Embedding 的重要性
作者发现使用能够编码数据结构注意力模式的 Position Embedding 对模型的性能非常重要。
-
对于图像数据
作者使用 ,对应于每个输入 Token 的行、列和通道位置。
-
对于文本和音频数据
作者使用 ,索引对应于矩阵中每个位置的行和列索引。
这样的 Embedding 方法对应不同数据类型或注意力模式的结构;作者发现这些位置信息对模型表现很重要。
-
-
混合精度
作者以单精度浮点保存网络权重,但以半精度计算网络激活值和梯度。在梯度计算过程中,使用动态损失缩放来减少数值下溢,并且在跨多个 GPU 求平均值时传递半精度梯度。采样时,将查询和键转换为单精度,因为查询键乘积有时会溢出半精度的最大值。
训练设置
- 使用 Adam 优化器。
- 进行 5000 次迭代的线性预热 (linear warm-up)。
- 使用 1.0 的梯度裁剪 (gradient clipping)。
- 使用 0.01 的权重衰减惩罚 (weight decay penalty)。
- 根据余弦衰减 (cosine decay) 对学习率进行退火 (参考 Radford et al., 2018)。
- 默认在 8 个 V100 GPU 上进行训练。
- 从 初始化内容嵌入 。
- 从 初始化位置嵌入。
- 在注意力和 FFN 组件中的所有 Bias 均初始化为 0。
- 所有权重均从 初始化。
- 输出 logits 的权重矩阵初始化为 0。
讨论
CIFAR-10
测试集上达到 2.80 bits per byte(影像任务亦称 bits per dim),低于表中先前最佳的 2.85。
- 模型配置:
- 2 个头(heads)
- 128 层
- 嵌入维度
- 半尺寸前馈网络和查询键投影
- 训练参数:
- 学习率:0.00035
- Dropout 率:0.25
- 训练 120 个 epoch,直到验证误差停止减少
- 数据划分:
- 训练集:48000 个样本
- 验证集:2000 个样本
论文 Table 2 的 CIFAR-10 对照中,strided、dense、fixed 模式分别为 2.80、2.82、2.85 bits per byte;这里是 strided 最好。
EnWik8
模型达到 0.99 Bits per byte,超越了类似尺寸的 Transformer-XL 的最先进水平 1.03,并与使用两倍以上参数训练的模型的 0.99 持平。
在论文 Table 2 的相同数据集比较中,fixed 模式为 0.99、dense attention 为 1.00、strided 模式为 1.13 bits per byte;稀疏模式并非在所有数据上都同样有效。
- 模型配置:
- 30 层(Fixed)
- 8 个头(heads)
- 嵌入维度
- Dropout 率:0.40
- 训练参数:
- 训练 80 个 epoch,直到验证损失停止减少
- 上下文长度:12,288
- 步长:128
- 数据划分:
- 训练集:前 9000 万个 Token
- 验证集和测试集:最后 1000 万个 Token
ImageNet 64x64
为了测试模型学习长范围依赖性和扩展到大型数据集的能力,作者在下采样 ImageNet 版本上进行训练,并在验证集上进行评估。
模型在验证集上达到 3.44 Bits per byte,相比先前的 3.52 有提升。
论文另展示参数约 3 亿的较大模型生成样本;作者在这些样本的大多数图像中看到了长期结构的证据,这与上面的 1.52 亿参数模型验证集数值是不同实验。
- 模型配置:
- 48 层(Strided)
- 16 个头(heads)
- 嵌入维度
- 总参数量:1.52 亿
- 训练参数:
- 步长:128
- Dropout 率:0.01
- 训练 70 个 epoch
- 使用 64 个 V100 GPU,训练时间为 7 天
结论
Sparse Transformer 展示了在多种数据类型(包括自然图像、文本和原始音频)上的应用效果。论文表明,在多个基准上,它以更少的注意力计算,取得与全注意力基线相当或更好的结果;具体表现仍取决于数据与稀疏模式。
该研究成果在之后的研究中得到了更广泛的应用和发展,后续有很多研究项目都有提到,我们先把这篇论文读起来放着,之后一定会再遇到的。