{"notes":[{"id":"transformers/transformer-xl","category":"transformers","legacyPath":"transformers/1901-transformer-xl","legacySlug":"1901-transformer-xl","legacyPaths":[],"title":"Transformer-XL","subtitle":"更长的上下文","author":"Z. Yuan","paperDate":"2019-01-09","publishedOn":"2024-06-04","paperTitle":"Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context","paperUrl":"https://arxiv.org/abs/1901.02860","bibliography":{"title":"Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context","authors":["Zihang Dai","Zhilin Yang","Yiming Yang","Jaime Carbonell","Quoc V. Le","Ruslan Salakhutdinov"],"url":"https://arxiv.org/abs/1901.02860","pdfUrl":"https://arxiv.org/pdf/1901.02860","codeUrl":null,"preprint":{"id":"1901.02860","submittedOn":"2019-01-09","url":"https://arxiv.org/abs/1901.02860"},"publication":{"venue":"ACL","year":2019,"kind":"conference","url":"https://arxiv.org/abs/1901.02860"},"citation":"@misc{transformerstransformerxl2019,\n  title = {{Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context}},\n  author = {Zihang Dai and Zhilin Yang and Yiming Yang and Jaime Carbonell and Quoc V. Le and Ruslan Salakhutdinov},\n  year = {2019},\n  eprint = {1901.02860},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1901.02860}\n}\n","citationPath":"/content/papers/citations/transformers/transformer-xl.453b0401a19f.bib"},"thumbnail":{"src":"/content/papers/assets/7529f09b2441c7c7c7cb309fb85cdb425af2ac800f6d2a5b5c6266f000b1e21f.jpg","width":1380,"height":320},"locale":"zh-hans","path":"/content/papers/zh-hans/transformers/transformer-xl.f929b5b30d82.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"计算资源限制","text":"计算资源限制","depth":3},{"id":"上下文碎片问题","text":"上下文碎片问题","depth":3},{"id":"解决问题","text":"解决问题","depth":2},{"id":"模型架构","text":"模型架构","depth":3},{"id":"新的问题","text":"新的问题","depth":3},{"id":"相对位置编码","text":"相对位置编码","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"模型表现","text":"模型表现","depth":3},{"id":"消融实验","text":"消融实验","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/roformer","relation":"comparison","topic":"语言模型的位置信息与记忆"},{"id":"transformers/transformer","relation":"comparison","topic":"语言模型的位置信息与记忆"}]},{"id":"transformers/roformer","category":"transformers","legacyPath":"transformers/2104-roformer","legacySlug":"2104-roformer","legacyPaths":[],"title":"RoFormer","subtitle":"旋转位置编码","author":"Z. Yuan","paperDate":"2021-04-20","publishedOn":"2024-07-10","paperTitle":"RoFormer: Enhanced Transformer with Rotary Position Embedding","paperUrl":"https://arxiv.org/abs/2104.09864","bibliography":{"title":"RoFormer: Enhanced Transformer with Rotary Position Embedding","authors":["Jianlin Su","Yu Lu","Shengfeng Pan","Ahmed Murtadha","Bo Wen","Yunfeng Liu"],"url":"https://arxiv.org/abs/2104.09864","pdfUrl":"https://arxiv.org/pdf/2104.09864","codeUrl":null,"preprint":{"id":"2104.09864","submittedOn":"2021-04-20","url":"https://arxiv.org/abs/2104.09864"},"publication":{"venue":"Neurocomputing","year":2024,"kind":"journal","url":"https://doi.org/10.1016/j.neucom.2023.127063"},"citation":"@misc{transformersroformer2021,\n  title = {{RoFormer: Enhanced Transformer with Rotary Position Embedding}},\n  author = {Jianlin Su and Yu Lu and Shengfeng Pan and Ahmed Murtadha and Bo Wen and Yunfeng Liu},\n  year = {2021},\n  eprint = {2104.09864},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2104.09864}\n}\n","citationPath":"/content/papers/citations/transformers/roformer.0fde02c094b2.bib"},"thumbnail":{"src":"/content/papers/assets/ab8dd73daebeab63a89297d61b075d625fc33e9231546a72571b700a37a38cd1.jpg","width":1224,"height":692},"locale":"zh-hans","path":"/content/papers/zh-hans/transformers/roformer.d66b74dd8f76.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"绝对位置三角式","text":"绝对位置：三角式","depth":3},{"id":"绝对位置学习式","text":"绝对位置：学习式","depth":3},{"id":"相对位置xl-式","text":"相对位置：XL 式","depth":3},{"id":"相对位置t5-式","text":"相对位置：T5 式","depth":3},{"id":"还有更多","text":"还有更多","depth":3},{"id":"解决问题","text":"解决问题","depth":2},{"id":"模型架构","text":"模型架构","depth":3},{"id":"高维拓展","text":"高维拓展","depth":3},{"id":"长距离衰减","text":"长距离衰减","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"对比其他位置编码","text":"对比其他位置编码","depth":3},{"id":"glue-benchmark","text":"GLUE benchmark","depth":3},{"id":"限制","text":"限制","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/transformer-xl","relation":"comparison","topic":"语言模型的位置信息与记忆"},{"id":"transformers/transformer","relation":"comparison","topic":"语言模型的位置信息与记忆"}]},{"id":"transformers/transformer","category":"transformers","legacyPath":"transformers/1706-transformer","legacySlug":"1706-transformer","legacyPaths":[],"title":"Transformer","subtitle":"新世界的起点","author":"Z. Yuan","paperDate":"2017-06-12","publishedOn":"2024-05-05","paperTitle":"Attention Is All You Need","paperUrl":"https://arxiv.org/abs/1706.03762","bibliography":{"title":"Attention Is All You Need","authors":["Ashish Vaswani","Noam Shazeer","Niki Parmar","Jakob Uszkoreit","Llion Jones","Aidan N. Gomez","Lukasz Kaiser","Illia Polosukhin"],"url":"https://arxiv.org/abs/1706.03762","pdfUrl":"https://arxiv.org/pdf/1706.03762","codeUrl":null,"preprint":{"id":"1706.03762","submittedOn":"2017-06-12","url":"https://arxiv.org/abs/1706.03762"},"publication":{"venue":"NeurIPS (NIPS)","year":2017,"kind":"conference","url":"https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html"},"citation":"@misc{transformerstransformer2017,\n  title = {{Attention Is All You Need}},\n  author = {Ashish Vaswani and Noam Shazeer and Niki Parmar and Jakob Uszkoreit and Llion Jones and Aidan N. Gomez and Lukasz Kaiser and Illia Polosukhin},\n  year = {2017},\n  eprint = {1706.03762},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1706.03762}\n}\n","citationPath":"/content/papers/citations/transformers/transformer.86c0068d96fd.bib"},"thumbnail":{"src":"/content/papers/assets/29a55cb05497bdd9bbb3f3a96b7ed6656fda3552fa6a0fa5eb29e8e899c1acc1.jpg","width":756,"height":1080},"locale":"zh-hans","path":"/content/papers/zh-hans/transformers/transformer.b84de2c39ebe.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"模型设计","text":"模型设计","depth":3},{"id":"输入层","text":"输入层","depth":3},{"id":"位置编码","text":"位置编码","depth":3},{"id":"自注意力机制","text":"自注意力机制","depth":3},{"id":"多头注意力机制","text":"多头注意力机制","depth":3},{"id":"跨注意力机制","text":"跨注意力机制","depth":3},{"id":"feed-forward-网络","text":"Feed-Forward 网络","depth":3},{"id":"layer-normalization","text":"Layer Normalization","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"为什么要用自注意力机制","text":"为什么要用自注意力机制？","depth":3},{"id":"实验结果机器翻译","text":"实验结果：机器翻译","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/flashattention","relation":"next","topic":"注意力的内存与计算成本"},{"id":"transformers/bert","relation":"next","topic":"双向语言表示的预训练"},{"id":"transformers/gpt_1","relation":"next","topic":"从语言预训练到上下文学习"}]}],"text":"[**BERT**](/blog/papers/transformers/bert) 在应用 Transformer 时，有一个参数叫做「序列长度」。\n\n意思是 BERT 在训练和预测时，每次接受的输入是固定长度的。\n\n那仔细想想，我们在输入文本进行训练时，怎样的方式最理想的呢？\n\n- **当然是将一个完整的文本一次性输入，有多长就输入多长！简直完美！**\n\n## 定义问题\n\n但是不行。\n\n现实是残酷的，算力有限，内存有限，我们无法一次输入所有文本。\n\n作者首先引出了以下几个具体问题：\n\n### 计算资源限制\n\n训练大型模型需要大量的计算资源，包括高性能的 GPU 或 TPU。内存容量限制了能够一次处理的文本长度，过长的文本会导致内存溢出或计算时间过长。特别是 Transformer 的注意力机制，其内存使用量会随着上下文长度成二次方增长，这使得模型难以处理长文本。\n\n### 上下文碎片问题\n\n![上下文碎片问题](/content/papers/assets/cc2dd2b3fce47c4ae0f4ec2848ab01a4c63a03f038675c2621f3eb6deb514c28.jpg)\n\n如上图，为了适应计算资源的限制，文本通常被切割成固定长度的片段进行处理。固定长度片段的处理方式会导致上下文信息的丢失，使模型在预测时缺乏必要的上下文支持。固定长度上下文限制了模型的预测能力，导致性能较差。缺乏跨片段的上下文信息会降低模型的优化效率，无法充分学习文本中的长期依赖性。\n\n\n> [!NOTE]\n> \n> 例如 BERT 模型上下文长度只有 512 个 token，因此在处理长文本时，需要先将长文本切割成多个片段或截断，才能交给 BERT 处理。\n\n\n## 解决问题\n\n### 模型架构\n\n![Transformer-XL 模型架构](/content/papers/assets/7529f09b2441c7c7c7cb309fb85cdb425af2ac800f6d2a5b5c6266f000b1e21f.jpg)\n\n作者首先试着解决上下文碎片的问题。\n\n这里的解题思路就是直接借鉴过去的 RNN 模型，引入递归机制。简单来说，就是在训练模型的过程中，将前一段计算得到的隐藏状态保存起来，停止对这些状态反向传播，并在处理下一段时重新使用。这样，模型在每次处理新的段落时，都能利用之前段落的信息，从而能够对长期依赖性进行建模并避免上下文碎片。\n\n举个例子，假设我们有两个连续的段落，段落 A 和段落 B。在传统的方法中，模型处理段落 B 时，只会考虑段落 B 的内容，完全不知道段落 A 的信息。而使用递归机制后，模型在处理段落 B 时，可以参考段落 A 的隐藏状态，这样段落 B 就能够获取更多的上下文信息。此外，如果保留更多先前段落的隐藏状态，处理段落 B 时也能引入比段落 A 更早的上下文。\n\n也因为模型可以重复使用之前段落的计算结果，而不需要每次都从头计算。在 enwik8 的评估实验中，与重算重叠窗口的 vanilla Transformer 相比，最长注意力设置下的每 token 评估速度快了 1,874 倍。\n\n### 新的问题\n\n在标准 Transformer 模型中，序列的顺序信息由位置编码提供，这些位置编码告诉模型每个单词在序列中的位置，这些编码与单词嵌入一起输入模型。\n\n如果我们简单地在递归机制中使用相同的位置编码，模型将无法区分不同段落中的相同位置，这样会导致性能下降。\n\n举个例子好了：假设我们有一个句子：**\"The cat sat on the mat.\"** 我们将这个句子分成两个段落来处理：\n\n- 段落 A: \"The cat sat\"\n- 段落 B: \"on the mat.\"\n\n在标准的 Transformer 中，每个单词的位置由其在句子中的绝对位置决定。例如：\n\n- \"The\" 的位置是 1\n- \"cat\" 的位置是 2\n- \"sat\" 的位置是 3\n- \"on\" 的位置是 4\n- \"the\" 的位置是 5\n- \"mat\" 的位置是 6\n\n这些位置编码与单词嵌入一起输入到模型中。但是，如果我们在处理段落 B 时，使用与段落 A 相同的位置编码，模型将无法区分这些单词的相对位置，因为 \"on\" 和 \"The\" 都会被编码为位置 1，\"the\" 和 \"cat\" 都会被编码为位置 2，等等。这样会导致模型无法正确理解序列中的位置关系。\n\n而相对位置编码只关心单词之间的相对距离。例如：\n\n- \"cat\" 相对于 \"The\" 的距离是 +1\n- \"sat\" 相对于 \"The\" 的距离是 +2\n- \"sat\" 相对于 \"cat\" 的距离是 +1\n- \"on\" 相对于 \"sat\" 的距离是 +1\n- \"on\" 相对于 \"The\" 的距离是 +3\n\n在相对位置编码中，我们不再直接使用单词的绝对位置，而是使用它们之间的相对距离来进行编码。这样，即使在处理不同的段落，模型也能够根据相对位置正确理解单词之间的关系。\n\n### 相对位置编码\n\n在本篇论文中，对自注意力机制中的 $QK^T$ 展开：\n\n- $Q_i=(x_i+pos_i)W_Q$\n- $K_j=(x_j+pos_j)W_K$\n- $Q_iK_j^T=(x_i+pos_i)W_QW_K^T(x_j+pos_j)^T$\n\n最后，得到了下式：\n\n- $Q_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^Tpos_j^T+pos_iW_QW_K^Tx_j^T+pos_iW_QW_K^Tpos_j^T$\n\n接着，将 $pos_j$ 替换成相对位置向量 $R_{i-j}$；将 $pos_i$ 替换成可学习的向量 $u$, $v$，得到：\n\n- $Q_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^T{\\color{red}{R_{i-j}^T}}+{\\color{green}{u}}W_QW_K^Tx_j^T+{\\color{green}{v}}W_QW_K^T{\\color{red}{R_{i-j}^T}}$\n\n然后将 $uW_Q$ 和 $vW_Q$ 分别吸收为两个可学习的向量，以下沿用 $u$、$v$ 表示，得到：\n\n- $Q_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^T{\\color{red}{R_{i-j}^T}}+{\\color{green}{u}}W_K^Tx_j^T+{\\color{green}{v}}W_K^T{\\color{red}{R_{i-j}^T}}$\n\n考虑到 ${\\color{red}{R_{i-j}^T}}$ 的编码空间和原本 $pos_j$ 的编码空间不同，因此把 $W_K^T$ 换成 $W_{K, R}^T$，得到：\n\n- $Q_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_{K, R}^T{\\color{red}{R_{i-j}^T}}+{\\color{green}{u}}W_K^Tx_j^T+{\\color{green}{v}}W_{K, R}^T{\\color{red}{R_{i-j}^T}}$\n\n最后，在这篇论文中，没有在 QKV 的 V 矩阵中添加位置编码；相对位置信息用于计算 QK 注意力分数。\n\n## 讨论\n\n### 模型表现\n\n![result](/content/papers/assets/a8c660281c95c7f3b46c1a093cc355ad7352aea6ea222f242fda77cdbefba79f.jpg)\n\nTransformer-XL 应用於单字级和字符级语言建模。\n\n数据集包括 WikiText-103、enwik8、text8、十亿字语料库和 Penn Treebank。\n\n1. **Table 1: WikiText-103**：\n\n   - 是最大的字级语言建模基准。\n   - 包含 103M 个训练 token，来自 28K 篇文章。\n   - 注意力长度在训练期间为 384，评估期间为 1600。\n   - 采用自适应 softmax 和输入表示技术。\n   - Transformer-XL 将 SOTA 困惑度从 20.5 降至 18.3。\n\n2. **Table 2: enwik8**：\n\n   - 包含 100M 字节的未处理维基百科文本。\n   - Transformer-XL 比基于 RNN 的模型有显著优势。\n   - 12 层架构达到了与 64 层网络相同的效果，但只用了 17% 的参数预算。\n   - 增加模型大小至 18 层和 24 层，达到了新的 SOTA 结果。\n\n3. **Table 3: text8**：\n\n   - 包含 100M 已处理的维基百科字符，只有 26 个字母和空格。\n   - 使用与 enwik8 相同的模型和超参数，无需进一步调整。\n\n4. **Table 4: One Billion Word**：\n\n   - 测试短期依赖性建模能力，因为句子已被打乱。\n   - Transformer-XL 在表中的困惑度低于所列的先前方法；两者模型大小不同。\n\n\n> [!TIP]\n> \n> 困惑度（Perplexity, 简称 PPL）是自然语言处理（NLP）中的一个衡量语言模型性能的重要指标。它主要用来评估语言模型在预测一组文本数据的效果。\n> \n> 困惑度是一个概率模型在给定测试数据上对于该数据的不确定性的度量，是语言模型分配给测试数据集的平均概率的倒数的指数形式。\n> \n> - **计算公式**\n> \n>   假设我们有一个语言模型，该模型对测试语料库中的一个句子 $W = w_1, w_2, ..., w_N$ 的概率为 $P(W)$，则困惑度的计算公式为：\n> \n>   $\\text{PPL}(W) = P(W)^{-\\frac{1}{N}} = \\left( \\prod_{i=1}^N P(w_i | w_1, w_2, ..., w_{i-1}) \\right)^{-\\frac{1}{N}}$\n> \n>   更一般地，对于整个测试集 $D$，困惑度为：\n> \n>   $\\text{PPL}(D) = 2^{-\\frac{1}{N} \\sum_{i=1}^N \\log_2 P(w_i | w_1, w_2, ..., w_{i-1})}$\n> \n>   其中，$N$ 是测试集中词语的总数，$P(w_i | w_1, w_2, ..., w_{i-1})$ 是模型对词语 $w_i$ 的条件概率。困惑度的值越低，说明语言模型对于测试数据集的预测越好，因为它意味着模型分配给正确词语序列的概率越高。\n> \n\n\n### 消融实验\n\n这里作者针对递归机制和新的位置编码方案进行有效性的研究：\n\n1. **相对位置编码的有效性**：\n\n   ![ablation1](/content/papers/assets/6644b6fe566c026d24e4d6725a6a23b9be807b074eca5ea01a81436406d57189.jpg)\n\n   在需要对长期依赖性进行建模的 WikiText-103 数据集上进行。\n\n   结果如上表，研究人员使用相对位置编码和绝对位置编码进行比较，并区分了「全部」损失和「一半」损失的情况，这些损失指的是交叉熵损失应用的位置。\n\n   作者在正文指出，绝对位置编码搭配半损失较容易训练；半损失排除了训练期间注意力长度非常短的位置，但这张表没有同一绝对位置方案的全损失对照。\n\n   结果显示，递归机制和新的编码方案对于实现最佳性能以及在评估期间推广到更长的注意力序列都是必要的。尽管训练期间的反向传播长度仅为 128，但通过这两种技术，测试时的注意力长度可以增加到 640。在 151M 参数的标准设置中，随着注意力长度的增加，困惑度降低。\n\n\n> [!TIP]\n> \n> 在上面的段落中，提到了“全损失”（Full losses）和“半损失”（half losses），这是指在训练神经网络时如何计算损失，也就是模型预测错误的程度。\n> \n> 1. **全损失（Full losses）**：\n> \n>    - 在这种情况下，模型在计算损失时会考虑输入段落中所有的位置。也就是说，不管是段落的开头还是结尾，每个字或者词的预测错误都会被考虑进去。\n>    - 因此段落开头那些可用上下文较短的位置也会计入损失。\n> \n> 2. **半损失（Half losses）**：\n>    - 在这种情况下，模型在计算损失时只考虑输入段落中最近一半的位置。例如，如果段落有 100 个字，模型只会考虑后 50 个字的预测错误。\n>    - 这样做会排除段落开头可用上下文较短的位置，使计入损失的位置能看到较长的上下文。\n> \n> 在这个研究中，作者指出使用绝对位置编码（absolute encodings）的时候，半损失较容易训练；这与排除段落开头注意力长度很短的位置有关，不能解读为减少对远程信息的依赖。\n\n\n2. **递归机制的有效性**：\n\n   ![ablation2](/content/papers/assets/42e60ccbecbbefeeee25331e2e8c1268227403219048e1ce25f628a2f0b8b1be.jpg)\n\n   作者为了将解决上下文碎片问题的影响与捕获较长上下文长度的好处分开，选择使用一个不需要长期依赖的数据集：One Billion Word 数据集。在这组受控比较中，递归带来的改进可归因于减轻上下文碎片问题。\n\n   他们训练了一个 20 层的 Transformer-XL，参数约为 0.3B，并进行了 400K 步骤。结果如上表所示，即使不需要长期依赖，使用段级递归也能显著提高性能，这与先前讨论的递归机制解决了上下文碎片问题是一致的。\n\n## 结论\n\nTransformer-XL 在语言建模领域展现了强大的实力。它不仅在困惑度上取得了优异的成绩，还能比 RNNs 和传统 Transformer 更有效地处理长期依赖。\n\n此外，Transformer-XL 在评估期间显著加速，并且能够生成连贯的文本文章。这些优势使其在文本生成、无监督特征学习、图像和语音建模等领域展现出广阔的应用前景。无论是在改进现有技术还是开发新应用方面，Transformer-XL 都有潜力成为一个重要的工具。\n","imageSizes":{"/content/papers/assets/cc2dd2b3fce47c4ae0f4ec2848ab01a4c63a03f038675c2621f3eb6deb514c28.jpg":{"width":1380,"height":356},"/content/papers/assets/7529f09b2441c7c7c7cb309fb85cdb425af2ac800f6d2a5b5c6266f000b1e21f.jpg":{"width":1380,"height":320},"/content/papers/assets/a8c660281c95c7f3b46c1a093cc355ad7352aea6ea222f242fda77cdbefba79f.jpg":{"width":1390,"height":1018},"/content/papers/assets/6644b6fe566c026d24e4d6725a6a23b9be807b074eca5ea01a81436406d57189.jpg":{"width":1374,"height":536},"/content/papers/assets/42e60ccbecbbefeeee25331e2e8c1268227403219048e1ce25f628a2f0b8b1be.jpg":{"width":968,"height":276}}}
