{"notes":[{"id":"transformers/sparse-transformer","category":"transformers","legacyPath":"transformers/1904-sparse-transformer","legacySlug":"1904-sparse-transformer","legacyPaths":[],"title":"Sparse Transformer","subtitle":"疎な注意機構","author":"Z. Yuan","paperDate":"2019-04-23","publishedOn":"2024-06-09","paperTitle":"Generating Long Sequences with Sparse Transformers","paperUrl":"https://arxiv.org/abs/1904.10509","bibliography":{"title":"Generating Long Sequences with Sparse Transformers","authors":["Rewon Child","Scott Gray","Alec Radford","Ilya Sutskever"],"url":"https://arxiv.org/abs/1904.10509","pdfUrl":"https://arxiv.org/pdf/1904.10509","codeUrl":null,"preprint":{"id":"1904.10509","submittedOn":"2019-04-23","url":"https://arxiv.org/abs/1904.10509"},"publication":null,"citation":"@misc{transformerssparsetransformer2019,\n  title = {{Generating Long Sequences with Sparse Transformers}},\n  author = {Rewon Child and Scott Gray and Alec Radford and Ilya Sutskever},\n  year = {2019},\n  eprint = {1904.10509},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1904.10509}\n}\n","citationPath":"/content/papers/citations/transformers/sparse-transformer.961330a17a72.bib"},"thumbnail":{"src":"/content/papers/assets/847fd8e03beeb4395ae629700c5daaf1fa75dd302949008b9c248f7d77a8f9bc.jpg","width":1392,"height":694},"locale":"ja","path":"/content/papers/ja/transformers/sparse-transformer.bbb5722de6c8.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"最前面の数層","text":"最前面の数層","depth":3},{"id":"1920-層","text":"19〜20 層","depth":3},{"id":"特定されない層","text":"特定されない層","depth":3},{"id":"64128-層","text":"64〜128 層","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"解法アプローチ-1-固定ステップサイズ","text":"解法アプローチ 1: 固定ステップサイズ","depth":3},{"id":"解法アプローチ-2-特定のインデックスの-token-を固定","text":"解法アプローチ 2: 特定のインデックスの Token を固定","depth":3},{"id":"修正された注意機構","text":"修正された注意機構","depth":3},{"id":"その他の最適化","text":"その他の最適化","depth":3},{"id":"訓練設定","text":"訓練設定","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"cifar-10","text":"CIFAR-10","depth":3},{"id":"enwik8","text":"EnWik8","depth":3},{"id":"imagenet-64x64","text":"ImageNet 64x64","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/longformer","relation":"comparison","topic":"長い系列に対する Attention の計算コスト"},{"id":"transformers/bigbird","relation":"comparison","topic":"長い系列に対する Attention の計算コスト"}]},{"id":"transformers/longformer","category":"transformers","legacyPath":"transformers/2004-longformer","legacySlug":"2004-longformer","legacyPaths":[],"title":"Longformer","subtitle":"長距離注意機構","author":"Z. Yuan","paperDate":"2020-04-10","publishedOn":"2024-06-13","paperTitle":"Longformer: The Long-Document Transformer","paperUrl":"https://arxiv.org/abs/2004.05150","bibliography":{"title":"Longformer: The Long-Document Transformer","authors":["Iz Beltagy","Matthew E. Peters","Arman Cohan"],"url":"https://arxiv.org/abs/2004.05150","pdfUrl":"https://arxiv.org/pdf/2004.05150","codeUrl":null,"preprint":{"id":"2004.05150","submittedOn":"2020-04-10","url":"https://arxiv.org/abs/2004.05150"},"publication":null,"citation":"@misc{transformerslongformer2020,\n  title = {{Longformer: The Long-Document Transformer}},\n  author = {Iz Beltagy and Matthew E. Peters and Arman Cohan},\n  year = {2020},\n  eprint = {2004.05150},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2004.05150}\n}\n","citationPath":"/content/papers/citations/transformers/longformer.6161015ad149.bib"},"thumbnail":{"src":"/content/papers/assets/220e8ffad580b18d52b08e147bb2f25d6c8de5d7ec8ea111c8d841b0860bc1f5.jpg","width":1584,"height":338},"locale":"ja","path":"/content/papers/ja/transformers/longformer.f17f034e5312.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"自回帰モデル","text":"自回帰モデル","depth":3},{"id":"自己符号化モデル","text":"自己符号化モデル","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"自回帰実験結果","text":"自回帰実験結果","depth":3},{"id":"自己符号化実験結果","text":"自己符号化実験結果","depth":3},{"id":"自回帰消融実験","text":"自回帰消融実験","depth":3},{"id":"自己符号化消融実験","text":"自己符号化消融実験","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"自編碼モデル":"自己符号化モデル"},"guide":null,"relatedReading":[{"id":"transformers/sparse-transformer","relation":"comparison","topic":"長い系列に対する Attention の計算コスト"},{"id":"transformers/bigbird","relation":"comparison","topic":"長い系列に対する Attention の計算コスト"}]},{"id":"transformers/bigbird","category":"transformers","legacyPath":"transformers/2007-bigbird","legacySlug":"2007-bigbird","legacyPaths":[],"title":"BigBird","subtitle":"ビッグバード","author":"Z. Yuan","paperDate":"2020-07-28","publishedOn":"2024-06-14","paperTitle":"Big Bird: Transformers for Longer Sequences","paperUrl":"https://arxiv.org/abs/2007.14062","bibliography":{"title":"Big Bird: Transformers for Longer Sequences","authors":["Manzil Zaheer","Guru Guruganesh","Avinava Dubey","Joshua Ainslie","Chris Alberti","Santiago Ontanon","Philip Pham","Anirudh Ravula","Qifan Wang","Li Yang","Amr Ahmed"],"url":"https://arxiv.org/abs/2007.14062","pdfUrl":"https://arxiv.org/pdf/2007.14062","codeUrl":null,"preprint":{"id":"2007.14062","submittedOn":"2020-07-28","url":"https://arxiv.org/abs/2007.14062"},"publication":{"venue":"NeurIPS","year":2020,"kind":"conference","url":"https://arxiv.org/abs/2007.14062"},"citation":"@misc{transformersbigbird2020,\n  title = {{Big Bird: Transformers for Longer Sequences}},\n  author = {Manzil Zaheer and Guru Guruganesh and Avinava Dubey and Joshua Ainslie and Chris Alberti and Santiago Ontanon and Philip Pham and Anirudh Ravula and Qifan Wang and Li Yang and Amr Ahmed},\n  year = {2020},\n  eprint = {2007.14062},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2007.14062}\n}\n","citationPath":"/content/papers/citations/transformers/bigbird.ce813f0f87e9.bib"},"thumbnail":{"src":"/content/papers/assets/754a9cb923f6b343d84fb5dd07cf267216fdaf2d7fc8533525701ecf106c6f72.jpg","width":1584,"height":434},"locale":"ja","path":"/content/papers/ja/transformers/bigbird.31cc54df2243.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"基本理論の不足","text":"基本理論の不足","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"アーキテクチャ設計","text":"アーキテクチャ設計","depth":3},{"id":"証明前に","text":"証明前に","depth":3},{"id":"証明開始","text":"証明開始","depth":3},{"id":"チューリング完全性","text":"チューリング完全性","depth":3},{"id":"疎注意機構の制限","text":"疎注意機構の制限","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"qa-dev","text":"QA-dev","depth":3},{"id":"qa-test-finttune","text":"QA Test finttune","depth":3},{"id":"長文書要約能力","text":"長文書要約能力","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/sparse-transformer","relation":"comparison","topic":"長い系列に対する Attention の計算コスト"},{"id":"transformers/longformer","relation":"comparison","topic":"長い系列に対する Attention の計算コスト"}]}],"text":"Transformer の自己注意機構の計算複雑度は $O(n^2)$ です。\n\n計算量がこれほど大きければ、最適化できる余地がありそうです。\n\nOpenAI は基礎研究において多大な努力をしており、その一つが本論文で提案された Sparse Transformer です。\n\n## 問題の定義\n\n![完全注意モデルの注意マップ](/content/papers/assets/ca80e74ce9ccc09dba941ed49312845fc6dfdc285125d2fa4f36680822f8c0da.jpg)\n\n元々の Transformer モデルが実際のシナリオでどのように注意機構を運用しているのかを研究するため、研究者は最初に画像生成モデルを作成しました。\n\nDecoder-Only の Transformer で、画像の各画素のチャネル値を系列にして生成します。CIFAR-10 の RGB 画像なら 32 × 32 × 3 = 3,072 個の値です。Patch 単位ではありません。\n\nこの 128 層の完全注意モデルを CIFAR-10 で訓練し、その結果が上の図です。この図は研究の出発点になります。\n\n---\n\n白い光点は、いま生成している値が強く注意を向ける場所です。黒い部分は自己回帰マスクで、まだ生成していない未来を見られないことを示します。黒との境界が「いま生成している Token」の位置です。\n\nここではいくつかの部分に分けて分析します：\n\n### 最前面の数層\n\n![sample1](/content/papers/assets/666fc58f4bda747e16b7a6c62968edbaa93901f4b178cbb4ddd26f9b4423753e.jpg)\n\n最前面の数層では、モデルの注意範囲が「デコード中の Token」の周囲に集中しています。これは畳み込みニューラルネットワーク（CNN）の受容野に似ています。\n\n\n> [!TIP]\n> \n> CIFAR-10 の画像解像度自体が 32x32 です。\n\n\n### 19〜20 層\n\n![sample2](/content/papers/assets/31a8badaa4935932289ad54d701e4ba02fa577c1e9e6f49b4d61954577ff9149.jpg)\n\n第 19、20 層では、行と列に沿って注意を分散させるパターンを学習していました。ここから全域の注意を分解する発想が生まれます。\n\n### 特定されない層\n\n![sample3](/content/papers/assets/69380d14b502c7be85759ae9cfcd47008cc3d936de388ec12e657519e2e83aab.jpg)\n\n一部の層は遠くの位置にも注意を向け、広い視野を持っています。\n\n### 64〜128 層\n\n![sample4](/content/papers/assets/ed1dd97888e33fbd90feb02d1dd0a034dd4f3bbe93caaed5cb5a58785ef61a04.jpg)\n\nこれはモデル後半のおよそ半分の層です。注意が少数の位置に集中して、非常に疎に見えます。\n\n\n> [!NOTE]\n> \n> OpenAI は動的な画像展示も提供しています：\n> \n> - [**Sparse Transformer - OpenAI Blog**](https://openai.com/index/sparse-transformer/)\n\n\n---\n\nこの実験結果が示唆することは以下の通りです：\n\n- **Transformer では、すべての Token がすべての Token を見る必要はないかもしれません。どの接続を省けるか、実験してみよう。**\n\n## 解決問題\n\n![Sparse Transformer の接続パターン](/content/papers/assets/847fd8e03beeb4395ae629700c5daaf1fa75dd302949008b9c248f7d77a8f9bc.jpg)\n\n解決策は、各位置がどの Token を見られるかをあらかじめ決め、すべての過去 Token との注意計算を避けることです。\n\n上図の (a) は通常の Transformer、(b) と (c) は著者が試した二つの疎な構成です。上段は 6×6 画像での接続例、下段はそれを $N \\times N$ の行列に展開したものです。どちらの疎な構成も、連続する注意ステップを通じて、任意の過去位置から後の位置へ情報を伝えられます。\n\n上三角が空白なのは Decoder-Only モデルだからで、各 Token は自分以前の Token しか見られません。\n\n### 解法アプローチ 1: 固定ステップサイズ\n\n上図 (b) の構成で、先ほどの観察を参考にしています：\n\n- 一つの注意ステップは、現在位置の近くから前の約一歩幅分の Token、つまり Row を見ます。\n- もう一つの注意ステップは、固定した歩幅ごとに前の同じ列の Token、つまり Column を見ます。例えば 6、12、18……位置前です。\n\n### 解法アプローチ 2: 特定のインデックスの Token を固定\n\n上図 (c) の構成です。固定歩幅は画像のように位置と歩幅が揃うデータに向いていますが、周期的な構造が乏しいテキストでは、関連情報を伝えにくいことがあります。\n\nそこで著者は「特定の Index の Token を固定する」方法を提案しました。まず各ブロック内で局所的な注意を行い、次の注意ステップで前のブロックの末尾にあるいくつかの位置を読みます。論文の音声実験では引き続き固定歩幅を使います。\n\nブロック末尾の Token が「アンカー」のように前のブロックの情報を集め、次の注意ステップで後ろの位置へ渡す、という発想です。\n\n### 修正された注意機構\n\nここまでの考え方が分かれば、論文の式も読みやすくなります：\n\n1. **Attention**\n\n   - $ \\text{Attend}(X, S) = a(x_i, S_i), i \\in \\{1, \\ldots, n\\} $\n\n2. **Attention weight function**\n\n   - $ a(x_i, S_i) = \\text{softmax} \\left( \\frac{(W_q x_i) (K_S)^T}{\\sqrt{d}} \\right) V_S $\n\n3. **Key and Value**\n\n   - $ K_S = W_k x_j, j \\in S_i $\n   - $ V_S = W_v x_j, j \\in S_i $\n\n$W_q$、$W_k$、$W_v$ はそれぞれ Query、Key、Value の変換行列です。つまり、前もって決めた $S_i$ の位置でだけ注意重みを計算し、各位置への重みは内容に応じて決まります。この二つの疎なパターンでは、注意計算量を $O(n^2)$ から $O(n\\sqrt n)$ に抑えられます。\n\n### その他の最適化\n\n上記の注意機構の最適化に加え、論文ではいくつかの他の最適化方法についても言及されています：\n\n数百層のネットワークを訓練するため、著者は正規化を残差ブロックの前に置き、層数に応じて注意と FFN の出力射影の初期化尺度も小さくしました。\n\n1. **チェックポイント技術の導入**\n\n   チェックポイント技術の基本的な原理は、順伝播の過程で中間活性化値をすべて保存するのではなく、重要な活性化値だけを保存するというものです。逆伝播時に保存された活性化値を基に、廃棄された中間活性化値を再計算します。これにより、メモリ使用量が減少しますが、再計算が必要になるため計算量は増加します。\n\n   この技術は次の論文に基づいています：\n\n   - [**Training deep nets with sublinear memory cost (2016.04)**](https://arxiv.org/abs/1604.06174)\n\n   この論文では、注意行列と FFN の中間結果を逆伝播時に再計算してメモリを節約し、より深いネットワークを訓練できるようにしています。\n\n2. **位置埋め込み (Position Embedding) の重要性**\n\n   著者は、データ構造の注意パターンをエンコードする位置埋め込みがモデルのパフォーマンスに非常に重要であることを発見しました。\n\n   - **画像データの場合**\n\n     著者は$d_{\\text{data}} = 3$を使用し、これにより各入力 Token の行、列、チャンネルの位置が対応します。\n\n   - **テキストと音声データの場合**\n\n     著者は$d_{\\text{attn}} = 2$を使用し、インデックスは行と列のインデックスに対応します。\n\n   これらの埋め込みは、データの種類や注意パターンに応じた構造を表します。著者は、この位置情報がモデルの性能に重要だと述べています。\n\n3. **混合精度 (Mixed Precision)**\n\n   著者はネットワークの重みを単精度浮動小数点で保存し、ネットワークの活性化と勾配計算を半精度で行っています。勾配計算中に動的損失スケーリングを使用して数値のアンダーフローを減少させ、複数の GPU で平均を取る際に半精度の勾配を伝送します。サンプリング時には、クエリとキーを単精度に変換します。なぜなら、クエリとキーの積は半精度の最大値を超えることがあるからです。\n\n### 訓練設定\n\n- Adam 最適化器を使用。\n- 5000 回のイテレーションで線形ウォームアップを行う。\n- 勾配クリッピングは 1.0 を使用。\n- 重み減衰ペナルティは 0.01。\n- 学習率は余弦減衰に基づいてスケジュール。\n- 訓練は 8 つの V100 GPU で実行。\n- 内容埋め込み $W_e$ は $\\mathcal{N}(0, 0.125 / \\sqrt{d})$ から初期化。\n- 位置埋め込みは $\\mathcal{N}(0, 0.125 / \\sqrt{d \\cdot n_{emb}})$ から初期化。\n- 注意機構と FFN コンポーネント内のすべてのバイアスは 0 で初期化。\n- すべての重みは $\\mathcal{N}(0, 0.125 / \\sqrt{d_{\\text{in}}})$ から初期化。\n- 出力 logits の重み行列は 0 で初期化。\n\n## 討論\n\n![Sparse Transformer の実験結果](/content/papers/assets/1edf40f34dbbe3a7751e2839ceb2c0556ba74d68a770f72238a6b5157b64df12.jpg)\n\n### CIFAR-10\n\nテストセットで 2.80 bits per byte（画像では bits per dim とも呼ばれます）を達成し、表にある従来の最高値 2.85 を下回りました。\n\n- **モデル構成**：\n  - ヘッド数：2\n  - 層数：128\n  - 埋め込み次元 $d = 256$\n  - 半分のサイズの FFN と Query・Key 射影\n- **訓練設定**：\n  - 学習率：0.00035\n  - Dropout 率：0.25\n  - 検証誤差が下がらなくなるまで 120 epoch 訓練\n- **データ分割**：\n  - 訓練：48,000 サンプル\n  - 検証：2,000 サンプル\n\n論文 Table 2 の同じ CIFAR-10 設定では、strided、dense、fixed の順に 2.80、2.82、2.85 bits per byte で、ここでは strided が最も良い結果でした。\n\n### EnWik8\n\n0.99 bits per byte を達成し、近い規模の Transformer-XL の 1.03 を上回り、二倍以上のパラメータを持つモデルの 0.99 と並びました。\n\nTable 2 の同じデータセットでは、fixed が 0.99、dense attention が 1.00、strided が 1.13 bits per byte です。\n\n- **モデル構成**：\n  - 30 層（Fixed）\n  - ヘッド数：8\n  - 埋め込み次元 $d = 512$\n  - Dropout 率：0.40\n- **訓練設定**：\n  - 検証損失が下がらなくなるまで 80 epoch 訓練\n  - 文脈長：12,288\n  - 歩幅：128\n- **データ分割**：\n  - 訓練：最初の 9,000 万 Token\n  - 検証とテスト：最後の 1,000 万 Token\n\n### ImageNet 64x64\n\n長距離の依存関係を学び、大規模なデータセットにも拡張できるかを調べるため、著者は低解像度版の ImageNet で訓練し、検証セットで評価しました。\n\n検証セットで 3.44 bits per byte を達成し、先行する 3.52 を改善しました。\n\n論文には約 3 億パラメータの別の大きなモデルによる生成例もあります。著者はその多くに長期的な構造を見いだしましたが、これは以下の 1.52 億パラメータのモデルによる検証値とは別の実験です。\n\n- **モデル構成**：\n  - 48 層（Strided）\n  - ヘッド数：16\n  - 埋め込み次元 $d = 512$\n  - 総パラメータ数：1.52 億\n- **訓練設定**：\n  - 歩幅：128\n  - Dropout 率：0.01\n  - 70 epoch 訓練\n  - 64 枚の V100 GPU を使用し、訓練時間は 7 日\n\n## 結論\n\nSparse Transformer は自然画像、テキスト、生の音声など、さまざまなデータに使えます。元の Transformer と同等かそれ以上の性能を示しながら、注意計算を大きく減らしました。\n\nこの研究はその後もさまざまな研究に取り上げられています。まずはこの論文を読んで覚えておきましょう。きっとまた出会うはずです。\n","imageSizes":{"/content/papers/assets/ca80e74ce9ccc09dba941ed49312845fc6dfdc285125d2fa4f36680822f8c0da.jpg":{"width":2974,"height":1691},"/content/papers/assets/666fc58f4bda747e16b7a6c62968edbaa93901f4b178cbb4ddd26f9b4423753e.jpg":{"width":1980,"height":1155},"/content/papers/assets/31a8badaa4935932289ad54d701e4ba02fa577c1e9e6f49b4d61954577ff9149.jpg":{"width":1934,"height":1297},"/content/papers/assets/69380d14b502c7be85759ae9cfcd47008cc3d936de388ec12e657519e2e83aab.jpg":{"width":1622,"height":962},"/content/papers/assets/ed1dd97888e33fbd90feb02d1dd0a034dd4f3bbe93caaed5cb5a58785ef61a04.jpg":{"width":1154,"height":572},"/content/papers/assets/847fd8e03beeb4395ae629700c5daaf1fa75dd302949008b9c248f7d77a8f9bc.jpg":{"width":1392,"height":694},"/content/papers/assets/1edf40f34dbbe3a7751e2839ceb2c0556ba74d68a770f72238a6b5157b64df12.jpg":{"width":888,"height":1020}}}
