{"notes":[{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"アテンションの遠い親戚","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"ja","path":"/content/papers/ja/mamba/mamba-2.31aeb03056f6.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"ssm-を一つの行列として書く","text":"SSM を一つの行列として書く","depth":3},{"id":"a-を一つの数に簡略化する","text":"A を一つの数に簡略化する","depth":3},{"id":"4つのトークンで計算してみる","text":"4つのトークンで計算してみる","depth":3},{"id":"2つのルートを半分ずつ","text":"2つのルートを半分ずつ","depth":3},{"id":"mamba-2-ブロック","text":"Mamba-2 ブロック","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"状態が大きいほど多く覚えられる","text":"状態が大きいほど、多く覚えられる","depth":3},{"id":"言語モデリング","text":"言語モデリング","depth":3},{"id":"原著者もハイブリッドを勧める","text":"原著者もハイブリッドを勧める","depth":3},{"id":"全面的なアップグレードでもない","text":"全面的なアップグレードでもない","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]},{"id":"mamba/mamba","category":"mamba","legacyPath":"mamba/2312-mamba","legacySlug":"2312-mamba","legacyPaths":[],"title":"Mamba","subtitle":"継承者は誰か","author":"Z. Yuan","paperDate":"2023-12-01","publishedOn":"2024-12-25","paperTitle":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","paperUrl":"https://arxiv.org/abs/2312.00752","bibliography":{"title":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","authors":["Albert Gu","Tri Dao"],"url":"https://arxiv.org/abs/2312.00752","pdfUrl":"https://arxiv.org/pdf/2312.00752","codeUrl":null,"preprint":{"id":"2312.00752","submittedOn":"2023-12-01","url":"https://arxiv.org/abs/2312.00752"},"publication":null,"citation":"@misc{mambamamba2023,\n  title = {{Mamba: Linear-Time Sequence Modeling with Selective State Spaces}},\n  author = {Albert Gu and Tri Dao},\n  year = {2023},\n  eprint = {2312.00752},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2312.00752}\n}\n","citationPath":"/content/papers/citations/mamba/mamba.5671f143cfd6.bib"},"thumbnail":{"src":"/content/papers/assets/8f6187d5a2a7a17c0687f2ca08ea302601584bb95f5cd5f52927c54d6e76089a.jpg","width":1224,"height":500},"locale":"ja","path":"/content/papers/ja/mamba/mamba.e24067c941d2.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題解決","text":"問題解決","depth":2},{"id":"選択機構","text":"選択機構","depth":3},{"id":"s6-アーキテクチャ","text":"S6 アーキテクチャ","depth":3},{"id":"mamba-アーキテクチャ","text":"Mamba アーキテクチャ","depth":3},{"id":"選択機構について再考","text":"選択機構について再考","depth":3},{"id":"訓練方法と評価手順","text":"訓練方法と評価手順","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"スケーリング法則","text":"スケーリング法則","depth":3},{"id":"他の言語モデルとの比較","text":"他の言語モデルとの比較","depth":3},{"id":"推論効率の比較","text":"推論効率の比較","depth":3},{"id":"アブレーション実験---選択機構","text":"アブレーション実験 - 選択機構","depth":3},{"id":"アブレーション実験---主要パラメータ","text":"アブレーション実験 - 主要パラメータ","depth":3},{"id":"アブレーション実験---その他の設定","text":"アブレーション実験 - その他の設定","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"訓練方法與協定":"訓練方法と評価手順","討論":"考察","消融実験---選択機構":"アブレーション実験---選択機構","消融実験---主要パラメータ":"アブレーション実験---主要パラメータ","消融実験---その他の設定":"アブレーション実験---その他の設定"},"guide":null,"relatedReading":[{"id":"mamba/s4","relation":"background","topic":"状態空間の記憶から視覚系列へ"},{"id":"mamba/vim","relation":"next","topic":"状態空間の記憶から視覚系列へ"}]},{"id":"mamba/gated-deltanet","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Gated DeltaNet","subtitle":"消してから書く","author":"Z. Yuan","paperDate":"2024-12-09","publishedOn":"2026-02-12","world":"external/gated-deltanet","paperTitle":"Gated Delta Networks: Improving Mamba2 with Delta Rule","paperUrl":"https://arxiv.org/abs/2412.06464","bibliography":{"title":"Gated Delta Networks: Improving Mamba2 with Delta Rule","authors":["Songlin Yang","Jan Kautz","Ali Hatamizadeh"],"url":"https://arxiv.org/abs/2412.06464","pdfUrl":"https://arxiv.org/pdf/2412.06464v3","codeUrl":"https://github.com/NVlabs/GatedDeltaNet","preprint":{"id":"2412.06464","submittedOn":"2024-12-09","url":"https://arxiv.org/abs/2412.06464"},"publication":{"venue":"ICLR","year":2025,"kind":"conference","url":"https://mlanthology.org/iclr/2025/yang2025iclr-gated/"},"citation":"@misc{mambagateddeltanet2024,\n  title = {{Gated Delta Networks: Improving Mamba2 with Delta Rule}},\n  author = {Songlin Yang and Jan Kautz and Ali Hatamizadeh},\n  year = {2024},\n  eprint = {2412.06464},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.06464}\n}\n","citationPath":"/content/papers/citations/mamba/gated-deltanet.b65d8f168c74.bib"},"thumbnail":{"src":"/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png","width":1050,"height":544},"locale":"ja","path":"/content/papers/ja/mamba/gated-deltanet.6152690e76e4.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"線形アテンションは番号がぶつかる電話帳","text":"線形アテンションは番号がぶつかる電話帳","depth":3},{"id":"mamba-2まとめて割り引く","text":"Mamba-2：まとめて割り引く","depth":3},{"id":"deltanetその1件だけを直す","text":"DeltaNet：その1件だけを直す","depth":3},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"3つの書き方で計算してみる","text":"3つの書き方で計算してみる","depth":3},{"id":"2つを組み合わせる","text":"2つを組み合わせる","depth":3},{"id":"並列に学習できるようにする","text":"並列に学習できるようにする","depth":3},{"id":"アーキテクチャとハイブリッド版","text":"アーキテクチャとハイブリッド版","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"実験設定","text":"実験設定","depth":3},{"id":"needle-in-a-haystack3つの規則の分担","text":"needle-in-a-haystack：3つの規則の分担","depth":3},{"id":"言語モデリングと実際の検索","text":"言語モデリングと実際の検索","depth":3},{"id":"速度","text":"速度","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/kimi-linear","relation":"referenced","topic":""}]}],"text":"この論文のタイトルは、少し挑発的です。Transformers are SSMs。\n\n実はオマージュです。2020年、Katharopoulos らの「Transformers are RNNs」という論文が、softmax を取り除いた線形アテンションは RNN に書き換えられることを示しました。Tri Dao と Albert Gu も脚注で、このタイトルが成り立つのは「ある種の」アテンションに限られると正直に認めています。\n\n半年前、2人は Mamba で、状態空間モデルが Transformer と互角に渡り合えることを示しました。この論文（のちに ICML 2024 で発表）は方向を変えます。2つのモデルは実は親戚だ。では、その関係を何に使えるのか？\n\n## 問題の定義\n\n著者らの不満は、エコシステムにあります。\n\nTransformer には、それを研究するコミュニティがまるごとあります。理論解析、FlashAttention のようなハードウェア最適化、テンソル並列、シーケンス並列と、成果が一段ずつ積み重なってきました。SSM の側はほとんど手探りで、こうした成果を直接使うのは困難です。\n\n具体的には、Mamba の選択的スキャン（selective scan）には実用上の問題が2つあります。\n\n1. **行列積ユニットを使えない**。GPU で最も速いのは、行列積専用の Tensor コアです。Mamba の再帰は並列スキャン（associative scan）で計算できますが、スキャンの中身はほとんどが要素ごとの演算なので、Tensor コアを使えません。\n2. **状態を大きくしにくい**。状態次元 $N$ が大きいほど多く覚えられますが、スキャンも遅くなります。Mamba の既定値は $N=16$ です。\n\n著者らが目指したのは、SSM とアテンションの対応関係を見つけ、SSM を行列積で計算できるようにし、Transformer 向けのシステム工学もそのまま使えるようにすることです。\n\n## 問題の解決\n\n### SSM を一つの行列として書く\n\nまず選択的 SSM の再帰を振り返ります。各ステップのパラメータは入力で決まります。\n\n$$\nh_t=A_t h_{t-1}+B_t x_t,\\qquad y_t=C_t^\\top h_t\n$$\n\n初期状態をゼロとします。再帰を展開すると、ステップ $j$ の出力は、そのステップまでのすべての入力の重み付き和になります。\n\n$$\ny_j=\\sum_{i\\le j} C_j^\\top A_j A_{j-1}\\cdots A_{i+1} B_i\\, x_i\n$$\n\nしたがって、系列全体の入出力は1回の行列積 $y=Mx$ で書けます。ここで\n\n$$\nM_{ji}=C_j^\\top A_{j:i} B_i,\\qquad A_{j:i}=A_j\\cdots A_{i+1}\n$$\n\n[![左は長さ T の入力系列で、下三角の T×T 系列変換行列 M を通って出力になる。右は M の各要素が C の転置に一連の A を掛け、さらに B を掛けたものであることを示し、主対角より下の部分行列を破線の枠で囲んでいる](/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png)](/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png)\n\n*原論文 Figure 2。[**v1 PDF の9ページ**](https://arxiv.org/pdf/2405.21060v1#page=9)から抜粋、CC BY 4.0。*\n\nこの $M$ は下三角行列で、しかも特別な構造を持っています。対角線より下からどの部分行列（図の青い破線の枠）を取り出しても、そのランクは状態次元 $N$ を超えません。数学では、このような行列を**半可分行列**（semiseparable matrix）と呼びます。\n\n著者らの中心的な観察は、**SSM を計算するさまざまな方法は、実はどれもこの行列を異なるアルゴリズムで掛けている**、というものです。ステップごとの再帰も一つの掛け方で、$M$ 全体を先に計算してから掛けるのも、また別の掛け方です。\n\n### $A$ を一つの数に簡略化する\n\nMamba の $A_t$ は対角行列です。Mamba-2 はさらに一歩簡略化し、$A_t=a_t I$ として、各ステップの減衰を1つのスカラー $a_t\\in[0,1]$ だけで制御します。この版を **SSD**（state space dual）と呼びます。\n\nすると $A_{j:i}$ はスカラーの積になり、行列の外に括り出せます。\n\n$$\nM=L\\circ(CB^\\top),\\qquad\nL_{ji}=\\begin{cases}a_j\\times\\cdots\\times a_{i+1}, & j\\ge i\\\\ 0, & j<i\\end{cases}\n$$\n\nこれを因果的（causal）アテンションと比べてみましょう。\n\n$$\nY=\\text{softmax}\\big(\\text{mask}(QK^\\top)\\big)V\n$$\n\n$C$ を $Q$、$B$ を $K$、$x$ を $V$ とみなすと、2つはほとんど同じ形で、違いは2点だけです。\n\n1. **softmax がない**。\n2. **マスクが 0 と 1 だけではない**。通常の因果マスクが扱うのは「見てよいか」だけですが、$L$ は「どれだけ見るか」も表します。離れるほど多くの減衰が掛かり、しかも各ステップの減衰は入力で決まります。\n\n著者らは2点目を、$L$ が Transformer の位置エンコーディングに代わる、データで決まる位置マスクになっている、と解釈しています。\n\n### 4つのトークンで計算してみる\n\n式を眺めるだけでは実感がわかないので、4トークン、状態次元 $N=2$ の小さな例で、2つの計算方法を1回ずつ試してみましょう。\n\n```python\nimport numpy as np\nnp.set_printoptions(precision=3, suppress=True)\n\nx = np.array([1.0, 2.0, 3.0, 4.0])          # 4 トークン、各 1 次元\na = np.array([0.9, 0.5, 0.8, 0.7])          # 各ステップの減衰。入力で決まる\nB = np.array([[1, 0], [0, 1], [1, 1], [1, -1]], dtype=float)   # 書き込みの方向、N=2\nC = np.array([[1, 1], [1, 0], [0, 1], [1, 1]], dtype=float)    # 読み出しの方向\n\n# 線形（再帰）形式：2 次元の状態を持って進む\nh = np.zeros(2); y_rec = []\nfor t in range(4):\n    h = a[t] * h + B[t] * x[t]\n    y_rec.append(C[t] @ h)\nprint(\"再帰：\", np.array(y_rec))\n\n# 二次（アテンション）形式：先に 4×4 の行列を作り、x を掛ける\nL = np.zeros((4, 4))\nfor i in range(4):\n    for j in range(i + 1):\n        L[i, j] = np.prod(a[j + 1:i + 1])   # a_i × … × a_{j+1}、i=j のときは 1\nM = L * (C @ B.T)\nprint(\"マスク L：\\n\", L)\nprint(\"行列：\", M @ x)\n```\n\n```text\n再帰： [1.  0.5 4.6 5.6]\nマスク L：\n [[1.   0.   0.   0.  ]\n [0.5  1.   0.   0.  ]\n [0.4  0.8  1.   0.  ]\n [0.28 0.56 0.7  1.  ]]\n行列： [1.  0.5 4.6 5.6]\n```\n\n2つの計算方法は同じ答えを出しました。\n\n再帰ルートは2つの数だけを持って進むので、メモリが一定で、生成に向いています。行列ルートは先に 4×4 の表を作る必要があり、系列長が $T$ なら $T\\times T$ になりますが、すべて行列積なので Tensor コアで速く計算でき、学習に向いています。\n\nマスクの最後の行を見てください。4番目のトークンが1番目のトークンを見るとき、$0.5\\times0.8\\times0.7=0.28$ が掛かっています。途中に $a_t$ が小さいステップが一つでもあれば、それより前のものはほとんど忘れられます。これが、Mamba の「選択性」を行列の上で見た姿です。\n\n### 2つのルートを半分ずつ\n\n実際の SSD アルゴリズムは、系列を固定長のブロックに切り分けます。\n\n- **ブロック内**では行列形式を使い、小さな二次の行列を Tensor コアで計算します。\n- **ブロック間**では再帰形式を使い、各ブロックの終わりの状態だけを次のブロックに渡します。\n\nこれは $M$ のブロック分解です。対角線上の小さな正方ブロックは直接計算し、対角線より下の部分はランクが低いので、状態で表せます。論文の Listing 1 には完全な実装が付いていて、ほんの短い PyTorch のコードです。\n\n論文の Figure 10 は、A100 80GB PCIe でコア演算を測っています。状態次元がどちらも64のとき、SSD は Mamba の融合スキャンより2〜8倍速く、FlashAttention-2 と比べると、系列長約 2K で互角、16K では6倍速くなります。計算が速いので、状態次元も Mamba の既定値16から64、256へと広げられます。\n\n### Mamba-2 ブロック\n\n[![2つのブロックを並べた比較。左の Sequential Mamba Block は、まず畳み込みと活性化関数で X を作り、X から A、B、C を射影して SSM に送る。右の Parallel Mamba Block は、ブロックの最初に一つの線形射影で A、X、B、C を同時に作り、SSM の出力とゲートを掛けた後に正規化層 N が加わり、その後に出力射影が続く](/content/papers/assets/e422ea301e9616b502680c01dc5005caf009df35935c9aded0a0c868f52dc2bd.png)](/content/papers/assets/e422ea301e9616b502680c01dc5005caf009df35935c9aded0a0c868f52dc2bd.png)\n\n*原論文 Figure 6。[**v1 PDF の23ページ**](https://arxiv.org/pdf/2405.21060v1#page=23)から抜粋、CC BY 4.0。左が Mamba のブロック、右が Mamba-2 です。*\n\n「SSM はアテンションの親戚」という視点を得たことで、ブロック設計にもアテンションの経験を借りられます。\n\n1. **並列射影**。Mamba は先に $X$ を計算し、$X$ から $B$、$C$、$\\Delta$ を射影します。Mamba-2 は $A$、$X$、$B$、$C$ をすべてブロックの最初に一つの射影で作ります（図の $A$ は離散化後の減衰を指し、データ依存性は同時に射影されるステップ幅 $\\Delta$ から来ます）。アテンションが $Q$、$K$、$V$ を一度に作るのと同じです。こうするとパラメータが少し減り、テンソル並列もしやすくなって、ブロックごとの同期ポイントが半分になります。\n2. **マルチヘッド**。Mamba はチャネルごとに1ヘッド（ヘッド次元1）に相当します。Mamba-2 は Transformer の慣例と同じく、ヘッド次元 $P=64$ または128を使います。$B$、$C$ はヘッド間で共有され、複数の value ヘッドが key と query を共有する形に似ています。\n3. **正規化層を1つ追加**。予備実験では大きめのモデルの学習が不安定になりやすかったため、著者らはゲートの後、出力射影の前に正規化層を加えました。\n\n## 考察\n\n### 状態が大きいほど、多く覚えられる\n\n[![3枚の折れ線グラフで、それぞれ系列長256、512、1024でのマルチクエリ連想想起（MQAR）の正解率。横軸はモデル次元32〜256。Mamba（N=16）はほぼすべて0付近、Mamba-2（N=16）はモデルが大きくなるにつれ上昇し、Mamba-2（N=64）と N=256 は多くの設定で1に近い。アテンションは長さ1024、次元128で約0.5](/content/papers/assets/62bb9a2f1e1e9d3f11500404928dcac9606819430521e5da6b90659f81b5925f.png)](/content/papers/assets/62bb9a2f1e1e9d3f11500404928dcac9606819430521e5da6b90659f81b5925f.png)\n\n*原論文 Figure 8。[**v1 PDF の28ページ**](https://arxiv.org/pdf/2405.21060v1#page=28)から抜粋、CC BY 4.0。*\n\nMQAR（マルチクエリ連想想起）は合成タスクの一つです。まず「キー–値」のペアを並べ、続いて多くのキーを一度に尋ねます。電話帳を引く作業によく似ていて、ずっと状態モデルの弱点でした。\n\n図からは、いくつかのことがはっきり読み取れます。\n\n- Mamba（$N=16$）はほぼ全滅です。\n- 同じ $N=16$ でも、Mamba-2 はずっとよい結果です。アーキテクチャのどの部分が差を生んだのかは、著者ら自身もはっきりわかっていません。\n- $N$ を16から64、256へ増やすと正解率は上がり続け、長さ1024では $N=256$ 版が通常のアテンションさえ上回ります。\n\n状態が大きいほど、詰め込めるペアも増えます。大きな状態を現実的なコストで計算できるようにしたこと、それこそが SSD の意義です。\n\nただし、ここでのモデルは2層だけ、次元も最大256で、ごく小さな合成実験です。\n\n### 言語モデリング\n\nPile で 300B トークン学習した場合、Mamba-2 2.7B のゼロショット平均は 60.2 で、Mamba 2.8B の 59.9、Pythia 2.8B の 55.7 を上回り、2倍以上大きい Pythia 6.9B の 58.3 よりも高くなります（Mamba-2 の数字は原論文 Table 1、Pythia 6.9B は付録 Table 10）。別のスケーリング則の実験は 125M〜1.3B パラメータ、2.5B〜26B の学習トークンにわたり、この設定では Mamba-2 がパープレキシティ、理論 FLOPs、実際の学習時間のいずれでも、著者らの Transformer++ ベースラインより優れていました。\n\n### 原著者もハイブリッドを勧める\n\nこの論文には、見落とされがちな一節があります。著者ら自身が、SSD 層とアテンション層を混ぜる実験をしているのです。\n\n350M パラメータ、48層のモデルを Pile で 7B トークン学習し、そのうちのアテンション層の数を変えています。\n\n| アテンション層の数 | 0（Mamba-2 のみ） | 1 | 3 | 6 | 11 | 24 | Transformer++ のみ |\n| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |\n| パープレキシティ | 8.60 | 8.38 | 8.29 | 8.26 | 8.30 | 8.50 | 8.68 |\n\n*表：原論文 Table 2 より抜粋。*\n\nアテンションを1層加えるだけで、パープレキシティは 8.60 から 8.38 に下がります。48層中6層（12.5%）が最良で、著者らはこれを「約10%」とまとめています。なぜ混ぜるとよいのか？ 著者らが示すのは推測で、2種類の層が記憶を分担する、というものです。SSD は固定サイズの状態で前の文脈を整理し続け、アテンションはトークン単位でさかのぼって調べる道を残すので、モデルはあらゆる細部を状態に詰め込まずにすみます。\n\n2.7B、64層、300B トークンに規模を上げると、SSD 58層とアテンション6層からなる Mamba-2-Attention は、Pile のパープレキシティが 5.95、ゼロショット平均が 61.0 で、Mamba-2 のみと Transformer++（ゼロショット平均はどちらも 60.2）を上回りました。\n\n### 全面的なアップグレードでもない\n\n著者らは何か所かで、限界を正直に示しています。\n\n- **2〜8倍は Mamba のスキャンとの比較**。モデル全体で見ると、2K のような短い系列では、Mamba-2 の学習が Transformer より速いとは限りません。同じパラメータ数なら、Transformer の半分はハードウェア効率の高い MLP 層だからです。\n- **表現力は少し落ちる**。$A$ を対角行列からスカラーに退化させたのは、表現力と引き換えに学習効率を得るためです。Tri Dao はブログで、もっと率直に書いています。Mamba-2 が Mamba-1 より厳密に優れているとは言えない。推論速度は状態の大きさだけで決まるので、同じ状態の大きさなら、Mamba-1 のほうが表現力で勝る可能性がある。[Tri Dao のブログ、Mamba-2 Part I](https://tridao.me/blog/2024/mamba2-part1-model/)\n\nHacker News の議論では、この論文を一言でまとめた人がいました。$A$ をスカラー×単位行列に制限すれば、SSM は因果的な線形アテンションとして書け、その利点は GPU での学習がずっと速くなることだ、と。一方で「tldr: mamba is not as good as transformer」とだけ返した人もいます。[Hacker News、2024-06-03](https://news.ycombinator.com/item?id=40564067) 前者の要約は、双対性の仕組みと学習面での利点を正確にとらえています。後者の評は、どのタスクで、どんな条件で比べたのかを説明していません。論文のトレードオフはむしろ明確です。$A$ の表現力を制限してハードウェア効率を得て、その効率で状態を大きくでき、MQAR ではその効果が見えます。\n\n## 結論\n\nMamba-2 が残したものは、おおよそ3つの層に分けられます。\n\n1. **理論面**：状態遷移がスカラー×単位行列の SSM（SSD）と、半可分マスクを使う線形アテンションは、同じ行列の2つの計算方法です。著者らはさらに、論文で定義したマスク付きアテンションでは、マスクが有限次の線形再帰形式を持つなら、それは必ず半可分行列、つまり何らかの SSM になることも証明しています。\n2. **工学面**：ブロック分解のアルゴリズムで SSM が Tensor コアを使えるようになり、コア演算は Mamba のスキャンより2〜8倍速く、状態は64、256まで広げられ、テンソル並列やシーケンス並列もそのまま適用できます。\n3. **アーキテクチャ面**：著者ら自身の実験では、1割ほどのアテンション層と SSD 層の組み合わせが、Mamba-2 のみや Transformer のみより優れていました。\n\nMamba の論文は「継承者は誰か」と問いました。この論文の答えはむしろこうです。継承者はもともと一族の一員で、いちばんよいのは、元の主人と同じ屋根の下で暮らすことだ。\n\nのちの Gated DeltaNet は、この枠組みの上に立って、Mamba-2 のスカラー減衰と別の更新規則をつなぎ合わせます。\n\n\n> [!TIP]\n> \n> SSD 以前の Mamba と、この枠組みのその後の発展は、こちらを参照してください。\n> \n> - **[[23.12] Mamba：継承者は誰か](/blog/papers/mamba/mamba)**\n> - **[[24.12] Gated DeltaNet：消してから書く](/blog/papers/mamba/gated-deltanet)**\n","imageSizes":{"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png":{"width":1462,"height":556},"/content/papers/assets/e422ea301e9616b502680c01dc5005caf009df35935c9aded0a0c868f52dc2bd.png":{"width":1208,"height":623},"/content/papers/assets/62bb9a2f1e1e9d3f11500404928dcac9606819430521e5da6b90659f81b5925f.png":{"width":1384,"height":384}}}