{"notes":[{"id":"mamba/mamba-3","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-3","subtitle":"推論ファースト","author":"Z. Yuan","paperDate":"2026-03-16","publishedOn":"2026-04-02","world":"external/mamba3","paperTitle":"Mamba-3: Improved Sequence Modeling using State Space Principles","paperUrl":"https://arxiv.org/abs/2603.15569","bibliography":{"title":"Mamba-3: Improved Sequence Modeling using State Space Principles","authors":["Aakash Lahoti","Kevin Y. Li","Berlin Chen","Caitlin Wang","Aviv Bick","J. Zico Kolter","Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2603.15569","pdfUrl":"https://arxiv.org/pdf/2603.15569v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2603.15569","submittedOn":"2026-03-16","url":"https://arxiv.org/abs/2603.15569"},"publication":{"venue":"ICLR","year":2026,"kind":"conference","url":"https://mlanthology.org/iclr/2026/lahoti2026iclr-mamba3/"},"citation":"@misc{mambamamba32026,\n  title = {{Mamba-3: Improved Sequence Modeling using State Space Principles}},\n  author = {Aakash Lahoti and Kevin Y. Li and Berlin Chen and Caitlin Wang and Aviv Bick and J. Zico Kolter and Tri Dao and Albert Gu},\n  year = {2026},\n  eprint = {2603.15569},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2603.15569}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-3.7f42c2a217f2.bib"},"thumbnail":{"src":"/content/papers/assets/bafe70ab05ff3f4100278e18abb0198af0081a8802873a746e8df5fef028e047.png","width":1356,"height":644},"locale":"ja","path":"/content/papers/ja/mamba/mamba-3.b68bd9464d76.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"その1表現力の高い離散化","text":"その1：表現力の高い離散化","depth":3},{"id":"その2複素数の状態でくるりと回る","text":"その2：複素数の状態で、くるりと回る","depth":3},{"id":"その3mimo-でデコード中の-gpu-を働かせる","text":"その3：MIMO で、デコード中の GPU を働かせる","depth":3},{"id":"アーキテクチャ","text":"アーキテクチャ","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"言語モデリング","text":"言語モデリング","depth":3},{"id":"検索純粋なモデルではまだ足りない","text":"検索：純粋なモデルではまだ足りない","depth":3},{"id":"速度比較条件に注意","text":"速度：比較条件に注意","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]},{"id":"mamba/mamba","category":"mamba","legacyPath":"mamba/2312-mamba","legacySlug":"2312-mamba","legacyPaths":[],"title":"Mamba","subtitle":"継承者は誰か","author":"Z. Yuan","paperDate":"2023-12-01","publishedOn":"2024-12-25","paperTitle":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","paperUrl":"https://arxiv.org/abs/2312.00752","bibliography":{"title":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","authors":["Albert Gu","Tri Dao"],"url":"https://arxiv.org/abs/2312.00752","pdfUrl":"https://arxiv.org/pdf/2312.00752","codeUrl":null,"preprint":{"id":"2312.00752","submittedOn":"2023-12-01","url":"https://arxiv.org/abs/2312.00752"},"publication":null,"citation":"@misc{mambamamba2023,\n  title = {{Mamba: Linear-Time Sequence Modeling with Selective State Spaces}},\n  author = {Albert Gu and Tri Dao},\n  year = {2023},\n  eprint = {2312.00752},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2312.00752}\n}\n","citationPath":"/content/papers/citations/mamba/mamba.5671f143cfd6.bib"},"thumbnail":{"src":"/content/papers/assets/8f6187d5a2a7a17c0687f2ca08ea302601584bb95f5cd5f52927c54d6e76089a.jpg","width":1224,"height":500},"locale":"ja","path":"/content/papers/ja/mamba/mamba.e24067c941d2.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題解決","text":"問題解決","depth":2},{"id":"選択機構","text":"選択機構","depth":3},{"id":"s6-アーキテクチャ","text":"S6 アーキテクチャ","depth":3},{"id":"mamba-アーキテクチャ","text":"Mamba アーキテクチャ","depth":3},{"id":"選択機構について再考","text":"選択機構について再考","depth":3},{"id":"訓練方法と評価手順","text":"訓練方法と評価手順","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"スケーリング法則","text":"スケーリング法則","depth":3},{"id":"他の言語モデルとの比較","text":"他の言語モデルとの比較","depth":3},{"id":"推論効率の比較","text":"推論効率の比較","depth":3},{"id":"アブレーション実験---選択機構","text":"アブレーション実験 - 選択機構","depth":3},{"id":"アブレーション実験---主要パラメータ","text":"アブレーション実験 - 主要パラメータ","depth":3},{"id":"アブレーション実験---その他の設定","text":"アブレーション実験 - その他の設定","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"訓練方法與協定":"訓練方法と評価手順","討論":"考察","消融実験---選択機構":"アブレーション実験---選択機構","消融実験---主要パラメータ":"アブレーション実験---主要パラメータ","消融実験---その他の設定":"アブレーション実験---その他の設定"},"guide":null,"relatedReading":[{"id":"mamba/s4","relation":"background","topic":"状態空間の記憶から視覚系列へ"},{"id":"mamba/vim","relation":"next","topic":"状態空間の記憶から視覚系列へ"}]},{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"アテンションの遠い親戚","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"ja","path":"/content/papers/ja/mamba/mamba-2.31aeb03056f6.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"ssm-を一つの行列として書く","text":"SSM を一つの行列として書く","depth":3},{"id":"a-を一つの数に簡略化する","text":"A を一つの数に簡略化する","depth":3},{"id":"4つのトークンで計算してみる","text":"4つのトークンで計算してみる","depth":3},{"id":"2つのルートを半分ずつ","text":"2つのルートを半分ずつ","depth":3},{"id":"mamba-2-ブロック","text":"Mamba-2 ブロック","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"状態が大きいほど多く覚えられる","text":"状態が大きいほど、多く覚えられる","depth":3},{"id":"言語モデリング","text":"言語モデリング","depth":3},{"id":"原著者もハイブリッドを勧める","text":"原著者もハイブリッドを勧める","depth":3},{"id":"全面的なアップグレードでもない","text":"全面的なアップグレードでもない","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]},{"id":"mamba/gated-deltanet","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Gated DeltaNet","subtitle":"消してから書く","author":"Z. Yuan","paperDate":"2024-12-09","publishedOn":"2026-02-12","world":"external/gated-deltanet","paperTitle":"Gated Delta Networks: Improving Mamba2 with Delta Rule","paperUrl":"https://arxiv.org/abs/2412.06464","bibliography":{"title":"Gated Delta Networks: Improving Mamba2 with Delta Rule","authors":["Songlin Yang","Jan Kautz","Ali Hatamizadeh"],"url":"https://arxiv.org/abs/2412.06464","pdfUrl":"https://arxiv.org/pdf/2412.06464v3","codeUrl":"https://github.com/NVlabs/GatedDeltaNet","preprint":{"id":"2412.06464","submittedOn":"2024-12-09","url":"https://arxiv.org/abs/2412.06464"},"publication":{"venue":"ICLR","year":2025,"kind":"conference","url":"https://mlanthology.org/iclr/2025/yang2025iclr-gated/"},"citation":"@misc{mambagateddeltanet2024,\n  title = {{Gated Delta Networks: Improving Mamba2 with Delta Rule}},\n  author = {Songlin Yang and Jan Kautz and Ali Hatamizadeh},\n  year = {2024},\n  eprint = {2412.06464},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.06464}\n}\n","citationPath":"/content/papers/citations/mamba/gated-deltanet.b65d8f168c74.bib"},"thumbnail":{"src":"/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png","width":1050,"height":544},"locale":"ja","path":"/content/papers/ja/mamba/gated-deltanet.6152690e76e4.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"線形アテンションは番号がぶつかる電話帳","text":"線形アテンションは番号がぶつかる電話帳","depth":3},{"id":"mamba-2まとめて割り引く","text":"Mamba-2：まとめて割り引く","depth":3},{"id":"deltanetその1件だけを直す","text":"DeltaNet：その1件だけを直す","depth":3},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"3つの書き方で計算してみる","text":"3つの書き方で計算してみる","depth":3},{"id":"2つを組み合わせる","text":"2つを組み合わせる","depth":3},{"id":"並列に学習できるようにする","text":"並列に学習できるようにする","depth":3},{"id":"アーキテクチャとハイブリッド版","text":"アーキテクチャとハイブリッド版","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"実験設定","text":"実験設定","depth":3},{"id":"needle-in-a-haystack3つの規則の分担","text":"needle-in-a-haystack：3つの規則の分担","depth":3},{"id":"言語モデリングと実際の検索","text":"言語モデリングと実際の検索","depth":3},{"id":"速度","text":"速度","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/kimi-linear","relation":"referenced","topic":""}]}],"text":"最初の Mamba から2年あまり。Mamba-3 が ICLR 2026 で発表されました。\n\n著者陣には新しい顔ぶれが並びますが、指導するのは今回も Albert Gu と Tri Dao です。所属はカーネギーメロン大学、プリンストン大学、Together AI、Cartesia AI で、Tri Dao はプリンストンと Together AI、Albert Gu はカーネギーメロンと Cartesia AI に所属しています。\n\nこの論文の序論を読むと、2023年とはずいぶん口調が違うことに気づきます。当時の Mamba が語っていたのは「汎用の系列モデルのバックボーンになれるか」でした。この論文の第1段落が語るのは推論コストです。思考の連鎖やエージェントのワークフローによって、推論時の計算がモデル性能の鍵になった、と。続いて著者らは現状をはっきり書きます。Mamba-2 や Gated DeltaNet のような層は、すでに Kimi、NVIDIA、Tencent Hunyuan、Qwen の大規模な**ハイブリッド**モデルに組み込まれている、と。\n\nですから、この論文の狙いは、こうしたハイブリッドモデルにより良い線形層を提供することです。\n\n## 問題の定義\n\n著者らは3つの問題を挙げています。\n\n1. **Mamba-2 は学習速度のために表現力を犠牲にした**。同じ推論コストなら、Mamba-2 のモデルのほうが劣ります。この点は、Tri Dao が2024年のブログですでに触れていました。\n2. **状態追跡ができない**。0と1の並びで、1の個数が奇数か偶数かを問う。1層の LSTM でもできるこの課題が、Mamba-2 にはできません。原因は状態遷移の固有値が非負の実数に制限されていることだと、先行研究がすでに証明しています。\n3. **デコード時にハードウェアが暇を持て余す**。これらのアルゴリズムは、どれも学習の観点から設計されています。デコードでは一度に1トークンしか処理しないので計算量は小さいのに、状態全体をメモリから読み出して書き戻さなければなりません。GPU はほとんどの時間データを待っていて、演算強度（計算量をメモリ転送量で割ったもの）はとても低くなります。\n\n著者らは「推論ファースト」の観点から、状態空間モデルの原理に立ち返って、それぞれに解決策を示そうとしています。\n\n## 問題の解決\n\n### その1：表現力の高い離散化\n\n状態空間モデルはもともと連続時間の系なので、トークンを一つずつ処理するには、まず離散化が必要です。著者らはまず一つのことを指摘します。Mamba-1 と Mamba-2 の論文に書かれていたのはある公式だが、実際のコードで使われていたのは別の近似だった、と。著者らはこの近似に導出を補い、**exponential-Euler** と名付けました。\n\n$$\nh_t=e^{\\Delta_t A_t}h_{t-1}+\\Delta_t B_t x_t\n$$\n\nこれは区間の右端の入力だけを使う一次近似です。Mamba-3 は台形則を一般化したものに切り替え、区間の両端を同時に見ます。\n\n$$\nh_t=\\alpha_t h_{t-1}+\\beta_t B_{t-1}x_{t-1}+\\gamma_t B_t x_t\n$$\n\nここで $\\alpha_t=e^{\\Delta_t A_t}$、$\\beta_t=(1-\\lambda_t)\\Delta_t e^{\\Delta_t A_t}$、$\\gamma_t=\\lambda_t\\Delta_t$ で、$\\lambda_t\\in[0,1]$ はデータで決まります。$\\lambda_t=1$ なら Mamba-2 に戻ります。$\\lambda_t=\\tfrac12$ のときは、（指数減衰を掛けた）入力の積分を両端点の平均で近似することになり、台形則に似た形です。より高い誤差次数を得るには、$\\lambda_t$ が $\\tfrac12$ に近いといった条件も満たす必要があります。実際のモデルでは $\\lambda_t$ を自由に学習させていて、その主な効果は再帰の表現力を高めることです。\n\nこの式には一つ前のトークンの入力の項が加わっていて、SSM の入力に幅2の畳み込みを先にかけるのに相当します。著者らは、これに $B$、$C$ の学習可能なバイアス項を加えれば、ほぼすべての線形モデルに入っているあの短い畳み込みを取り除けることを見出しました。\n\n| バリアント（440M） | パープレキシティ |\n| --- | ---: |\n| Mamba-3 からバイアスと台形則を除去 | 16.68 |\n| Mamba-3 からバイアスを除去 | 16.49 |\n| Mamba-3 | 15.72 |\n| Mamba-3 に短い畳み込みを戻す | 15.85 |\n\n*表：原論文 Table 5a。*\n\n### その2：複素数の状態で、くるりと回る\n\nまずパリティの問題から。状態が「回転」できるなら、話は簡単です。1を読んだら半回転、0なら動かず、最後にどちら側で止まったかを見ればよいのです。\n\n```python\nimport numpy as np\nrng = np.random.default_rng(0)\nbits = rng.integers(0, 2, size=1000)\n\ndef rot(theta):\n    c, s = np.cos(theta), np.sin(theta)\n    return np.array([[c, -s], [s, c]])\n\nh = np.array([1.0, 0.0])\nfor x in bits:\n    h = rot(np.pi * x) @ h          # 1 を読んだら半回転、0 なら動かない\nprint(\"回転する状態：\", np.round(h, 6), \"→ パリティ\", 0 if h[0] > 0 else 1)\nprint(\"直接計算：\", bits.sum() % 2)\n\n# 実数で非負の減衰：毎ステップ 0 から 1 の間の数を掛けるので、小さくなるだけで裏返らない\nh = 1.0\nfor x in bits[:20]:\n    h = (0.5 if x else 0.9) * h\nprint(\"非負の減衰、20 ステップ後：\", round(h, 6))\n```\n\n```text\n回転する状態： [-1.  0.] → パリティ 1\n直接計算： 1\n非負の減衰、20 ステップ後： 3.2e-05\n```\n\n1,000ビットを読み終えると、回転する状態はちょうど答えの位置で止まります。一方、Mamba-2 のような非負のスカラー減衰では、各ステップで0から1の間の数を掛けることしかできません。状態は小さくなる一方で、反対側に裏返ることは決してありません。\n\n（最後の部分は例示にすぎません。先行研究の定理が述べているのは、もっと一般的な場合です。遷移行列の固有値がすべて非負の実数なら、この種の線形 RNN は有限精度では任意の長さのパリティを解けません。）\n\n回転を複素数で表すと、$e^{i\\theta}$ を掛けることになります。著者らは Mamba-3 の SSM を複素数の形にし、2つのことを証明しました。\n\n1. 複素数の SSM は、次元を2倍にした実数の SSM に書き換えられる。その遷移行列は、減衰係数に、2×2 の回転行列を並べたブロック対角行列を掛けたものになる。\n2. 現在までの累積回転を $B$、$C$ に吸収させると、**データで決まる回転位置エンコーディング**（RoPE）を適用するのと等価になる。\n\n2点目はとても実用的です。RoPE には Transformer ですでに非常に成熟した安価な実装があり、Mamba-3 はそれをそのまま使えるので、追加コストはわずかです。違いは、通常の RoPE が位置ごとに決まった角度だけ回すのに対し、Mamba-3 では何度回すかを入力が決めることです。\n\n形式言語タスクの結果です（スケーリング後の正解率、%）。\n\n| モデル | パリティ | モジュラー演算（括弧なし） | モジュラー演算（括弧あり） |\n| --- | ---: | ---: | ---: |\n| Mamba-3 | 100.00 | 98.51 | 87.75 |\n| Mamba-3（通常の RoPE に変更） | 1.56 | 20.70 | 2.62 |\n| Mamba-3（RoPE なし） | 2.27 | 1.49 | 0.72 |\n| Mamba-2 | 0.90 | 47.81 | 0.88 |\n| GDN（固有値の範囲 [−1, 1]） | 100.00 | 99.25 | 93.50 |\n\n*表：原論文 Table 5b。*\n\nこのテストは短い系列で学習し、より長い系列でテストしています。Mamba-3 のバリアントのうち、3項目すべてでうまくいったのは、データで角度が決まる版だけでした。角度固定の RoPE と RoPE なしはほとんど0に近く、角度固定版が括弧なしのモジュラー演算で20.70を取っただけです。（表の値はスケーリング後の正解率で、0がおおむね当てずっぽうに相当します。）Mamba-2 は括弧なしのモジュラー演算では部分的に成功していますが（47.81）、パリティと括弧ありのモジュラー演算では0に近い値です。\n\n表の最後の行も見ておきましょう。負の固有値を許した Gated DeltaNet も同じように解けていて、括弧ありのモジュラー演算ではむしろ上回っています。状態追跡への道は、複素数だけではありません。負の固有値も、裏返るための一つの方法です。\n\n### その3：MIMO で、デコード中の GPU を働かせる\n\nもともとの SSM が各ステップで行うのは、**単入力単出力**（SISO）の更新です。入力と $B$ の外積を1回とり、ランク1の行列を状態に加えます。デコードでは各ステップで状態全体を読み書きするのに、計算はこれだけしかありません。\n\nMamba-3 はこれを**多入力多出力**（MIMO）に置き換えます。入力と $B$ がそれぞれ $R$ 本の分岐を持ち、各ステップでランクが最大 $R$ の更新を書き込み、読み出しにも $R$ 組の $C$ を使います。状態の大きさは変わりません。$R$ が状態次元やヘッド次元よりずっと小さければ、SSM の主要な演算の計算量はおよそ $R$ に比例して増えますが、メモリ転送量は依然としてあの固定サイズの状態が支配するので、演算強度もそれにつれて上がります。デコードはもともとメモリで詰まっているので、増えた計算は、GPU が遊んでいた時間を拾って使うようなものです。\n\n論文では $R=4$ を使っています。パラメータ数を SISO 版とそろえるため、1.5B モデルの MLP の中間層を4096から3824に縮めています。学習時は MIMO のほうが遅く、著者らによれば最大で SISO の $R$ 倍かかります。\n\n### アーキテクチャ\n\n[![2つのブロックを並べた図。左の Mamba-2 ブロック：入力から X、B、C と減衰を決めるパラメータ（図では A と表記）を射影し、X は畳み込みと活性化関数を経て SSM に入り、出力はゲートと掛け合わされた後に正規化され、出力射影へ進む。右の Mamba-3 ブロック：畳み込みがなく、B と C はそれぞれ正規化された後に RoPE（角度 Θ は入力の射影から作られる）を通り、さらにオプションの MIMO 射影が加わっている](/content/papers/assets/bafe70ab05ff3f4100278e18abb0198af0081a8802873a746e8df5fef028e047.png)](/content/papers/assets/bafe70ab05ff3f4100278e18abb0198af0081a8802873a746e8df5fef028e047.png)\n\n*原論文 Figure 2。[**v1 PDF の11ページ**](https://arxiv.org/pdf/2603.15569v1#page=11)から抜粋、CC BY 4.0。*\n\n左右2つのブロックを見比べてみましょう。\n\n- **短い畳み込みがなくなり**、台形則とバイアス項がその代わりを務めます。\n- **$B$、$C$ を先に正規化**します。Transformer の QK 正規化に似た働きです。\n- **RoPE が加わり**、角度 $\\Theta$ は入力から作られます。これが複素数の状態の実装です。\n- **黄色の MIMO 射影**はオプションです。\n- 純粋な Mamba-3 では、Mamba-2 にあった出力前の正規化層を取り除いています。ハイブリッドモデルに入れる場合は、これを戻すと長さの汎化に役立つことを著者らは見出しました。\n\n全体の骨格は Llama を踏襲し、Mamba-3 ブロックと SwiGLU を交互に積み重ねます。\n\n## 考察\n\n### 言語モデリング\n\nすべてのモデルを FineWeb-Edu の 100B トークンで学習しています。コンテキストは 2K、規模は 180M から 1.5B までの4種類です。1.5B の結果は次のとおりです。\n\n| モデル | FineWeb-Edu のパープレキシティ | 七項目の正解率の平均 |\n| --- | ---: | ---: |\n| Transformer | 10.51 | 55.4 |\n| GDN | 10.45 | 55.8 |\n| Mamba-2 | 10.47 | 55.7 |\n| Mamba-3 SISO | 10.35 | 56.4 |\n| Mamba-3 MIMO（$R=4$） | 10.24 | 57.6 |\n\n*表：原論文 Table 3 より抜粋。*\n\nSISO は2番手の GDN より0.6ポイント高く、MIMO はさらに1.2ポイント上積みしています。4つの規模すべてで、Mamba-3 SISO は Mamba-2 を上回りました。\n\n[![折れ線グラフ。横軸は相対的な総状態サイズ（対数目盛）、縦軸は事前学習のパープレキシティ。3本の線は上から Mamba-2、Mamba-3、Mamba-3 MIMO で、状態が大きいほどパープレキシティが低い。Mamba-3 MIMO の線は全体が最も下にある](/content/papers/assets/9c2757127eedcbc423ca747c871fa87a8c498a586a11782bf356497d5bf9510d.png)](/content/papers/assets/9c2757127eedcbc423ca747c871fa87a8c498a586a11782bf356497d5bf9510d.png)\n\n*原論文 Figure 3。[**v1 PDF の15ページ**](https://arxiv.org/pdf/2603.15569v1#page=15)から抜粋、CC BY 4.0。440M モデルを、Chinchilla 最適トークン数の2倍まで学習。*\n\nデコード速度は主に状態の大きさで決まるので、著者らは状態の大きさを推論速度の代理指標にしています。図では、同じ状態の大きさなら、Mamba-3 のパープレキシティは常に Mamba-2 より低くなっています。MIMO 版は状態64で、状態128の Mamba-2 と同等のパープレキシティに達します。要旨にある「前身の半分の状態サイズ」は、ここから来ています。\n\n### 検索：純粋なモデルではまだ足りない\n\n検索は、依然として固定された状態の弱点です。1.5B モデル、2K トークンで切り詰めた実際の検索タスクの結果です。\n\n| モデル（1.5B） | SWDE | SQuAD | FDA | TriviaQA |\n| --- | ---: | ---: | ---: | ---: |\n| Transformer | 48.9 | 46.6 | 58.4 | 67.5 |\n| Mamba-2 | 30.7 | 39.1 | 23.7 | 64.3 |\n| Mamba-3 SISO | 28.5 | 40.1 | 23.4 | 64.5 |\n| Mamba-3 MIMO | 36.3 | 41.7 | 29.3 | 64.5 |\n| ハイブリッド Mamba-3 SISO | 58.5 | 47.0 | 65.9 | 64.8 |\n\n*表：原論文 Table 4 より抜粋。ハイブリッドモデルは、線形層5層に、位置エンコーディングなしのアテンション1層を組み合わせたもの。*\n\nこれらの実データセットは、どれも 2K トークンで切り詰めた穴埋め形式に書き換えられています。質問応答系の TriviaQA ではほぼ互角ですが、SWDE や FDA のように半構造化された Web ページや文書から情報を抜き出すタスクでは、純粋な Mamba-3 SISO は Transformer にそれぞれ20.4ポイント、35.0ポイント遅れ、MIMO 版でその差が12.6ポイント、29.1ポイントに縮まります。アテンション層を加えたハイブリッド版になると、これらの項目でも Transformer に追いつき、さらには上回ります。\n\n著者らはここで、とても重要な一文を書いています。固定サイズの状態には検索に関わる生来の弱点があるため、**線形層は主にハイブリッドアーキテクチャの中で使われるようになると予測する**。その弱点は、二乗の計算量を持つセルフアテンション層が補う、と。\n\nこの一文は、Mamba の原著者自身の論文に書かれています。2023年と比べると、Mamba の位置づけはすでにはっきり語られています。\n\n著者らは、ハイブリッドモデルの振る舞いがあまり直感的でないことも認めています。正規化をゲートの前に置くか後に置くか、どの種類を使うかで、長さの汎化と実際の検索の間で綱引きが起き、まだ結論は出ていません。\n\n### 速度：比較条件に注意\n\nデコードカーネルのレイテンシ（Table 6）は、H100 1枚、バッチ128、1.5B モデルで測ったものです。bf16、状態128のとき、Mamba-3 SISO は1ステップ 0.156 ms、Mamba-2 は 0.203 ms、GDN は 0.257 ms です。MIMO は 0.179 ms で、SISO より少し遅いものの、Mamba-2 よりは速くなっています。\n\nエンドツーエンドの比較（Table 7）は、プリフィルと同じ長さのデコードを合わせたものです。16K トークンでは、Mamba-3 SISO が約141秒、vLLM 上の Llama-3.2-1B が約977秒で、約7倍の差があります。ニュース報道の「7倍速い」という数字は、おそらくこの2つのセルから来ています。\n\nこの数字を読むときは、条件をよく確かめる必要があります。\n\n- 比較相手は vLLM 上で動く別のモデル（Llama-3.2-1B）で、同じコードベースではありません。\n- バッチは128です。付録の説明によると、16K では vLLM をバッチ128で動かすとメモリが足りないため、バッチ16で実測し、8倍して推定しています。\n- 系列が短いほど差は小さくなります。512トークンでは、両者の差はわずか0.06秒です。\n\nHacker News では、「推論時に計算を増やすのはよいことだ」という結論にあまり納得しない読者もいました。バッチ1のデコードは確かにメモリで詰まるが、サービス事業者はリクエストを大きなバッチにまとめて計算するので、計算資源が遊んでいるとは限らない、というのです。別の読者は、論文が Mamba-2 と Mamba-3 のレイテンシを比べたのはまさにバッチ128で、このバッチサイズでも Mamba-2 は計算資源を使い切っていないように見える、と応じました。疑問を呈した側は、DeepSeek のバッチサイズは8192ほどで、128は大きいとは言えないと返しています。ローカル推論のバッチは普通1なので、遊んでいる計算をちょうど活用できる、と補足する人もいました。[Hacker News、2026-03-21](https://news.ycombinator.com/item?id=47419391) このやり取りは、MIMO が効く範囲をおおよそ示しています。バッチが小さく、メモリの制約を強く受けるほど、MIMO は得になります。\n\n## 結論\n\nMamba-3 は、状態空間モデルの昔ながらの原理から、3つの変更を引き出しました。\n\n1. **指数台形離散化**：より表現力の高い再帰で、$B$、$C$ のバイアス項と組み合わせて、短い畳み込みを必須ではないものにしました。\n2. **複素数の状態**：データで決まる RoPE と等価で、Mamba-2 が解けなかったパリティとモジュラー演算を解けます。\n3. **MIMO**：メモリ律速のデコード段階で計算を少し増やし、レイテンシをほぼ変えずに品質を高めます。\n\n1.5B、100B トークンの比較では、言語モデリングで Transformer、Mamba-2、GDN を上回りました。別の 440M、Chinchilla 最適トークン数の2倍の実験では、MIMO 版は半分の状態で Mamba-2 のパープレキシティに達します。\n\nそれでも、いちばん覚えておきたいのは、検索についての著者ら自身の判断かもしれません。固定された状態には検索の弱点があるので、線形層は主にハイブリッドアーキテクチャで使われるようになると予測しているのです。論文は純粋なモデルの比較も残しつつ、アテンションと補い合う効果も測っています。2023年の Mamba 論文が、汎用の系列モデルのバックボーンになることを期待していたのと比べると、重心は明らかに「ハイブリッドモデルの中の線形層をどう作り込むか」へ移っています。\n\n主な実験はすべて 1.5B 以下、100B トークンの規模で、状態の大きさと構成要素のアブレーションには、さらに小さい 440M モデルを使っています。ハイブリッドモデルも 5:1 という比率を1つ試しただけです。パラメータが100億を超えるハイブリッドモデルに入れたときにどうなるかには、論文はまだ答えていません。\n\n\n> [!TIP]\n> \n> Mamba シリーズの前の2世代と、同じく状態の更新に取り組んだ Gated DeltaNet は、こちらを参照してください。\n> \n> - **[[23.12] Mamba：継承者は誰か](/blog/papers/mamba/mamba)**\n> - **[[24.05] Mamba-2：アテンションの遠い親戚](/blog/papers/mamba/mamba-2)**\n> - **[[24.12] Gated DeltaNet：消してから書く](/blog/papers/mamba/gated-deltanet)**\n","imageSizes":{"/content/papers/assets/bafe70ab05ff3f4100278e18abb0198af0081a8802873a746e8df5fef028e047.png":{"width":1356,"height":644},"/content/papers/assets/9c2757127eedcbc423ca747c871fa87a8c498a586a11782bf356497d5bf9510d.png":{"width":650,"height":345}}}