{"notes":[{"id":"mamba/mamba-2-hybrid","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2-Hybrid","subtitle":"おぼろげな記憶","author":"Z. Yuan","paperDate":"2024-06-12","publishedOn":"2026-01-22","paperTitle":"An Empirical Study of Mamba-based Language Models","paperUrl":"https://arxiv.org/abs/2406.07887","bibliography":{"title":"An Empirical Study of Mamba-based Language Models","authors":["Roger Waleffe","Wonmin Byeon","Duncan Riach","Brandon Norick","Vijay Korthikanti","Tri Dao","Albert Gu","Ali Hatamizadeh","Sudhakar Singh","Deepak Narayanan","Garvit Kulshreshtha","Vartika Singh","Jared Casper","Jan Kautz","Mohammad Shoeybi","Bryan Catanzaro"],"url":"https://arxiv.org/abs/2406.07887","pdfUrl":"https://arxiv.org/pdf/2406.07887v1","codeUrl":"https://github.com/NVIDIA/Megatron-LM","preprint":{"id":"2406.07887","submittedOn":"2024-06-12","url":"https://arxiv.org/abs/2406.07887"},"publication":null,"citation":"@misc{mambamamba2hybrid2024,\n  title = {{An Empirical Study of Mamba-based Language Models}},\n  author = {Roger Waleffe and Wonmin Byeon and Duncan Riach and Brandon Norick and Vijay Korthikanti and Tri Dao and Albert Gu and Ali Hatamizadeh and Sudhakar Singh and Deepak Narayanan and Garvit Kulshreshtha and Vartika Singh and Jared Casper and Jan Kautz and Mohammad Shoeybi and Bryan Catanzaro},\n  year = {2024},\n  eprint = {2406.07887},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2406.07887}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2-hybrid.2add9f814f3a.bib"},"thumbnail":{"src":"/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png","width":1245,"height":322},"locale":"ja","path":"/content/papers/ja/mamba/mamba-2-hybrid.2be6a0d9ad19.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"まず純粋な-ssm-の成績を見る","text":"まず純粋な SSM の成績を見る","depth":3},{"id":"電話帳とおぼろげな記憶","text":"電話帳とおぼろげな記憶","depth":3},{"id":"アテンションをどれだけ戻すか","text":"アテンションをどれだけ戻すか？","depth":3},{"id":"メモリを手計算する","text":"メモリを手計算する","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"12項目の標準タスク","text":"12項目の標準タスク","depth":3},{"id":"長いコンテキストおおむね互角以上複数文書の質問応答では劣る","text":"長いコンテキスト：おおむね互角以上、複数文書の質問応答では劣る","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/repeat-after-me","relation":"referenced","topic":""},{"id":"mamba/mamba-2","relation":"referenced","topic":""}]},{"id":"mamba/repeat-after-me","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Repeat After Me","subtitle":"電話帳テスト","author":"Z. Yuan","paperDate":"2024-02-01","publishedOn":"2025-12-23","paperTitle":"Repeat After Me: Transformers are Better than State Space Models at Copying","paperUrl":"https://arxiv.org/abs/2402.01032","bibliography":{"title":"Repeat After Me: Transformers are Better than State Space Models at Copying","authors":["Samy Jelassi","David Brandfonbrener","Sham M. Kakade","Eran Malach"],"url":"https://arxiv.org/abs/2402.01032","pdfUrl":"https://arxiv.org/pdf/2402.01032v2","codeUrl":"https://github.com/sjelassi/transformers_ssm_copy","preprint":{"id":"2402.01032","submittedOn":"2024-02-01","url":"https://arxiv.org/abs/2402.01032"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/jelassi24a.html"},"citation":"@misc{mambarepeatafterme2024,\n  title = {{Repeat After Me: Transformers are Better than State Space Models at Copying}},\n  author = {Samy Jelassi and David Brandfonbrener and Sham M. Kakade and Eran Malach},\n  year = {2024},\n  eprint = {2402.01032},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2402.01032}\n}\n","citationPath":"/content/papers/citations/mamba/repeat-after-me.6f1018ade730.bib"},"thumbnail":{"src":"/content/papers/assets/6d45fd8ab61191e1263c400e01bf76bdd9ef3534ecc4485835332074ea553443.png","width":1378,"height":416},"locale":"ja","path":"/content/papers/ja/mamba/repeat-after-me.1c006f53a866.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"コピータスク","text":"コピータスク","depth":3},{"id":"状態が小さければ写しきれない","text":"状態が小さければ、写しきれない","depth":3},{"id":"transformer-は-n-gram-で位置を探す","text":"Transformer は n-gram で位置を探す","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"合成データ覚えが早く遠くまで通用する","text":"合成データ：覚えが早く、遠くまで通用する","depth":3},{"id":"何を探すか先に教えてくれれば問題ない","text":"何を探すか先に教えてくれれば、問題ない","depth":3},{"id":"事前学習済みモデル電話帳","text":"事前学習済みモデル：電話帳","depth":3},{"id":"この論文がまだ答えていないこと","text":"この論文がまだ答えていないこと","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/jamba","relation":"referenced","topic":""}]},{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"アテンションの遠い親戚","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"ja","path":"/content/papers/ja/mamba/mamba-2.31aeb03056f6.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"ssm-を一つの行列として書く","text":"SSM を一つの行列として書く","depth":3},{"id":"a-を一つの数に簡略化する","text":"A を一つの数に簡略化する","depth":3},{"id":"4つのトークンで計算してみる","text":"4つのトークンで計算してみる","depth":3},{"id":"2つのルートを半分ずつ","text":"2つのルートを半分ずつ","depth":3},{"id":"mamba-2-ブロック","text":"Mamba-2 ブロック","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"状態が大きいほど多く覚えられる","text":"状態が大きいほど、多く覚えられる","depth":3},{"id":"言語モデリング","text":"言語モデリング","depth":3},{"id":"原著者もハイブリッドを勧める","text":"原著者もハイブリッドを勧める","depth":3},{"id":"全面的なアップグレードでもない","text":"全面的なアップグレードでもない","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]}],"text":"2024年の半ばになると、Mamba をめぐる話題は、やや両極端に分かれていました。\n\n一方には、原著者による 2.8B 以下の実験があります。Mamba と Mamba-2 は一般的なベンチマークで、同規模の Transformer に並ぶか、上回ることさえありました。もう一方では、コピー、検索、in-context learning に弱点があると指摘する研究が増えていました。AI21 の Jamba は、割り切って Mamba 層の間にアテンションを何層か残しています。\n\n問題は、これらの比較の条件がまちまちなことです。原著者の実験は 3B パラメータ未満、1T トークン未満で、Jamba のような大きなモデルは、同じデータで対照用の Transformer を学習していません。\n\nNVIDIA のこの技術報告は、その空白を埋めようとしています。**同じデータ、同じハイパーパラメータ、同じ評価手順**で、8B パラメータの Mamba、Mamba-2、Transformer と、1つのハイブリッドモデルを最大 3.5T トークンまで学習し、35のタスクでまとめて比べます。\n\n著者リストには NVIDIA の研究者に加え、Mamba の2人の著者、Tri Dao と Albert Gu も名を連ねています。\n\n## 問題の定義\n\n著者らが答えたい問いは明快です。学習予算を大きくしたとき、Mamba は Transformer についていけるのか？ ついていけない部分があるなら、アテンションを何層か戻せば足りるのか？\n\n比較を公平にするため、4つのモデルは次のものを共有します。\n\n- 同じデータ：1.1T と 3.5T トークンの2つの版で、どちらも Nemotron-4 の学習データの前身です。英語70%、その他の言語15%、コード15%。\n- 同じハイパーパラメータ：小規模で試したところ、Mamba の最適なハイパーパラメータは Transformer とほぼ同じだったので、すべて共通にしています。\n- 同じ評価：バージョンを固定したオープンソースの評価スイートと、共通のプロンプト。\n\nモデルの構成は次のとおりです。\n\n| モデル | 層数 | 説明 |\n| --- | ---: | --- |\n| Transformer | 32 | 各層はアテンション＋MLP、アテンションヘッド32個、RoPE |\n| Mamba | 56 | Mamba 二層分のパラメータ数がアテンション＋MLP 一層分にほぼ相当、状態次元128 |\n| Mamba-2 | 56 | 同上、Mamba-2 ブロックに置き換え、ヘッド次元64、8グループ |\n| Mamba-2-Hybrid | 56 | 24層の Mamba-2、4層のアテンション、28層の MLP |\n\n*表：原論文 §3.1 と Table 6 をもとに整理。4つとも約 8B パラメータ、隠れ次元4096。*\n\n3.5T トークンの組で学習したのは、Mamba-2、Transformer、ハイブリッドモデルだけです。著者らによれば、純粋な Mamba は状態が大きすぎて、1.1T の組ですでに Mamba-2 より3倍近く遅かったためです。\n\n## 問題の解決\n\n### まず純粋な SSM の成績を見る\n\n1.1T トークンの結果には、ひときわ浮いた数字があります。\n\n| モデル | 常識タスク五項目の平均 | MMLU 0-shot | MMLU 5-shot |\n| --- | ---: | ---: | ---: |\n| Transformer | 67.87 | 38.32 | 46.28 |\n| Mamba | 68.07 | 28.63 | 28.00 |\n| Mamba-2 | 68.56 | 28.94 | 29.19 |\n\n*表：原論文 Table 2 より抜粋。8B モデル、1.1T トークン。五項目は WinoGrande、PIQA、HellaSwag、ARC-E、ARC-C。*\n\n常識タスクでは、2つの Mamba がどちらも Transformer をわずかに上回ります。ところが MMLU 5-shot では17ポイント以上の差がつき、4択を当てずっぽうで答えるのとほとんど変わらない水準まで落ちています。\n\n3.5T トークンまで学習すると、Mamba-2 の MMLU 5-shot は 48.7 まで戻り、Transformer の 50.07 との差はわずか1.37ポイントです。平均スコアでは逆転さえしています。では、学習量を増やしさえすればよいのでしょうか？\n\n著者らはここで止まらず、MMLU を3通りの聞き方で試しました。\n\n1. **標準形式**：問題の後に A、B、C、D の4つの選択肢を並べ、モデルが次に出力する文字のうち、どれの確率が最も高いかを比べる。\n2. **選択肢の文を目標にする**：同じく選択肢を並べるが、比べるのは文字を含む選択肢の文全体、たとえば「B. sorted('ab')」の確率。\n3. **穴埋め形式**：問題の後に選択肢を並べず、各解答の文が問題に続く確率を直接比べる。\n\n1.1T トークンのモデルでは、3つ目の聞き方にすると、2つの Mamba と Transformer のスコアはほとんど同じになりました（5-shot で約38〜39ポイント）。\n\n著者らはここから、純粋な SSM が学んだ知識は Transformer と近いかもしれず、つまずいているのは形式だ、と推測します。モデルは「上に4つの選択肢があり、1文字で答える」ことを読み取り、さらに各選択肢の内容を対応する文字に移さなければなりません。こうしたトークン間で情報を運ぶ作業こそ、アテンションが得意で、純粋な SSM が苦労するところです。これは著者らの解釈で、3通りの聞き方のスコアはそれを支持していますが、直接の証明とまでは言えません。\n\nもう一つ細かい点があります。3.5T の Mamba-2 は 0-shot から 5-shot にしても MMLU が1.45ポイントしか上がらないのに、Transformer は4.38ポイント上がりました。追加された例を、Mamba-2 はあまり活かせていません。\n\n### 電話帳とおぼろげな記憶\n\nもう一つのテストは電話帳です。プロンプトに「名前：電話番号」の並びを入れ、質問と回答の例を2つ示してから、ある人の電話番号を尋ねます。\n\n[![3枚の折れ線グラフ。横軸はいずれも電話帳の長さ（千トークン）で、縦線が 4K の事前学習長を示す。(a) 標準の電話帳：Transformer は 4K 以内ではほぼ100%で、超えると急速に0になる。Mamba と Mamba-2 は 0.5K 前後で下がり始め、2.5K 以降はほとんど20%以下。(b) 回答中の正しいトークン数：2つの Mamba は12個から次第に4〜6個まで減る。(c) 逆順の電話帳で、誰を覚えるべきか先に伝える：Mamba はやや良いが長さとともに下がり、Mamba-2 は 3K 前後で10%を下回り、Transformer は 4K 以内で100%を保つ](/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png)](/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png)\n\n*原論文 Figure 3。[**v1 PDF の8ページ**](https://arxiv.org/pdf/2406.07887v1#page=8)から抜粋。3枚とも 1.1T トークンの 8B モデルで、縦線は4,096の事前学習長です。*\n\n左の図：Transformer は事前学習長4,096以内ではほぼ全問正解ですが、それを超えると崩れます。2つの Mamba は500トークンほどで間違え始めます。著者らは、MMLU と違って、この差は 3.5T トークンの Mamba-2 でも残っていると強調しています。\n\n真ん中の図は興味深いものです。著者らは正解かどうかだけでなく、回答の中で正しいトークンがいくつあるかを一つずつ照合しました。電話番号1件は約12トークンで、2つの Mamba は間違えたときでも、4〜8個は合っていることがよくあります。\n\n著者らはこれを**おぼろげな記憶**（fuzzy memory）と呼びます。どのデータも状態に詰め込まれてはいるものの、詰め方が粗く、取り出すときに形が崩れてしまうのです。\n\n右の図は聞き方を変えています。後で誰について尋ねるかを先にモデルに伝え、それから電話帳を渡します。理屈の上では、Mamba はその名前だけを見張っていればよいはずです。スコアは確かに少し良くなりましたが、やはり長さとともに下がります。著者らの解釈では、問いを事前に知っていても、どの情報を正確に残し、どれを忘れてよいかを決めるのは、モデルにとって依然として難しいのです。\n\n\n> [!TIP]\n> \n> この報告の電話帳タスクは、ハーバードの Jelassi らの研究から借りたものです。そちらでも「問いを先に出す」版と「後に出す」版を比べていて、ゼロから学習した小さなモデルでは、問いを先に出せば状態モデルも好成績を収められます。\n> \n> - **[[24.02] Repeat After Me：電話帳テスト](/blog/papers/mamba/repeat-after-me)**\n\n\n### アテンションをどれだけ戻すか？\n\n続いて著者らは、アテンションを何層か戻します。比較を公平にするため、アテンションのヘッド数と MLP の拡張率を調整し、どの種類の層もパラメータ数がほぼ同じになるようにしています。こうすれば、層数の比率がそのままパラメータの比率になります。\n\n[![折れ線グラフ。横軸は全層に占めるアテンション層の割合（0〜100%）、縦軸は検証損失。0%で約2.615、約8%で最低の約2.554まで下がり、その後は割合が増えるにつれて徐々に上がり、100%で約2.63](/content/papers/assets/5b19ee03675ebbd942f790c816960a5b57e28b46fad1020453f2a1f4e4a2c647.png)](/content/papers/assets/5b19ee03675ebbd942f790c816960a5b57e28b46fad1020453f2a1f4e4a2c647.png)\n\n*原論文 Figure 4。[**v1 PDF の9ページ**](https://arxiv.org/pdf/2406.07887v1#page=9)から抜粋。1.3億パラメータ、24層のハイブリッドモデル。*\n\n1.3億パラメータ、24層の小さなモデルでは、アテンション層が約8%のとき検証損失が最も低くなりました。すべてアテンションでも、アテンションがまったくなくても、ハイブリッドより悪くなります。8.4億パラメータのモデルでも、同じ傾向が確認されています。\n\nほかの設計上の選択です。\n\n- **MLP 層の割合**：アテンションを8%に固定すると、MLP が30〜50%を占めても損失は悪化しません。割合が高いほど学習は速く、50%では5%より約20%速くなりました。\n- **位置エンコーディング**：840M のハイブリッドモデルでは、RoPE の有無でベースモデルはほぼ同じでした。16K コンテキストに延長すると、RoPE なしのほうが平均スコアがむしろ高かったため、以降はすべて RoPE を使っていません。\n- **層の並び**：最初の層に Mamba を置き、位置情報を自然に学ばせます。残りはアテンションと MLP を均等に散らします。著者らはこれより良い並べ方を見つけられず、固定のブロックを繰り返す必要もありませんでした。\n- **GQA**：アテンションに GQA を使っても、検証パープレキシティの増加は約0.04%にとどまり、推論時のメモリを大きく節約できます。\n\n最終的な 8B ハイブリッドモデルは計56層で、Mamba-2 が24層（42.9%）、アテンションが4層（7.1%）、MLP が28層（50%）です。並びは次のとおりです。\n\n```text\nM+M+M++M+M*+M+M+M+M++M*+M+M+M+M+M*++M+M+M+M+M*+M++M+M+M+\n```\n\n`M` が Mamba-2、`*` がアテンション、`+` が MLP です。4つのアスタリスクが中盤に均等に散らばっています。\n\n### メモリを手計算する\n\n論文の構成で、2つのモデルが推論時にどれだけのものを持ち歩くか計算してみましょう。Transformer は32層、32ヘッドのマルチヘッドアテンション、ハイブリッドモデルは4層、KV 8グループの GQA で、どちらも各ヘッド128次元、bf16 です。\n\n```python\ndef kv(layers, kv_heads, head_dim=128, tokens=1, b=2):\n    return 2 * layers * kv_heads * head_dim * b * tokens\n\nMiB, GiB = 2**20, 2**30\nt = kv(32, 32); h = kv(4, 8)\nprint(f\"Transformer はトークンあたり {t // 1024} KiB、ハイブリッドモデルはトークンあたり {h // 1024} KiB（{t // h}倍）\")\nfor n in (4096, 131072):\n    print(f\"{n:>6} トークン：Transformer {kv(32, 32, tokens=n) / GiB:.2f} GiB、ハイブリッド {kv(4, 8, tokens=n) / GiB:.3f} GiB\")\n\nssm = 24 * (2 * 4096) * 128            # Mamba-2 が 24 層、内部幅 8192、状態次元 128\nprint(f\"24層の Mamba-2 の状態：{ssm:,} 個の値、bf16 {ssm * 2 / MiB:.0f} MiB（長さに依存しない）\")\n```\n\n```text\nTransformer はトークンあたり 512 KiB、ハイブリッドモデルはトークンあたり 16 KiB（32倍）\n  4096 トークン：Transformer 2.00 GiB、ハイブリッド 0.062 GiB\n131072 トークン：Transformer 64.00 GiB、ハイブリッド 2.000 GiB\n24層の Mamba-2 の状態：25,165,824 個の値、bf16 48 MiB（長さに依存しない）\n```\n\n32倍のうち、8倍はアテンション層が32層から4層に減ったことによるもので、残りの4倍は GQA によるものです。Mamba-2 の 48 MiB の状態は、4K コンテキストでは KV キャッシュと同じくらいの大きさですが、コンテキストが長くなるほど比重が小さくなります。\n\nこれは系列1本分のメモリの勘定にすぎません。論文の Figure 5 は、バッチ32でトークンを1つ生成する場合、短いコンテキストでは両者の速度は同程度で、コンテキストが10万を超えるとハイブリッドモデルが8倍近く速くなると予測しています。これは報告が示す予測値で、対応する推論システムでの実測や、詳しいレイテンシモデルは本文に添えられていません。学習効率のほうは実測があり、H100 1,024枚で、ハイブリッドモデルの MFU は29.9%、Transformer は30.7%でした。\n\n## 考察\n\n### 12項目の標準タスク\n\n3.5T トークンでは、ハイブリッドモデルが12項目の標準タスクすべてで Transformer を上回りました。論文の平均欄は MMLU の 0-shot と 5-shot をそれぞれ1列として数えた計13列の平均で、2.65ポイント高くなっています。\n\n| モデル | MMLU 5-shot | SQuAD v2 | 論文の平均（13列） |\n| --- | ---: | ---: | ---: |\n| Transformer | 50.07 | 53.4 | 53.17 |\n| Mamba-2 | 48.7 | 51.9 | 54.69 |\n| Mamba-2-Hybrid | 53.60 | 58.67 | 55.82 |\n\n*表：原論文 Table 7 より抜粋。*\n\nMMLU の学習曲線も見ておく価値があります（論文 Figure 6）。ハイブリッドモデルは終始 Mamba-2 のみを上回っていますが、学習の初期には Transformer に負けていて、1.5T トークンで追いついてから、ようやくリードを保ち続けるようになります。\n\n### 長いコンテキスト：おおむね互角以上、複数文書の質問応答では劣る\n\n著者らは 4K のベースモデルをさらに 50B トークン事前学習し、16K と 32K に延長しました。4つのアテンション層は、完全なグローバルアテンションです。\n\n結果は3つに分かれます。\n\n1. **電話帳**：ハイブリッドモデルは事前学習長の範囲で全問正解なだけでなく、少し先まで通用します。4K のハイブリッドモデルは 5.5K まで100%で、16K 版、32K 版もそれぞれの学習長を超えて正解します。別途 128K まで延長したハイブリッドモデルも同様です。\n2. **RULER の合成タスク**：needle-in-a-haystack、複数キーの検索、変数追跡といったタスクで、16K のハイブリッドモデルは 16K の Transformer より平均で約12ポイント高くなりました（74.19 対 62.33）。Transformer は変数追跡で、プロンプト中の例の答えをそのまま写してしまうことがよくあります。\n3. **実際の長文タスク**：9項目の平均では、16K と 32K の Transformer のほうがむしろ約1ポイント高く、差の主な原因は複数文書の質問応答です。HotpotQA を例にとると、16K で 48.61 対 42.17 でした。\n\n3点目について、著者らは次のように説明しています。LongBench の複数文書の質問応答では、関連する段落と大量のランダムな Wikipedia の段落が混ぜられ、問いは最後に置かれます。SSM 層は読む時点で問いを知らないので、無関係な文書に引きずられるのかもしれません。さらに、コンテキストを延長する際に無関係な文書をそのまま連結して学習したことで、SSM がそれらを互いに関連するものと誤解した可能性も疑っています。\n\nもう一つの観察は、ハイブリッドモデルがプロンプトの形式に敏感なことです。4K のベースモデルを Musique でテストした例では、プロンプトを変えると、ハイブリッドモデルのスコアは10.63〜16.16の間で揺れ動き、Transformer は15.25〜17.68の間に収まりました。著者らは、LongBench のプロンプトがもともと Transformer 向けに調整されていたことも指摘しています。\n\n## 結論\n\nこの報告は、同じデータと手順で、2024年に Mamba について語られていたいくつかの主張を一度に照らし合わせました。\n\n1. **純粋な SSM は、多くの言語タスクで Transformer に引けを取らない**。3.5T トークンでは、Mamba-2 のみの常識タスク5項目の平均はむしろやや高く、ほかのタスクでは勝ち負けがあります。\n2. **純粋な SSM の弱点は、形式、コピー、in-context learning に集中している**。MMLU の遅れは学習を増やせば大半を取り戻せますが、電話帳の差は 1.1T と 3.5T のどちらの予算でも残り、3.5T の Mamba-2 のみは自然な長文タスク9項目の平均でも劣ります。間違えるときは「おぼろげに覚えている」のであって、まったく覚えていないのではありません。\n3. **アテンション層は約8%で足りる**。8B のハイブリッドモデルは56層中アテンションが4層だけで、12項目の標準タスクすべてで Transformer に勝ち、KV キャッシュは32分の1になり、長いコンテキストでの検索もより安定しています。\n4. **ハイブリッドモデルにはまだ不確かな点がある**：複数文書の質問応答、プロンプトへの敏感さ、そして長いコンテキストの学習方法です。\n\nMamba は当初、Transformer の代替として論じられていました。この報告を読むと、より妥当な位置づけはこうです。大部分の層では Mamba-2 が系列を処理し、少数のアテンション層が、正確にさかのぼって調べる役を担う。のちの NVIDIA の Nemotron-H、Nemotron 3 シリーズは、いずれもこの道を進んでいます。\n\n\n> [!TIP]\n> \n> この報告で使われている Mamba-2 ブロックと、線形アテンションとの関係は、こちらを参照してください。\n> \n> - **[[24.05] Mamba-2：アテンションの遠い親戚](/blog/papers/mamba/mamba-2)**\n","imageSizes":{"/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png":{"width":1245,"height":322},"/content/papers/assets/5b19ee03675ebbd942f790c816960a5b57e28b46fad1020453f2a1f4e4a2c647.png":{"width":506,"height":303}}}