{"notes":[{"id":"mamba/mamba-2-hybrid","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2-Hybrid","subtitle":"模糊的記憶","author":"Z. Yuan","paperDate":"2024-06-12","publishedOn":"2026-01-22","paperTitle":"An Empirical Study of Mamba-based Language Models","paperUrl":"https://arxiv.org/abs/2406.07887","bibliography":{"title":"An Empirical Study of Mamba-based Language Models","authors":["Roger Waleffe","Wonmin Byeon","Duncan Riach","Brandon Norick","Vijay Korthikanti","Tri Dao","Albert Gu","Ali Hatamizadeh","Sudhakar Singh","Deepak Narayanan","Garvit Kulshreshtha","Vartika Singh","Jared Casper","Jan Kautz","Mohammad Shoeybi","Bryan Catanzaro"],"url":"https://arxiv.org/abs/2406.07887","pdfUrl":"https://arxiv.org/pdf/2406.07887v1","codeUrl":"https://github.com/NVIDIA/Megatron-LM","preprint":{"id":"2406.07887","submittedOn":"2024-06-12","url":"https://arxiv.org/abs/2406.07887"},"publication":null,"citation":"@misc{mambamamba2hybrid2024,\n  title = {{An Empirical Study of Mamba-based Language Models}},\n  author = {Roger Waleffe and Wonmin Byeon and Duncan Riach and Brandon Norick and Vijay Korthikanti and Tri Dao and Albert Gu and Ali Hatamizadeh and Sudhakar Singh and Deepak Narayanan and Garvit Kulshreshtha and Vartika Singh and Jared Casper and Jan Kautz and Mohammad Shoeybi and Bryan Catanzaro},\n  year = {2024},\n  eprint = {2406.07887},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2406.07887}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2-hybrid.2add9f814f3a.bib"},"thumbnail":{"src":"/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png","width":1245,"height":322},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/mamba-2-hybrid.b3ff0929ae8f.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"先看純-ssm-的成績","text":"先看純 SSM 的成績","depth":3},{"id":"電話簿與模糊的記憶","text":"電話簿與模糊的記憶","depth":3},{"id":"加回多少注意力","text":"加回多少注意力？","depth":3},{"id":"手算一次記憶體","text":"手算一次記憶體","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"12-項標準任務","text":"12 項標準任務","depth":3},{"id":"長上下文大多不輸多文件問答落後","text":"長上下文：大多不輸，多文件問答落後","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/repeat-after-me","relation":"referenced","topic":""},{"id":"mamba/mamba-2","relation":"referenced","topic":""}]},{"id":"mamba/repeat-after-me","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Repeat After Me","subtitle":"電話簿測驗","author":"Z. Yuan","paperDate":"2024-02-01","publishedOn":"2025-12-23","paperTitle":"Repeat After Me: Transformers are Better than State Space Models at Copying","paperUrl":"https://arxiv.org/abs/2402.01032","bibliography":{"title":"Repeat After Me: Transformers are Better than State Space Models at Copying","authors":["Samy Jelassi","David Brandfonbrener","Sham M. Kakade","Eran Malach"],"url":"https://arxiv.org/abs/2402.01032","pdfUrl":"https://arxiv.org/pdf/2402.01032v2","codeUrl":"https://github.com/sjelassi/transformers_ssm_copy","preprint":{"id":"2402.01032","submittedOn":"2024-02-01","url":"https://arxiv.org/abs/2402.01032"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/jelassi24a.html"},"citation":"@misc{mambarepeatafterme2024,\n  title = {{Repeat After Me: Transformers are Better than State Space Models at Copying}},\n  author = {Samy Jelassi and David Brandfonbrener and Sham M. Kakade and Eran Malach},\n  year = {2024},\n  eprint = {2402.01032},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2402.01032}\n}\n","citationPath":"/content/papers/citations/mamba/repeat-after-me.6f1018ade730.bib"},"thumbnail":{"src":"/content/papers/assets/6d45fd8ab61191e1263c400e01bf76bdd9ef3534ecc4485835332074ea553443.png","width":1378,"height":416},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/repeat-after-me.345ed541cc48.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"抄寫任務","text":"抄寫任務","depth":3},{"id":"狀態不夠大就抄不完","text":"狀態不夠大，就抄不完","depth":3},{"id":"transformer-靠-n-gram-找位置","text":"Transformer 靠 n-gram 找位置","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"合成資料學得快也推得遠","text":"合成資料：學得快，也推得遠","depth":3},{"id":"先告訴我要找什麼就沒問題","text":"先告訴我要找什麼，就沒問題","depth":3},{"id":"預訓練模型電話簿","text":"預訓練模型：電話簿","depth":3},{"id":"這篇還沒回答的事","text":"這篇還沒回答的事","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/jamba","relation":"referenced","topic":""}]},{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"注意力的遠親","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/mamba-2.0f4721961023.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"把-ssm-寫成一個矩陣","text":"把 SSM 寫成一個矩陣","depth":3},{"id":"把-a-簡化成一個數","text":"把 A 簡化成一個數","depth":3},{"id":"跟著四個-token-算一次","text":"跟著四個 token 算一次","depth":3},{"id":"兩條路各走一半","text":"兩條路各走一半","depth":3},{"id":"mamba-2-區塊","text":"Mamba-2 區塊","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"狀態大一點記得多一點","text":"狀態大一點，記得多一點","depth":3},{"id":"語言建模","text":"語言建模","depth":3},{"id":"原作者也建議混合","text":"原作者也建議混合","depth":3},{"id":"也不是全面升級","text":"也不是全面升級","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]}],"text":"到了 2024 年年中，關於 Mamba 的消息有點兩極。\n\n一邊是原作者在 2.8B 以下的實驗：Mamba、Mamba-2 在常見評測上追平甚至超過同規模的 Transformer。另一邊是越來越多研究指出，它在照抄、檢索和 in-context learning 上有短板。AI21 的 Jamba 乾脆在 Mamba 層之間留了幾層注意力。\n\n問題是，這些比較的條件都不太一樣。原作者的實驗不到 3B 參數、不到 1T tokens；Jamba 這類大模型又沒有在相同資料上訓練一個對照用的 Transformer。\n\nNVIDIA 這份技術報告想補上這個空缺：用**同樣的資料、同樣的超參數、同樣的評測流程**，訓練 8B 參數的 Mamba、Mamba-2、Transformer，以及一個混合模型，最多到 3.5T tokens，再拿 35 個任務一起比。\n\n作者名單裡除了 NVIDIA 的研究者，還有 Mamba 的兩位作者 Tri Dao 與 Albert Gu。\n\n## 定義問題\n\n作者想回答的問題很直接：訓練預算拉大以後，Mamba 能不能跟上 Transformer？如果某些地方跟不上，加回幾層注意力夠不夠？\n\n為了讓比較公平，四種模型共用：\n\n- 同一份資料：1.1T 與 3.5T tokens 兩個版本，都是 Nemotron-4 訓練資料的前身，70% 英文、15% 其他語言、15% 程式碼。\n- 同一套超參數：作者在小規模試過，Mamba 的最佳超參數和 Transformer 差不多，所以全部共用。\n- 同一份評測：版本固定的開源評測套件，同一套提示詞。\n\n模型的配置：\n\n| 模型 | 層數 | 說明 |\n| --- | ---: | --- |\n| Transformer | 32 | 每層是注意力＋MLP，32 個注意力頭，RoPE |\n| Mamba | 56 | 兩層 Mamba 的參數量約等於一層注意力＋MLP，狀態維度 128 |\n| Mamba-2 | 56 | 同上，換成 Mamba-2 區塊，頭維度 64、8 組 |\n| Mamba-2-Hybrid | 56 | 24 層 Mamba-2、4 層注意力、28 層 MLP |\n\n*表：整理自原論文 §3.1 與 Table 6。四者皆約 8B 參數，隱藏維度 4096。*\n\n3.5T tokens 這一組只訓練了 Mamba-2、Transformer 與混合模型。作者的理由是純 Mamba 的狀態太大，在 1.1T 這組就比 Mamba-2 慢了將近三倍。\n\n## 解決問題\n\n### 先看純 SSM 的成績\n\n1.1T tokens 的結果有一個很突兀的數字：\n\n| 模型 | 五項常識任務平均 | MMLU 0-shot | MMLU 5-shot |\n| --- | ---: | ---: | ---: |\n| Transformer | 67.87 | 38.32 | 46.28 |\n| Mamba | 68.07 | 28.63 | 28.00 |\n| Mamba-2 | 68.56 | 28.94 | 29.19 |\n\n*表：原論文 Table 2 節錄，8B 模型、1.1T tokens。五項為 WinoGrande、PIQA、HellaSwag、ARC-E、ARC-C。*\n\n常識任務上，兩種 Mamba 都略勝 Transformer。MMLU 5-shot 卻差了 17 分以上，幾乎掉到四選一的亂猜水準。\n\n訓練到 3.5T tokens，Mamba-2 的 MMLU 5-shot 回到 48.7，只比 Transformer 的 50.07 少 1.37 分；平均分數甚至反超。看起來只要多訓練一些就好？\n\n作者沒有就此打住，而是把 MMLU 換了三種問法：\n\n1. **標準格式**：題目後面列出 A、B、C、D 四個選項，比較模型接下來輸出哪個字母的機率最高。\n2. **選項文字當目標**：同樣列出選項，但比較的是包含字母的整段選項文字，例如「B. sorted('ab')」的機率。\n3. **克漏字**：題目後面不列選項，直接比較每個答案文字接在題目後面的機率。\n\n1.1T tokens 的模型在第三種問法下，兩種 Mamba 與 Transformer 的分數幾乎一樣（5-shot 約 38 到 39 分）。\n\n作者由此推測：純 SSM 學到的知識可能和 Transformer 相近，卡住的是格式。模型要讀懂「上面列了四個選項，要用一個字母回答」，再把每個選項的內容轉到對應的字母上。這種在 token 之間搬運資訊的工作，正是注意力擅長、純 SSM 比較吃力的地方。這是作者的解讀，三種問法的分數支持它，但還不算直接證明。\n\n還有一個細節：3.5T 的 Mamba-2 從 0-shot 到 5-shot，MMLU 只提升 1.45 分；Transformer 提升了 4.38 分。多給的範例，Mamba-2 用得比較少。\n\n### 電話簿與模糊的記憶\n\n另一個測試是電話簿：提示詞裡放一串「姓名：電話」，給兩個問答範例，再問某個人的電話。\n\n[![三張折線圖，橫軸都是電話簿長度（千個 token），縱線標出 4K 的預訓練長度。(a) 標準電話簿：Transformer 在 4K 以內接近 100%，超過後迅速歸零；Mamba 與 Mamba-2 在 0.5K 左右開始下滑，2.5K 以後大多在 20% 以下。(b) 答案中正確的 token 數：兩種 Mamba 從 12 個逐漸降到 4 到 6 個。(c) 反向電話簿，先告訴模型要記誰：Mamba 好一些但仍隨長度下降，Mamba-2 在 3K 左右降到 10% 以下，Transformer 在 4K 以內維持 100%](/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png)](/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png)\n\n*原論文 Figure 3，取自 [**v1 PDF 第 8 頁**](https://arxiv.org/pdf/2406.07887v1#page=8)。三張圖都是 1.1T tokens 的 8B 模型；縱線是 4,096 的預訓練長度。*\n\n左圖：Transformer 在預訓練長度 4,096 以內幾乎全對，超過就壞掉。兩種 Mamba 大約到 500 個 token 就開始答錯。作者強調，和 MMLU 不同，這個差距在 3.5T tokens 的 Mamba-2 上依然存在。\n\n中間那張圖很有意思。作者沒有只看答對與否，而是逐一比對答案裡有幾個 token 正確。一組電話號碼約 12 個 token，兩種 Mamba 就算答錯，仍然常常對了 4 到 8 個。\n\n作者稱之為**模糊記憶**（fuzzy memory）：每筆資料都被壓進狀態裡了，只是壓得不夠精確，拿出來的時候走了樣。\n\n右圖換了問法：先告訴模型等一下要問誰，再給電話簿。照理說，Mamba 可以一路只盯著那個名字。分數確實好了一些，但仍隨長度下降。作者的解讀是，就算事先知道問題，模型還是很難決定哪些資訊要精確保留、哪些可以忘掉。\n\n\n> [!TIP]\n> \n> 這份報告的電話簿任務沿用自哈佛 Jelassi 等人的研究。那篇也比較過「先給問題」和「後給問題」兩種版本，在從頭訓練的小模型上，先給問題時狀態模型可以表現得很好：\n> \n> - **[[24.02] Repeat After Me：電話簿測驗](/blog/papers/mamba/repeat-after-me)**\n\n\n### 加回多少注意力？\n\n接著，作者把幾層注意力加回去。為了比較公平，他們調整了注意力頭數和 MLP 的擴張倍數，讓每種層的參數量都差不多，這樣層數比例就等於參數比例。\n\n[![折線圖：橫軸是注意力層佔總層數的百分比，從 0 到 100；縱軸是驗證損失。0% 時約 2.615，約 8% 時降到最低點約 2.554，之後隨比例增加逐漸上升，100% 時約 2.63](/content/papers/assets/5b19ee03675ebbd942f790c816960a5b57e28b46fad1020453f2a1f4e4a2c647.png)](/content/papers/assets/5b19ee03675ebbd942f790c816960a5b57e28b46fad1020453f2a1f4e4a2c647.png)\n\n*原論文 Figure 4，取自 [**v1 PDF 第 9 頁**](https://arxiv.org/pdf/2406.07887v1#page=9)。1.3 億參數、24 層的混合模型。*\n\n在 1.3 億參數、24 層的小模型上，注意力層佔大約 8% 時，驗證損失最低；全是注意力或全沒有注意力，都比混合差。8.4 億參數的模型也確認了同樣的趨勢。\n\n其他幾個設計選擇：\n\n- **MLP 層的比例**：固定 8% 注意力後，MLP 佔 30% 到 50% 都不會讓損失變差。比例越高訓練越快，50% 比 5% 快了約 20%。\n- **位置編碼**：840M 的混合模型加不加 RoPE，基礎模型差不多；延長到 16K 上下文後，不加 RoPE 的平均分數反而比較高，所以後面都不加。\n- **層的排列**：第一層放 Mamba，讓它自然學到位置資訊；其餘把注意力和 MLP 平均散開。作者沒找到比這更好的排法，也不需要重複固定的區塊。\n- **GQA**：注意力改用 GQA，驗證困惑度只增加約 0.04%，推論省下不少記憶體。\n\n最後的 8B 混合模型共 56 層：24 層 Mamba-2（42.9%）、4 層注意力（7.1%）、28 層 MLP（50%）。排列是：\n\n```text\nM+M+M++M+M*+M+M+M+M++M*+M+M+M+M+M*++M+M+M+M+M*+M++M+M+M+\n```\n\n`M` 是 Mamba-2，`*` 是注意力，`+` 是 MLP。四個星號平均散在中段。\n\n### 手算一次記憶體\n\n我們拿論文的配置算一下兩種模型推論時要帶多少東西。Transformer 是 32 層、32 頭的多頭注意力；混合模型是 4 層、8 組 KV 的 GQA，都是每頭 128 維、bf16：\n\n```python\ndef kv(layers, kv_heads, head_dim=128, tokens=1, b=2):\n    return 2 * layers * kv_heads * head_dim * b * tokens\n\nMiB, GiB = 2**20, 2**30\nt = kv(32, 32); h = kv(4, 8)\nprint(f\"Transformer 每 token {t // 1024} KiB；混合模型每 token {h // 1024} KiB（{t // h} 倍）\")\nfor n in (4096, 131072):\n    print(f\"{n:>6} tokens：Transformer {kv(32, 32, tokens=n) / GiB:.2f} GiB，混合 {kv(4, 8, tokens=n) / GiB:.3f} GiB\")\n\nssm = 24 * (2 * 4096) * 128            # 24 層 Mamba-2，內部寬度 8192，狀態維度 128\nprint(f\"24 層 Mamba-2 狀態：{ssm:,} 個數，bf16 {ssm * 2 / MiB:.0f} MiB（與長度無關）\")\n```\n\n```text\nTransformer 每 token 512 KiB；混合模型每 token 16 KiB（32 倍）\n  4096 tokens：Transformer 2.00 GiB，混合 0.062 GiB\n131072 tokens：Transformer 64.00 GiB，混合 2.000 GiB\n24 層 Mamba-2 狀態：25,165,824 個數，bf16 48 MiB（與長度無關）\n```\n\n32 倍裡，8 倍來自注意力層從 32 層減到 4 層，另外 4 倍來自 GQA。Mamba-2 那 48 MiB 的狀態，在 4K 上下文時和 KV cache 差不多大；上下文越長，它就越不重要。\n\n這只是一條序列的記憶體帳。論文 Figure 5 預測，在批次 32 下生成一個 token，短上下文時兩者速度相當，上下文長到十萬以上時，混合模型快了將近 8 倍。這是報告提供的預測值，文中沒有附上對應的推論系統實測或詳細的延遲模型。訓練效率則有實測：1,024 張 H100 上，混合模型的 MFU 是 29.9%，Transformer 是 30.7%。\n\n## 討論\n\n### 12 項標準任務\n\n3.5T tokens 下，混合模型在 12 項標準任務全部勝過 Transformer。論文的平均欄把 MMLU 的 0-shot 與 5-shot 各算一欄，共 13 欄，平均高 2.65 分：\n\n| 模型 | MMLU 5-shot | SQuAD v2 | 論文平均（13 欄） |\n| --- | ---: | ---: | ---: |\n| Transformer | 50.07 | 53.4 | 53.17 |\n| Mamba-2 | 48.7 | 51.9 | 54.69 |\n| Mamba-2-Hybrid | 53.60 | 58.67 | 55.82 |\n\n*表：原論文 Table 7 節錄。*\n\nMMLU 的訓練曲線也值得一看（論文 Figure 6）：混合模型一路領先純 Mamba-2，但訓練初期還輸給 Transformer；到 1.5T tokens 追平之後，才一直保持領先。\n\n### 長上下文：大多不輸，多文件問答落後\n\n作者把 4K 的基礎模型繼續預訓練 50B tokens，延長到 16K 與 32K。四個注意力層用的是完整的全域注意力。\n\n結果分成三種：\n\n1. **電話簿**：混合模型不只在預訓練長度內全對，還能稍微推得更遠。4K 的混合模型到 5.5K 都是 100%；16K、32K 版本也超出各自的訓練長度。另外延長到 128K 的混合模型同樣如此。\n2. **RULER 合成任務**：大海撈針、多鑰匙查找、變數追蹤這類任務，16K 混合模型平均比 16K Transformer 高約 12 分（74.19 對 62.33）。Transformer 在變數追蹤上常常直接照抄提示詞裡的範例答案。\n3. **真實長文任務**：九項任務的平均，16K 與 32K 的 Transformer 反而高約 1 分，差距主要來自多文件問答。以 HotpotQA 為例，16K 時是 48.61 對 42.17。\n\n作者對第三點的解釋是：LongBench 的多文件問答會把相關段落和大量隨機的維基百科段落混在一起，問題放在最後。SSM 層讀的時候還不知道問題，可能被無關的文件帶偏。他們也懷疑，延長上下文時把不相關的文件直接拼在一起訓練，可能讓 SSM 誤以為它們彼此相關。\n\n另一個觀察是，混合模型對提示詞格式比較敏感。以 4K 基礎模型在 Musique 上的測試為例，改動提示詞後，混合模型的分數在 10.63 到 16.16 之間跳動，Transformer 只在 15.25 到 17.68 之間。作者也指出，LongBench 的提示詞原本就是替 Transformer 調過的。\n\n## 結論\n\n這份報告用相同的資料與流程，把 2024 年關於 Mamba 的幾種說法一次對照清楚：\n\n1. **純 SSM 在多數語言任務上不輸 Transformer**，3.5T tokens 時，純 Mamba-2 的五項常識任務平均還略高；其他任務各有勝負。\n2. **純 SSM 的短板集中在格式、照抄與 in-context learning**。MMLU 的落後可以靠多訓練補回大半；電話簿的落差則在 1.1T 與 3.5T 兩種預算下都還在，3.5T 的純 Mamba-2 在九項自然長文任務的平均也落後；答錯時是「模糊地記得」，不是完全不記得。\n3. **約 8% 的注意力層就夠了**。8B 混合模型 56 層裡只有 4 層注意力，12 項標準任務全勝 Transformer，KV cache 小了 32 倍，長上下文的查找也更穩。\n4. **混合模型還有不確定的地方**：多文件問答、提示詞敏感度，以及長上下文的訓練方式。\n\nMamba 一開始是被當成 Transformer 的替代品來討論的。讀完這份報告，更合理的位置是：大部分的層用 Mamba-2 處理序列，少數幾層注意力負責精確地回頭查找。後來 NVIDIA 的 Nemotron-H、Nemotron 3 系列，走的都是這條路。\n\n\n> [!TIP]\n> \n> 這份報告用的 Mamba-2 區塊，以及它和線性注意力之間的關係，可以參考：\n> \n> - **[[24.05] Mamba-2：注意力的遠親](/blog/papers/mamba/mamba-2)**\n","imageSizes":{"/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png":{"width":1245,"height":322},"/content/papers/assets/5b19ee03675ebbd942f790c816960a5b57e28b46fad1020453f2a1f4e4a2c647.png":{"width":506,"height":303}}}