{"notes":[{"id":"mamba/mamba-3","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-3","subtitle":"推論優先","author":"Z. Yuan","paperDate":"2026-03-16","publishedOn":"2026-04-02","world":"external/mamba3","paperTitle":"Mamba-3: Improved Sequence Modeling using State Space Principles","paperUrl":"https://arxiv.org/abs/2603.15569","bibliography":{"title":"Mamba-3: Improved Sequence Modeling using State Space Principles","authors":["Aakash Lahoti","Kevin Y. Li","Berlin Chen","Caitlin Wang","Aviv Bick","J. Zico Kolter","Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2603.15569","pdfUrl":"https://arxiv.org/pdf/2603.15569v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2603.15569","submittedOn":"2026-03-16","url":"https://arxiv.org/abs/2603.15569"},"publication":{"venue":"ICLR","year":2026,"kind":"conference","url":"https://mlanthology.org/iclr/2026/lahoti2026iclr-mamba3/"},"citation":"@misc{mambamamba32026,\n  title = {{Mamba-3: Improved Sequence Modeling using State Space Principles}},\n  author = {Aakash Lahoti and Kevin Y. Li and Berlin Chen and Caitlin Wang and Aviv Bick and J. Zico Kolter and Tri Dao and Albert Gu},\n  year = {2026},\n  eprint = {2603.15569},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2603.15569}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-3.7f42c2a217f2.bib"},"thumbnail":{"src":"/content/papers/assets/bafe70ab05ff3f4100278e18abb0198af0081a8802873a746e8df5fef028e047.png","width":1356,"height":644},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/mamba-3.0bbc199da3f8.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"一更有表達力的離散化","text":"一、更有表達力的離散化","depth":3},{"id":"二複數狀態轉個圈","text":"二、複數狀態：轉個圈","depth":3},{"id":"三mimo讓解碼時的-gpu-忙一點","text":"三、MIMO：讓解碼時的 GPU 忙一點","depth":3},{"id":"架構","text":"架構","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"語言建模","text":"語言建模","depth":3},{"id":"檢索純模型還是不夠","text":"檢索：純模型還是不夠","depth":3},{"id":"速度注意比較條件","text":"速度：注意比較條件","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]},{"id":"mamba/mamba","category":"mamba","legacyPath":"mamba/2312-mamba","legacySlug":"2312-mamba","legacyPaths":[],"title":"Mamba","subtitle":"誰是繼承人","author":"Z. Yuan","paperDate":"2023-12-01","publishedOn":"2024-12-25","paperTitle":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","paperUrl":"https://arxiv.org/abs/2312.00752","bibliography":{"title":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","authors":["Albert Gu","Tri Dao"],"url":"https://arxiv.org/abs/2312.00752","pdfUrl":"https://arxiv.org/pdf/2312.00752","codeUrl":null,"preprint":{"id":"2312.00752","submittedOn":"2023-12-01","url":"https://arxiv.org/abs/2312.00752"},"publication":null,"citation":"@misc{mambamamba2023,\n  title = {{Mamba: Linear-Time Sequence Modeling with Selective State Spaces}},\n  author = {Albert Gu and Tri Dao},\n  year = {2023},\n  eprint = {2312.00752},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2312.00752}\n}\n","citationPath":"/content/papers/citations/mamba/mamba.5671f143cfd6.bib"},"thumbnail":{"src":"/content/papers/assets/8f6187d5a2a7a17c0687f2ca08ea302601584bb95f5cd5f52927c54d6e76089a.jpg","width":1224,"height":500},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/mamba.a0eeb5912657.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"可選擇機制","text":"可選擇機制","depth":3},{"id":"s6-架構","text":"S6 架構","depth":3},{"id":"mamba-架構","text":"Mamba 架構","depth":3},{"id":"再談選擇機制","text":"再談選擇機制","depth":3},{"id":"訓練方法與協定","text":"訓練方法與協定","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"scaling-laws","text":"Scaling Laws","depth":3},{"id":"和其他語言模型的比較","text":"和其他語言模型的比較","depth":3},{"id":"推論效率比較","text":"推論效率比較","depth":3},{"id":"消融實驗-選擇機制","text":"消融實驗-選擇機制","depth":3},{"id":"消融實驗-關鍵參數","text":"消融實驗-關鍵參數","depth":3},{"id":"消融實驗-其他設定","text":"消融實驗-其他設定","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/s4","relation":"background","topic":"從狀態空間記憶到視覺序列"},{"id":"mamba/vim","relation":"next","topic":"從狀態空間記憶到視覺序列"}]},{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"注意力的遠親","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/mamba-2.0f4721961023.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"把-ssm-寫成一個矩陣","text":"把 SSM 寫成一個矩陣","depth":3},{"id":"把-a-簡化成一個數","text":"把 A 簡化成一個數","depth":3},{"id":"跟著四個-token-算一次","text":"跟著四個 token 算一次","depth":3},{"id":"兩條路各走一半","text":"兩條路各走一半","depth":3},{"id":"mamba-2-區塊","text":"Mamba-2 區塊","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"狀態大一點記得多一點","text":"狀態大一點，記得多一點","depth":3},{"id":"語言建模","text":"語言建模","depth":3},{"id":"原作者也建議混合","text":"原作者也建議混合","depth":3},{"id":"也不是全面升級","text":"也不是全面升級","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]},{"id":"mamba/gated-deltanet","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Gated DeltaNet","subtitle":"先擦再寫","author":"Z. Yuan","paperDate":"2024-12-09","publishedOn":"2026-02-12","world":"external/gated-deltanet","paperTitle":"Gated Delta Networks: Improving Mamba2 with Delta Rule","paperUrl":"https://arxiv.org/abs/2412.06464","bibliography":{"title":"Gated Delta Networks: Improving Mamba2 with Delta Rule","authors":["Songlin Yang","Jan Kautz","Ali Hatamizadeh"],"url":"https://arxiv.org/abs/2412.06464","pdfUrl":"https://arxiv.org/pdf/2412.06464v3","codeUrl":"https://github.com/NVlabs/GatedDeltaNet","preprint":{"id":"2412.06464","submittedOn":"2024-12-09","url":"https://arxiv.org/abs/2412.06464"},"publication":{"venue":"ICLR","year":2025,"kind":"conference","url":"https://mlanthology.org/iclr/2025/yang2025iclr-gated/"},"citation":"@misc{mambagateddeltanet2024,\n  title = {{Gated Delta Networks: Improving Mamba2 with Delta Rule}},\n  author = {Songlin Yang and Jan Kautz and Ali Hatamizadeh},\n  year = {2024},\n  eprint = {2412.06464},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.06464}\n}\n","citationPath":"/content/papers/citations/mamba/gated-deltanet.b65d8f168c74.bib"},"thumbnail":{"src":"/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png","width":1050,"height":544},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/gated-deltanet.1519c748e648.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"線性注意力是一本會撞號的電話簿","text":"線性注意力是一本會撞號的電話簿","depth":3},{"id":"mamba-2全部一起打折","text":"Mamba-2：全部一起打折","depth":3},{"id":"deltanet只改那一筆","text":"DeltaNet：只改那一筆","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"三種寫法算一次","text":"三種寫法，算一次","depth":3},{"id":"把兩者合起來","text":"把兩者合起來","depth":3},{"id":"讓它能平行訓練","text":"讓它能平行訓練","depth":3},{"id":"架構與混合版本","text":"架構與混合版本","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"實驗設定","text":"實驗設定","depth":3},{"id":"大海撈針三種規則的分工","text":"大海撈針：三種規則的分工","depth":3},{"id":"語言建模與真實檢索","text":"語言建模與真實檢索","depth":3},{"id":"速度","text":"速度","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/kimi-linear","relation":"referenced","topic":""}]}],"text":"距離 Mamba 第一版，過了兩年多，Mamba-3 發表在 ICLR 2026。\n\n作者群換了一批新面孔，指導的還是 Albert Gu 與 Tri Dao。署名單位是卡內基美隆、普林斯頓、Together AI 和 Cartesia AI：Tri Dao 掛普林斯頓與 Together AI，Albert Gu 掛卡內基美隆與 Cartesia AI。\n\n讀這篇的引言，會發現語氣和 2023 年很不一樣。Mamba 當年談的是「能不能成為通用序列模型的骨幹」；這一篇第一段談的是推論成本：思考鏈、agent 工作流程，讓推論時的計算變成模型效能的關鍵。接著作者直接寫出現況：Mamba-2 和 Gated DeltaNet 這類層，已經被放進 Kimi、NVIDIA、騰訊混元、Qwen 的大規模**混合**模型裡。\n\n所以這篇要做的，是替這些混合模型提供一個更好的線性層。\n\n## 定義問題\n\n作者列了三個問題：\n\n1. **Mamba-2 為了訓練速度，犧牲了表達能力**。在同樣的推論成本下，Mamba-2 的模型比較差。這一點 Tri Dao 在 2024 年的部落格裡就提過。\n2. **狀態追蹤做不到**。一串 0 和 1，問裡面有幾個 1 是奇數還是偶數，這種一層 LSTM 就能做的事，Mamba-2 做不到。前人的研究已經證明，原因在於狀態轉移的特徵值被限制成非負的實數。\n3. **解碼時硬體很閒**。這些演算法都是從訓練的角度設計的。解碼時每次只處理一個 token，計算量很小，卻要把整個狀態從記憶體讀出來再寫回去；GPU 大部分時間在等資料，算術強度（計算量除以記憶體流量）很低。\n\n作者想從「推論優先」的角度，回頭用狀態空間模型的原理，各給一個解法。\n\n## 解決問題\n\n### 一、更有表達力的離散化\n\n狀態空間模型原本是連續時間的系統，要拿來處理一個一個的 token，得先離散化。作者先指出一件事：Mamba-1 和 Mamba-2 論文裡寫的是一種公式，實際程式用的是另一種近似。他們替這個近似補上推導，稱為 **exponential-Euler**：\n\n$$\nh_t=e^{\\Delta_t A_t}h_{t-1}+\\Delta_t B_t x_t\n$$\n\n它只用區間右端點的輸入，是一階近似。Mamba-3 改用梯形法的推廣，同時看區間兩端：\n\n$$\nh_t=\\alpha_t h_{t-1}+\\beta_t B_{t-1}x_{t-1}+\\gamma_t B_t x_t\n$$\n\n其中 $\\alpha_t=e^{\\Delta_t A_t}$、$\\beta_t=(1-\\lambda_t)\\Delta_t e^{\\Delta_t A_t}$、$\\gamma_t=\\lambda_t\\Delta_t$，$\\lambda_t\\in[0,1]$ 由資料決定。$\\lambda_t=1$ 時就退回 Mamba-2；$\\lambda_t=\\tfrac12$ 時，是對（乘上指數衰減後的）輸入積分取兩端點平均，類似梯形法。要達到更高的誤差階，還得滿足 $\\lambda_t$ 接近 $\\tfrac12$ 等條件；實際模型讓 $\\lambda_t$ 自由學習，主要是增加遞迴的表達能力。\n\n這個式子多了一項前一個 token 的輸入，相當於在 SSM 的輸入上先做一個寬度 2 的卷積。作者發現，再加上 $B$、$C$ 的可學習偏差項，幾乎所有線性模型都會放的那個短卷積就可以拿掉了：\n\n| 變體（440M） | 困惑度 |\n| --- | ---: |\n| Mamba-3 拿掉偏差與梯形法 | 16.68 |\n| Mamba-3 拿掉偏差 | 16.49 |\n| Mamba-3 | 15.72 |\n| Mamba-3 再加回短卷積 | 15.85 |\n\n*表：原論文 Table 5a。*\n\n### 二、複數狀態：轉個圈\n\n先看奇偶數這個問題。如果狀態可以「旋轉」，事情就很簡單：讀到 1 就轉半圈，讀到 0 不動，最後看停在哪一邊。\n\n```python\nimport numpy as np\nrng = np.random.default_rng(0)\nbits = rng.integers(0, 2, size=1000)\n\ndef rot(theta):\n    c, s = np.cos(theta), np.sin(theta)\n    return np.array([[c, -s], [s, c]])\n\nh = np.array([1.0, 0.0])\nfor x in bits:\n    h = rot(np.pi * x) @ h          # 讀到 1 就轉半圈，讀到 0 不動\nprint(\"旋轉狀態：\", np.round(h, 6), \"→ 奇偶\", 0 if h[0] > 0 else 1)\nprint(\"直接計算：\", bits.sum() % 2)\n\n# 實數、非負的衰減：每一步乘上 0 到 1 之間的數，只能縮小，不能翻面\nh = 1.0\nfor x in bits[:20]:\n    h = (0.5 if x else 0.9) * h\nprint(\"非負衰減 20 步後：\", round(h, 6))\n```\n\n```text\n旋轉狀態： [-1.  0.] → 奇偶 1\n直接計算： 1\n非負衰減 20 步後： 3.2e-05\n```\n\n一千個位元走完，旋轉的狀態剛好停在答案上。反觀 Mamba-2 這種非負的純量衰減，每一步只能乘上 0 到 1 之間的數：狀態只會越來越小，永遠不會翻到另一邊。\n\n（最後一段只是示意。前人的定理說的是更一般的情況：只要轉移矩陣的特徵值都是非負實數，這類線性 RNN 就無法用有限精度解出任意長度的奇偶數。）\n\n旋轉對應到複數，就是乘上 $e^{i\\theta}$。作者把 Mamba-3 的 SSM 改成複數形式，再證明兩件事：\n\n1. 複數 SSM 可以改寫成維度加倍的實數 SSM，轉移矩陣是衰減係數乘上一個個 2×2 旋轉矩陣排成的區塊對角。\n2. 把截至目前的累積旋轉吸收到 $B$、$C$ 上，就等價於套用一個**由資料決定的旋轉位置編碼**（RoPE）。\n\n第二點很實用。RoPE 在 Transformer 裡已經有非常成熟、便宜的實作，Mamba-3 可以直接沿用，額外成本很小。差別在於一般的 RoPE 每個位置轉固定的角度，Mamba-3 轉幾度由輸入決定。\n\n形式語言任務的結果（縮放後的準確率，%）：\n\n| 模型 | 奇偶數 | 模運算（無括號） | 模運算（有括號） |\n| --- | ---: | ---: | ---: |\n| Mamba-3 | 100.00 | 98.51 | 87.75 |\n| Mamba-3（改用一般 RoPE） | 1.56 | 20.70 | 2.62 |\n| Mamba-3（不用 RoPE） | 2.27 | 1.49 | 0.72 |\n| Mamba-2 | 0.90 | 47.81 | 0.88 |\n| GDN（特徵值範圍 [−1, 1]） | 100.00 | 99.25 | 93.50 |\n\n*表：原論文 Table 5b。*\n\n這組測試是用短序列訓練、拿較長的序列測。在 Mamba-3 的幾個變體裡，只有由資料決定角度的版本三項都做得好；固定角度的 RoPE 和沒有 RoPE 大多接近零，只有固定角度版本在無括號模運算拿到 20.70。（表上是縮放後的準確率，0 大致對應亂猜。）Mamba-2 在無括號的模運算有部分成功（47.81），奇偶與有括號的模運算則接近零。\n\n表上最後一列也值得看：允許負特徵值的 Gated DeltaNet 同樣解得出來，有括號的模運算甚至更好。狀態追蹤不只有複數這一條路，負特徵值也是一種翻面的方式。\n\n### 三、MIMO：讓解碼時的 GPU 忙一點\n\n原本的 SSM 每一步做的是**單輸入單輸出**（SISO）的更新：輸入和 $B$ 做一次外積，把一個秩 1 的矩陣加到狀態上。解碼時每一步要讀寫整個狀態，計算卻只有這麼一點點。\n\nMamba-3 把它換成**多輸入多輸出**（MIMO）：輸入與 $B$ 各自多出 $R$ 個分支，每一步寫入一個秩至多為 $R$ 的更新，讀出時也用 $R$ 組 $C$，狀態大小不變。當 $R$ 遠小於狀態維度與頭維度時，SSM 主要運算的計算量約隨 $R$ 增加，記憶體流量仍由那份固定大小的狀態主導，算術強度因此跟著提高。解碼本來就卡在記憶體，多出來的計算等於是撿 GPU 閒著的時間來用。\n\n論文用 $R=4$。為了讓參數量和 SISO 版本一樣，1.5B 模型的 MLP 中間層從 4096 縮到 3824。訓練時 MIMO 比較慢，作者說最多是 SISO 的 $R$ 倍。\n\n### 架構\n\n[![兩個區塊並排。左邊 Mamba-2 區塊：輸入投影出 X、B、C 與決定衰減的參數（圖中標為 A），X 經過卷積與啟動函數，進入 SSM，輸出與閘門相乘後正規化，再輸出投影。右邊 Mamba-3 區塊：沒有卷積，B 與 C 先各自正規化，再經過 RoPE（角度 Θ 由輸入投影產生），另外多了可選的 MIMO 投影](/content/papers/assets/bafe70ab05ff3f4100278e18abb0198af0081a8802873a746e8df5fef028e047.png)](/content/papers/assets/bafe70ab05ff3f4100278e18abb0198af0081a8802873a746e8df5fef028e047.png)\n\n*原論文 Figure 2，取自 [**v1 PDF 第 11 頁**](https://arxiv.org/pdf/2603.15569v1#page=11)，CC BY 4.0。*\n\n對照左右兩個區塊：\n\n- **短卷積拿掉了**，由梯形法與偏差項取代。\n- **$B$、$C$ 先正規化**，作用類似 Transformer 的 QK 正規化。\n- **加上 RoPE**，角度 $\\Theta$ 由輸入產生，也就是複數狀態的實作。\n- **黃色的 MIMO 投影**是可選的。\n- 純 Mamba-3 拿掉了 Mamba-2 輸出前那層正規化；放進混合模型時，作者發現加回來對長度泛化有幫助。\n\n整體骨架沿用 Llama，Mamba-3 區塊與 SwiGLU 交替堆疊。\n\n## 討論\n\n### 語言建模\n\n所有模型都在 FineWeb-Edu 的 100B tokens 上訓練，上下文 2K，從 180M 到 1.5B 四種規模。1.5B 的結果：\n\n| 模型 | FineWeb-Edu 困惑度 | 七項準確率平均 |\n| --- | ---: | ---: |\n| Transformer | 10.51 | 55.4 |\n| GDN | 10.45 | 55.8 |\n| Mamba-2 | 10.47 | 55.7 |\n| Mamba-3 SISO | 10.35 | 56.4 |\n| Mamba-3 MIMO（$R=4$） | 10.24 | 57.6 |\n\n*表：原論文 Table 3 節錄。*\n\nSISO 比次佳的 GDN 高 0.6 分，MIMO 再多 1.2 分。四種規模下，Mamba-3 SISO 都比 Mamba-2 好。\n\n[![折線圖：橫軸是相對的總狀態大小（對數尺度），縱軸是預訓練困惑度。三條線由上到下是 Mamba-2、Mamba-3、Mamba-3 MIMO，狀態越大困惑度越低；Mamba-3 MIMO 的整條線都在最下方](/content/papers/assets/9c2757127eedcbc423ca747c871fa87a8c498a586a11782bf356497d5bf9510d.png)](/content/papers/assets/9c2757127eedcbc423ca747c871fa87a8c498a586a11782bf356497d5bf9510d.png)\n\n*原論文 Figure 3，取自 [**v1 PDF 第 15 頁**](https://arxiv.org/pdf/2603.15569v1#page=15)，CC BY 4.0。440M 模型，訓練到兩倍 Chinchilla 最佳 token 數。*\n\n解碼速度主要由狀態大小決定，所以作者用狀態大小當作推論速度的代理。圖上同樣的狀態大小，Mamba-3 的困惑度都比 Mamba-2 低；MIMO 版本狀態 64 時，困惑度就和 Mamba-2 狀態 128 相當。這是摘要裡「狀態減半」的由來。\n\n### 檢索：純模型還是不夠\n\n檢索仍然是固定狀態的弱點。1.5B 模型、截到 2K tokens 的真實檢索任務：\n\n| 模型（1.5B） | SWDE | SQuAD | FDA | TriviaQA |\n| --- | ---: | ---: | ---: | ---: |\n| Transformer | 48.9 | 46.6 | 58.4 | 67.5 |\n| Mamba-2 | 30.7 | 39.1 | 23.7 | 64.3 |\n| Mamba-3 SISO | 28.5 | 40.1 | 23.4 | 64.5 |\n| Mamba-3 MIMO | 36.3 | 41.7 | 29.3 | 64.5 |\n| 混合 Mamba-3 SISO | 58.5 | 47.0 | 65.9 | 64.8 |\n\n*表：原論文 Table 4 節錄。混合模型是 5 層線性層配 1 層不用位置編碼的注意力。*\n\n這些真實資料集都改寫成截到 2K tokens 的克漏字版本。問答類的 TriviaQA 差不多，但 SWDE、FDA 這種要從半結構化網頁或文件裡抽資訊的任務，純 Mamba-3 SISO 分別落後 Transformer 20.4 與 35.0 分，MIMO 版本縮小到 12.6 與 29.1 分。加上注意力層的混合版本，這些項目就追上甚至超過 Transformer。\n\n作者在這裡寫了一句很重要的話：因為固定狀態天生不擅長檢索，**他們預期線性層主要會用在混合架構裡**，由平方複雜度的注意力層補上這個弱點。\n\n這句話出自 Mamba 原作者自己的論文。和 2023 年相比，Mamba 的定位已經說得很清楚了。\n\n作者也承認，混合模型的行為不太直覺：正規化放在閘門前還是閘門後、用哪一種，會在長度泛化與真實檢索之間互相拉扯，目前還沒有定論。\n\n### 速度：注意比較條件\n\n解碼核心的延遲（Table 6）是在一張 H100 上、批次 128、1.5B 模型量的。bf16、狀態 128 時，Mamba-3 SISO 每步 0.156 ms，Mamba-2 是 0.203 ms，GDN 是 0.257 ms；MIMO 是 0.179 ms，比 SISO 慢一點，仍比 Mamba-2 快。\n\n端到端的比較（Table 7）是預填加上同樣長度的解碼。16K tokens 時，Mamba-3 SISO 約 141 秒，vLLM 上的 Llama-3.2-1B 約 977 秒，差了大約 7 倍。新聞報導裡「快 7 倍」的數字，應該就是從這兩格來的。\n\n讀這個數字要看清楚條件：\n\n- 比較對象是另一個模型（Llama-3.2-1B）跑在 vLLM 上，不是同一套程式碼。\n- 批次 128。附錄說明，16K 時 vLLM 用批次 128 會超出記憶體，所以實測批次 16，再乘以 8 推估。\n- 序列越短差距越小：512 tokens 時，兩者只差 0.06 秒。\n\nHacker News 上，有讀者不太買單「推論時多做計算是好事」這個結論：批次 1 時解碼確實卡在記憶體，但服務商都把請求湊成大批次一起算，計算力未必閒著。另一位讀者回應，論文比較 Mamba-2 與 Mamba-3 延遲時用的就是批次 128，在這個批次下 Mamba-2 看起來都還沒吃滿計算力；質疑者再回說，DeepSeek 的批次大約是 8192，128 算不上大。也有人補充，本地推論的批次通常是 1，閒著的計算正好可以拿來用。[Hacker News，2026-03-21](https://news.ycombinator.com/item?id=47419391) 這段來回大致點出 MIMO 的適用範圍：批次越小、越受記憶體限制，它越划算。\n\n## 結論\n\nMamba-3 從狀態空間模型的老原理裡，拿出三個改動：\n\n1. **指數梯形離散化**：更有表達力的遞迴，配合 $B$、$C$ 的偏差項，讓短卷積變成可有可無。\n2. **複數狀態**：等價於由資料決定的 RoPE，解得出 Mamba-2 解不出的奇偶數與模運算。\n3. **MIMO**：在記憶體受限的解碼階段多做一些計算，品質變好，延遲幾乎不變。\n\n1.5B、100B tokens 的比較中，它在語言建模上勝過 Transformer、Mamba-2 與 GDN；另一組 440M、兩倍 Chinchilla 最佳 token 數的實驗裡，MIMO 版本只要一半的狀態，就能達到 Mamba-2 的困惑度。\n\n但最值得記住的，或許是作者自己對檢索的判斷：固定狀態的檢索弱點，讓他們預期線性層主要會用在混合架構裡。論文同時保留了純模型的比較，也測了它和注意力互補的效果。對照 2023 年 Mamba 論文期待它成為通用序列模型骨幹的說法，重心明顯移向「混合模型裡的線性層該怎麼做好」。\n\n主實驗都在 1.5B 以下、100B tokens 的規模，狀態大小與元件消融用的是更小的 440M 模型；混合模型也只試了 5:1 一種比例。它放進上百億參數的混合模型之後表現如何，論文還沒有回答。\n\n\n> [!TIP]\n> \n> Mamba 系列的前兩代，以及同樣處理狀態更新的 Gated DeltaNet，可以參考：\n> \n> - **[[23.12] Mamba：誰是繼承人](/blog/papers/mamba/mamba)**\n> - **[[24.05] Mamba-2：注意力的遠親](/blog/papers/mamba/mamba-2)**\n> - **[[24.12] Gated DeltaNet：先擦再寫](/blog/papers/mamba/gated-deltanet)**\n","imageSizes":{"/content/papers/assets/bafe70ab05ff3f4100278e18abb0198af0081a8802873a746e8df5fef028e047.png":{"width":1356,"height":644},"/content/papers/assets/9c2757127eedcbc423ca747c871fa87a8c498a586a11782bf356497d5bf9510d.png":{"width":650,"height":345}}}