{"notes":[{"id":"mamba/jamba","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Jamba","subtitle":"八分之一的注意力","author":"Z. Yuan","paperDate":"2024-03-28","publishedOn":"2026-01-10","world":"external/jamba","paperTitle":"Jamba: A Hybrid Transformer-Mamba Language Model","paperUrl":"https://arxiv.org/abs/2403.19887","bibliography":{"title":"Jamba: A Hybrid Transformer-Mamba Language Model","authors":["Opher Lieber","Barak Lenz","Hofit Bata","Gal Cohen","Jhonathan Osin","Itay Dalmedigos","Erez Safahi","Shaked Meirom","Yonatan Belinkov","Shai Shalev-Shwartz","Omri Abend","Raz Alon","Tomer Asida","Amir Bergman","Roman Glozman","Michael Gokhman","Avashalom Manevich","Nir Ratner","Noam Rozen","Erez Shwartz","Mor Zusman","Yoav Shoham"],"url":"https://arxiv.org/abs/2403.19887","pdfUrl":"https://arxiv.org/pdf/2403.19887v2","codeUrl":null,"preprint":{"id":"2403.19887","submittedOn":"2024-03-28","url":"https://arxiv.org/abs/2403.19887"},"publication":null,"citation":"@misc{mambajamba2024,\n  title = {{Jamba: A Hybrid Transformer-Mamba Language Model}},\n  author = {Opher Lieber and Barak Lenz and Hofit Bata and Gal Cohen and Jhonathan Osin and Itay Dalmedigos and Erez Safahi and Shaked Meirom and Yonatan Belinkov and Shai Shalev-Shwartz and Omri Abend and Raz Alon and Tomer Asida and Amir Bergman and Roman Glozman and Michael Gokhman and Avashalom Manevich and Nir Ratner and Noam Rozen and Erez Shwartz and Mor Zusman and Yoav Shoham},\n  year = {2024},\n  eprint = {2403.19887},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2403.19887}\n}\n","citationPath":"/content/papers/citations/mamba/jamba.11fef67c0c54.bib"},"thumbnail":{"src":"/content/papers/assets/fa186580641946194f81adf74136e29431c3f6dd3fa63e2ecf8a1c0c29d3e5a0.png","width":1056,"height":1000},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/jamba.0e951e0c4113.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"jamba-block","text":"Jamba block","depth":3},{"id":"手算一次-kv-cache","text":"手算一次 KV cache","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"跟-mixtral-比一比","text":"跟 Mixtral 比一比","depth":3},{"id":"一比三還是一比七","text":"一比三，還是一比七？","depth":3},{"id":"純-mamba-卡在哪裡","text":"純 Mamba 卡在哪裡？","depth":3},{"id":"另外三個發現","text":"另外三個發現","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/repeat-after-me","relation":"referenced","topic":""},{"id":"mamba/mamba-2-hybrid","relation":"referenced","topic":""}]},{"id":"mamba/repeat-after-me","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Repeat After Me","subtitle":"電話簿測驗","author":"Z. Yuan","paperDate":"2024-02-01","publishedOn":"2025-12-23","paperTitle":"Repeat After Me: Transformers are Better than State Space Models at Copying","paperUrl":"https://arxiv.org/abs/2402.01032","bibliography":{"title":"Repeat After Me: Transformers are Better than State Space Models at Copying","authors":["Samy Jelassi","David Brandfonbrener","Sham M. Kakade","Eran Malach"],"url":"https://arxiv.org/abs/2402.01032","pdfUrl":"https://arxiv.org/pdf/2402.01032v2","codeUrl":"https://github.com/sjelassi/transformers_ssm_copy","preprint":{"id":"2402.01032","submittedOn":"2024-02-01","url":"https://arxiv.org/abs/2402.01032"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/jelassi24a.html"},"citation":"@misc{mambarepeatafterme2024,\n  title = {{Repeat After Me: Transformers are Better than State Space Models at Copying}},\n  author = {Samy Jelassi and David Brandfonbrener and Sham M. Kakade and Eran Malach},\n  year = {2024},\n  eprint = {2402.01032},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2402.01032}\n}\n","citationPath":"/content/papers/citations/mamba/repeat-after-me.6f1018ade730.bib"},"thumbnail":{"src":"/content/papers/assets/6d45fd8ab61191e1263c400e01bf76bdd9ef3534ecc4485835332074ea553443.png","width":1378,"height":416},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/repeat-after-me.345ed541cc48.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"抄寫任務","text":"抄寫任務","depth":3},{"id":"狀態不夠大就抄不完","text":"狀態不夠大，就抄不完","depth":3},{"id":"transformer-靠-n-gram-找位置","text":"Transformer 靠 n-gram 找位置","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"合成資料學得快也推得遠","text":"合成資料：學得快，也推得遠","depth":3},{"id":"先告訴我要找什麼就沒問題","text":"先告訴我要找什麼，就沒問題","depth":3},{"id":"預訓練模型電話簿","text":"預訓練模型：電話簿","depth":3},{"id":"這篇還沒回答的事","text":"這篇還沒回答的事","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/jamba","relation":"referenced","topic":""}]},{"id":"mamba/mamba-2-hybrid","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2-Hybrid","subtitle":"模糊的記憶","author":"Z. Yuan","paperDate":"2024-06-12","publishedOn":"2026-01-22","paperTitle":"An Empirical Study of Mamba-based Language Models","paperUrl":"https://arxiv.org/abs/2406.07887","bibliography":{"title":"An Empirical Study of Mamba-based Language Models","authors":["Roger Waleffe","Wonmin Byeon","Duncan Riach","Brandon Norick","Vijay Korthikanti","Tri Dao","Albert Gu","Ali Hatamizadeh","Sudhakar Singh","Deepak Narayanan","Garvit Kulshreshtha","Vartika Singh","Jared Casper","Jan Kautz","Mohammad Shoeybi","Bryan Catanzaro"],"url":"https://arxiv.org/abs/2406.07887","pdfUrl":"https://arxiv.org/pdf/2406.07887v1","codeUrl":"https://github.com/NVIDIA/Megatron-LM","preprint":{"id":"2406.07887","submittedOn":"2024-06-12","url":"https://arxiv.org/abs/2406.07887"},"publication":null,"citation":"@misc{mambamamba2hybrid2024,\n  title = {{An Empirical Study of Mamba-based Language Models}},\n  author = {Roger Waleffe and Wonmin Byeon and Duncan Riach and Brandon Norick and Vijay Korthikanti and Tri Dao and Albert Gu and Ali Hatamizadeh and Sudhakar Singh and Deepak Narayanan and Garvit Kulshreshtha and Vartika Singh and Jared Casper and Jan Kautz and Mohammad Shoeybi and Bryan Catanzaro},\n  year = {2024},\n  eprint = {2406.07887},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2406.07887}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2-hybrid.2add9f814f3a.bib"},"thumbnail":{"src":"/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png","width":1245,"height":322},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/mamba-2-hybrid.b3ff0929ae8f.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"先看純-ssm-的成績","text":"先看純 SSM 的成績","depth":3},{"id":"電話簿與模糊的記憶","text":"電話簿與模糊的記憶","depth":3},{"id":"加回多少注意力","text":"加回多少注意力？","depth":3},{"id":"手算一次記憶體","text":"手算一次記憶體","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"12-項標準任務","text":"12 項標準任務","depth":3},{"id":"長上下文大多不輸多文件問答落後","text":"長上下文：大多不輸，多文件問答落後","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/repeat-after-me","relation":"referenced","topic":""},{"id":"mamba/mamba-2","relation":"referenced","topic":""}]}],"text":"2023 年 12 月，Mamba 用線性時間的選擇性狀態空間模型，在語言建模上追平了同規模的 Transformer。不過論文裡最大的模型是 2.8B，大家心裡都有同一個問題：放大到產品等級，它撐得住嗎？\n\n三個月後，以色列的 AI21 Labs 交出一個 52B 參數、Apache 2.0 授權的模型，名字叫 Jamba。它確實用了大量 Mamba 層，但每八層裡還是留了一層注意力。\n\nHacker News 上的發布討論串裡，有人直接問：既然有 Mamba 了，為什麼還要放注意力層？底下的回答很短：Mamba 處理長上下文不行，它記不住電話號碼。[Hacker News，2024-03-28](https://news.ycombinator.com/item?id=39853958)\n\n那則回覆連到一篇研究，測的是長電話簿這類要精確照抄原文的任務，我們另外寫了筆記；那篇同時也列出狀態模型擅長的情境。Jamba 這篇則從自己的消融實驗，給了另一個更具體的理由。\n\n## 定義問題\n\n先想像一個服務長文件的模型要付哪兩筆帳。\n\n一筆是記憶體。注意力層會替讀過的每個 token 留下一份 key 和 value，文件越長，這份快取就越大，最後是它決定一張 GPU 能放多長的上下文。另一筆是時間：每生成一個新 token，都要回頭跟整段上下文比對一次，長文時的吞吐就被拖慢。\n\nMamba 這類模型的兩筆帳都比較便宜，因為它只更新一份固定大小的狀態。可是在 AI21 的評估裡，同樣規模下，純 Mamba 的語言模型表現還是略遜於 Transformer。\n\n把兩種層放進同一個模型，當時已經有人試過，但規模都不大：交錯 Mamba 與注意力的實驗停在 1.3B 左右，做到 7B 的 StripedHyena 也還輸給純注意力的 Mistral-7B。\n\n所以這篇真正要回答的，是幾個放大以後才能回答的問題：兩種層該按什麼比例混？加上 MoE 會不會打架？放大到幾百億參數時，訓練穩不穩？\n\n## 解決問題\n\n### Jamba block\n\n[![Jamba 架構圖：左邊是一個 Jamba block，由下往上依序為 Mamba、Mamba MoE、Mamba、Mamba MoE、Transformer、Mamba MoE、Mamba、Mamba MoE 共八層；右邊是四種層的內部結構，每種都是 RMSNorm 加上 Attention 或 Mamba，再接 RMSNorm 加上 MLP 或 MoE，兩段各有殘差連接](/content/papers/assets/fa186580641946194f81adf74136e29431c3f6dd3fa63e2ecf8a1c0c29d3e5a0.png)](/content/papers/assets/fa186580641946194f81adf74136e29431c3f6dd3fa63e2ecf8a1c0c29d3e5a0.png)\n\n*原論文 Figure 1，取自 [**v2 PDF 第 3 頁**](https://arxiv.org/pdf/2403.19887v2#page=3)，CC BY-SA 4.0。左圖是一個 Jamba block，右圖是四種層的內部結構。*\n\n先看右圖。每一層都分成兩段：前半段負責在序列方向上混合資訊，用的是 Attention 或 Mamba；後半段負責逐 token 的特徵轉換，用一般的 MLP 或 MoE。兩段前面都有 RMSNorm，外面各包一個殘差連接。\n\n兩兩組合，就是右圖的四種層。Attention MoE 這一種，Jamba 實際上沒有用到。\n\n再看左圖。一個 Jamba block 有八層，從下往上數，第五層是唯一的 Transformer 層，其他七層都是 Mamba；MoE 則每隔一層出現一次。\n\n作者把這個設計空間寫成五個參數：\n\n- $l$：一個 block 有幾層。\n- $a:m$：注意力層與 Mamba 層的比例。\n- $e$：每幾層把 MLP 換成 MoE。\n- $n$：每個 MoE 層有幾個專家。\n- $K$：每個 token 選幾個專家。\n\n釋出的版本是 $l=8$、$a:m=1:7$、$e=2$、$n=16$、$K=2$，四個 block 疊起來共 32 層，其中只有 4 層是注意力。模型總參數 52B，每個 token 啟用 12B。用 int8 權重時，可以放進一張 80GB 的 GPU。\n\n其他細節大多沿用當時的標準配方：注意力用 GQA，啟動函數用 SwiGLU，詞表 64K，每個數字切成獨立的 token。比較特別的有兩點，後面討論會再提：Mamba 層內部加了 RMSNorm，整個模型也沒有用 RoPE 之類的位置編碼。\n\n### 手算一次 KV cache\n\n只留 4 層注意力，到底省了多少？論文 Table 1 給了 256K 上下文、16 位元下的 KV cache：\n\n| 模型 | 總參數 | 啟用參數 | KV cache（256K） |\n| --- | ---: | ---: | ---: |\n| Llama-2 | 6.7B | 6.7B | 128GB |\n| Mistral | 7.2B | 7.2B | 32GB |\n| Mixtral | 46.7B | 12.9B | 32GB |\n| Jamba | 52B | 12B | 4GB |\n\n*表：原論文 Table 1。*\n\n我們自己算一次。每個注意力層、每個 token，要存一份 key 和一份 value；Mixtral 與 Jamba 都是 8 個 KV 頭、每頭 128 維（依兩者在 Hugging Face 上的設定檔），bf16 每個數 2 bytes：\n\n```python\ndef kv_bytes(attn_layers, kv_heads, head_dim, tokens, bytes_per=2):\n    return 2 * attn_layers * kv_heads * head_dim * bytes_per * tokens\n\nGiB = 2**30\nfor name, layers in [(\"Mixtral（32 層注意力）\", 32), (\"Jamba（4 層注意力）\", 4)]:\n    per_token = kv_bytes(layers, 8, 128, 1)\n    print(f\"{name}: 每 token {per_token // 1024} KiB，256K tokens 共 {kv_bytes(layers, 8, 128, 262144) / GiB:.0f} GiB\")\n\n# Jamba 的 28 層 Mamba：內部寬度 2×4096，每個通道的狀態維度 16\nmamba_layers, d_inner, d_state = 28, 2 * 4096, 16\nssm = mamba_layers * d_inner * d_state\nprint(f\"28 層 Mamba 的 SSM 狀態：{ssm:,} 個數，bf16 約 {ssm * 2 / 2**20:.0f} MiB\")\n```\n\n```text\nMixtral（32 層注意力）: 每 token 128 KiB，256K tokens 共 32 GiB\nJamba（4 層注意力）: 每 token 16 KiB，256K tokens 共 4 GiB\n28 層 Mamba 的 SSM 狀態：3,670,016 個數，bf16 約 7 MiB\n```\n\n兩個數字都和 Table 1 對得上（原表寫 GB，這裡統一用 2 的次方計的 GiB）。差八倍，就是 32 層注意力和 4 層注意力的差別。\n\n最後一行是 Mamba 那一側要帶著走的狀態。不管上下文是 1K 還是 256K，它都是這麼大。（這裡只算了 SSM 狀態，卷積的暫存另計，量級也很小。）\n\n\n> [!NOTE]\n> \n> Llama-2 那一列大了四倍，是因為它的 7B 版本沒有用 GQA：32 個注意力頭各自有自己的 key 和 value。Mistral 改用 8 組 KV 頭，KV cache 就降到四分之一。\n\n\n## 討論\n\n### 跟 Mixtral 比一比\n\n先看標準評測。作者主要拿 Mixtral 8x7B 比，它的總參數與啟用參數都和 Jamba 很接近。挑幾項來看：\n\n| 評測 | Mixtral | Jamba |\n| --- | ---: | ---: |\n| HellaSwag（10-shot） | 86.7 | 87.1 |\n| WinoGrande（5-shot） | 81.2 | 82.5 |\n| GSM8K（3-shot CoT） | 60.4 | 59.9 |\n| HumanEval（pass@1） | 34.8 | 29.3 |\n| MMLU（5-shot） | 70.6 | 67.4 |\n| BBH（3-shot） | 50.3 | 45.4 |\n\n*表：原論文 Table 2 節錄。*\n\n作者的說法是「大多數任務表現相當」。逐項看，表上的 HellaSwag、WinoGrande 略高；完整表格裡的 ARC-E、ARC-C，以及 MMLU、BBH、HumanEval 則落後幾分。\n\nJamba 的優勢主要在長上下文的成本。論文 Figure 2 顯示，單張 A100 80GB 能放下的上下文長度，Jamba 約是 Mixtral 的兩倍、Llama-2-70B 的七倍，約 140K tokens。Figure 3 量的是編碼加解碼的端到端吞吐，兩組設定都生成 512 個 token：單張 A100、int8 量化、8K 上下文時，Jamba 放得下批次 16，Mixtral 放不下，吞吐差到三倍左右；四張 A100、不量化、批次 1、128K 上下文時，Jamba 也快了約三倍。\n\n作者也提醒，這些吞吐數字只適合相對比較：社群替純 Transformer 做了六年的推論最佳化，Jamba 當時還沒有。\n\n長上下文的能力，作者做了兩種測試。大海撈針（needle-in-a-haystack）在 256K 內幾乎都找得到；他們特別強調，這只靠 4 層注意力。另外把 L-Eval 裡最長的五個資料集改成 3-shot 格式，F1 平均 0.44，Mixtral 是 0.43。\n\n### 一比三，還是一比七？\n\n比例怎麼選，作者用 1.3B 參數、250B tokens 的小模型試：\n\n| 模型 | OLLM | HellaSwag | WinoGrande | NQ |\n| --- | ---: | ---: | ---: | ---: |\n| 純注意力 | 36.4 | 62.4 | 59.6 | 14.5 |\n| 純 Mamba | 36.1 | 62.6 | 59.4 | 14.5 |\n| 混合 1:3 | 37.2 | 65.1 | 61.7 | 16.5 |\n| 混合 1:7 | 37.2 | 65.1 | 61.7 | 16.0 |\n\n*表：原論文 Table 4 節錄，皆未加 MoE。OLLM 是作者重現的 Hugging Face Open LLM 排行榜綜合分數。*\n\n兩種混合比例幾乎一樣，都比單一架構好。作者選了 1:7，理由是算力比較省。放大到 7B、50B tokens 再比一次，純 Mamba 的 OLLM 35.3，略低於純注意力的 36.1，混合模型 36.6 最高，訓練損失也一路最低。\n\n這裡要留意，兩組消融分別訓練 250B 與 50B tokens；釋出模型的總訓練量，論文沒有公布。比例的結論先限於這些消融設定。\n\n### 純 Mamba 卡在哪裡？\n\n這是這篇論文最有意思的一段。\n\n純 Mamba 的困惑度和一般評測都不差，但在三個資料集上掉得很明顯：\n\n| 模型 | IMDB | QuAC | NarrativeQA |\n| --- | ---: | ---: | ---: |\n| 純注意力 | 84.1 | 27.9 | 45.8 |\n| 純 Mamba | 48.8 | 20.2 | 27.7 |\n| 混合 | 90.9 | 26.6 | 43.7 |\n\n*表：原論文 Table 6，1.3B 模型、250B tokens。*\n\nIMDB 是電影評論的情緒分類，答案只有 Positive 和 Negative 兩種。作者翻開純 Mamba 的輸出，發現它常常不照格式回答，寫出「Very Good」、「Funny」、「Bad」，甚至「3/10」。\n\n有些回答的情緒方向可能沒錯，只是沒照前面範例的格式交答案。\n\nfew-shot 的提示詞裡，每個範例都是「評論＋Sentiment: 標籤」。要沿用這個格式，一個可能的做法是在最後的冒號處，回頭看看前面範例的標籤怎麼寫。這種「回頭找、照著寫」的能力，過去的研究把它連到 Transformer 裡的 **induction head**：一種會找到前面相同的模式，再複製它下一個 token 的注意力頭。\n\n作者的推測是，純 Mamba 沒有注意力，這種機制不容易在訓練中自己長出來。換成 1:7 的混合模型（這組 1.3B 模型共三層注意力），問題就消失了。（這裡的「純 Mamba」其實是 Mamba 層與 MLP 交錯，只是沒有注意力。）\n\n[![一段 IMDB few-shot 提示詞的片段，三個範例後面各有 Sentiment 標籤 Negative、Negative、Positive，標籤被不同深淺的藍色標出；提示詞最後停在 Sentiment 冒號](/content/papers/assets/ab6a0dbf1cacc4a6045d01ccebacef40614338c0765fdb2052bd1fa19ffcd408.png)](/content/papers/assets/ab6a0dbf1cacc4a6045d01ccebacef40614338c0765fdb2052bd1fa19ffcd408.png)\n\n*原論文 Figure 8，取自 [**v2 PDF 第 12 頁**](https://arxiv.org/pdf/2403.19887v2#page=12)，CC BY-SA 4.0。混合模型第一個注意力層的一個頭，從最後的冒號看出去，顏色越深表示注意力越強。*\n\n圖上這段是純 Mamba 答錯、混合模型答對的例子。從最後那個冒號看出去，注意力幾乎都落在前面範例的標籤上：Negative、Negative、Positive。作者在 1.3B 混合模型的三個注意力層裡，找到 12 個這樣的頭。\n\n作者自己也說，這是軼事性的證據。它說明混合模型裡出現了類似 induction head 的頭，還不足以證明 SSM 永遠學不會 in-context learning。但從工程角度，結論已經很實用：**少量注意力層，就足以補上這個缺口**。\n\n\n> [!TIP]\n> \n> 「Mamba 記不住電話號碼」這句話的出處，是同一年 2 月的另一篇研究。他們從理論和實驗兩邊，說明固定大小的狀態為什麼抄不完長字串：\n> \n> - **[[24.02] Repeat After Me：電話簿測驗](/blog/papers/mamba/repeat-after-me)**\n\n\n### 另外三個發現\n\n1. **MoE 有幫助**。7B、50B tokens 的混合模型加上 MoE（16 選 2、每兩層一次），OLLM 從 36.6 升到 38.1，NQ 從 15.4 升到 18.9。\n2. **Mamba 放大後需要額外正規化**。1.3B 以下訓練很穩；放大到正式模型時出現很大的 loss spike，原因是 Mamba 層內部的活化值太大。在內部加上 RMSNorm 之後就穩了。\n3. **不用位置編碼也可以**。注意力層加 RoPE 和不加，結果差不多（1.3B、250B tokens）。作者的推測是，Mamba 層放在注意力層前面，已經替模型提供了隱含的位置資訊。\n\n## 結論\n\nAI21 把 Jamba 定位成第一個達到產品規模的注意力與 Mamba 混合模型；2024 年 3 月釋出的是還沒做過指令微調或對齊的預訓練基底模型。論文能帶走的大概有這幾件事：\n\n1. **比例可以很低**。1:3 與 1:7 的混合效果幾乎一樣，都勝過純注意力與純 Mamba；32 層裡只留 4 層注意力，256K 上下文的 KV cache 從 32GB 降到 4GB。\n2. **純 Mamba 的弱點在格式與照抄**。一般評測看不太出差別，IMDB 這類要照 few-shot 格式交答案的任務才露出來；1:7 的混合模型就補回來了。\n3. **效能接近 Mixtral，長文成本低得多**。部分評測仍落後 Mixtral，吞吐優勢主要出現在長上下文。\n\n回頭看那個問題：為什麼 Mamba 都來了，還要留注意力？這篇的答案很務實：效果最好、成本也能接受的做法，是讓大部分的層用 Mamba，把少數幾層留給注意力。三個月後，NVIDIA 用 8B 模型做了一次更大規模的對照，結論也差不多。\n\n\n> [!TIP]\n> \n> NVIDIA 那篇在同樣資料上比較 Mamba、Mamba-2 與 Transformer 的研究，可以參考：\n> \n> - **[[24.06] Mamba-2-Hybrid：模糊的記憶](/blog/papers/mamba/mamba-2-hybrid)**\n","imageSizes":{"/content/papers/assets/fa186580641946194f81adf74136e29431c3f6dd3fa63e2ecf8a1c0c29d3e5a0.png":{"width":1056,"height":1000},"/content/papers/assets/ab6a0dbf1cacc4a6045d01ccebacef40614338c0765fdb2052bd1fa19ffcd408.png":{"width":1128,"height":778}}}