{"notes":[{"id":"mamba/jamba","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Jamba","subtitle":"八分之一的注意力","author":"Z. Yuan","paperDate":"2024-03-28","publishedOn":"2026-01-10","world":"external/jamba","paperTitle":"Jamba: A Hybrid Transformer-Mamba Language Model","paperUrl":"https://arxiv.org/abs/2403.19887","bibliography":{"title":"Jamba: A Hybrid Transformer-Mamba Language Model","authors":["Opher Lieber","Barak Lenz","Hofit Bata","Gal Cohen","Jhonathan Osin","Itay Dalmedigos","Erez Safahi","Shaked Meirom","Yonatan Belinkov","Shai Shalev-Shwartz","Omri Abend","Raz Alon","Tomer Asida","Amir Bergman","Roman Glozman","Michael Gokhman","Avashalom Manevich","Nir Ratner","Noam Rozen","Erez Shwartz","Mor Zusman","Yoav Shoham"],"url":"https://arxiv.org/abs/2403.19887","pdfUrl":"https://arxiv.org/pdf/2403.19887v2","codeUrl":null,"preprint":{"id":"2403.19887","submittedOn":"2024-03-28","url":"https://arxiv.org/abs/2403.19887"},"publication":null,"citation":"@misc{mambajamba2024,\n  title = {{Jamba: A Hybrid Transformer-Mamba Language Model}},\n  author = {Opher Lieber and Barak Lenz and Hofit Bata and Gal Cohen and Jhonathan Osin and Itay Dalmedigos and Erez Safahi and Shaked Meirom and Yonatan Belinkov and Shai Shalev-Shwartz and Omri Abend and Raz Alon and Tomer Asida and Amir Bergman and Roman Glozman and Michael Gokhman and Avashalom Manevich and Nir Ratner and Noam Rozen and Erez Shwartz and Mor Zusman and Yoav Shoham},\n  year = {2024},\n  eprint = {2403.19887},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2403.19887}\n}\n","citationPath":"/content/papers/citations/mamba/jamba.11fef67c0c54.bib"},"thumbnail":{"src":"/content/papers/assets/fa186580641946194f81adf74136e29431c3f6dd3fa63e2ecf8a1c0c29d3e5a0.png","width":1056,"height":1000},"locale":"zh-hans","path":"/content/papers/zh-hans/mamba/jamba.cd7e942194ed.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"jamba-block","text":"Jamba block","depth":3},{"id":"手算一次-kv-cache","text":"手算一次 KV cache","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"和-mixtral-比一比","text":"和 Mixtral 比一比","depth":3},{"id":"一比三还是一比七","text":"一比三，还是一比七？","depth":3},{"id":"纯-mamba-卡在哪里","text":"纯 Mamba 卡在哪里？","depth":3},{"id":"另外三个发现","text":"另外三个发现","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/repeat-after-me","relation":"referenced","topic":""},{"id":"mamba/mamba-2-hybrid","relation":"referenced","topic":""}]},{"id":"mamba/repeat-after-me","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Repeat After Me","subtitle":"电话簿测试","author":"Z. Yuan","paperDate":"2024-02-01","publishedOn":"2025-12-23","paperTitle":"Repeat After Me: Transformers are Better than State Space Models at Copying","paperUrl":"https://arxiv.org/abs/2402.01032","bibliography":{"title":"Repeat After Me: Transformers are Better than State Space Models at Copying","authors":["Samy Jelassi","David Brandfonbrener","Sham M. Kakade","Eran Malach"],"url":"https://arxiv.org/abs/2402.01032","pdfUrl":"https://arxiv.org/pdf/2402.01032v2","codeUrl":"https://github.com/sjelassi/transformers_ssm_copy","preprint":{"id":"2402.01032","submittedOn":"2024-02-01","url":"https://arxiv.org/abs/2402.01032"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/jelassi24a.html"},"citation":"@misc{mambarepeatafterme2024,\n  title = {{Repeat After Me: Transformers are Better than State Space Models at Copying}},\n  author = {Samy Jelassi and David Brandfonbrener and Sham M. Kakade and Eran Malach},\n  year = {2024},\n  eprint = {2402.01032},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2402.01032}\n}\n","citationPath":"/content/papers/citations/mamba/repeat-after-me.6f1018ade730.bib"},"thumbnail":{"src":"/content/papers/assets/6d45fd8ab61191e1263c400e01bf76bdd9ef3534ecc4485835332074ea553443.png","width":1378,"height":416},"locale":"zh-hans","path":"/content/papers/zh-hans/mamba/repeat-after-me.82bba41fa9d9.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"抄写任务","text":"抄写任务","depth":3},{"id":"状态不够大就抄不完","text":"状态不够大，就抄不完","depth":3},{"id":"transformer-靠-n-gram-找位置","text":"Transformer 靠 n-gram 找位置","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"合成数据学得快也推得远","text":"合成数据：学得快，也推得远","depth":3},{"id":"先告诉我要找什么就没问题","text":"先告诉我要找什么，就没问题","depth":3},{"id":"预训练模型电话簿","text":"预训练模型：电话簿","depth":3},{"id":"这篇还没回答的问题","text":"这篇还没回答的问题","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/jamba","relation":"referenced","topic":""}]},{"id":"mamba/mamba-2-hybrid","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2-Hybrid","subtitle":"模糊的记忆","author":"Z. Yuan","paperDate":"2024-06-12","publishedOn":"2026-01-22","paperTitle":"An Empirical Study of Mamba-based Language Models","paperUrl":"https://arxiv.org/abs/2406.07887","bibliography":{"title":"An Empirical Study of Mamba-based Language Models","authors":["Roger Waleffe","Wonmin Byeon","Duncan Riach","Brandon Norick","Vijay Korthikanti","Tri Dao","Albert Gu","Ali Hatamizadeh","Sudhakar Singh","Deepak Narayanan","Garvit Kulshreshtha","Vartika Singh","Jared Casper","Jan Kautz","Mohammad Shoeybi","Bryan Catanzaro"],"url":"https://arxiv.org/abs/2406.07887","pdfUrl":"https://arxiv.org/pdf/2406.07887v1","codeUrl":"https://github.com/NVIDIA/Megatron-LM","preprint":{"id":"2406.07887","submittedOn":"2024-06-12","url":"https://arxiv.org/abs/2406.07887"},"publication":null,"citation":"@misc{mambamamba2hybrid2024,\n  title = {{An Empirical Study of Mamba-based Language Models}},\n  author = {Roger Waleffe and Wonmin Byeon and Duncan Riach and Brandon Norick and Vijay Korthikanti and Tri Dao and Albert Gu and Ali Hatamizadeh and Sudhakar Singh and Deepak Narayanan and Garvit Kulshreshtha and Vartika Singh and Jared Casper and Jan Kautz and Mohammad Shoeybi and Bryan Catanzaro},\n  year = {2024},\n  eprint = {2406.07887},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2406.07887}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2-hybrid.2add9f814f3a.bib"},"thumbnail":{"src":"/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png","width":1245,"height":322},"locale":"zh-hans","path":"/content/papers/zh-hans/mamba/mamba-2-hybrid.06a7d341f756.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"先看纯-ssm-的成绩","text":"先看纯 SSM 的成绩","depth":3},{"id":"电话簿与模糊的记忆","text":"电话簿与模糊的记忆","depth":3},{"id":"加回多少注意力","text":"加回多少注意力？","depth":3},{"id":"手算一次显存","text":"手算一次显存","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"12-项标准任务","text":"12 项标准任务","depth":3},{"id":"长上下文大多不输多文档问答落后","text":"长上下文：大多不输，多文档问答落后","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/repeat-after-me","relation":"referenced","topic":""},{"id":"mamba/mamba-2","relation":"referenced","topic":""}]}],"text":"2023 年 12 月，Mamba 用线性时间的选择性状态空间模型，在语言建模上追平了同规模的 Transformer。不过论文里最大的模型是 2.8B，大家心里都有同一个疑问：放大到产品级别，它还撑得住吗？\n\n三个月后，以色列的 AI21 Labs 交出了一个 52B 参数、采用 Apache 2.0 许可的模型，名叫 Jamba。它确实用了大量 Mamba 层，但每八层里还是留了一层注意力。\n\nHacker News 的发布讨论帖里，有人直接问：既然有了 Mamba，为什么还要放注意力层？下面的回答很短：Mamba 处理长上下文不行，它记不住电话号码。[Hacker News，2024-03-28](https://news.ycombinator.com/item?id=39853958)\n\n那条回复链接到一篇研究，测的是长电话簿这类需要精确照抄原文的任务，我们另写了笔记；那篇同时也列出了状态模型擅长的场景。Jamba 这篇则从自己的消融实验出发，给出了另一个更具体的理由。\n\n## 定义问题\n\n先想象一下，一个服务长文档的模型要付哪两笔账。\n\n一笔是显存。注意力层会为读过的每个 token 留下一份 key 和 value，文档越长，这份缓存就越大，最后决定一张 GPU 能放多长上下文的就是它。另一笔是时间：每生成一个新 token，都要回头和整段上下文比对一次，长文本时的吞吐量就被拖慢了。\n\nMamba 这类模型的两笔账都比较便宜，因为它只更新一份固定大小的状态。可是在 AI21 的评估里，同样规模下，纯 Mamba 语言模型的表现还是略逊于 Transformer。\n\n把两种层放进同一个模型，当时已经有人试过，但规模都不大：交错 Mamba 与注意力的实验停留在 1.3B 左右，做到 7B 的 StripedHyena 也还是输给纯注意力的 Mistral-7B。\n\n所以这篇真正要回答的，是几个只有放大以后才能回答的问题：两种层该按什么比例混合？加上 MoE 会不会互相打架？放大到几百亿参数时，训练稳不稳定？\n\n## 解决问题\n\n### Jamba block\n\n[![Jamba 架构图：左边是一个 Jamba block，从下往上依次为 Mamba、Mamba MoE、Mamba、Mamba MoE、Transformer、Mamba MoE、Mamba、Mamba MoE 共八层；右边是四种层的内部结构，每种都是 RMSNorm 加上 Attention 或 Mamba，再接 RMSNorm 加上 MLP 或 MoE，两段各有残差连接](/content/papers/assets/fa186580641946194f81adf74136e29431c3f6dd3fa63e2ecf8a1c0c29d3e5a0.png)](/content/papers/assets/fa186580641946194f81adf74136e29431c3f6dd3fa63e2ecf8a1c0c29d3e5a0.png)\n\n*原论文 Figure 1，取自 [**v2 PDF 第 3 页**](https://arxiv.org/pdf/2403.19887v2#page=3)，CC BY-SA 4.0。左图是一个 Jamba block，右图是四种层的内部结构。*\n\n先看右图。每一层都分成两段：前半段负责沿序列方向混合信息，用的是 Attention 或 Mamba；后半段负责逐 token 的特征变换，用普通的 MLP 或 MoE。两段前面都有 RMSNorm，外面各包一个残差连接。\n\n两两组合，就是右图的四种层。其中 Attention MoE 这一种，Jamba 实际上没有用到。\n\n再看左图。一个 Jamba block 有八层，从下往上数，第五层是唯一的 Transformer 层，其他七层都是 Mamba；MoE 则每隔一层出现一次。\n\n作者用五个参数来描述这个设计空间：\n\n- $l$：一个 block 有几层。\n- $a:m$：注意力层与 Mamba 层的比例。\n- $e$：每几层把 MLP 换成 MoE。\n- $n$：每个 MoE 层有几个专家。\n- $K$：每个 token 选几个专家。\n\n发布的版本是 $l=8$、$a:m=1:7$、$e=2$、$n=16$、$K=2$，四个 block 叠起来共 32 层，其中只有 4 层是注意力。模型总参数 52B，每个 token 激活 12B。使用 int8 权重时，可以放进一张 80GB 的 GPU。\n\n其他细节大多沿用当时的标准配方：注意力用 GQA，激活函数用 SwiGLU，词表 64K，每个数字切成单独的 token。比较特别的有两点，后面讨论时会再提到：Mamba 层内部加了 RMSNorm，整个模型也没有用 RoPE 之类的位置编码。\n\n### 手算一次 KV cache\n\n只留 4 层注意力，到底省了多少？论文 Table 1 给出了 256K 上下文、16 位精度下的 KV cache：\n\n| 模型 | 总参数 | 激活参数 | KV cache（256K） |\n| --- | ---: | ---: | ---: |\n| Llama-2 | 6.7B | 6.7B | 128GB |\n| Mistral | 7.2B | 7.2B | 32GB |\n| Mixtral | 46.7B | 12.9B | 32GB |\n| Jamba | 52B | 12B | 4GB |\n\n*表：原论文 Table 1。*\n\n我们自己算一次。每个注意力层、每个 token，都要存一份 key 和一份 value；Mixtral 与 Jamba 都是 8 个 KV 头、每头 128 维（依据两者在 Hugging Face 上的配置文件），bf16 每个数 2 bytes：\n\n```python\ndef kv_bytes(attn_layers, kv_heads, head_dim, tokens, bytes_per=2):\n    return 2 * attn_layers * kv_heads * head_dim * bytes_per * tokens\n\nGiB = 2**30\nfor name, layers in [(\"Mixtral（32 层注意力）\", 32), (\"Jamba（4 层注意力）\", 4)]:\n    per_token = kv_bytes(layers, 8, 128, 1)\n    print(f\"{name}: 每 token {per_token // 1024} KiB，256K tokens 共 {kv_bytes(layers, 8, 128, 262144) / GiB:.0f} GiB\")\n\n# Jamba 的 28 层 Mamba：内部宽度 2×4096，每个通道的状态维度 16\nmamba_layers, d_inner, d_state = 28, 2 * 4096, 16\nssm = mamba_layers * d_inner * d_state\nprint(f\"28 层 Mamba 的 SSM 状态：{ssm:,} 个数，bf16 约 {ssm * 2 / 2**20:.0f} MiB\")\n```\n\n```text\nMixtral（32 层注意力）: 每 token 128 KiB，256K tokens 共 32 GiB\nJamba（4 层注意力）: 每 token 16 KiB，256K tokens 共 4 GiB\n28 层 Mamba 的 SSM 状态：3,670,016 个数，bf16 约 7 MiB\n```\n\n两个数字都和 Table 1 对得上（原表写的是 GB，这里统一用按 2 的幂计算的 GiB）。相差八倍，正是 32 层注意力和 4 层注意力的差别。\n\n最后一行是 Mamba 那一侧要随身带着的状态。不管上下文是 1K 还是 256K，它都是这么大。（这里只算了 SSM 状态，卷积的临时缓存另计，量级也很小。）\n\n\n> [!NOTE]\n> \n> Llama-2 那一行大了四倍，是因为它的 7B 版本没有用 GQA：32 个注意力头各有自己的 key 和 value。Mistral 改用 8 组 KV 头，KV cache 就降到了四分之一。\n\n\n## 讨论\n\n### 和 Mixtral 比一比\n\n先看标准评测。作者主要拿 Mixtral 8x7B 来比，它的总参数与激活参数都和 Jamba 很接近。挑几项来看：\n\n| 评测 | Mixtral | Jamba |\n| --- | ---: | ---: |\n| HellaSwag（10-shot） | 86.7 | 87.1 |\n| WinoGrande（5-shot） | 81.2 | 82.5 |\n| GSM8K（3-shot CoT） | 60.4 | 59.9 |\n| HumanEval（pass@1） | 34.8 | 29.3 |\n| MMLU（5-shot） | 70.6 | 67.4 |\n| BBH（3-shot） | 50.3 | 45.4 |\n\n*表：原论文 Table 2 节选。*\n\n作者的说法是「大多数任务上表现相当」。逐项来看，表上的 HellaSwag、WinoGrande 略高；完整表格里的 ARC-E、ARC-C，以及 MMLU、BBH、HumanEval 则落后几分。\n\nJamba 的优势主要在长上下文的成本上。论文 Figure 2 显示，单张 A100 80GB 能放下的上下文长度，Jamba 约是 Mixtral 的两倍、Llama-2-70B 的七倍，约 140K tokens。Figure 3 测的是编码加解码的端到端吞吐量，两组设置都生成 512 个 token：单张 A100、int8 量化、8K 上下文时，Jamba 能以批大小 16 运行，Mixtral 放不下，吞吐量相差三倍左右；四张 A100、不量化、批大小 1、128K 上下文时，Jamba 也快了约三倍。\n\n作者也提醒，这些吞吐量数字只适合做相对比较：社区为纯 Transformer 做了六年的推理优化，Jamba 当时还没有。\n\n长上下文能力方面，作者做了两种测试。大海捞针（needle-in-a-haystack）在 256K 以内几乎都能找到；他们特别强调，这只靠 4 层注意力。另外，把 L-Eval 里最长的五个数据集改成 3-shot 格式，F1 平均 0.44，Mixtral 是 0.43。\n\n### 一比三，还是一比七？\n\n比例怎么选？作者用 1.3B 参数、250B tokens 的小模型来试：\n\n| 模型 | OLLM | HellaSwag | WinoGrande | NQ |\n| --- | ---: | ---: | ---: | ---: |\n| 纯注意力 | 36.4 | 62.4 | 59.6 | 14.5 |\n| 纯 Mamba | 36.1 | 62.6 | 59.4 | 14.5 |\n| 混合 1:3 | 37.2 | 65.1 | 61.7 | 16.5 |\n| 混合 1:7 | 37.2 | 65.1 | 61.7 | 16.0 |\n\n*表：原论文 Table 4 节选，均未加 MoE。OLLM 是作者复现的 Hugging Face Open LLM 排行榜综合分数。*\n\n两种混合比例几乎一样，都比单一架构好。作者选了 1:7，理由是更省算力。放大到 7B、50B tokens 再比一次，纯 Mamba 的 OLLM 为 35.3，略低于纯注意力的 36.1，混合模型的 36.6 最高，训练损失也始终最低。\n\n这里要留意，两组消融分别训练了 250B 与 50B tokens；发布模型的总训练量，论文没有公布。比例的结论目前只限于这些消融设置。\n\n### 纯 Mamba 卡在哪里？\n\n这是这篇论文最有意思的一段。\n\n纯 Mamba 的困惑度和一般评测都不差，但在三个数据集上掉得很明显：\n\n| 模型 | IMDB | QuAC | NarrativeQA |\n| --- | ---: | ---: | ---: |\n| 纯注意力 | 84.1 | 27.9 | 45.8 |\n| 纯 Mamba | 48.8 | 20.2 | 27.7 |\n| 混合 | 90.9 | 26.6 | 43.7 |\n\n*表：原论文 Table 6，1.3B 模型、250B tokens。*\n\nIMDB 是影评的情感分类，答案只有 Positive 和 Negative 两种。作者翻看纯 Mamba 的输出，发现它经常不按格式回答，写出「Very Good」、「Funny」、「Bad」，甚至「3/10」。\n\n有些回答的情感倾向可能没错，只是没按前面示例的格式作答。\n\nfew-shot 提示词里，每个示例都是「评论＋Sentiment: 标签」。要沿用这个格式，一种可能的做法是在最后的冒号处，回头看看前面示例的标签是怎么写的。这种「回头找、照着写」的能力，以往的研究把它和 Transformer 里的 **induction head** 联系起来：一种会找到前面相同的模式，再复制其下一个 token 的注意力头。\n\n作者的推测是，纯 Mamba 没有注意力，这种机制不容易在训练中自发形成。换成 1:7 的混合模型（这组 1.3B 模型共三层注意力），问题就消失了。（这里的「纯 Mamba」其实是 Mamba 层与 MLP 交错，只是没有注意力。）\n\n[![一段 IMDB few-shot 提示词的片段，三个示例后面各有 Sentiment 标签 Negative、Negative、Positive，标签用深浅不同的蓝色标出；提示词最后停在 Sentiment 冒号](/content/papers/assets/ab6a0dbf1cacc4a6045d01ccebacef40614338c0765fdb2052bd1fa19ffcd408.png)](/content/papers/assets/ab6a0dbf1cacc4a6045d01ccebacef40614338c0765fdb2052bd1fa19ffcd408.png)\n\n*原论文 Figure 8，取自 [**v2 PDF 第 12 页**](https://arxiv.org/pdf/2403.19887v2#page=12)，CC BY-SA 4.0。混合模型第一个注意力层中的一个头，从最后的冒号看出去，颜色越深表示注意力越强。*\n\n图上这段是纯 Mamba 答错、混合模型答对的例子。从最后那个冒号看出去，注意力几乎都落在前面示例的标签上：Negative、Negative、Positive。作者在 1.3B 混合模型的三个注意力层里，找到了 12 个这样的头。\n\n作者自己也说，这是个案性质的证据。它说明混合模型里出现了类似 induction head 的头，还不足以证明 SSM 永远学不会 in-context learning。但从工程角度看，结论已经很实用：**少量注意力层，就足以补上这个缺口**。\n\n\n> [!TIP]\n> \n> 「Mamba 记不住电话号码」这句话的出处，是同年 2 月的另一篇研究。他们从理论和实验两方面，说明了固定大小的状态为什么抄不完长字符串：\n> \n> - **[[24.02] Repeat After Me：电话簿测试](/blog/papers/mamba/repeat-after-me)**\n\n\n### 另外三个发现\n\n1. **MoE 有帮助**。7B、50B tokens 的混合模型加上 MoE（16 选 2、每两层一次），OLLM 从 36.6 升到 38.1，NQ 从 15.4 升到 18.9。\n2. **Mamba 放大后需要额外的归一化**。1.3B 以下训练很稳定；放大到正式模型时出现了很大的 loss spike，原因是 Mamba 层内部的激活值太大。在内部加上 RMSNorm 之后就稳定了。\n3. **不用位置编码也可以**。注意力层加不加 RoPE，结果差不多（1.3B、250B tokens）。作者推测，Mamba 层放在注意力层前面，已经为模型提供了隐式的位置信息。\n\n## 结论\n\nAI21 把 Jamba 定位为第一个达到产品规模的注意力与 Mamba 混合模型；2024 年 3 月发布的是尚未做过指令微调或对齐的预训练基座模型。从论文里能带走的，大概有这几点：\n\n1. **比例可以很低**。1:3 与 1:7 的混合效果几乎一样，都胜过纯注意力与纯 Mamba；32 层里只留 4 层注意力，256K 上下文的 KV cache 从 32GB 降到 4GB。\n2. **纯 Mamba 的弱点在格式与照抄**。一般评测看不太出差别，IMDB 这类要按 few-shot 格式作答的任务才暴露出来；1:7 的混合模型就补回来了。\n3. **性能接近 Mixtral，长文本成本低得多**。部分评测仍落后于 Mixtral，吞吐量优势主要出现在长上下文。\n\n回头看那个问题：Mamba 都来了，为什么还要留注意力？这篇给出的答案很务实：效果最好、成本也能接受的做法，是让大部分层用 Mamba，把少数几层留给注意力。三个月后，NVIDIA 用 8B 模型做了一次更大规模的对照，结论也差不多。\n\n\n> [!TIP]\n> \n> NVIDIA 那篇在相同数据上比较 Mamba、Mamba-2 与 Transformer 的研究，可以参考：\n> \n> - **[[24.06] Mamba-2-Hybrid：模糊的记忆](/blog/papers/mamba/mamba-2-hybrid)**\n","imageSizes":{"/content/papers/assets/fa186580641946194f81adf74136e29431c3f6dd3fa63e2ecf8a1c0c29d3e5a0.png":{"width":1056,"height":1000},"/content/papers/assets/ab6a0dbf1cacc4a6045d01ccebacef40614338c0765fdb2052bd1fa19ffcd408.png":{"width":1128,"height":778}}}