{"notes":[{"id":"mamba/mamba","category":"mamba","legacyPath":"mamba/2312-mamba","legacySlug":"2312-mamba","legacyPaths":[],"title":"Mamba","subtitle":"谁是继承人","author":"Z. Yuan","paperDate":"2023-12-01","publishedOn":"2024-12-25","paperTitle":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","paperUrl":"https://arxiv.org/abs/2312.00752","bibliography":{"title":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","authors":["Albert Gu","Tri Dao"],"url":"https://arxiv.org/abs/2312.00752","pdfUrl":"https://arxiv.org/pdf/2312.00752","codeUrl":null,"preprint":{"id":"2312.00752","submittedOn":"2023-12-01","url":"https://arxiv.org/abs/2312.00752"},"publication":{"venue":"COLM","year":2024,"kind":"conference","url":"https://colmweb.org/2024/AcceptedPapers.html"},"citation":"@misc{mambamamba2023,\n  title = {{Mamba: Linear-Time Sequence Modeling with Selective State Spaces}},\n  author = {Albert Gu and Tri Dao},\n  year = {2023},\n  eprint = {2312.00752},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2312.00752}\n}\n","citationPath":"/content/papers/citations/mamba/mamba.5671f143cfd6.bib"},"thumbnail":{"src":"/content/papers/assets/8f6187d5a2a7a17c0687f2ca08ea302601584bb95f5cd5f52927c54d6e76089a.jpg","width":1224,"height":500},"locale":"zh-hans","path":"/content/papers/zh-hans/mamba/mamba.d492134c0eee.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"可选择机制","text":"可选择机制","depth":3},{"id":"s6-架构","text":"S6 架构","depth":3},{"id":"mamba-架构","text":"Mamba 架构","depth":3},{"id":"再谈选择机制","text":"再谈选择机制","depth":3},{"id":"训练方法与协定","text":"训练方法与协定","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"scaling-laws","text":"Scaling Laws","depth":3},{"id":"和其他语言模型的比较","text":"和其他语言模型的比较","depth":3},{"id":"推论效率比较","text":"推论效率比较","depth":3},{"id":"消融实验-选择机制","text":"消融实验-选择机制","depth":3},{"id":"消融实验-关键参数","text":"消融实验-关键参数","depth":3},{"id":"消融实验-其他设定","text":"消融实验-其他设定","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/s4","relation":"background","topic":"从状态空间记忆到视觉序列"},{"id":"mamba/vim","relation":"next","topic":"从状态空间记忆到视觉序列"}]},{"id":"mamba/s4","category":"mamba","legacyPath":"mamba/2111-s4","legacySlug":"2111-s4","legacyPaths":[],"title":"S4","subtitle":"曼巴的序曲","author":"Z. Yuan","paperDate":"2021-10-31","publishedOn":"2024-11-17","paperTitle":"Efficiently Modeling Long Sequences with Structured State Spaces","paperUrl":"https://arxiv.org/abs/2111.00396","bibliography":{"title":"Efficiently Modeling Long Sequences with Structured State Spaces","authors":["Albert Gu","Karan Goel","Christopher Ré"],"url":"https://arxiv.org/abs/2111.00396","pdfUrl":"https://arxiv.org/pdf/2111.00396","codeUrl":null,"preprint":{"id":"2111.00396","submittedOn":"2021-10-31","url":"https://arxiv.org/abs/2111.00396"},"publication":{"venue":"ICLR","year":2022,"kind":"conference","url":"https://arxiv.org/abs/2111.00396"},"citation":"@misc{mambas42021,\n  title = {{Efficiently Modeling Long Sequences with Structured State Spaces}},\n  author = {Albert Gu and Karan Goel and Christopher Ré},\n  year = {2021},\n  eprint = {2111.00396},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2111.00396}\n}\n","citationPath":"/content/papers/citations/mamba/s4.bd8f80223f7e.bib"},"thumbnail":{"src":"/content/papers/assets/86eedb9a9143dff790f0e1e5af878b5b3eb93e2b6ea2d3c788567363967af802.jpg","width":1224,"height":424},"locale":"zh-hans","path":"/content/papers/zh-hans/mamba/s4.08a1ed6d0db1.md","headings":[{"id":"状态空间模型","text":"状态空间模型","depth":2},{"id":"hippo-理论","text":"HiPPO 理论","depth":3},{"id":"离散化","text":"离散化","depth":3},{"id":"卷积表示法","text":"卷积表示法","depth":3},{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"s4-参数化正规加低秩","text":"S4 参数化：正规加低秩","depth":3},{"id":"s4-计算复杂度","text":"S4 计算复杂度","depth":3},{"id":"s4-层的架构细节","text":"S4 层的架构细节","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"效率基准测试","text":"效率基准测试","depth":3},{"id":"长距离推理之稳定性","text":"长距离推理之稳定性","depth":3},{"id":"可视化分析","text":"可视化分析","depth":3},{"id":"可以作为通用模型吗","text":"可以作为通用模型吗？","depth":3},{"id":"hippo-的重要性","text":"HiPPO 的重要性","depth":3},{"id":"实验-3正则化与完整-s4-方法的性能","text":"实验 3：正则化与完整 S4 方法的性能","depth":4},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/hippo","relation":"background","topic":"从状态空间记忆到视觉序列"},{"id":"mamba/mamba","relation":"next","topic":"从状态空间记忆到视觉序列"}]},{"id":"mamba/vim","category":"mamba","legacyPath":"mamba/2401-vim","legacySlug":"2401-vim","legacyPaths":[],"title":"Vim","subtitle":"曼巴的视线","author":"Z. Yuan","paperDate":"2024-01-17","publishedOn":"2025-01-08","paperTitle":"Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model","paperUrl":"https://arxiv.org/abs/2401.09417","bibliography":{"title":"Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model","authors":["Lianghui Zhu","Bencheng Liao","Qian Zhang","Xinlong Wang","Wenyu Liu","Xinggang Wang"],"url":"https://arxiv.org/abs/2401.09417","pdfUrl":"https://arxiv.org/pdf/2401.09417","codeUrl":"https://github.com/hustvl/Vim","preprint":{"id":"2401.09417","submittedOn":"2024-01-17","url":"https://arxiv.org/abs/2401.09417"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://arxiv.org/abs/2401.09417"},"citation":"@misc{mambavim2024,\n  title = {{Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model}},\n  author = {Lianghui Zhu and Bencheng Liao and Qian Zhang and Xinlong Wang and Wenyu Liu and Xinggang Wang},\n  year = {2024},\n  eprint = {2401.09417},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2401.09417}\n}\n","citationPath":"/content/papers/citations/mamba/vim.04f7a0c3f9ed.bib"},"thumbnail":{"src":"/content/papers/assets/f6f1543dc8b09bec8d718b356195b440e445961b944f10cc2cca7bbae4ba11e1.jpg","width":1616,"height":440},"locale":"zh-hans","path":"/content/papers/zh-hans/mamba/vim.4c8d8da6452b.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"模型架构","text":"模型架构","depth":3},{"id":"vision-mamba-block","text":"Vision Mamba Block","depth":3},{"id":"参数设定","text":"参数设定","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"图像分类的性能","text":"图像分类的性能","depth":3},{"id":"高分辨率下性能比较","text":"高分辨率下性能比较","depth":3},{"id":"图像分割的性能","text":"图像分割的性能","depth":3},{"id":"物体检测的性能","text":"物体检测的性能","depth":3},{"id":"消融实验---双向设计","text":"消融实验 - 双向设计","depth":3},{"id":"消融实验---分类策略","text":"消融实验 - 分类策略","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"background","topic":"从状态空间记忆到视觉序列"}]}],"text":"为了读这篇论文，我们可是费了不少功夫。\n\n首先得先去复习一下作者过去的代表作：\n\n- [**[20.08] HiPPO: 河马的记忆**](/blog/papers/mamba/hippo)\n- [**[21.11] S4: 曼巴的序曲**](/blog/papers/mamba/s4)\n\n然后是了解这篇论文的主要比较对象，也就是 Transformer 的优缺点。\n\n到这里，我们假设你已经熟读之前的几篇论文，而且也已经具备了足够的背景知识。\n\n接着，让我们翻开这篇论文吧。\n\n## 定义问题\n\n还记得 S4 做了些什么事情吗？\n\nS4 延续了之前 SSM 的研究，通过对状态矩阵 $A$ 的重新参数化与频率域的生成函数计算，显著降低计算复杂度与记忆需求，同时在数值上保持稳定性。\n\n但是，S4 仍然是一个线性时不变系统（linear time invariant, LTI），也就是说，模型动态在整个序列里都不变（同一组 $A, B, C$ 参数用在所有时间步）。\n\n举例来说，如果考虑下面这个 Copying 问题，input 一串序列，output 要求复制这串序列「某段信息」：\n\n![problem](/content/papers/assets/02db58f648e6ad2fab9b39e633d5bf787ef6295f3654e7824288facdef670a96.jpg)\n\n如左图，如果输入和输出之间有固定的时间间隔，这样的问题对于 LTI 模型非常简单，因为只要学到固定的位移或卷积核就行。\n\n但如果是右图这种，输入和输出之间有随机的时间间隔，并且需要「内容感知 (content-aware)」的能力，模型必须分辨哪些 token 真正需要被复制、哪些是无关或噪音，这时就需要模型具有「选择性」的能力。\n\n这个能力在 LLMs 中非常常见，因为 Transformer 的架构采用了自注意力机制，可以依据上下文内容判断后面产生什么输出。但是 LTI 模型缺乏能「动态改变参数」的能力，因此难以应付这样的问题。\n\n所以作者认为必须想个办法，让 SSM 的几个关键参数 (像 $\\Delta$、$B$、$C$) 变成「输入相依」，也就是说，这些参数会随着时间步而改变，不再是固定一组值。\n\n## 解决问题\n\n### 可选择机制\n\n![algo](/content/papers/assets/d7336c37b51552af6f435fa391be9e3aa414ed34e803ae9b5efaba993c5bae07.jpg)\n\n首先，先来看一下作者如何将 SSM 的核心算法改进，让模型能够具备「选择性」。\n\n先看 **Algorithm 1 (S4)**：\n\n```txt\nAlgorithm 1 SSM (S4)\nInput: x : (B, L, D)\nOutput: y : (B, L, D)\n    1: A : (D, N) ← Parameter       ⊲ Represents structured N×N matrix\n    2: B : (D, N) ← Parameter\n    3: C : (D, N) ← Parameter\n    4: Δ : (D) ← τΔ(Parameter)\n    5: Ā, B̄ : (D, N) ← discretize(Δ, A, B)\n    6: y ← SSM(Ā, B̄, C) (x)         ⊲ Time-invariant: recurrence or convolution\n    7: return y\n```\n\n- **(步骤 1–3) 参数初始化**\n\n  模型拥有三个核心参数：$A, B, C$。\n\n  其中 $A$ 可被视为一个结构化的 $N \\times N$ 矩阵，但实际实现中为了节省参数量，往往会将它对角化或使用其他特殊结构，并以 $(D, N)$ 的方式储存。\n\n- **(步骤 4) $\\Delta$ 的设定**\n\n  $\\Delta$ 是一个维度为 $(D)$ 的向量，经过 $\\tau_\\Delta$（例如 $\\mathrm{softplus}$）等单调函数处理后，用于离散化转换。\n\n- **(步骤 5) 离散化 (discretize)**\n\n  函式 `discretize(Δ, A, B)` 根据 $\\Delta$ 来对连续系统参数 $A, B$ 做离散化，得到离散时间下的 $\\bar{A}, \\bar{B}$。\n\n  由于此时 $\\Delta$ 与 $A, B$ 都是时间不变，离散后的 $\\bar{A}, \\bar{B}$ 亦可保持固定。\n\n- **(步骤 6) SSM 计算**\n\n  因为 (A, B, C) 不会随着序列位置变化，所以可以用**固定卷积**(global convolution) 或**线性递推**(linear recurrence) 计算：\n\n  - 通过卷积模式，就能一次性、并行地处理整段序列，在训练时非常高效。\n  - 在需要自回归推理 (autoregressive inference) 时，也可切换回递推模式逐步进行。\n\n从上面可以看出来 S4 保留了「线性时间不变 (LTI)」的性质，使得大多数 SSM 都能使用卷积核加速，避免显式展开整个隐状态张量，因此在实践中展现极高的效率。\n\n---\n\n接着来看 **Algorithm 2 (S6)** 。\n\n这里引入「选择性」概念，让 $B, C, \\Delta$ 都能根据输入 $x$ 而变动；也因此，它再也不能套用全局卷积，而要用随时间变化的递推（扫描）进行更新。\n\n```txt\nAlgorithm 2 SSM + Selection (S6)\nInput: x : (B, L, D)\nOutput: y : (B, L, D)\n    1: A : (D, N) ← Parameter         ⊲ Represents structured N×N matrix\n    2: B : (B, L, N) ← sB(x)\n    3: C : (B, L, N) ← sC(x)\n    4: Δ : (B, L, D) ← τΔ(Parameter + sΔ(x))\n    5: Ā, B̄ : (B, L, D, N) ← discretize(Δ, A, B)\n    6: y ← SSM(Ā, B̄, C) (x)           ⊲ Time-varying: recurrence (scan) only\n    7: return y\n```\n\n- **(步骤 1) $A$ 的结构**\n\n  与 S4 相同，仍需要一个结构化的 $N \\times N$ 矩阵，但其它部分 ($B, C, \\Delta$) 将随时间步或序列位置改变。\n\n- **(步骤 2–3) 输入相依的 $B, C$**\n\n  在这里，$B$ 与 $C$ 不再是固定的 $(D, N)$ 形状，而是对应到 $(B, L, N)$，表示对每个 batch、每个序列位置，都有一组不同参数值。\n\n  - 这些值由函式 $s_B(x)$ 与 $s_C(x)$ 根据输入特征动态生成；本文使用线性投影。\n\n- **(步骤 4) 输入相依的 $\\Delta$**\n\n  同理，$\\Delta$ 也提升到 $(B, L, D)$ 的形状，将内部参数 (Parameter) 与 $s_\\Delta(x)$ 的结果相加，再经过 $\\tau_\\Delta$（本文使用 softplus），得到输入相依的「时间变化步长」。\n\n- **(步骤 5) 离散化 (discretize)**\n\n  因为每个时间步的 $\\Delta$ 都不一样，所以在离散化过程中也就必须对每个位置分别计算 $\\bar{A}_{t}, \\bar{B}_{t}$。\n\n  这时 $\\bar{A}, \\bar{B}$ 会有 $(B, L, D, N)$ 的维度。\n\n- **(步骤 6) 递推扫描**\n\n  由于参数是「时间可变」，不再能用一个固定的卷积核替整个序列做运算，只能用「扫描 (scan)」的方式逐步或并行地更新状态。\n\n### S6 架构\n\n在深度学习中，常见的高效基础运算包括「**卷积 (convolution)**」与「**注意力 (attention)**」。它们通过 GPU 上成熟的实现库与并行化策略，能充分发挥硬件计算潜能。\n\n现在作者想要以「**选择性 SSM**」取代注意力机制；但参数随输入变化后，就无法沿用先前 SSM 的固定卷积计算路径，需要让递推扫描也能有效利用 GPU。\n\n所以，如果想推广 SSM，就必须要有一个硬件导向的算法，让 SSM 在 GPU 上也能有不错的效能表现。\n\n为了达到这个目标，作者提出了「选择性扫描（selective scan）」的硬件导向算法，核心概念是通过在 GPU 的内存阶层中巧妙地只展开必要的中间状态，然后利用并行扫描（parallel scan）与重算（recomputation）技术来减少显存（HBM）的读写次数。\n\n\n> [!TIP]\n> \n> **作者将加入选择机制、并以扫描计算的 S4 简称为 S6。**\n\n\n\n> [!NOTE]\n> \n> 先了解一下什么是 GPU SRAM 与 HBM：\n> \n> 1. **SRAM（静态随机存取内存）**\n> \n>    SRAM 是 GPU 上速度较快、容量较小的片上内存；这里用来暂存扫描所需的中间状态。\n> \n> 2. **HBM（高频宽内存）**\n> \n>    HBM 是 GPU 上容量较大、但相对 SRAM 较慢的高频宽内存，用来存放输入、参数与输出等资料。\n> \n> 因此，如果我们想要加速这个扫描运算，就要尽量减少中间状态对 HBM 的读写，改在 SRAM 中完成计算。\n\n\n理解了 GPU 架构后，我们再回来看整体架构图：\n\n![arch](/content/papers/assets/72bbc143cd4500fd0d2a8e03c03352b8e7f43d04e9783c39fead3ea19594703b.jpg)\n\n在上图中，作者举例了一个 5 通道的 SSM 模型，每个通道都有一个 4 维的隐状态。如果把每个时间步的隐状态都存下来，张量大小就会是 $(B, L, D, N)$，将非常庞大。所以选择性扫描只在较快的内存中计算这些中间状态，不将整个张量写回 HBM。\n\n如上图所示，首先把参数 ($\\Delta, A, B, C$) 从 HBM 载入至更快的 SRAM 。接着在 SRAM 做「离散化 (discretization)」和「递推更新 (scan)」。\n\n最终只把结果 $(B, L, D)$ 写回 HBM。然后把多个原本分开的计算 kernel 合并成一个或少数个 kernel 执行，减少反覆读写 HBM 的耗损。\n\n模型在计算反向传播时，会需要存取前向中的中间状态。但若每个时间步都存，会消耗大量 GPU RAM。在这里作者的解决方法是「不要存」！\n\n等到了 backward 的时候，再次从 HBM 载入原本的输入与参数，重新做一遍前向计算来取得中间状态。这种「重算 (recomputation)」技术虽增加计算量，但大幅降低内存需求，整体看来反而更高效。\n\n如此一来，选择性 SSM 就能既保有输入相依的灵活性，又能在实际运行中利用 GPU 的硬件特性达到更高的吞吐量与更低的资源占用，真正提高「循环」模型在大规模应用的可行性。\n\n\n> [!TIP]\n> \n> 概念上跟 FlashAttention 有点像：两者都借由减少中间结果的 HBM 存取，并在反向传播时重算，来节省内存。\n\n\n### Mamba 架构\n\n\n\n![simplified](/content/papers/assets/8f6187d5a2a7a17c0687f2ca08ea302601584bb95f5cd5f52927c54d6e76089a.jpg)\n\n\n\n传统的 H3 架构是常见的 SSM 变体，会在每个区块中同时包含类似「线性注意力」的部分与一个 MLP（多层感知器）交错堆叠；而这里，作者选择将这两者合并成单一个体，然后在网络中多次重复，以得到一种更纯粹且易于扩充的设计（类似 GAU 对注意力做的简化）。\n\n在实现上，他们先给模型的维度 $D$ 加上一个可控制的扩张倍数 $E$，使得每个区块主要参数都落在线性投影（投影到输入与输出，共三倍数量）上，而真正的 SSM（包含 $\\Delta, B, C$ 与 $A$ 的部分）仅占小比例。\n\n作者在实验中固定 $E = 2$，并使用两层这样的区块，让整体参数量可对应到与传统 Transformer 那种「多头注意力（MHA）＋ MLP」混合类似的规模（约 $12D^2$）。\n\n此外，作者为了让「Gated MLP」更接近当今流行的 SwiGLU 变体，选择用 SiLU（Swish）作为激活函数，并在相似于 RetNet（同样在类似位置放置正规化层）的想法下，加入了一个可选用的层正规化（LayerNorm），最终构成「Mamba」的完整架构。\n\n### 再谈选择机制\n\n作者在方法论的最后，有额外讨论了「选择机制」在 SSM 中的功能与影响：\n\n1. **各个「选择性」参数的诠释**\n\n   - **$\\Delta$ 的意义**：$\\Delta$ 可视为一个延伸的 RNN 门控：当 $\\Delta$ 很大时，模型会「重置状态并专注在当前输入」；当 $\\Delta$ 很小时，则「忽略当前输入并保留旧有状态」。因此从连续时间系统的角度看，「$\\Delta \\to \\infty$」对应「系统好像花了更多时间处理当前输入」，「$\\Delta \\to 0$」则几乎略过了这个时间点。\n\n   - **$A$ 与 $\\Delta$ 的关系**：虽然 $A$ 也能设定成「随输入变化」，但作者指出最主要的选择性还是由 $\\Delta$ 来主导，因为 $A$ 在离散化时会受 $\\Delta$ 的影响（$\\bar{A} = \\exp(\\Delta A)$）。只要 $\\Delta$ 能选择性地增大或缩小，就能对整个动态带来很大影响。\n\n   - **$B$ 与 $C$ 的意义**：先前就提到「选择机制的关键在于能够把不要的信息过滤掉」，而 $B$ 负责「输入如何写入隐状态」，$C$ 负责「隐状态如何映射到输出」。把 $B$ 和 $C$ 也改成随输入而变，就能更细腻地决定是否要让 $x_t$ 进入模型。\n\n2. **选择机制的通用性**\n\n   所谓的「选择机制」可以应用在很多地方，包括传统 RNN 或 CNN，也可以对应到不同参数（例如 Algorithm 2 里的 $A$），甚至可借由多样的输入转换函式 $ s(x) $ 来实现。这意味着「选择机制」不局限于特定模型，而是整个序列模型领域里的一种广义概念。\n\n3. **与 RNN 门控（gating）机制的关联**\n\n   作者特别强调，RNN 常见的门控机制（如 LSTM 的输入门、遗忘门，GRU 的更新门等），其实可以被视为一种「选择机制」的特例。\n\n\n> [!TIP]\n> \n> 这个部分我们在 S4 的论文中已经有聊过了。\n\n\n4. **选择机制的三大效果**\n\n   作者进一步将「选择机制」的影响归纳出三种重要的「力」：\n\n   - **(a) Variable Spacing**：因为能动态筛选或忽略某些输入，模型便能跳过不相关的「填充」或「噪声」区块，让时序上并不一定要遵循等距记录。例如在人类语言中，那些「um、啊」等填充词可以被忽略，模型更专注于真正关键的单字。\n\n   - **(b) Filtering Context**：很多序列模型在遇到超长上下文时，效能不升反降，原因在于它们难以忽略无关紧要的历史信息；而有选择机制的模型随时可以把无用信息丢掉或重置，使得随着上下文愈长，效果可以理想地持续提升。\n\n   - **(c) Boundary Resetting**：在实际任务中可能把多个独立序列拼接起来一并处理，如果模型没有选择机制，就会把这些分段上下文「搞混」；有选择机制的模型可以在边界处重置状态（如 $\\Delta_t \\to \\infty$ 或 $g_t \\to 1$），避免前后序列互相干扰。\n\n### 训练方法与协定\n\n作者使用 **Pile dataset** 进行预训练，这是业界常用于语言模型的大型语料库，并且使用了与 GPT-3 相似的训练配方（例如使用对应规模的深度与宽度）。\n\n\n> [!TIP]\n> \n> 详细训练超参数与设定请参阅论文附录 E.2。\n\n\n- **模型比较对象**\n\n  1. **Transformer (GPT3 架构)**：这是最传统、标准的 Transformer-based GPT3 类语言模型，带有多头注意力机制。\n\n  2. **Transformer++**：作者特别提到，这是「目前所知最强的 Transformer 配方」，结合了 PaLM、LLaMa 等模型中的最佳实践，包括：\n\n     - Rotary embedding\n     - SwiGLU MLP\n     - RMSNorm (取代 LayerNorm)\n     - 不使用线性偏置 (no linear bias)\n     - 更高的学习率 (high learning rates)\n\n  3. **其他次量级 (subquadratic) 架构**：一些近期被提出的、希望能比注意力 (attention) 更省计算成本或更具伸缩性的模型，如 RWKV、RetNet 等，也一并进入比较。\n\n- **实验方法与结果**\n\n  - **Chinchilla 协定**：作者参照「Chinchilla」的缩放协定，对从 ≈125M 到 ≈1.3B 参数规模的模型进行测试，让训练 token 数量随模型参数量等比例增加，再比较不同架构的困惑度与计算量。\n\n\n> [!TIP]\n> \n> 如果你对 Chinchilla 不熟悉，可以参考我们之前读过的文章：\n> \n> - [**[22.03] Chinchilla: 栗鼠之眼**](/blog/papers/transformers/chinchilla)\n\n\n## 讨论\n\n### Scaling Laws\n\n![chinchilla](/content/papers/assets/8faf9074e7871936193b91ee163538520cf7616956c8ca20729f4c97b9aa01e0.jpg)\n\n根据实验结果，上图分别固定 2048 与 8192 的序列长度，横轴是训练 FLOPs；随计算量增加，**Mamba** 在困惑度 (perplexity) 指标上能追上使用强化配方的 Transformer++。\n\n作者特别强调，在这组实验中，Mamba 是第一个「不使用注意力」却能与 Transformer++ 相抗衡的线性时间架构。对 8192 tokens 的设定，RWKV 和 RetNet 因实现的内存或计算限制而缺少完整结果，不能从图中比较它们与 Mamba 在长序列上的优劣。\n\n### 和其他语言模型的比较\n\n\n\n![comparison](/content/papers/assets/e3bd753a69925a4697fa458d067580868ea46a398ea0ab93746429ad0a0ad744.jpg)\n\n\n\n作者选用了多个常见的零样本 (zero-shot) 下游任务，包含一些广为人知的知识推理、常识问答、完形填空等基准，并与 Pythia、RWKV 等模型进行对比。\n\n\n> [!TIP]\n> \n> \n> - **Pythia**：著名的开源模型，与 Mamba 使用相同分词器 (tokenizer) 与资料集 (Pile)，并且也同样训练了 300B tokens。\n> - **RWKV**：一种 RNN 式的语言模型，在概念上也可被视为某种状态空间模型 (SSM)，不过它的 context length 设为 1024。\n\n\n根据实验结果显示，在表中各组相近参数量的比较下，**Mamba** 在列出的指标上均居前；例如 Mamba-2.8B 的平均准确率为 63.3%，高于 Pythia-2.8B 的 59.1%，也高于 Pythia-6.9B 的 61.7%。这显示此架构在这些评估条件下具有较好的「参数效率 (parameter efficiency)」。\n\n整体来看，**Mamba** 不仅在预训练 perplexity 与 scaling laws 表现上具备与强化 Transformer 不相上下的潜力，更在多个零样本任务上直接胜过同等参数规模的开源模型，展现出它在语言建模领域里的强大可竞争性。\n\n### 推论效率比较\n\n![inference](/content/papers/assets/ce26c1f2d33bca62d388fa535945fe3006e0f6f4f6e16034f8f2a983a3930ee9.jpg)\n\n作者也分别测试「**扫描运算 (scan)**」的执行时间，以及整个 **Mamba** 模型在推理阶段的吞吐量（throughput）。\n\n上图左侧只比较核心运算的执行时间，不包含注意力投影等其他操作；序列长度超过 2K 时，**SSM 扫描比 FlashAttention-2 更快**，与 PyTorch 的标准扫描实现相比，则可达到 **20–40 倍**速度提升。\n\n\n> [!TIP]\n> \n> 这部分可归功于作者所提的硬件导向优化（kernel fusion、并行扫描、重算等）。\n\n\n在推理阶段，**Mamba** 可以省去类似 Transformer「注意力快取（KV cache）」的需求，允许更大的 batch size，进而大幅提高吞吐量。\n\n以一个规模为 6.9B 参数、未训练的 Mamba 模型作吞吐量测试，可以超越约五分之一大小的 1.3B Transformer。在这组硬件与 batch size 测试中，同等尺寸的 Mamba 推论吞吐量约为 Transformer 的 4–5 倍。\n\n### 消融实验-选择机制\n\n![ablation](/content/papers/assets/7331c6ec026f2a65f34973e1f2ec52175e099c839991145d88b796e8196f5ece.jpg)\n\n作者比较了不同结构与其内部的 SSM 实现：若采用先前不具选择性的（LTI）SSM，等价于全域卷积（global convolution）；在这组约 350M 参数的语言模型实验中，复数与实数 S4 的困惑度相近。这表示至少在此设定下，改用实数不会明显牺牲效能，并可能更有利于硬件效率。\n\n然而，一旦将 LTI SSM 替换成具选择性的 SSM（S6），就能显著提升表现。作者进一步指出，在同样采用选择性 SSM 的情况下，Mamba 与 H3 这两种整体架构表现非常接近。\n\n### 消融实验-关键参数\n\n\n\n![key](/content/papers/assets/7d5328fb6e9dc50f55f68f31de477c32b94b297e186886d251a4ca7205d730cc.jpg)\n\n\n\n接着，作者比较不同参数（Δ, B, C）的「是否选择性」设定：单独让 Δ 随输入变化时，困惑度从 10.93 降到 9.81，优于单独改动 B（10.15）或 C（9.98）；三者一起改动则降到 8.71。这与 Δ 对应 RNN gating 的分析一致，也显示三个参数合用仍有额外收益。\n\n### 消融实验-其他设定\n\n之后作者探讨了对 SSM 做不同初始化（尤其是实数或复数），并指出在语言模型环境下，实数型的对角初始化往往比复数型更理想，甚至随机初始化也能取得不错的结果，显示模型并不那么仰赖特殊的复数初始化来获得稳定性或较佳收敛。\n\n最后，作者特别强调：在 B、C 也具有选择性时，增大隐状态维度 N，困惑度可改善超过 1.0，而额外参数量约只有 1%；若 B、C 固定，图中的改善就小得多。这支持了前面提出的核心论点：\n\n> 只要配合正确的选择机制与硬件导向算法，便能在增大状态维度后同时兼顾效能与效率，让模型获得更强的建模能力而不造成严重的计算或内存负担。\n\n## 结论\n\n在这篇论文中，作者完全舍弃了注意力机制，并提出了一个「选择性机制 + 状态空间模型」的解决方案：Mamba。\n\n实验结果显示，Mamba 可以在多种类型的资料（从语音到基因组，再到语言文本）上匹敌甚至超越当今性能强大的 Transformer 模型，同时保有更好的推理速度与内存效率。\n\n作者期待 Mamba 可以成为通用序列模型的骨干，并在未来的基因组、音讯、视觉等超长序列任务中发挥更大的作用。\n\n\n> [!TIP]\n> \n> 过去所有基于 Transformer 所做的尝试，都可以在 Mamba 架构中重新做一次，又是一个海量新论文的开始！\n","imageSizes":{"/content/papers/assets/02db58f648e6ad2fab9b39e633d5bf787ef6295f3654e7824288facdef670a96.jpg":{"width":1704,"height":436},"/content/papers/assets/d7336c37b51552af6f435fa391be9e3aa414ed34e803ae9b5efaba993c5bae07.jpg":{"width":1514,"height":464},"/content/papers/assets/72bbc143cd4500fd0d2a8e03c03352b8e7f43d04e9783c39fead3ea19594703b.jpg":{"width":1752,"height":556},"/content/papers/assets/8f6187d5a2a7a17c0687f2ca08ea302601584bb95f5cd5f52927c54d6e76089a.jpg":{"width":1224,"height":500},"/content/papers/assets/8faf9074e7871936193b91ee163538520cf7616956c8ca20729f4c97b9aa01e0.jpg":{"width":1960,"height":464},"/content/papers/assets/e3bd753a69925a4697fa458d067580868ea46a398ea0ab93746429ad0a0ad744.jpg":{"width":1540,"height":980},"/content/papers/assets/ce26c1f2d33bca62d388fa535945fe3006e0f6f4f6e16034f8f2a983a3930ee9.jpg":{"width":1678,"height":392},"/content/papers/assets/7331c6ec026f2a65f34973e1f2ec52175e099c839991145d88b796e8196f5ece.jpg":{"width":1776,"height":346},"/content/papers/assets/7d5328fb6e9dc50f55f68f31de477c32b94b297e186886d251a4ca7205d730cc.jpg":{"width":1040,"height":388}}}
