{"notes":[{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"注意力的远亲","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"zh-hans","path":"/content/papers/zh-hans/mamba/mamba-2.16b1612b4608.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"把-ssm-写成一个矩阵","text":"把 SSM 写成一个矩阵","depth":3},{"id":"把-a-简化成一个数","text":"把 A 简化成一个数","depth":3},{"id":"跟着四个-token-算一次","text":"跟着四个 token 算一次","depth":3},{"id":"两条路各走一半","text":"两条路各走一半","depth":3},{"id":"mamba-2-模块","text":"Mamba-2 模块","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"状态大一点记得多一点","text":"状态大一点，记得多一点","depth":3},{"id":"语言建模","text":"语言建模","depth":3},{"id":"原作者也建议混合","text":"原作者也建议混合","depth":3},{"id":"也不是全面升级","text":"也不是全面升级","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]},{"id":"mamba/mamba","category":"mamba","legacyPath":"mamba/2312-mamba","legacySlug":"2312-mamba","legacyPaths":[],"title":"Mamba","subtitle":"谁是继承人","author":"Z. Yuan","paperDate":"2023-12-01","publishedOn":"2024-12-25","paperTitle":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","paperUrl":"https://arxiv.org/abs/2312.00752","bibliography":{"title":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","authors":["Albert Gu","Tri Dao"],"url":"https://arxiv.org/abs/2312.00752","pdfUrl":"https://arxiv.org/pdf/2312.00752","codeUrl":null,"preprint":{"id":"2312.00752","submittedOn":"2023-12-01","url":"https://arxiv.org/abs/2312.00752"},"publication":null,"citation":"@misc{mambamamba2023,\n  title = {{Mamba: Linear-Time Sequence Modeling with Selective State Spaces}},\n  author = {Albert Gu and Tri Dao},\n  year = {2023},\n  eprint = {2312.00752},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2312.00752}\n}\n","citationPath":"/content/papers/citations/mamba/mamba.5671f143cfd6.bib"},"thumbnail":{"src":"/content/papers/assets/8f6187d5a2a7a17c0687f2ca08ea302601584bb95f5cd5f52927c54d6e76089a.jpg","width":1224,"height":500},"locale":"zh-hans","path":"/content/papers/zh-hans/mamba/mamba.d492134c0eee.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"可选择机制","text":"可选择机制","depth":3},{"id":"s6-架构","text":"S6 架构","depth":3},{"id":"mamba-架构","text":"Mamba 架构","depth":3},{"id":"再谈选择机制","text":"再谈选择机制","depth":3},{"id":"训练方法与协定","text":"训练方法与协定","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"scaling-laws","text":"Scaling Laws","depth":3},{"id":"和其他语言模型的比较","text":"和其他语言模型的比较","depth":3},{"id":"推论效率比较","text":"推论效率比较","depth":3},{"id":"消融实验-选择机制","text":"消融实验-选择机制","depth":3},{"id":"消融实验-关键参数","text":"消融实验-关键参数","depth":3},{"id":"消融实验-其他设定","text":"消融实验-其他设定","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/s4","relation":"background","topic":"从状态空间记忆到视觉序列"},{"id":"mamba/vim","relation":"next","topic":"从状态空间记忆到视觉序列"}]},{"id":"mamba/gated-deltanet","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Gated DeltaNet","subtitle":"先擦再写","author":"Z. Yuan","paperDate":"2024-12-09","publishedOn":"2026-02-12","world":"external/gated-deltanet","paperTitle":"Gated Delta Networks: Improving Mamba2 with Delta Rule","paperUrl":"https://arxiv.org/abs/2412.06464","bibliography":{"title":"Gated Delta Networks: Improving Mamba2 with Delta Rule","authors":["Songlin Yang","Jan Kautz","Ali Hatamizadeh"],"url":"https://arxiv.org/abs/2412.06464","pdfUrl":"https://arxiv.org/pdf/2412.06464v3","codeUrl":"https://github.com/NVlabs/GatedDeltaNet","preprint":{"id":"2412.06464","submittedOn":"2024-12-09","url":"https://arxiv.org/abs/2412.06464"},"publication":{"venue":"ICLR","year":2025,"kind":"conference","url":"https://mlanthology.org/iclr/2025/yang2025iclr-gated/"},"citation":"@misc{mambagateddeltanet2024,\n  title = {{Gated Delta Networks: Improving Mamba2 with Delta Rule}},\n  author = {Songlin Yang and Jan Kautz and Ali Hatamizadeh},\n  year = {2024},\n  eprint = {2412.06464},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.06464}\n}\n","citationPath":"/content/papers/citations/mamba/gated-deltanet.b65d8f168c74.bib"},"thumbnail":{"src":"/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png","width":1050,"height":544},"locale":"zh-hans","path":"/content/papers/zh-hans/mamba/gated-deltanet.76941d1611bb.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"线性注意力是一本会撞号的电话簿","text":"线性注意力是一本会撞号的电话簿","depth":3},{"id":"mamba-2全部一起打折","text":"Mamba-2：全部一起打折","depth":3},{"id":"deltanet只改那一条","text":"DeltaNet：只改那一条","depth":3},{"id":"解决问题","text":"解决问题","depth":2},{"id":"三种写法算一次","text":"三种写法，算一次","depth":3},{"id":"把两者合起来","text":"把两者合起来","depth":3},{"id":"让它能并行训练","text":"让它能并行训练","depth":3},{"id":"架构与混合版本","text":"架构与混合版本","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"实验设置","text":"实验设置","depth":3},{"id":"大海捞针三种规则的分工","text":"大海捞针：三种规则的分工","depth":3},{"id":"语言建模与真实检索","text":"语言建模与真实检索","depth":3},{"id":"速度","text":"速度","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/kimi-linear","relation":"referenced","topic":""}]}],"text":"这篇的标题有点挑衅：Transformers are SSMs。\n\n它其实是在致敬。2020 年 Katharopoulos 等人有一篇论文叫〈Transformers are RNNs〉，证明了去掉 softmax 的线性注意力可以改写成一个 RNN。Tri Dao 和 Albert Gu 在脚注里也坦言，这个标题只对「某些类型」的注意力成立。\n\n半年前，他们用 Mamba 证明了状态空间模型可以和 Transformer 打得有来有回。这一篇（后来发表于 ICML 2024）换了个方向：两种模型其实是亲戚，这层关系能拿来做什么？\n\n## 定义问题\n\n作者的不满来自生态系统。\n\nTransformer 有一整个社区在研究它：理论分析、FlashAttention 这类硬件优化、张量并行、序列并行，一层一层叠上去。SSM 这边大多是自己摸索，很难直接用上这些成果。\n\n具体来说，Mamba 的选择性扫描（selective scan）有两个实际问题：\n\n1. **用不上矩阵乘法单元**。GPU 上最快的是专做矩阵乘法的 tensor core；Mamba 的递归可以用并行扫描（associative scan）来算，但扫描里大多是逐元素运算，用不上 tensor core。\n2. **状态不敢开大**。状态维度 $N$ 越大，记得越多，但扫描也越慢。Mamba 默认 $N=16$。\n\n作者想做的是：找到 SSM 和注意力之间的对应关系，让 SSM 能用矩阵乘法来算，也能直接套用 Transformer 那一套系统工程。\n\n## 解决问题\n\n### 把 SSM 写成一个矩阵\n\n先回顾选择性 SSM 的递归。每一步的参数都由输入决定：\n\n$$\nh_t=A_t h_{t-1}+B_t x_t,\\qquad y_t=C_t^\\top h_t\n$$\n\n先把初始状态设为零。把递归展开，第 $j$ 步的输出就是到这一步为止所有输入的加权和：\n\n$$\ny_j=\\sum_{i\\le j} C_j^\\top A_j A_{j-1}\\cdots A_{i+1} B_i\\, x_i\n$$\n\n所以整段序列的输入输出，就是一次矩阵乘法 $y=Mx$，其中\n\n$$\nM_{ji}=C_j^\\top A_{j:i} B_i,\\qquad A_{j:i}=A_j\\cdots A_{i+1}\n$$\n\n[![左边是一条长度为 T 的输入序列，经过一个下三角的 T×T 序列变换矩阵 M 得到输出；右边写出 M 的每一项是 C 的转置乘上一串 A 再乘 B，并用虚线框出主对角线以下的子矩阵](/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png)](/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png)\n\n*原论文 Figure 2，取自 [**v1 PDF 第 9 页**](https://arxiv.org/pdf/2405.21060v1#page=9)，CC BY 4.0。*\n\n这个 $M$ 是下三角矩阵，而且有一个特别的结构：在对角线以下任取一块子矩阵（图中的蓝色虚线框），它的秩都不超过状态维度 $N$。数学上，这类矩阵叫做**半可分矩阵**（semiseparable matrix）。\n\n作者的核心观察是：**计算 SSM 的各种方法，其实都是在用不同的算法乘这个矩阵**。逐步递归是一种乘法，直接把整个 $M$ 算出来再乘是另一种。\n\n### 把 $A$ 简化成一个数\n\nMamba 的 $A_t$ 是对角矩阵。Mamba-2 再简化一步：$A_t=a_t I$，每一步只用一个标量 $a_t\\in[0,1]$ 控制衰减。这个版本叫做 **SSD**（state space dual）。\n\n这样一来，$A_{j:i}$ 就变成一串标量相乘，可以从矩阵里提出来：\n\n$$\nM=L\\circ(CB^\\top),\\qquad\nL_{ji}=\\begin{cases}a_j\\times\\cdots\\times a_{i+1}, & j\\ge i\\\\ 0, & j<i\\end{cases}\n$$\n\n再拿 causal 注意力来对比：\n\n$$\nY=\\text{softmax}\\big(\\text{mask}(QK^\\top)\\big)V\n$$\n\n把 $C$ 看成 $Q$、$B$ 看成 $K$、$x$ 看成 $V$，两者几乎长得一样，只差在两个地方：\n\n1. **没有 softmax**。\n2. **掩码不只是 0 和 1**。普通的因果掩码只管「能不能看」；$L$ 还规定了「看多少」：距离越远，乘上的衰减越多，而且每一步的衰减都由输入决定。\n\n作者把第二点解读为：$L$ 取代了 Transformer 的位置编码，成为一个由数据决定的位置掩码。\n\n### 跟着四个 token 算一次\n\n光看公式不太有感觉，我们用四个 token、状态维度 $N=2$ 的小例子，两种算法各算一次：\n\n```python\nimport numpy as np\nnp.set_printoptions(precision=3, suppress=True)\n\nx = np.array([1.0, 2.0, 3.0, 4.0])          # 4 个 token，每个 1 维\na = np.array([0.9, 0.5, 0.8, 0.7])          # 每一步的衰减，由输入决定\nB = np.array([[1, 0], [0, 1], [1, 1], [1, -1]], dtype=float)   # 写入方向，N=2\nC = np.array([[1, 1], [1, 0], [0, 1], [1, 1]], dtype=float)    # 读出方向\n\n# 线性（递归）形式：带着一个 2 维状态往前走\nh = np.zeros(2); y_rec = []\nfor t in range(4):\n    h = a[t] * h + B[t] * x[t]\n    y_rec.append(C[t] @ h)\nprint(\"递归：\", np.array(y_rec))\n\n# 二次（注意力）形式：先算出 4×4 的矩阵，再乘上 x\nL = np.zeros((4, 4))\nfor i in range(4):\n    for j in range(i + 1):\n        L[i, j] = np.prod(a[j + 1:i + 1])   # a_i × … × a_{j+1}，i=j 时为 1\nM = L * (C @ B.T)\nprint(\"掩码 L：\\n\", L)\nprint(\"矩阵：\", M @ x)\n```\n\n```text\n递归： [1.  0.5 4.6 5.6]\n掩码 L：\n [[1.   0.   0.   0.  ]\n [0.5  1.   0.   0.  ]\n [0.4  0.8  1.   0.  ]\n [0.28 0.56 0.7  1.  ]]\n矩阵： [1.  0.5 4.6 5.6]\n```\n\n两种算法给出了一样的答案。\n\n递归这条路每次只带着 2 个数往前走，内存固定，适合生成；矩阵这条路要先算出 4×4 的表，序列长度为 $T$ 时就是 $T\\times T$，但它全是矩阵乘法，tensor core 算得很快，适合训练。\n\n看一下掩码的最后一行：第 4 个 token 看第 1 个 token 时，乘上了 $0.5\\times0.8\\times0.7=0.28$。中间只要有一步的 $a_t$ 很小，前面的东西就几乎被忘光了。这就是 Mamba 的「选择性」在矩阵上的样子。\n\n### 两条路各走一半\n\n实际的 SSD 算法把序列切成固定长度的块：\n\n- **块内**用矩阵形式，算一个小的二次矩阵，走 tensor core。\n- **块之间**用递归形式，只把每个块结束时的状态传给下一个块。\n\n这就是对 $M$ 做分块分解：对角线上的小方块直接算，对角线以下的部分因为秩很低，可以用状态来表示。论文的 Listing 1 附了一份完整实现，只有短短一段 PyTorch 代码。\n\n论文 Figure 10 在 A100 80GB PCIe 上测了核心运算：状态维度同为 64 时，SSD 比 Mamba 的融合扫描快 2 到 8 倍；和 FlashAttention-2 相比，序列长度约 2K 时打平，16K 时快 6 倍。也正因为算得快，状态维度可以从 Mamba 默认的 16 开到 64、256。\n\n### Mamba-2 模块\n\n[![两个模块并排比较。左边的 Sequential Mamba Block 先经过卷积与激活函数产生 X，再由 X 投影出 A、B、C 送进 SSM；右边的 Parallel Mamba Block 在模块一开始就用同一个线性投影同时产生 A、X、B、C，SSM 输出与门控相乘后多了一个归一化层 N，再接输出投影](/content/papers/assets/e422ea301e9616b502680c01dc5005caf009df35935c9aded0a0c868f52dc2bd.png)](/content/papers/assets/e422ea301e9616b502680c01dc5005caf009df35935c9aded0a0c868f52dc2bd.png)\n\n*原论文 Figure 6，取自 [**v1 PDF 第 23 页**](https://arxiv.org/pdf/2405.21060v1#page=23)，CC BY 4.0。左边是 Mamba 的模块，右边是 Mamba-2。*\n\n有了「SSM 是注意力的亲戚」这个视角，模块设计也可以借鉴注意力的经验：\n\n1. **并行投影**。Mamba 先算出 $X$，再从 $X$ 投影出 $B$、$C$、$\\Delta$；Mamba-2 则在模块一开始就用同一个投影产生 $A$、$X$、$B$、$C$（图中的 $A$ 指离散化后的衰减，其数据依赖性来自同时投影出的步长 $\\Delta$），就像注意力一次产生 $Q$、$K$、$V$。这样参数少一些，也更容易做张量并行，每个模块的同步点少了一半。\n2. **多头**。Mamba 相当于每个通道一个头（头维度为 1）；Mamba-2 改用头维度 $P=64$ 或 128，与 Transformer 的惯例一致。$B$、$C$ 在各头之间共享，类似多个 value 头共享 key 和 query。\n3. **多一层归一化**。初步实验里，较大的模型容易训练不稳定，作者在门控之后、输出投影之前加了一层归一化。\n\n## 讨论\n\n### 状态大一点，记得多一点\n\n[![三张折线图，分别是序列长度 256、512、1024 下的多查询关联回忆（MQAR）准确率，横轴是模型维度 32 到 256。Mamba（N=16）几乎都接近 0；Mamba-2（N=16）随模型变大而上升；Mamba-2（N=64）与 N=256 在多数设置下接近 1；注意力在长度 1024、维度 128 时约 0.5](/content/papers/assets/62bb9a2f1e1e9d3f11500404928dcac9606819430521e5da6b90659f81b5925f.png)](/content/papers/assets/62bb9a2f1e1e9d3f11500404928dcac9606819430521e5da6b90659f81b5925f.png)\n\n*原论文 Figure 8，取自 [**v1 PDF 第 28 页**](https://arxiv.org/pdf/2405.21060v1#page=28)，CC BY 4.0。*\n\nMQAR（多查询关联回忆）是一种合成任务：先给出一串「钥匙–值」配对，再一次性查询很多把钥匙。它和电话簿查询很像，一直是状态模型的弱项。\n\n图上有几件事很清楚：\n\n- Mamba（$N=16$）几乎全军覆没。\n- 同样 $N=16$ 的 Mamba-2 好很多。作者自己也不确定是架构的哪个部分造成了差异。\n- $N$ 从 16 加到 64、256，准确率一路上升，长度 1024 时 $N=256$ 的版本甚至比普通注意力还好。\n\n状态越大，能塞进去的配对越多。SSD 让大状态算得起，这正是它的意义所在。\n\n需要留意的是，这里的模型只有两层、维度最多 256，是很小的合成实验。\n\n### 语言建模\n\n在 Pile 上训练 300B tokens，Mamba-2 2.7B 的零样本平均分是 60.2，高于 Mamba 2.8B 的 59.9、Pythia 2.8B 的 55.7，也高于规模大一倍多的 Pythia 6.9B 的 58.3（Mamba-2 的数字见原论文 Table 1，Pythia 6.9B 见附录 Table 10）。另一组 scaling law 实验涵盖 125M 到 1.3B 参数、2.5B 到 26B 训练 tokens；在这组设置下，Mamba-2 在困惑度、理论 FLOPs 和实际训练时间上，都优于作者的 Transformer++ 基线。\n\n### 原作者也建议混合\n\n这篇有一段常被忽略：作者自己就试过把 SSD 层和注意力层混在一起。\n\n350M 参数、48 层的模型，在 Pile 上训练 7B tokens，改变其中注意力层的数量：\n\n| 注意力层数 | 0（纯 Mamba-2） | 1 | 3 | 6 | 11 | 24 | 纯 Transformer++ |\n| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |\n| 困惑度 | 8.60 | 8.38 | 8.29 | 8.26 | 8.30 | 8.50 | 8.68 |\n\n*表：原论文 Table 2 节选。*\n\n只加一层注意力，困惑度就从 8.60 降到 8.38；48 层里放 6 层（12.5%）最好，作者概括为「约 10%」。为什么混合更好？作者给出的是推测：两种层分工记忆。SSD 用固定大小的状态持续整理前文，注意力则保留一条逐 token 回查的通道，模型不必把每个细节都塞进状态。\n\n放大到 2.7B、64 层、300B tokens，58 层 SSD 加 6 层注意力的 Mamba-2-Attention，Pile 困惑度 5.95，零样本平均 61.0，比纯 Mamba-2 与 Transformer++ 的 60.2 都好。\n\n### 也不是全面升级\n\n作者在几个地方坦诚地标出了限制：\n\n- **2 到 8 倍是和 Mamba 的扫描比**。从整个模型来看，在 2K 这种短序列下，Mamba-2 的训练不一定比 Transformer 快，因为同样参数量下，Transformer 有一半是硬件效率很高的 MLP 层。\n- **表达能力少了一点**。$A$ 从对角矩阵退化成标量，是拿表达能力换训练效率。Tri Dao 在博客里说得更直白：Mamba-2 不是严格优于 Mamba-1，因为推理速度只取决于状态大小，在同样的状态大小下，Mamba-1 的表达能力可能更好。[Tri Dao 博客，Mamba-2 Part I](https://tridao.me/blog/2024/mamba2-part1-model/)\n\nHacker News 的讨论里，有人把这篇概括成一句话：把 $A$ 限制为标量乘单位矩阵，SSM 就能写成因果线性注意力，好处是在 GPU 上训练快得多。也有人直接回了一句「tldr: mamba is not as good as transformer」。[Hacker News，2024-06-03](https://news.ycombinator.com/item?id=40564067) 前一条摘要准确抓住了对偶的机制与训练上的收益；后一句评语则没有交代是在哪些任务、什么条件下比较的。论文的取舍其实很明确：限制 $A$ 的表达能力，换取硬件效率；换来的效率又让状态可以开大，在 MQAR 上能看到好处。\n\n## 结论\n\nMamba-2 留下的东西，大致可以分成三个层面：\n\n1. **理论上**，状态转移为标量乘单位矩阵的 SSM（SSD），和使用半可分掩码的线性注意力，是同一个矩阵的两种算法。作者还证明，在论文定义的掩码注意力里，只要掩码具有有限阶的线性递归形式，它就一定是半可分矩阵，也就是某种 SSM。\n2. **工程上**，分块分解的算法让 SSM 用上了 tensor core，核心运算比 Mamba 的扫描快 2 到 8 倍，状态可以开到 64、256，也能直接套用张量并行与序列并行。\n3. **架构上**，作者自己的实验显示，约 10% 的注意力层加上 SSD 层，比纯 Mamba-2 或纯 Transformer 都好。\n\nMamba 那篇在问「谁是继承人」。这一篇的答案更像是：继承人本来就是家族里的人，而最好的安排，是让它和原来的主人住在同一个屋檐下。\n\n后来的 Gated DeltaNet 直接建立在这个框架上，把 Mamba-2 的标量衰减和另一种更新规则结合在一起。\n\n\n> [!TIP]\n> \n> SSD 之前的 Mamba，以及这个框架后来的延伸，可以参考：\n> \n> - **[[23.12] Mamba：谁是继承人](/blog/papers/mamba/mamba)**\n> - **[[24.12] Gated DeltaNet：先擦再写](/blog/papers/mamba/gated-deltanet)**\n","imageSizes":{"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png":{"width":1462,"height":556},"/content/papers/assets/e422ea301e9616b502680c01dc5005caf009df35935c9aded0a0c868f52dc2bd.png":{"width":1208,"height":623},"/content/papers/assets/62bb9a2f1e1e9d3f11500404928dcac9606819430521e5da6b90659f81b5925f.png":{"width":1384,"height":384}}}