{"notes":[{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"注意力的遠親","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/mamba-2.0f4721961023.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"把-ssm-寫成一個矩陣","text":"把 SSM 寫成一個矩陣","depth":3},{"id":"把-a-簡化成一個數","text":"把 A 簡化成一個數","depth":3},{"id":"跟著四個-token-算一次","text":"跟著四個 token 算一次","depth":3},{"id":"兩條路各走一半","text":"兩條路各走一半","depth":3},{"id":"mamba-2-區塊","text":"Mamba-2 區塊","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"狀態大一點記得多一點","text":"狀態大一點，記得多一點","depth":3},{"id":"語言建模","text":"語言建模","depth":3},{"id":"原作者也建議混合","text":"原作者也建議混合","depth":3},{"id":"也不是全面升級","text":"也不是全面升級","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]},{"id":"mamba/mamba","category":"mamba","legacyPath":"mamba/2312-mamba","legacySlug":"2312-mamba","legacyPaths":[],"title":"Mamba","subtitle":"誰是繼承人","author":"Z. Yuan","paperDate":"2023-12-01","publishedOn":"2024-12-25","paperTitle":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","paperUrl":"https://arxiv.org/abs/2312.00752","bibliography":{"title":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","authors":["Albert Gu","Tri Dao"],"url":"https://arxiv.org/abs/2312.00752","pdfUrl":"https://arxiv.org/pdf/2312.00752","codeUrl":null,"preprint":{"id":"2312.00752","submittedOn":"2023-12-01","url":"https://arxiv.org/abs/2312.00752"},"publication":null,"citation":"@misc{mambamamba2023,\n  title = {{Mamba: Linear-Time Sequence Modeling with Selective State Spaces}},\n  author = {Albert Gu and Tri Dao},\n  year = {2023},\n  eprint = {2312.00752},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2312.00752}\n}\n","citationPath":"/content/papers/citations/mamba/mamba.5671f143cfd6.bib"},"thumbnail":{"src":"/content/papers/assets/8f6187d5a2a7a17c0687f2ca08ea302601584bb95f5cd5f52927c54d6e76089a.jpg","width":1224,"height":500},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/mamba.a0eeb5912657.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"可選擇機制","text":"可選擇機制","depth":3},{"id":"s6-架構","text":"S6 架構","depth":3},{"id":"mamba-架構","text":"Mamba 架構","depth":3},{"id":"再談選擇機制","text":"再談選擇機制","depth":3},{"id":"訓練方法與協定","text":"訓練方法與協定","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"scaling-laws","text":"Scaling Laws","depth":3},{"id":"和其他語言模型的比較","text":"和其他語言模型的比較","depth":3},{"id":"推論效率比較","text":"推論效率比較","depth":3},{"id":"消融實驗-選擇機制","text":"消融實驗-選擇機制","depth":3},{"id":"消融實驗-關鍵參數","text":"消融實驗-關鍵參數","depth":3},{"id":"消融實驗-其他設定","text":"消融實驗-其他設定","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/s4","relation":"background","topic":"從狀態空間記憶到視覺序列"},{"id":"mamba/vim","relation":"next","topic":"從狀態空間記憶到視覺序列"}]},{"id":"mamba/gated-deltanet","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Gated DeltaNet","subtitle":"先擦再寫","author":"Z. Yuan","paperDate":"2024-12-09","publishedOn":"2026-02-12","world":"external/gated-deltanet","paperTitle":"Gated Delta Networks: Improving Mamba2 with Delta Rule","paperUrl":"https://arxiv.org/abs/2412.06464","bibliography":{"title":"Gated Delta Networks: Improving Mamba2 with Delta Rule","authors":["Songlin Yang","Jan Kautz","Ali Hatamizadeh"],"url":"https://arxiv.org/abs/2412.06464","pdfUrl":"https://arxiv.org/pdf/2412.06464v3","codeUrl":"https://github.com/NVlabs/GatedDeltaNet","preprint":{"id":"2412.06464","submittedOn":"2024-12-09","url":"https://arxiv.org/abs/2412.06464"},"publication":{"venue":"ICLR","year":2025,"kind":"conference","url":"https://mlanthology.org/iclr/2025/yang2025iclr-gated/"},"citation":"@misc{mambagateddeltanet2024,\n  title = {{Gated Delta Networks: Improving Mamba2 with Delta Rule}},\n  author = {Songlin Yang and Jan Kautz and Ali Hatamizadeh},\n  year = {2024},\n  eprint = {2412.06464},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.06464}\n}\n","citationPath":"/content/papers/citations/mamba/gated-deltanet.b65d8f168c74.bib"},"thumbnail":{"src":"/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png","width":1050,"height":544},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/gated-deltanet.1519c748e648.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"線性注意力是一本會撞號的電話簿","text":"線性注意力是一本會撞號的電話簿","depth":3},{"id":"mamba-2全部一起打折","text":"Mamba-2：全部一起打折","depth":3},{"id":"deltanet只改那一筆","text":"DeltaNet：只改那一筆","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"三種寫法算一次","text":"三種寫法，算一次","depth":3},{"id":"把兩者合起來","text":"把兩者合起來","depth":3},{"id":"讓它能平行訓練","text":"讓它能平行訓練","depth":3},{"id":"架構與混合版本","text":"架構與混合版本","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"實驗設定","text":"實驗設定","depth":3},{"id":"大海撈針三種規則的分工","text":"大海撈針：三種規則的分工","depth":3},{"id":"語言建模與真實檢索","text":"語言建模與真實檢索","depth":3},{"id":"速度","text":"速度","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/kimi-linear","relation":"referenced","topic":""}]}],"text":"這篇的題目有點挑釁：Transformers are SSMs。\n\n它其實是在致敬。2020 年 Katharopoulos 等人有一篇論文叫〈Transformers are RNNs〉，證明拿掉 softmax 的線性注意力，可以改寫成一個 RNN。Tri Dao 和 Albert Gu 在註腳裡也坦白，這個標題只對「某些種類」的注意力成立。\n\n半年前，他們用 Mamba 證明狀態空間模型可以和 Transformer 打得有來有回。這一篇（後來發表在 ICML 2024）換了一個方向：兩種模型其實是親戚，這層關係可以拿來做什麼？\n\n## 定義問題\n\n作者的不滿來自生態系。\n\nTransformer 有一整個社群在研究它：理論分析、FlashAttention 這類硬體最佳化、張量平行、序列平行，一層一層疊上去。SSM 這邊大多是自己摸索，很難直接用上這些成果。\n\n具體一點，Mamba 的選擇性掃描（selective scan）有兩個實際問題：\n\n1. **用不到矩陣乘法單元**。GPU 上最快的是 tensor core，專做矩陣乘法；Mamba 的遞迴可以用平行掃描（associative scan）來算，但掃描裡大多是逐元素的運算，用不上 tensor core。\n2. **狀態不敢開大**。狀態維度 $N$ 越大，記得越多，但掃描也越慢。Mamba 預設 $N=16$。\n\n作者想做的是：找到 SSM 和注意力之間的對應關係，讓 SSM 能用矩陣乘法來算，也能直接套用 Transformer 那套系統工程。\n\n## 解決問題\n\n### 把 SSM 寫成一個矩陣\n\n先回顧選擇性 SSM 的遞迴。每一步的參數都由輸入決定：\n\n$$\nh_t=A_t h_{t-1}+B_t x_t,\\qquad y_t=C_t^\\top h_t\n$$\n\n先把初始狀態設為零。把遞迴展開，第 $j$ 步的輸出就是截至該步所有輸入的加權和：\n\n$$\ny_j=\\sum_{i\\le j} C_j^\\top A_j A_{j-1}\\cdots A_{i+1} B_i\\, x_i\n$$\n\n所以整段序列的輸入輸出，就是一次矩陣乘法 $y=Mx$，其中\n\n$$\nM_{ji}=C_j^\\top A_{j:i} B_i,\\qquad A_{j:i}=A_j\\cdots A_{i+1}\n$$\n\n[![左邊是一條長度 T 的輸入序列，經過一個下三角的 T×T 序列轉換矩陣 M 得到輸出；右邊寫出 M 的每一項是 C 轉置乘上一串 A 再乘 B，並用虛線框出主對角線以下的子矩陣](/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png)](/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png)\n\n*原論文 Figure 2，取自 [**v1 PDF 第 9 頁**](https://arxiv.org/pdf/2405.21060v1#page=9)，CC BY 4.0。*\n\n這個 $M$ 是下三角的，而且有一個特別的結構：對角線以下任取一塊子矩陣（圖中的藍色虛線框），它的秩都不超過狀態維度 $N$。數學上這類矩陣叫做**半可分矩陣**（semiseparable matrix）。\n\n作者的核心觀察是：**計算 SSM 的各種方法，其實都是在用不同的演算法乘這個矩陣**。逐步遞迴是一種乘法，直接把整個 $M$ 算出來再乘是另一種。\n\n### 把 $A$ 簡化成一個數\n\nMamba 的 $A_t$ 是對角矩陣。Mamba-2 再簡化一步：$A_t=a_t I$，每一步只用一個純量 $a_t\\in[0,1]$ 控制衰減。這個版本叫做 **SSD**（state space dual）。\n\n這樣一來，$A_{j:i}$ 就變成一串純量相乘，可以從矩陣裡提出來：\n\n$$\nM=L\\circ(CB^\\top),\\qquad\nL_{ji}=\\begin{cases}a_j\\times\\cdots\\times a_{i+1}, & j\\ge i\\\\ 0, & j<i\\end{cases}\n$$\n\n再拿 causal 注意力來比：\n\n$$\nY=\\text{softmax}\\big(\\text{mask}(QK^\\top)\\big)V\n$$\n\n把 $C$ 看成 $Q$、$B$ 看成 $K$、$x$ 看成 $V$，兩者幾乎長得一樣，差在兩個地方：\n\n1. **沒有 softmax**。\n2. **遮罩不只是 0 和 1**。一般的因果遮罩只管「能不能看」；$L$ 還說了「看多少」：距離越遠，乘上的衰減越多，而且每一步的衰減都由輸入決定。\n\n作者把第二點解讀成：$L$ 取代了 Transformer 的位置編碼，成為一個由資料決定的位置遮罩。\n\n### 跟著四個 token 算一次\n\n光看公式不太有感，我們用四個 token、狀態維度 $N=2$ 的小例子，兩種算法各算一次：\n\n```python\nimport numpy as np\nnp.set_printoptions(precision=3, suppress=True)\n\nx = np.array([1.0, 2.0, 3.0, 4.0])          # 4 個 token，每個 1 維\na = np.array([0.9, 0.5, 0.8, 0.7])          # 每一步的衰減，由輸入決定\nB = np.array([[1, 0], [0, 1], [1, 1], [1, -1]], dtype=float)   # 寫入方向，N=2\nC = np.array([[1, 1], [1, 0], [0, 1], [1, 1]], dtype=float)    # 讀出方向\n\n# 線性（遞迴）形式：帶著一個 2 維狀態往前走\nh = np.zeros(2); y_rec = []\nfor t in range(4):\n    h = a[t] * h + B[t] * x[t]\n    y_rec.append(C[t] @ h)\nprint(\"遞迴：\", np.array(y_rec))\n\n# 二次（注意力）形式：先算 4×4 的矩陣，再乘上 x\nL = np.zeros((4, 4))\nfor i in range(4):\n    for j in range(i + 1):\n        L[i, j] = np.prod(a[j + 1:i + 1])   # a_i × … × a_{j+1}，i=j 時為 1\nM = L * (C @ B.T)\nprint(\"遮罩 L：\\n\", L)\nprint(\"矩陣：\", M @ x)\n```\n\n```text\n遞迴： [1.  0.5 4.6 5.6]\n遮罩 L：\n [[1.   0.   0.   0.  ]\n [0.5  1.   0.   0.  ]\n [0.4  0.8  1.   0.  ]\n [0.28 0.56 0.7  1.  ]]\n矩陣： [1.  0.5 4.6 5.6]\n```\n\n兩種算法給出一樣的答案。\n\n遞迴這條路一次只帶著 2 個數往前走，記憶體固定，適合生成；矩陣這條路要先算出 4×4 的表，序列長度 $T$ 時就是 $T\\times T$，但它全是矩陣乘法，tensor core 算得很快，適合訓練。\n\n看一下遮罩的最後一列：第 4 個 token 看第 1 個 token 時，乘上了 $0.5\\times0.8\\times0.7=0.28$。中間只要有一步的 $a_t$ 很小，前面的東西就幾乎被忘光了。這就是 Mamba 的「選擇性」在矩陣上的樣子。\n\n### 兩條路各走一半\n\n實際的 SSD 演算法把序列切成固定長度的區塊：\n\n- **區塊內**用矩陣形式，算一個小的二次矩陣，走 tensor core。\n- **區塊之間**用遞迴形式，只把每個區塊結束時的狀態傳給下一個區塊。\n\n這就是把 $M$ 做區塊分解：對角線上的小方塊直接算，對角線以下的部分因為秩很低，可以用狀態來表示。論文的 Listing 1 附了一份完整實作，只有短短一段 PyTorch。\n\n論文 Figure 10 在 A100 80GB PCIe 上量核心運算：狀態維度同為 64 時，SSD 比 Mamba 的融合掃描快 2 到 8 倍；和 FlashAttention-2 比，序列長度約 2K 時打平，16K 時快 6 倍。也因為算得快，狀態維度可以從 Mamba 預設的 16 開到 64、256。\n\n### Mamba-2 區塊\n\n[![兩個區塊並排比較。左邊的 Sequential Mamba Block 先經過卷積與啟動函數產生 X，再由 X 投影出 A、B、C 送進 SSM；右邊的 Parallel Mamba Block 在區塊一開始就用同一個線性投影同時產生 A、X、B、C，SSM 輸出和閘門相乘後多了一個正規化層 N，再接輸出投影](/content/papers/assets/e422ea301e9616b502680c01dc5005caf009df35935c9aded0a0c868f52dc2bd.png)](/content/papers/assets/e422ea301e9616b502680c01dc5005caf009df35935c9aded0a0c868f52dc2bd.png)\n\n*原論文 Figure 6，取自 [**v1 PDF 第 23 頁**](https://arxiv.org/pdf/2405.21060v1#page=23)，CC BY 4.0。左邊是 Mamba 的區塊，右邊是 Mamba-2。*\n\n有了「SSM 是注意力的親戚」這個視角，區塊設計也可以借注意力的經驗：\n\n1. **平行投影**。Mamba 先算出 $X$，再從 $X$ 投影出 $B$、$C$、$\\Delta$；Mamba-2 把 $A$、$X$、$B$、$C$ 都在區塊一開始用同一個投影產生（圖中的 $A$ 指離散化後的衰減，資料相依性來自同時投影出的步長 $\\Delta$），就像注意力一次產生 $Q$、$K$、$V$。這樣參數少一點，也比較好做張量平行，每個區塊的同步點少了一半。\n2. **多頭**。Mamba 相當於每個通道一個頭（頭維度 1）；Mamba-2 改用頭維度 $P=64$ 或 128，和 Transformer 的慣例一樣。$B$、$C$ 在各頭之間共用，類似多個 value 頭共用 key 和 query。\n3. **多一層正規化**。初步實驗裡，較大的模型容易訓練不穩，作者在閘門之後、輸出投影之前加了一層正規化。\n\n## 討論\n\n### 狀態大一點，記得多一點\n\n[![三張折線圖，分別是序列長度 256、512、1024 的多查詢聯想回想（MQAR）準確率，橫軸是模型維度 32 到 256。Mamba（N=16）幾乎都接近 0；Mamba-2（N=16）隨模型變大而上升；Mamba-2（N=64）與 N=256 在多數設定接近 1；注意力在長度 1024、維度 128 時約 0.5](/content/papers/assets/62bb9a2f1e1e9d3f11500404928dcac9606819430521e5da6b90659f81b5925f.png)](/content/papers/assets/62bb9a2f1e1e9d3f11500404928dcac9606819430521e5da6b90659f81b5925f.png)\n\n*原論文 Figure 8，取自 [**v1 PDF 第 28 頁**](https://arxiv.org/pdf/2405.21060v1#page=28)，CC BY 4.0。*\n\nMQAR（多查詢聯想回想）是一種合成任務：先給一串「鑰匙–值」配對，再一次問很多把鑰匙。它和電話簿查詢很像，一直是狀態模型的弱項。\n\n圖上幾件事很清楚：\n\n- Mamba（$N=16$）幾乎全軍覆沒。\n- 同樣 $N=16$ 的 Mamba-2 好很多。作者自己也不確定是架構的哪個部分造成差異。\n- $N$ 從 16 加到 64、256，準確率一路往上，長度 1024 時 $N=256$ 的版本甚至比一般注意力還好。\n\n狀態越大，能塞進去的配對越多。SSD 讓大狀態算得起，這正是它的意義。\n\n需要留意的是，這裡的模型只有兩層、維度最多 256，是很小的合成實驗。\n\n### 語言建模\n\n在 Pile 上訓練 300B tokens，Mamba-2 2.7B 的零樣本平均是 60.2，高於 Mamba 2.8B 的 59.9、Pythia 2.8B 的 55.7，也高於大一倍多的 Pythia 6.9B 的 58.3（Mamba-2 數字見原論文 Table 1，Pythia 6.9B 見附錄 Table 10）。另一組 scaling law 實驗涵蓋 125M 到 1.3B 參數、2.5B 到 26B 訓練 tokens，在這組設定下，Mamba-2 在困惑度、理論 FLOPs 和實際訓練時間上，都優於作者的 Transformer++ 基線。\n\n### 原作者也建議混合\n\n這篇有一段常被忽略：作者自己就試了把 SSD 層和注意力層混在一起。\n\n350M 參數、48 層的模型，在 Pile 上訓練 7B tokens，改變其中注意力層的數量：\n\n| 注意力層數 | 0（純 Mamba-2） | 1 | 3 | 6 | 11 | 24 | 純 Transformer++ |\n| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |\n| 困惑度 | 8.60 | 8.38 | 8.29 | 8.26 | 8.30 | 8.50 | 8.68 |\n\n*表：原論文 Table 2 節錄。*\n\n只加一層注意力，困惑度就從 8.60 降到 8.38；48 層裡放 6 層（12.5%）最好，作者概括為「約一成」。為什麼混合比較好？作者給的是推測：兩種層分工記憶。SSD 用固定大小的狀態持續整理前文，注意力則保留逐 token 回查的路，模型不必把每個細節都塞進狀態。\n\n放大到 2.7B、64 層、300B tokens，58 層 SSD 加 6 層注意力的 Mamba-2-Attention，Pile 困惑度 5.95，零樣本平均 61.0，比純 Mamba-2 與 Transformer++ 的 60.2 都好。\n\n### 也不是全面升級\n\n作者在幾個地方誠實地標了限制：\n\n- **2 到 8 倍是和 Mamba 的掃描比**。以整個模型來看，2K 這種短序列下，Mamba-2 的訓練不一定比 Transformer 快，因為同樣參數量下 Transformer 有一半是硬體效率很高的 MLP 層。\n- **表達能力少了一點**。$A$ 從對角矩陣退成純量，是用表達能力換訓練效率。Tri Dao 在部落格裡說得更直白：Mamba-2 不是嚴格優於 Mamba-1，因為推論速度只看狀態大小，在同樣的狀態大小下，Mamba-1 的表達能力可能更好。[Tri Dao 部落格，Mamba-2 Part I](https://tridao.me/blog/2024/mamba2-part1-model/)\n\nHacker News 的討論裡，有人把這篇整理成一句話：把 $A$ 限制成純量乘單位矩陣，SSM 就能寫成因果線性注意力，好處是 GPU 訓練快很多。也有人直接回了一句「tldr: mamba is not as good as transformer」。[Hacker News，2024-06-03](https://news.ycombinator.com/item?id=40564067) 前一則摘要準確抓到了對偶的機制與訓練上的收益；後一句評語則沒交代是在哪些任務、什麼條件下比較。論文的取捨其實很明確：限制 $A$ 的表達能力，換取硬體效率；換來的效率又讓狀態可以開大，在 MQAR 上看得到好處。\n\n## 結論\n\nMamba-2 留下的東西，大概可以分成三層：\n\n1. **理論上**，狀態轉移為純量乘單位矩陣的 SSM（SSD），和用半可分遮罩的線性注意力，是同一個矩陣的兩種算法。作者也證明，在論文定義的遮罩注意力裡，只要遮罩有有限階的線性遞迴形式，它就一定是半可分矩陣，也就是某種 SSM。\n2. **工程上**，區塊分解的演算法讓 SSM 用上 tensor core，核心運算比 Mamba 的掃描快 2 到 8 倍，狀態可以開到 64、256，也能直接套用張量平行與序列平行。\n3. **架構上**，作者自己的實驗顯示，一成左右的注意力層加上 SSD 層，比純 Mamba-2 或純 Transformer 都好。\n\nMamba 那篇在問「誰是繼承人」。這一篇的答案比較像是：繼承人本來就是家族裡的人，而且最好的安排，是讓它和原來的主人住在同一個屋簷下。\n\n後來的 Gated DeltaNet 直接站在這個框架上，把 Mamba-2 的純量衰減和另一種更新規則接在一起。\n\n\n> [!TIP]\n> \n> SSD 之前的 Mamba，以及這個框架後來的延伸，可以參考：\n> \n> - **[[23.12] Mamba：誰是繼承人](/blog/papers/mamba/mamba)**\n> - **[[24.12] Gated DeltaNet：先擦再寫](/blog/papers/mamba/gated-deltanet)**\n","imageSizes":{"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png":{"width":1462,"height":556},"/content/papers/assets/e422ea301e9616b502680c01dc5005caf009df35935c9aded0a0c868f52dc2bd.png":{"width":1208,"height":623},"/content/papers/assets/62bb9a2f1e1e9d3f11500404928dcac9606819430521e5da6b90659f81b5925f.png":{"width":1384,"height":384}}}