{"notes":[{"id":"mamba/kimi-linear","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Kimi Linear","subtitle":"逐通道的遺忘","author":"Z. Yuan","paperDate":"2025-10-30","publishedOn":"2026-08-06","world":"external/kimi-linear","paperTitle":"Kimi Linear: An Expressive, Efficient Attention Architecture","paperUrl":"https://arxiv.org/abs/2510.26692","bibliography":{"title":"Kimi Linear: An Expressive, Efficient Attention Architecture","authors":["Kimi Team","Yu Zhang","Zongyu Lin","Xingcheng Yao","Jiaxi Hu","Fanqing Meng","Chengyin Liu","Xin Men","Songlin Yang","Zhiyuan Li","Wentao Li","Enzhe Lu","Weizhou Liu","Yanru Chen","Weixin Xu","Longhui Yu","Yejie Wang","Yu Fan","Longguang Zhong","Enming Yuan","Dehao Zhang","Yizhi Zhang","T. Y. Liu","Haiming Wang","Shengjun Fang","Weiran He","Shaowei Liu","Yiwei Li","Jianlin Su","Jiezhong Qiu","Bo Pang","Junjie Yan","Zhejun Jiang","Weixiao Huang","Bohong Yin","Jiacheng You","Chu Wei","Zhengtao Wang","Chao Hong","Yutian Chen","Guanduo Chen","Yucheng Wang","Huabin Zheng","Feng Wang","Yibo Liu","Mengnan Dong","Zheng Zhang","Siyuan Pan","Wenhao Wu","Yuhao Wu","Longyu Guan","Jiawen Tao","Guohong Fu","Xinran Xu","Yuzhi Wang","Guokun Lai","Yuxin Wu","Xinyu Zhou","Zhilin Yang","Yulun Du"],"url":"https://arxiv.org/abs/2510.26692","pdfUrl":"https://arxiv.org/pdf/2510.26692v2","codeUrl":"https://github.com/MoonshotAI/Kimi-Linear","preprint":{"id":"2510.26692","submittedOn":"2025-10-30","url":"https://arxiv.org/abs/2510.26692"},"publication":null,"citation":"@misc{mambakimilinear2025,\n  title = {{Kimi Linear: An Expressive, Efficient Attention Architecture}},\n  author = {Kimi Team and Yu Zhang and Zongyu Lin and Xingcheng Yao and Jiaxi Hu and Fanqing Meng and Chengyin Liu and Xin Men and Songlin Yang and Zhiyuan Li and Wentao Li and Enzhe Lu and Weizhou Liu and Yanru Chen and Weixin Xu and Longhui Yu and Yejie Wang and Yu Fan and Longguang Zhong and Enming Yuan and Dehao Zhang and Yizhi Zhang and T. Y. Liu and Haiming Wang and Shengjun Fang and Weiran He and Shaowei Liu and Yiwei Li and Jianlin Su and Jiezhong Qiu and Bo Pang and Junjie Yan and Zhejun Jiang and Weixiao Huang and Bohong Yin and Jiacheng You and Chu Wei and Zhengtao Wang and Chao Hong and Yutian Chen and Guanduo Chen and Yucheng Wang and Huabin Zheng and Feng Wang and Yibo Liu and Mengnan Dong and Zheng Zhang and Siyuan Pan and Wenhao Wu and Yuhao Wu and Longyu Guan and Jiawen Tao and Guohong Fu and Xinran Xu and Yuzhi Wang and Guokun Lai and Yuxin Wu and Xinyu Zhou and Zhilin Yang and Yulun Du},\n  year = {2025},\n  eprint = {2510.26692},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2510.26692}\n}\n","citationPath":"/content/papers/citations/mamba/kimi-linear.38a5b561e63e.bib"},"thumbnail":{"src":"/content/papers/assets/2f970769c0aa4ffad72650699d1a2c3f9c71e6b262171a38ddf5b2e287a10124.png","width":1440,"height":960},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/kimi-linear.fc66b3c3e559.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"kda把衰減拆到每個通道","text":"KDA：把衰減拆到每個通道","depth":3},{"id":"其他零件","text":"其他零件","depth":3},{"id":"31-的混合以及沒有位置編碼的-mla","text":"3:1 的混合，以及沒有位置編碼的 MLA","depth":3},{"id":"手算一次快取","text":"手算一次快取","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"比例怎麼選","text":"比例怎麼選","depth":3},{"id":"同樣的配方14t-tokens","text":"同樣的配方，1.4T tokens","depth":3},{"id":"速度","text":"速度","depth":3},{"id":"怎麼讀這些結果","text":"怎麼讀這些結果","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/gated-deltanet","relation":"referenced","topic":""},{"id":"mamba/mamba-2","relation":"referenced","topic":""}]},{"id":"mamba/gated-deltanet","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Gated DeltaNet","subtitle":"先擦再寫","author":"Z. Yuan","paperDate":"2024-12-09","publishedOn":"2026-02-12","world":"external/gated-deltanet","paperTitle":"Gated Delta Networks: Improving Mamba2 with Delta Rule","paperUrl":"https://arxiv.org/abs/2412.06464","bibliography":{"title":"Gated Delta Networks: Improving Mamba2 with Delta Rule","authors":["Songlin Yang","Jan Kautz","Ali Hatamizadeh"],"url":"https://arxiv.org/abs/2412.06464","pdfUrl":"https://arxiv.org/pdf/2412.06464v3","codeUrl":"https://github.com/NVlabs/GatedDeltaNet","preprint":{"id":"2412.06464","submittedOn":"2024-12-09","url":"https://arxiv.org/abs/2412.06464"},"publication":{"venue":"ICLR","year":2025,"kind":"conference","url":"https://mlanthology.org/iclr/2025/yang2025iclr-gated/"},"citation":"@misc{mambagateddeltanet2024,\n  title = {{Gated Delta Networks: Improving Mamba2 with Delta Rule}},\n  author = {Songlin Yang and Jan Kautz and Ali Hatamizadeh},\n  year = {2024},\n  eprint = {2412.06464},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.06464}\n}\n","citationPath":"/content/papers/citations/mamba/gated-deltanet.b65d8f168c74.bib"},"thumbnail":{"src":"/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png","width":1050,"height":544},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/gated-deltanet.1519c748e648.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"線性注意力是一本會撞號的電話簿","text":"線性注意力是一本會撞號的電話簿","depth":3},{"id":"mamba-2全部一起打折","text":"Mamba-2：全部一起打折","depth":3},{"id":"deltanet只改那一筆","text":"DeltaNet：只改那一筆","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"三種寫法算一次","text":"三種寫法，算一次","depth":3},{"id":"把兩者合起來","text":"把兩者合起來","depth":3},{"id":"讓它能平行訓練","text":"讓它能平行訓練","depth":3},{"id":"架構與混合版本","text":"架構與混合版本","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"實驗設定","text":"實驗設定","depth":3},{"id":"大海撈針三種規則的分工","text":"大海撈針：三種規則的分工","depth":3},{"id":"語言建模與真實檢索","text":"語言建模與真實檢索","depth":3},{"id":"速度","text":"速度","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/kimi-linear","relation":"referenced","topic":""}]},{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"注意力的遠親","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/mamba-2.0f4721961023.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"把-ssm-寫成一個矩陣","text":"把 SSM 寫成一個矩陣","depth":3},{"id":"把-a-簡化成一個數","text":"把 A 簡化成一個數","depth":3},{"id":"跟著四個-token-算一次","text":"跟著四個 token 算一次","depth":3},{"id":"兩條路各走一半","text":"兩條路各走一半","depth":3},{"id":"mamba-2-區塊","text":"Mamba-2 區塊","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"狀態大一點記得多一點","text":"狀態大一點，記得多一點","depth":3},{"id":"語言建模","text":"語言建模","depth":3},{"id":"原作者也建議混合","text":"原作者也建議混合","depth":3},{"id":"也不是全面升級","text":"也不是全面升級","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]}],"text":"2025 年 10 月 29 日，MiniMax 的預訓練負責人發了一篇文章，解釋他們的新模型 M2 為什麼退回全注意力：混合了線性注意力的模型在小規模評測上看起來不輸，放大以後，多跳推理就露出了破綻。[MiniMax，2025-10-29](https://www.minimax.io/news/why-did-m2-end-up-as-a-full-attention-model)\n\n隔天，月之暗面（Moonshot AI）上傳了這份技術報告。摘要第一句寫的是：在公平的比較下，這是第一個在短上下文、長上下文與強化學習三種情境都**勝過**全注意力的混合線性注意力架構。\n\n同一週，兩家中國團隊在各自的模型與產品條件下，做了方向相反的選擇。\n\n月之暗面做的是 Kimi 聊天助理，同年 7 月釋出的 Kimi K2 是一個 1T 參數的 MoE 模型，注意力用的是 DeepSeek 提出的 MLA。這份報告則訓練了一個 48B 總參數、每個 token 啟用 3B 的模型，來測試新的注意力設計。作者名單裡有 Gated DeltaNet 的第一作者 Songlin Yang。\n\n## 定義問題\n\n作者的出發點是 agent 與強化學習。模型要在推論時處理很長的軌跡：工具呼叫的紀錄、反覆的思考與修正，輸出也越來越長。這種工作以**解碼**為主，KV cache 的大小與每個 token 的生成時間，直接決定成本。\n\n換成線性層，KV cache 的問題就沒了，可是新的問題跟著來：工具紀錄越拉越長，固定大小的狀態就得壓縮越多歷史，之後要找回某個細節時，常常已經糊掉。Mamba-2 的閘門與 DeltaNet 的 delta rule，都是在改善這份壓縮，但光靠線性層還是不夠，所以業界開始在其中留幾層全注意力。\n\n這篇的切入點有兩個：一是把線性層的記憶更新再做細一點；二是在夠大的規模、夠完整的評測上，看看這種混合能不能在品質上**追平甚至超過**全注意力，同時真的省下推論成本。\n\n## 解決問題\n\n### KDA：把衰減拆到每個通道\n\n核心模組叫 **KDA**（Kimi Delta Attention），是在 Gated DeltaNet 上再改一步。先看 Gated DeltaNet 的更新：\n\n$$\nS_t=\\alpha_t\\big(I-\\beta_t k_t k_t^\\top\\big)S_{t-1}+\\beta_t k_t v_t^\\top\n$$\n\n（這裡沿用 Kimi Linear 報告的寫法，狀態是 $d_k\\times d_v$，所以矩陣乘在左邊。）\n\n$\\alpha_t$ 是一個純量，整個頭的記憶一起打折。KDA 把它換成一個對角矩陣：\n\n$$\nS_t=\\big(I-\\beta_t k_t k_t^\\top\\big)\\,\\text{Diag}(\\alpha_t)\\,S_{t-1}+\\beta_t k_t v_t^\\top,\\qquad \\alpha_t\\in[0,1]^{d_k}\n$$\n\n狀態的每一列對應鑰匙空間的一個方向，現在每個方向都有自己的遺忘速度。有的通道可以記很久，有的可以很快清掉。\n\n我們用一個兩個通道的小狀態感受一下：\n\n| 更新前的狀態 | 純量衰減 $\\alpha=0.5$ | 逐通道衰減 $\\alpha=(1.0,\\ 0.1)$ |\n| --- | --- | --- |\n| 通道 1：8 | 4 | 8 |\n| 通道 2：6 | 3 | 0.6 |\n\n*表：本文示意，只算遺忘閘門 $\\text{Diag}(\\alpha_t)S_{t-1}$ 這一步，還沒做 delta rule 的修正與寫入。*\n\n假設通道 1 存的是很久以後還要用的資訊，通道 2 存的是已經過時的內容。純量衰減只能兩邊一起打五折；逐通道的版本可以留住通道 1、幾乎清空通道 2。\n\n這種逐通道的閘門，先前在 GLA（Gated Linear Attention）就出現過。KDA 的工作是把它和 delta rule 接在一起，並且讓它仍然能高效率地平行訓練。\n\n作者把轉移矩陣寫成一種特殊的「對角加低秩」（DPLR）形式，替它設計了專用的分塊演算法。和一般的 DPLR 寫法相比，計算量少了不少，也更貼近原本的 delta rule。\n\n### 其他零件\n\n每個頭的輸入這樣產生：\n\n- $q$、$k$：線性投影、短卷積、Swish，再做 L2 正規化，讓特徵值保持穩定。\n- $v$：線性投影、短卷積、Swish。\n- $\\alpha$：先經過一個低秩投影（秩等於頭維度），再通過和 GDN、Mamba 類似的衰減函數。\n- $\\beta$：線性投影加 sigmoid。\n\n輸出先做逐頭的 RMSNorm，再乘上一個由資料決定的 sigmoid 閘門，最後投影回去。作者說這個輸出閘門也有助於減輕 attention sink。\n\n### 3:1 的混合，以及沒有位置編碼的 MLA\n\n整個模型沿用 Moonlight 的骨架（月之暗面先前的 MoE 模型），每個區塊是一層 token 混合加一層前饋層，除了第一層用一般的 dense 前饋層，其餘都是 MoE。token 混合層每 3 層 KDA 接 1 層 MLA。作者選擇整層交替，而不是在同一層裡混不同的頭，理由是基礎設施比較單純、訓練也比較穩定。\n\n一個值得注意的設計是：MLA 層**不用任何位置編碼**（NoPE）。位置資訊與「越近越重要」的偏好，全部交給 KDA 層負責。作者認為 KDA 的衰減本身就是一種由資料決定的位置編碼。\n\n### 手算一次快取\n\n依 Hugging Face 上 Kimi-Linear-48B-A3B 的設定檔，這個模型共 27 層，其中 20 層 KDA、7 層 MLA（最後一層也是 MLA）。MLA 每層每個 token 要快取一個 512 維的壓縮向量，加上 64 維的位置部分：\n\n```python\nGiB, MiB = 2**30, 2**20\nmla_per_layer = 512 + 64                    # MLA 每層每 token 快取：壓縮後的 KV（512）＋位置部分（64）\nfull = 27 * mla_per_layer * 2               # 27 層全是 MLA，bf16\nhybrid = 7 * mla_per_layer * 2              # Kimi Linear：只有 7 層 MLA\nprint(f\"全 MLA：每 token {full / 1024:.1f} KiB；Kimi Linear：{hybrid / 1024:.1f} KiB（省 {1 - hybrid / full:.0%}）\")\nn = 2**20\nprint(f\"1M tokens：全 MLA {full * n / GiB:.1f} GiB；Kimi Linear {hybrid * n / GiB:.1f} GiB\")\nkda_state = 20 * 32 * 128 * 128             # 20 層 KDA，每層 32 頭，每頭 128×128 的矩陣狀態\nprint(f\"20 層 KDA 狀態：{kda_state:,} 個數，bf16 {kda_state * 2 / MiB:.0f} MiB（與長度無關）\")\n```\n\n```text\n全 MLA：每 token 30.4 KiB；Kimi Linear：7.9 KiB（省 74%）\n1M tokens：全 MLA 30.4 GiB；Kimi Linear 7.9 GiB\n20 層 KDA 狀態：10,485,760 個數，bf16 20 MiB（與長度無關）\n```\n\n省下的比例只看「幾層還留著 KV cache」，7/27 剛好接近四分之一，這就是論文說「最多省 75%」的由來。這裡假設兩種模型的每個 MLA 層都快取同樣的 576 個值，只比較會隨長度成長的部分。設定檔裡的 64 維位置部分在 NoPE 下是否真的存進快取、KDA 狀態實際用什麼精度存，都要看推論引擎的實作；如果兩邊都不存那 64 維，省下的比例不變。\n\nMLA 本身已經把 KV 壓得很小，所以這裡的絕對數字比前幾代模型小得多。KDA 那 20 MiB 的狀態則和上下文長度無關。\n\n## 討論\n\n### 比例怎麼選\n\n作者先用 scaling law 實驗裡最小的一級模型（16 層、16 頭）掃了幾種 KDA 與 MLA 的比例，每個版本的訓練計算量相同。驗證集刻意選了和預訓練資料分布差很多的高品質文本，用來看模型在分布改變時的泛化。\n\n![點圖：橫軸是 KDA 層對 MLA 層的比例，由左到右為 0:1（純 MLA）、1:1、3:1、7:1、15:1；縱軸是驗證困惑度，從 5.60 到 5.85。五個點依序是 5.77、5.66、5.65、5.70、5.82，3:1 最低，兩端最高。](/content/papers/assets/2f970769c0aa4ffad72650699d1a2c3f9c71e6b262171a38ddf5b2e287a10124.png)\n\n*圖：本文依原論文 Table 1 的驗證困惑度重繪。原論文採 CC BY-NC-ND 4.0，這裡不轉載原圖。*\n\n完整的數字，包括另外兩組元件消融：\n\n| 設定 | 訓練困惑度 | 驗證困惑度 |\n| --- | ---: | ---: |\n| **3:1** | **9.23** | **5.65** |\n| 0:1（純 MLA） | 9.45 | 5.77 |\n| 1:1 | 9.29 | 5.66 |\n| 7:1 | 9.23 | 5.70 |\n| 15:1 | 9.34 | 5.82 |\n| 3:1，拿掉輸出閘門 | 9.25 | 5.67 |\n| 3:1，拿掉卷積層 | 9.29 | 5.70 |\n\n*表：原論文 Table 1 節錄。*\n\n7:1 的訓練困惑度和 3:1 一樣，驗證困惑度卻差了一截；1:1 差不多好，但推論成本高。純 MLA 也明顯落後。16 層的模型裡，15:1 等於只剩一層 MLA，驗證困惑度是五種比例裡最差的。\n\n和 Jamba 的 1:7、NVIDIA 研究的約 8% 注意力相比，這裡的最佳點偏向保留更多全注意力。不同的線性層、不同的評測方式，答案並不一樣。\n\n### 同樣的配方，1.4T tokens\n\n正式比較用了三個模型：純 MLA、GDN-H（把 KDA 換成 Gated DeltaNet 的混合版本），以及 Kimi Linear。三者用同樣的資料與訓練配方，都訓練 1.4T tokens。挑幾項：\n\n| 基礎模型 | MLA | GDN-H | Kimi Linear |\n| --- | ---: | ---: | ---: |\n| MMLU | 71.6 | 72.2 | 73.8 |\n| MMLU-Pro | 47.2 | 47.9 | 51.0 |\n| BBH | 71.6 | 70.6 | 72.9 |\n| GSM8K | 83.7 | 81.7 | 83.9 |\n| EvalPlus | 59.5 | 63.1 | 60.2 |\n\n*表：原論文 Table 3 節錄。*\n\n多數項目 Kimi Linear 最高，但也有例外：EvalPlus 輸給 GDN-H，MATH 和 MLA 同分。指令微調之後（Table 4）大致相同，LiveBench、MATH500、EvalPlus 這幾項沒有贏。\n\n各模型預訓練 1.4T tokens 後，在 128K 上下文設定下的長文評測（Table 5）：\n\n| 模型 | RULER | MRCR | LongBench V2 | Frames | 八項平均 |\n| --- | ---: | ---: | ---: | ---: | ---: |\n| MLA | 81.3 | 22.6 | 36.1 | 60.5 | 52.2 |\n| GDN-H | 80.5 | 23.9 | 32.6 | 58.7 | 51.2 |\n| Kimi Linear（RoPE） | 78.8 | 22.0 | 35.4 | 59.9 | 51.8 |\n| Kimi Linear | 84.3 | 29.6 | 35.0 | 58.8 | 54.5 |\n\n*表：原論文 Table 5 節錄。*\n\n平均是 Kimi Linear 最高，RULER、MRCR 領先明顯；LongBench V2 和 Frames 則是純 MLA 比較好。另一個有意思的對照是 Kimi Linear（RoPE），也就是同樣的模型但 MLA 加回位置編碼，長上下文平均反而掉到 51.8，支持了「位置交給 KDA」的設計。\n\n### 速度\n\n效率比較都在 48B 的設定下進行，三個模型的層數與頭數相同：\n\n- **預填（prefill）**：4K 到 16K 時和 MLA 差不多；從 128K 開始明顯變快，512K 時快 2.3 倍，1M 時快 2.9 倍。KDA 和 GDN-H 幾乎一樣快，逐通道的衰減沒有帶來明顯的額外成本。\n- **解碼**：批次固定為 1 時（Figure 7b），1M 上下文下 Kimi Linear 快約 2.3 倍。再把 KV cache 變小後能開更大批次的效益算進去，作者估計理論上最高約 6.3 倍（Figure 1b：每個輸出 token 1.84 ms 對 11.48 ms）。\n\nscaling law 實驗則顯示，在計算最佳的訓練下，Kimi Linear 的計算效率約是 MLA 的 1.16 倍。作者也提到，KDA 這一側沒有像 MLA 那樣仔細調超參數。\n\n### 怎麼讀這些結果\n\n這份報告的比較條件，比過去很多混合架構論文都嚴謹：同資料、同配方、同規模，還有消融。但讀的時候仍有幾件事要放在心上：\n\n1. **對照組是自己訓練的**。MLA 與 GDN-H 都是作者用同一套配方訓練的基線，不是外部的公開模型。Benjamin Marie 在報告發表隔天的評論裡指出，這裡缺一個調校充分的全注意力基線，不少分數也低於 Qwen3-8B，甚至 Qwen3-4B；他的解讀是，「勝過全注意力」在這裡指的是勝過作者試過的那幾種設定。[The Kaitchup，2025-10-31](https://kaitchup.substack.com/p/minimax-m2-and-kimi-linear-why-full)\n2. **規模是 48B 總參數、3B 啟用，1.4T tokens**。MiniMax 說的問題，是在更大的規模、更複雜的多跳推理上才浮現的；這份報告沒有回答那個規模的問題。\n3. **贏的幅度不一**。短上下文多是 1 到 4 分的差距，長上下文則有輸有贏。\n\nHacker News 上，有人問「混合線性注意力架構」是什麼，下面的回答很精簡：四分之一的層是傳統的平方注意力。[Hacker News，2025-10-31](https://news.ycombinator.com/item?id=45766937)\n\n## 結論\n\nKimi Linear 的貢獻有三層：\n\n1. **KDA**：把 Gated DeltaNet 的純量衰減細分到每個通道，並設計了對應的分塊演算法，速度和 GDN 差不多。\n2. **3:1 的層級混合加上 NoPE 的 MLA**：位置資訊全部交給 KDA，KV cache 少約四分之三。\n3. **在作者自己控制的公平比較下**，48B 模型在多數短上下文、長上下文與強化學習評測上勝過純 MLA；1M 上下文的解碼，批次 1 時快約 2.3 倍，算進更大批次的理論值最高約 6.3 倍。\n\n報告發表時，「線性注意力能不能在大模型上取代大部分的全注意力層」還沒有定論；MiniMax 在同一週，替自己的 M2 選了全注意力。九個月後，月之暗面的旗艦模型 Kimi K3 繼續採用 KDA 與 MLA 的混合：2.8T 參數、93 層裡有 69 層 KDA。[Kimi K3 模型卡](https://huggingface.co/moonshotai/Kimi-K3) 這說明月之暗面把 KDA 擴展到了更大的模型；它在這個規模下和全注意力相比差多少，還需要相應的評測。\n\n\n> [!TIP]\n> \n> KDA 的前身，以及它所延續的衰減與 delta rule，可以參考：\n> \n> - **[[24.12] Gated DeltaNet：先擦再寫](/blog/papers/mamba/gated-deltanet)**\n> - **[[24.05] Mamba-2：注意力的遠親](/blog/papers/mamba/mamba-2)**\n","imageSizes":{"/content/papers/assets/2f970769c0aa4ffad72650699d1a2c3f9c71e6b262171a38ddf5b2e287a10124.png":{"width":1440,"height":960}}}