{"notes":[{"id":"mamba/kimi-linear","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Kimi Linear","subtitle":"チャネルごとの忘却","author":"Z. Yuan","paperDate":"2025-10-30","publishedOn":"2026-08-06","world":"external/kimi-linear","paperTitle":"Kimi Linear: An Expressive, Efficient Attention Architecture","paperUrl":"https://arxiv.org/abs/2510.26692","bibliography":{"title":"Kimi Linear: An Expressive, Efficient Attention Architecture","authors":["Kimi Team","Yu Zhang","Zongyu Lin","Xingcheng Yao","Jiaxi Hu","Fanqing Meng","Chengyin Liu","Xin Men","Songlin Yang","Zhiyuan Li","Wentao Li","Enzhe Lu","Weizhou Liu","Yanru Chen","Weixin Xu","Longhui Yu","Yejie Wang","Yu Fan","Longguang Zhong","Enming Yuan","Dehao Zhang","Yizhi Zhang","T. Y. Liu","Haiming Wang","Shengjun Fang","Weiran He","Shaowei Liu","Yiwei Li","Jianlin Su","Jiezhong Qiu","Bo Pang","Junjie Yan","Zhejun Jiang","Weixiao Huang","Bohong Yin","Jiacheng You","Chu Wei","Zhengtao Wang","Chao Hong","Yutian Chen","Guanduo Chen","Yucheng Wang","Huabin Zheng","Feng Wang","Yibo Liu","Mengnan Dong","Zheng Zhang","Siyuan Pan","Wenhao Wu","Yuhao Wu","Longyu Guan","Jiawen Tao","Guohong Fu","Xinran Xu","Yuzhi Wang","Guokun Lai","Yuxin Wu","Xinyu Zhou","Zhilin Yang","Yulun Du"],"url":"https://arxiv.org/abs/2510.26692","pdfUrl":"https://arxiv.org/pdf/2510.26692v2","codeUrl":"https://github.com/MoonshotAI/Kimi-Linear","preprint":{"id":"2510.26692","submittedOn":"2025-10-30","url":"https://arxiv.org/abs/2510.26692"},"publication":null,"citation":"@misc{mambakimilinear2025,\n  title = {{Kimi Linear: An Expressive, Efficient Attention Architecture}},\n  author = {Kimi Team and Yu Zhang and Zongyu Lin and Xingcheng Yao and Jiaxi Hu and Fanqing Meng and Chengyin Liu and Xin Men and Songlin Yang and Zhiyuan Li and Wentao Li and Enzhe Lu and Weizhou Liu and Yanru Chen and Weixin Xu and Longhui Yu and Yejie Wang and Yu Fan and Longguang Zhong and Enming Yuan and Dehao Zhang and Yizhi Zhang and T. Y. Liu and Haiming Wang and Shengjun Fang and Weiran He and Shaowei Liu and Yiwei Li and Jianlin Su and Jiezhong Qiu and Bo Pang and Junjie Yan and Zhejun Jiang and Weixiao Huang and Bohong Yin and Jiacheng You and Chu Wei and Zhengtao Wang and Chao Hong and Yutian Chen and Guanduo Chen and Yucheng Wang and Huabin Zheng and Feng Wang and Yibo Liu and Mengnan Dong and Zheng Zhang and Siyuan Pan and Wenhao Wu and Yuhao Wu and Longyu Guan and Jiawen Tao and Guohong Fu and Xinran Xu and Yuzhi Wang and Guokun Lai and Yuxin Wu and Xinyu Zhou and Zhilin Yang and Yulun Du},\n  year = {2025},\n  eprint = {2510.26692},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2510.26692}\n}\n","citationPath":"/content/papers/citations/mamba/kimi-linear.38a5b561e63e.bib"},"thumbnail":{"src":"/content/papers/assets/2f970769c0aa4ffad72650699d1a2c3f9c71e6b262171a38ddf5b2e287a10124.png","width":1440,"height":960},"locale":"ja","path":"/content/papers/ja/mamba/kimi-linear.fe6d6c4d05d1.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"kda減衰をチャネルごとに分ける","text":"KDA：減衰をチャネルごとに分ける","depth":3},{"id":"その他の部品","text":"その他の部品","depth":3},{"id":"31-の混合と位置エンコーディングのない-mla","text":"3:1 の混合と、位置エンコーディングのない MLA","depth":3},{"id":"キャッシュを手計算する","text":"キャッシュを手計算する","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"比率の選び方","text":"比率の選び方","depth":3},{"id":"同じレシピで-14t-トークン","text":"同じレシピで 1.4T トークン","depth":3},{"id":"速度","text":"速度","depth":3},{"id":"結果をどう読むか","text":"結果をどう読むか","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/gated-deltanet","relation":"referenced","topic":""},{"id":"mamba/mamba-2","relation":"referenced","topic":""}]},{"id":"mamba/gated-deltanet","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Gated DeltaNet","subtitle":"消してから書く","author":"Z. Yuan","paperDate":"2024-12-09","publishedOn":"2026-02-12","world":"external/gated-deltanet","paperTitle":"Gated Delta Networks: Improving Mamba2 with Delta Rule","paperUrl":"https://arxiv.org/abs/2412.06464","bibliography":{"title":"Gated Delta Networks: Improving Mamba2 with Delta Rule","authors":["Songlin Yang","Jan Kautz","Ali Hatamizadeh"],"url":"https://arxiv.org/abs/2412.06464","pdfUrl":"https://arxiv.org/pdf/2412.06464v3","codeUrl":"https://github.com/NVlabs/GatedDeltaNet","preprint":{"id":"2412.06464","submittedOn":"2024-12-09","url":"https://arxiv.org/abs/2412.06464"},"publication":{"venue":"ICLR","year":2025,"kind":"conference","url":"https://mlanthology.org/iclr/2025/yang2025iclr-gated/"},"citation":"@misc{mambagateddeltanet2024,\n  title = {{Gated Delta Networks: Improving Mamba2 with Delta Rule}},\n  author = {Songlin Yang and Jan Kautz and Ali Hatamizadeh},\n  year = {2024},\n  eprint = {2412.06464},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.06464}\n}\n","citationPath":"/content/papers/citations/mamba/gated-deltanet.b65d8f168c74.bib"},"thumbnail":{"src":"/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png","width":1050,"height":544},"locale":"ja","path":"/content/papers/ja/mamba/gated-deltanet.6152690e76e4.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"線形アテンションは番号がぶつかる電話帳","text":"線形アテンションは番号がぶつかる電話帳","depth":3},{"id":"mamba-2まとめて割り引く","text":"Mamba-2：まとめて割り引く","depth":3},{"id":"deltanetその1件だけを直す","text":"DeltaNet：その1件だけを直す","depth":3},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"3つの書き方で計算してみる","text":"3つの書き方で計算してみる","depth":3},{"id":"2つを組み合わせる","text":"2つを組み合わせる","depth":3},{"id":"並列に学習できるようにする","text":"並列に学習できるようにする","depth":3},{"id":"アーキテクチャとハイブリッド版","text":"アーキテクチャとハイブリッド版","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"実験設定","text":"実験設定","depth":3},{"id":"needle-in-a-haystack3つの規則の分担","text":"needle-in-a-haystack：3つの規則の分担","depth":3},{"id":"言語モデリングと実際の検索","text":"言語モデリングと実際の検索","depth":3},{"id":"速度","text":"速度","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/kimi-linear","relation":"referenced","topic":""}]},{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"アテンションの遠い親戚","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"ja","path":"/content/papers/ja/mamba/mamba-2.31aeb03056f6.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"ssm-を一つの行列として書く","text":"SSM を一つの行列として書く","depth":3},{"id":"a-を一つの数に簡略化する","text":"A を一つの数に簡略化する","depth":3},{"id":"4つのトークンで計算してみる","text":"4つのトークンで計算してみる","depth":3},{"id":"2つのルートを半分ずつ","text":"2つのルートを半分ずつ","depth":3},{"id":"mamba-2-ブロック","text":"Mamba-2 ブロック","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"状態が大きいほど多く覚えられる","text":"状態が大きいほど、多く覚えられる","depth":3},{"id":"言語モデリング","text":"言語モデリング","depth":3},{"id":"原著者もハイブリッドを勧める","text":"原著者もハイブリッドを勧める","depth":3},{"id":"全面的なアップグレードでもない","text":"全面的なアップグレードでもない","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]}],"text":"2025年10月29日、MiniMax の事前学習責任者が記事を公開し、新モデル M2 がなぜフルアテンションに戻ったのかを説明しました。線形アテンションを混ぜたモデルは、小規模な評価では見劣りしないように見えても、規模を大きくするとマルチホップ推論でほころびが出た、というのです。[MiniMax、2025-10-29](https://www.minimax.io/news/why-did-m2-end-up-as-a-full-attention-model)\n\nその翌日、Moonshot AI（月之暗面）がこの技術報告を公開しました。要旨の最初の一文はこうです。公平な比較のもとで、短いコンテキスト、長いコンテキスト、強化学習（RL）のスケーリングを含むさまざまな状況において、フルアテンションを初めて**上回った**ハイブリッド線形アテンションアーキテクチャである。\n\n同じ週に、中国の2つのチームが、それぞれのモデルと製品の事情のもとで、正反対の選択をしたことになります。\n\nMoonshot AI はチャットアシスタント Kimi を手がけています。同年7月に公開した Kimi K2 は 1T パラメータの MoE モデルで、アテンションには DeepSeek が提案した MLA を使っています。この報告では、新しいアテンション設計を試すために、総パラメータ 48B、トークンごとのアクティブパラメータ 3B のモデルを学習しました。著者リストには、Gated DeltaNet の筆頭著者 Songlin Yang も入っています。\n\n## 問題の定義\n\n著者らの出発点は、エージェントと強化学習です。モデルは推論時にとても長い軌跡を扱わなければなりません。ツール呼び出しの記録、繰り返される思考と修正があり、出力もどんどん長くなります。こうした作業は**デコード**が中心で、KV キャッシュの大きさとトークンごとの生成時間が、そのままコストを決めます。\n\n線形層に置き換えれば KV キャッシュの問題はなくなりますが、新しい問題がついてきます。ツールの記録が長くなるほど、固定サイズの状態はより多くの履歴を圧縮しなければならず、後で細部を取り出そうとすると、すでにぼやけていることがよくあります。Mamba-2 のゲートも DeltaNet の delta rule も、この圧縮を改善するためのものですが、線形層だけではまだ足りません。そこで業界では、その中にフルアテンションを何層か残すようになりました。\n\nこの論文の切り口は2つあります。一つは、線形層の記憶の更新をさらにきめ細かくすること。もう一つは、十分に大きな規模と十分に網羅的な評価で、このハイブリッドが品質の面でフルアテンションに**追いつく、あるいは上回る**ことができ、同時に推論コストを本当に削減できるかを確かめることです。\n\n## 問題の解決\n\n### KDA：減衰をチャネルごとに分ける\n\n中心となるモジュールは **KDA**（Kimi Delta Attention）で、Gated DeltaNet をさらに一歩改良したものです。まず Gated DeltaNet の更新を見ます。\n\n$$\nS_t=\\alpha_t\\big(I-\\beta_t k_t k_t^\\top\\big)S_{t-1}+\\beta_t k_t v_t^\\top\n$$\n\n（ここでは Kimi Linear の報告の書き方に合わせています。状態が $d_k\\times d_v$ なので、行列は左から掛けます。）\n\n$\\alpha_t$ は1つのスカラーで、ヘッド全体の記憶がまとめて割り引かれます。KDA はこれを対角行列に置き換えます。\n\n$$\nS_t=\\big(I-\\beta_t k_t k_t^\\top\\big)\\,\\text{Diag}(\\alpha_t)\\,S_{t-1}+\\beta_t k_t v_t^\\top,\\qquad \\alpha_t\\in[0,1]^{d_k}\n$$\n\n状態の各行はキー空間の一つの方向に対応し、今度はそれぞれの方向が自分の忘却速度を持ちます。長く覚えておけるチャネルもあれば、すぐに消せるチャネルもあります。\n\n2チャネルの小さな状態で、感覚をつかんでみましょう。\n\n| 更新前の状態 | スカラー減衰 $\\alpha=0.5$ | チャネルごとの減衰 $\\alpha=(1.0,\\ 0.1)$ |\n| --- | --- | --- |\n| チャネル 1：8 | 4 | 8 |\n| チャネル 2：6 | 3 | 0.6 |\n\n*表：本稿による例示。忘却ゲート $\\text{Diag}(\\alpha_t)S_{t-1}$ のステップだけを計算していて、delta rule による修正と書き込みはまだ行っていません。*\n\nチャネル1にはずっと後でも使う情報が、チャネル2にはすでに古くなった内容が入っているとしましょう。スカラー減衰では、両方をまとめて半分に割り引くしかありません。チャネルごとの版なら、チャネル1を残し、チャネル2をほぼ空にできます。\n\nこのようなチャネルごとのゲートは、以前から GLA（Gated Linear Attention）に登場していました。KDA は、それを delta rule とつなぎ合わせ、しかも効率よく並列に学習できる形を保ちました。\n\n著者らは遷移行列を特殊な「対角＋低ランク」（DPLR）の形で書き、そのための専用のチャンク分割アルゴリズムを設計しました。一般的な DPLR の定式化に比べて計算量がかなり少なく、本来の delta rule にもより近いものです。\n\n### その他の部品\n\n各ヘッドの入力は、次のように作られます。\n\n- $q$、$k$：線形射影、短い畳み込み、Swish を通し、さらに L2 正規化をかけて固有値を安定させる。\n- $v$：線形射影、短い畳み込み、Swish。\n- $\\alpha$：まず低ランク射影（ランクはヘッド次元と同じ）を通し、次に GDN や Mamba と似た減衰関数を通す。\n- $\\beta$：線形射影と sigmoid。\n\n出力はまずヘッドごとに RMSNorm をかけ、データで決まる sigmoid ゲートを掛けてから、最後に射影し直します。著者らによれば、この出力ゲートは attention sink の緩和にも役立ちます。\n\n### 3:1 の混合と、位置エンコーディングのない MLA\n\nモデル全体は Moonlight（Moonshot AI の以前の MoE モデル）の骨格を踏襲しています。各ブロックはトークン混合層1つとフィードフォワード層1つからなり、最初の層だけが通常の dense なフィードフォワード層で、残りはすべて MoE です。トークン混合層は、KDA 3層ごとに MLA 1層を挟みます。著者らは、同じ層の中で異なるヘッドを混ぜるのではなく、層単位で交互に並べる方法を選びました。インフラが単純で、学習もより安定するからです。\n\n目を引く設計の一つは、MLA 層で**位置エンコーディングを一切使わない**（NoPE）ことです。位置情報と「近いほど重要」という偏りは、すべて KDA 層に任せます。著者らは、KDA の減衰そのものが、データで決まる位置エンコーディングの一種だと考えています。\n\n### キャッシュを手計算する\n\nHugging Face 上の Kimi-Linear-48B-A3B の設定ファイルによると、このモデルは計27層で、KDA が20層、MLA が7層です（最後の層も MLA）。MLA は層ごと、トークンごとに、512次元の圧縮ベクトルと64次元の位置部分をキャッシュします。\n\n```python\nGiB, MiB = 2**30, 2**20\nmla_per_layer = 512 + 64                    # MLA の 1 層・1 トークンあたりのキャッシュ：圧縮した KV（512）＋位置部分（64）\nfull = 27 * mla_per_layer * 2               # 27 層すべてが MLA、bf16\nhybrid = 7 * mla_per_layer * 2              # Kimi Linear：MLA は 7 層だけ\nprint(f\"全層 MLA：トークンあたり {full / 1024:.1f} KiB、Kimi Linear：{hybrid / 1024:.1f} KiB（{1 - hybrid / full:.0%} 削減）\")\nn = 2**20\nprint(f\"1M トークン：全層 MLA {full * n / GiB:.1f} GiB、Kimi Linear {hybrid * n / GiB:.1f} GiB\")\nkda_state = 20 * 32 * 128 * 128             # KDA 20 層、各層 32 ヘッド、各ヘッド 128×128 の行列状態\nprint(f\"20層の KDA の状態：{kda_state:,} 個の値、bf16 {kda_state * 2 / MiB:.0f} MiB（長さに依存しない）\")\n```\n\n```text\n全層 MLA：トークンあたり 30.4 KiB、Kimi Linear：7.9 KiB（74% 削減）\n1M トークン：全層 MLA 30.4 GiB、Kimi Linear 7.9 GiB\n20層の KDA の状態：10,485,760 個の値、bf16 20 MiB（長さに依存しない）\n```\n\n削減率は「何層に KV キャッシュが残っているか」だけで決まり、7/27 はちょうど4分の1に近い値です。これが、論文の言う「最大75%削減」の由来です。ここでは、どちらのモデルでも各 MLA 層が同じ576個の値をキャッシュすると仮定し、長さとともに増える部分だけを比べています。設定ファイルにある64次元の位置部分が NoPE で実際にキャッシュされるのか、KDA の状態を実際にどの精度で保存するのかは、推論エンジンの実装次第です。両方とも64次元を保存しないとしても、削減率は変わりません。\n\nMLA 自体がすでに KV をかなり小さく圧縮しているので、ここでの絶対値は以前の世代のモデルよりずっと小さくなります。KDA の 20 MiB の状態は、コンテキスト長に依存しません。\n\n## 考察\n\n### 比率の選び方\n\n著者らはまず、スケーリング則の実験で最小クラスのモデル（16層、16ヘッド）を使い、KDA と MLA のいくつかの比率を試しました。どの版も学習の計算量は同じです。検証セットには、事前学習データとは分布が大きく異なる高品質なテキストをあえて選び、分布が変わったときの汎化を見ています。\n\n![ドットプロット。横軸は KDA 層と MLA 層の比率で、左から 0:1（MLA のみ）、1:1、3:1、7:1、15:1。縦軸は検証パープレキシティで、5.60〜5.85。5つの点は順に 5.77、5.66、5.65、5.70、5.82 で、3:1 が最も低く、両端が最も高い。](/content/papers/assets/2f970769c0aa4ffad72650699d1a2c3f9c71e6b262171a38ddf5b2e287a10124.png)\n\n*図：原論文 Table 1 の検証パープレキシティをもとに本稿で作図。原論文は CC BY-NC-ND 4.0 のため、原図は転載していません。*\n\nほかの2組の構成要素のアブレーションも含めた、完全な数字です。\n\n| 設定 | 学習パープレキシティ | 検証パープレキシティ |\n| --- | ---: | ---: |\n| **3:1** | **9.23** | **5.65** |\n| 0:1（MLA のみ） | 9.45 | 5.77 |\n| 1:1 | 9.29 | 5.66 |\n| 7:1 | 9.23 | 5.70 |\n| 15:1 | 9.34 | 5.82 |\n| 3:1、出力ゲートなし | 9.25 | 5.67 |\n| 3:1、畳み込み層なし | 9.29 | 5.70 |\n\n*表：原論文 Table 1 より抜粋。*\n\n7:1 は学習パープレキシティが 3:1 と同じなのに、検証パープレキシティでは一段劣ります。1:1 はほぼ同じくらいよいものの、推論コストが高くなります。MLA のみも、はっきり劣ります。16層のモデルで 15:1 にすると MLA が1層しか残らず、検証パープレキシティは5つの比率の中で最も悪くなりました。\n\nJamba の 1:7 や、NVIDIA の研究の約8%のアテンションと比べると、ここでの最適点はフルアテンションをより多く残す側に寄っています。線形層が違い、評価方法が違えば、答えも変わります。\n\n### 同じレシピで 1.4T トークン\n\n本番の比較には、3つのモデルを使っています。MLA のみ、GDN-H（KDA を Gated DeltaNet に置き換えたハイブリッド版）、そして Kimi Linear です。3つとも同じデータと学習レシピで、1.4T トークン学習しています。いくつか抜き出します。\n\n| ベースモデル | MLA | GDN-H | Kimi Linear |\n| --- | ---: | ---: | ---: |\n| MMLU | 71.6 | 72.2 | 73.8 |\n| MMLU-Pro | 47.2 | 47.9 | 51.0 |\n| BBH | 71.6 | 70.6 | 72.9 |\n| GSM8K | 83.7 | 81.7 | 83.9 |\n| EvalPlus | 59.5 | 63.1 | 60.2 |\n\n*表：原論文 Table 3 より抜粋。*\n\nほとんどの項目で Kimi Linear が最高ですが、例外もあります。EvalPlus では GDN-H に負け、MATH では MLA と同点です。指示チューニング後（Table 4）もおおむね同じで、LiveBench、MATH500、EvalPlus では勝っていません。\n\n各モデルを 1.4T トークン事前学習した後、128K コンテキストの設定で行った長文評価（Table 5）です。\n\n| モデル | RULER | MRCR | LongBench V2 | Frames | 八項目の平均 |\n| --- | ---: | ---: | ---: | ---: | ---: |\n| MLA | 81.3 | 22.6 | 36.1 | 60.5 | 52.2 |\n| GDN-H | 80.5 | 23.9 | 32.6 | 58.7 | 51.2 |\n| Kimi Linear（RoPE） | 78.8 | 22.0 | 35.4 | 59.9 | 51.8 |\n| Kimi Linear | 84.3 | 29.6 | 35.0 | 58.8 | 54.5 |\n\n*表：原論文 Table 5 より抜粋。*\n\n平均では Kimi Linear が最高で、RULER と MRCR でははっきりリードしています。LongBench V2 と Frames では、MLA のみのほうがよい結果です。もう一つ興味深い対照が Kimi Linear（RoPE）、つまり同じモデルで MLA に位置エンコーディングを戻したもので、長いコンテキストの平均はかえって51.8まで下がりました。「位置は KDA に任せる」という設計を裏付ける結果です。\n\n### 速度\n\n効率の比較はすべて 48B の設定で行い、3つのモデルの層数とヘッド数は同じです。\n\n- **プリフィル（prefill）**：4K〜16K では MLA とほぼ同じですが、128K からははっきり速くなり、512K で2.3倍、1M で2.9倍速くなります。KDA は GDN-H とほとんど同じ速さで、チャネルごとの減衰による目立った追加コストはありません。\n- **デコード**：バッチを1に固定した場合（Figure 7b）、1M コンテキストで Kimi Linear は約2.3倍速くなります。さらに KV キャッシュが小さくなって大きなバッチを組める効果まで含めると、著者らの見積もりでは理論上最大約6.3倍です（Figure 1b：出力トークンあたり 1.84 ms 対 11.48 ms）。\n\nスケーリング則の実験では、計算最適な学習のもとで、Kimi Linear の計算効率は MLA の約1.16倍でした。著者らは、KDA 側では MLA ほど丁寧にハイパーパラメータを調整していないことにも触れています。\n\n### 結果をどう読むか\n\nこの報告の比較条件は、これまでの多くのハイブリッドアーキテクチャの論文より厳密です。同じデータ、同じレシピ、同じ規模で、アブレーションもあります。それでも読むときには、いくつか心に留めておきたいことがあります。\n\n1. **対照群は自前で学習したもの**。MLA と GDN-H はどちらも著者らが同じレシピで学習したベースラインで、外部の公開モデルではありません。Benjamin Marie は報告公開の翌日の論評で、ここには十分に調整されたフルアテンションのベースラインがなく、多くのスコアが Qwen3-8B、さらには Qwen3-4B よりも低いと指摘しています。彼の解釈では、ここでの「フルアテンションより優れている」とは、著者らが試したいくつかの構成より優れている、ということです。[The Kaitchup、2025-10-31](https://kaitchup.substack.com/p/minimax-m2-and-kimi-linear-why-full)\n2. **規模は総パラメータ 48B、アクティブ 3B、1.4T トークン**。MiniMax が指摘した問題は、より大きな規模、より複雑なマルチホップ推論で初めて表に出たものです。その規模での問いに、この報告は答えていません。\n3. **勝ち幅はまちまち**。短いコンテキストでは1〜4ポイントの差が多く、長いコンテキストでは勝ち負けがあります。\n\nHacker News では、「ハイブリッド線形アテンションアーキテクチャ」とは何かと尋ねた人に、ごく簡潔な返信がついていました。層の4分の1が、従来型の二乗オーダーのアテンションだ、と。[Hacker News、2025-10-31](https://news.ycombinator.com/item?id=45766937)\n\n## 結論\n\nKimi Linear の貢献は、3つの層に分けられます。\n\n1. **KDA**：Gated DeltaNet のスカラー減衰をチャネルごとに細分化し、対応するチャンク分割アルゴリズムを設計しました。速度は GDN とほぼ同じです。\n2. **3:1 の層単位の混合と NoPE の MLA**：位置情報はすべて KDA に任せ、KV キャッシュは約4分の3減ります。\n3. **著者ら自身が管理した公平な比較のもとで**、48B モデルは短いコンテキスト、長いコンテキスト、強化学習の多くの評価で MLA のみを上回りました。1M コンテキストのデコードは、バッチ1で約2.3倍速く、より大きなバッチを含めた理論値では最大約6.3倍です。\n\n報告の公開時点では、「大規模モデルで線形アテンションがフルアテンション層の大部分を置き換えられるか」に結論は出ていませんでした。MiniMax は同じ週に、自社の M2 でフルアテンションを選んでいます。9か月後、Moonshot AI のフラッグシップモデル Kimi K3 は、引き続き KDA と MLA のハイブリッドを採用しました。2.8T パラメータで、93層のうち69層が KDA です。[Kimi K3 のモデルカード](https://huggingface.co/moonshotai/Kimi-K3) Moonshot AI が KDA をより大きなモデルに広げたことはわかります。この規模でフルアテンションとどれだけ差があるかを知るには、それに見合う評価が必要です。\n\n\n> [!TIP]\n> \n> KDA の前身と、KDA が受け継いだ減衰と delta rule については、こちらを参照してください。\n> \n> - **[[24.12] Gated DeltaNet：消してから書く](/blog/papers/mamba/gated-deltanet)**\n> - **[[24.05] Mamba-2：アテンションの遠い親戚](/blog/papers/mamba/mamba-2)**\n","imageSizes":{"/content/papers/assets/2f970769c0aa4ffad72650699d1a2c3f9c71e6b262171a38ddf5b2e287a10124.png":{"width":1440,"height":960}}}