{"notes":[{"id":"mamba/gated-deltanet","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Gated DeltaNet","subtitle":"消してから書く","author":"Z. Yuan","paperDate":"2024-12-09","publishedOn":"2026-02-12","world":"external/gated-deltanet","paperTitle":"Gated Delta Networks: Improving Mamba2 with Delta Rule","paperUrl":"https://arxiv.org/abs/2412.06464","bibliography":{"title":"Gated Delta Networks: Improving Mamba2 with Delta Rule","authors":["Songlin Yang","Jan Kautz","Ali Hatamizadeh"],"url":"https://arxiv.org/abs/2412.06464","pdfUrl":"https://arxiv.org/pdf/2412.06464v3","codeUrl":"https://github.com/NVlabs/GatedDeltaNet","preprint":{"id":"2412.06464","submittedOn":"2024-12-09","url":"https://arxiv.org/abs/2412.06464"},"publication":{"venue":"ICLR","year":2025,"kind":"conference","url":"https://mlanthology.org/iclr/2025/yang2025iclr-gated/"},"citation":"@misc{mambagateddeltanet2024,\n  title = {{Gated Delta Networks: Improving Mamba2 with Delta Rule}},\n  author = {Songlin Yang and Jan Kautz and Ali Hatamizadeh},\n  year = {2024},\n  eprint = {2412.06464},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.06464}\n}\n","citationPath":"/content/papers/citations/mamba/gated-deltanet.b65d8f168c74.bib"},"thumbnail":{"src":"/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png","width":1050,"height":544},"locale":"ja","path":"/content/papers/ja/mamba/gated-deltanet.6152690e76e4.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"線形アテンションは番号がぶつかる電話帳","text":"線形アテンションは番号がぶつかる電話帳","depth":3},{"id":"mamba-2まとめて割り引く","text":"Mamba-2：まとめて割り引く","depth":3},{"id":"deltanetその1件だけを直す","text":"DeltaNet：その1件だけを直す","depth":3},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"3つの書き方で計算してみる","text":"3つの書き方で計算してみる","depth":3},{"id":"2つを組み合わせる","text":"2つを組み合わせる","depth":3},{"id":"並列に学習できるようにする","text":"並列に学習できるようにする","depth":3},{"id":"アーキテクチャとハイブリッド版","text":"アーキテクチャとハイブリッド版","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"実験設定","text":"実験設定","depth":3},{"id":"needle-in-a-haystack3つの規則の分担","text":"needle-in-a-haystack：3つの規則の分担","depth":3},{"id":"言語モデリングと実際の検索","text":"言語モデリングと実際の検索","depth":3},{"id":"速度","text":"速度","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/kimi-linear","relation":"referenced","topic":""}]},{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"アテンションの遠い親戚","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"ja","path":"/content/papers/ja/mamba/mamba-2.31aeb03056f6.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"ssm-を一つの行列として書く","text":"SSM を一つの行列として書く","depth":3},{"id":"a-を一つの数に簡略化する","text":"A を一つの数に簡略化する","depth":3},{"id":"4つのトークンで計算してみる","text":"4つのトークンで計算してみる","depth":3},{"id":"2つのルートを半分ずつ","text":"2つのルートを半分ずつ","depth":3},{"id":"mamba-2-ブロック","text":"Mamba-2 ブロック","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"状態が大きいほど多く覚えられる","text":"状態が大きいほど、多く覚えられる","depth":3},{"id":"言語モデリング","text":"言語モデリング","depth":3},{"id":"原著者もハイブリッドを勧める","text":"原著者もハイブリッドを勧める","depth":3},{"id":"全面的なアップグレードでもない","text":"全面的なアップグレードでもない","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]},{"id":"mamba/kimi-linear","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Kimi Linear","subtitle":"チャネルごとの忘却","author":"Z. Yuan","paperDate":"2025-10-30","publishedOn":"2026-08-06","world":"external/kimi-linear","paperTitle":"Kimi Linear: An Expressive, Efficient Attention Architecture","paperUrl":"https://arxiv.org/abs/2510.26692","bibliography":{"title":"Kimi Linear: An Expressive, Efficient Attention Architecture","authors":["Kimi Team","Yu Zhang","Zongyu Lin","Xingcheng Yao","Jiaxi Hu","Fanqing Meng","Chengyin Liu","Xin Men","Songlin Yang","Zhiyuan Li","Wentao Li","Enzhe Lu","Weizhou Liu","Yanru Chen","Weixin Xu","Longhui Yu","Yejie Wang","Yu Fan","Longguang Zhong","Enming Yuan","Dehao Zhang","Yizhi Zhang","T. Y. Liu","Haiming Wang","Shengjun Fang","Weiran He","Shaowei Liu","Yiwei Li","Jianlin Su","Jiezhong Qiu","Bo Pang","Junjie Yan","Zhejun Jiang","Weixiao Huang","Bohong Yin","Jiacheng You","Chu Wei","Zhengtao Wang","Chao Hong","Yutian Chen","Guanduo Chen","Yucheng Wang","Huabin Zheng","Feng Wang","Yibo Liu","Mengnan Dong","Zheng Zhang","Siyuan Pan","Wenhao Wu","Yuhao Wu","Longyu Guan","Jiawen Tao","Guohong Fu","Xinran Xu","Yuzhi Wang","Guokun Lai","Yuxin Wu","Xinyu Zhou","Zhilin Yang","Yulun Du"],"url":"https://arxiv.org/abs/2510.26692","pdfUrl":"https://arxiv.org/pdf/2510.26692v2","codeUrl":"https://github.com/MoonshotAI/Kimi-Linear","preprint":{"id":"2510.26692","submittedOn":"2025-10-30","url":"https://arxiv.org/abs/2510.26692"},"publication":null,"citation":"@misc{mambakimilinear2025,\n  title = {{Kimi Linear: An Expressive, Efficient Attention Architecture}},\n  author = {Kimi Team and Yu Zhang and Zongyu Lin and Xingcheng Yao and Jiaxi Hu and Fanqing Meng and Chengyin Liu and Xin Men and Songlin Yang and Zhiyuan Li and Wentao Li and Enzhe Lu and Weizhou Liu and Yanru Chen and Weixin Xu and Longhui Yu and Yejie Wang and Yu Fan and Longguang Zhong and Enming Yuan and Dehao Zhang and Yizhi Zhang and T. Y. Liu and Haiming Wang and Shengjun Fang and Weiran He and Shaowei Liu and Yiwei Li and Jianlin Su and Jiezhong Qiu and Bo Pang and Junjie Yan and Zhejun Jiang and Weixiao Huang and Bohong Yin and Jiacheng You and Chu Wei and Zhengtao Wang and Chao Hong and Yutian Chen and Guanduo Chen and Yucheng Wang and Huabin Zheng and Feng Wang and Yibo Liu and Mengnan Dong and Zheng Zhang and Siyuan Pan and Wenhao Wu and Yuhao Wu and Longyu Guan and Jiawen Tao and Guohong Fu and Xinran Xu and Yuzhi Wang and Guokun Lai and Yuxin Wu and Xinyu Zhou and Zhilin Yang and Yulun Du},\n  year = {2025},\n  eprint = {2510.26692},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2510.26692}\n}\n","citationPath":"/content/papers/citations/mamba/kimi-linear.38a5b561e63e.bib"},"thumbnail":{"src":"/content/papers/assets/2f970769c0aa4ffad72650699d1a2c3f9c71e6b262171a38ddf5b2e287a10124.png","width":1440,"height":960},"locale":"ja","path":"/content/papers/ja/mamba/kimi-linear.fe6d6c4d05d1.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"kda減衰をチャネルごとに分ける","text":"KDA：減衰をチャネルごとに分ける","depth":3},{"id":"その他の部品","text":"その他の部品","depth":3},{"id":"31-の混合と位置エンコーディングのない-mla","text":"3:1 の混合と、位置エンコーディングのない MLA","depth":3},{"id":"キャッシュを手計算する","text":"キャッシュを手計算する","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"比率の選び方","text":"比率の選び方","depth":3},{"id":"同じレシピで-14t-トークン","text":"同じレシピで 1.4T トークン","depth":3},{"id":"速度","text":"速度","depth":3},{"id":"結果をどう読むか","text":"結果をどう読むか","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/gated-deltanet","relation":"referenced","topic":""},{"id":"mamba/mamba-2","relation":"referenced","topic":""}]}],"text":"副題がはっきり言っています。delta rule で Mamba-2 を改良する、と。\n\ndelta rule 自体は新しいものではありません。起源は1960年の Widrow らの研究までさかのぼり、2021年に Schlag らがこれを線形アテンションに組み込んで DeltaNet と名付けました。2024年には、GPU で並列に学習できるアルゴリズムも考案されています。\n\n著者は MIT CSAIL の Songlin Yang と、NVIDIA の Jan Kautz、Ali Hatamizadeh です。彼らは、Mamba-2 と DeltaNet がそれぞれ線形アテンションの問題の半分ずつを解決していて、しかも両者がちょうど補い合う関係にあることに気づきました。この論文は ICLR 2025 で発表されています。\n\n## 問題の定義\n\n### 線形アテンションは番号がぶつかる電話帳\n\nまず線形アテンションを再帰の形で書きます。softmax を取り除き、正規化と query/key の特徴写像も省略すると、トークンを一つ読むたびに、「キー–値」の組を一つ、行列の状態に書き込むことになります。\n\n$$\nS_t=S_{t-1}+v_t k_t^\\top,\\qquad o_t=S_t q_t\n$$\n\n検索するときは、$q_t$ を状態に掛けます。状態がゼロから始まり、すべてのキーが互いに直交し、長さがどれも1だとすれば、$q_t=k_i$ で検索したときに得られるのは $v_i$ です。\n\n問題は、$d_k$ 次元の空間には互いに直交する方向が最大でも $d_k$ 個しかないことです。系列長が $d_k$ を超えたとたん、キー同士は必ず干渉し合います。著者らはこれを**記憶の衝突**（memory collision）と呼びます。あるキーで検索すると、返ってくるのは複数の値が重なった結果です。\n\n### Mamba-2：まとめて割り引く\n\nMamba-2 のやり方は、データで決まる減衰を加えることです。\n\n$$\nS_t=\\alpha_t S_{t-1}+v_t k_t^\\top,\\qquad \\alpha_t\\in(0,1)\n$$\n\n古いものはだんだん薄れていくので、衝突はそれほどひどくなりません。\n\nただし、この減衰は**分け隔てなく**かかります。あるデータを忘れたいとき、ほかのすべてのデータも一緒に薄れてしまいます。\n\n### DeltaNet：その1件だけを直す\n\nDeltaNet は書き込み方を変えました。新しいキー–値を書き込む前に、まずそのキーで古い値を読み出し、それを新しい値に置き換えます。\n\n$$\nv^{\\text{old}}_t=S_{t-1}k_t,\\qquad\nv^{\\text{new}}_t=\\beta_t v_t+(1-\\beta_t)v^{\\text{old}}_t\n$$\n\n$$\nS_t=S_{t-1}-v^{\\text{old}}_t k_t^\\top+v^{\\text{new}}_t k_t^\\top\n=S_{t-1}\\big(I-\\beta_t k_t k_t^\\top\\big)+\\beta_t v_t k_t^\\top\n$$\n\n$\\beta_t$ は書き込みの強さです。キーの長さが1で $\\beta_t=1$ のとき、このキーで読み出した古い値は丸ごと新しい値に置き換わります。ほかのキーがまったく影響を受けないのは、このキーと直交している場合だけで、直交していなければ、その読み出し値も少し修正されます。\n\nこれは精密ですが、一度に1件しか直せません。文脈が切り替わり、大量の古い情報を一気に消す必要があるときには、DeltaNet は消しきれません。著者らは先行研究の観察を引いています。DeltaNet は合成の検索タスクでは強いのに、実際のタスクではごく平凡だ、と。\n\n## 問題の解決\n\n### 3つの書き方で計算してみる\n\nごく小さな例で、3つの更新方法を比べてみましょう。キーは3次元の単位ベクトル、値は1つの数です。3件を順に書き込みます。\n\n1. キー $k_1$、値 5\n2. キー $k_2$、値 7\n3. キー $k_1$、値を 9 に変更\n\n最後に $k_1$ を引けば9、$k_2$ を引けば7が返ってくるべきです。\n\n```python\nimport numpy as np\n\nk1, k2 = np.array([1.0, 0.0, 0.0]), np.array([0.0, 1.0, 0.0])\nevents = [(k1, 5.0), (k2, 7.0), (k1, 9.0)]     # キー k1 の値は後で 5 から 9 に変わる\n\ndef run(update):\n    S = np.zeros(3)                              # 値が 1 次元なので、状態は 1×3\n    for k, v in events:\n        S = update(S, k, v)\n    return S @ k1, S @ k2\n\nlinear = lambda S, k, v: S + v * k                              # 線形アテンション：そのまま足す\ndecay  = lambda S, k, v: 0.5 * S + v * k                        # Mamba-2：先に全体を割り引いてから書く\ndelta  = lambda S, k, v: S - (S @ k) * k + 1.0 * v * k          # delta rule（β=1）：古い値を消してから書く\nfor name, f in [(\"線形アテンション\", linear), (\"全体の減衰 α=0.5\", decay), (\"delta rule\", delta)]:\n    a, b = run(f)\n    print(f\"{name:<14} k1 の値 → {a:5.2f}（正解は 9）  k2 の値 → {b:5.2f}（正解は 7）\")\n```\n\n```text\n線形アテンション       k1 の値 → 14.00（正解は 9）  k2 の値 →  7.00（正解は 7）\n全体の減衰 α=0.5    k1 の値 → 10.25（正解は 9）  k2 の値 →  3.50（正解は 7）\ndelta rule     k1 の値 →  9.00（正解は 9）  k2 の値 →  7.00（正解は 7）\n```\n\n- **線形アテンション**は、$k_1$ に2回書き込んだ値を足し合わせてしまい、14が返ってきます。\n- **全体の減衰**は、古い5を少し薄めて10.25を返します。ところが $k_2$ まで3.5に割り引かれてしまいました。何も悪いことはしていないのに。\n- **delta rule** は $k_1$ の古い値を消してから9を書き込みます。$k_2$ はまったく影響を受けません。\n\nこの例のキーはちょうど直交していて、delta rule にとって最も都合のよい状況です。実際のモデルのキーはここまできれいではありませんが、方向性は同じです。delta rule は1件を精密に直すのが得意で、減衰は広い範囲をまとめて消すのが得意です。\n\n### 2つを組み合わせる\n\n著者らが提案する **gated delta rule** は、delta rule の前に減衰を掛けただけのものです。\n\n$$\nS_t=S_{t-1}\\Big(\\alpha_t\\big(I-\\beta_t k_t k_t^\\top\\big)\\Big)+\\beta_t v_t k_t^\\top\n$$\n\n2つのつまみが、それぞれ一つの役割を受け持ちます。\n\n- $\\alpha_t$ は、古い状態をどれだけ残すかを決めます。0に近づくと古い情報は消され、このステップで書き込んだ $\\beta_t v_t k_t^\\top$ だけが残るので、文脈の切り替えに向きます。1に近づくと、純粋な delta rule に戻ります。\n- $\\beta_t$ は、いまのキーに沿って修正する強さを決めます。\n\n著者らは、これらの規則を**オンライン学習**の観点からも説明しています。状態を更新するたびに、小さな最適化問題を解いているようなものだ、というのです。線形アテンションと Mamba-2 に対応する目的は、$S_t k_t$ と $v_t$ の内積を大きくしつつ、新しい状態が古い状態（または割り引いた古い状態）から離れすぎることにペナルティを科すものです。delta rule は、$S_t k_t$ と $v_t$ の二乗誤差を小さくすることに対応し、しかも勾配降下を1ステップだけ進めます。後者のほうが回帰に近く、保存したペア同士が混ざりにくくなります。\n\n\n> [!NOTE]\n> \n> 論文の脚注では、$\\beta_t$ を0から2の範囲にすると $I-\\beta_t k_t k_t^\\top$ が負の固有値を持ちうることにも触れています。これは、線形 RNN が「状態追跡」（たとえばパリティの判定）をできるかどうかに関わります。この論文ではその方向には進んでおらず、のちの Mamba-3 が別の角度からこの問題に取り組んでいます。\n\n\n### 並列に学習できるようにする\n\n再帰は書くのは簡単ですが、GPU で学習するには並列化できなければなりません。Mamba-2 のチャンク分割アルゴリズムはスカラーの減衰なら扱えますが、delta rule の遷移行列 $I-\\beta_t k_t k_t^\\top$ はステップごとに異なり、掛け合わせるのが厄介です。\n\n先行研究はすでに **WY 表現**（一連の Householder 型行列の積を低ランクの形に圧縮する技法）を使って、DeltaNet をチャンク単位で並列に計算できる形に書き換えていました。著者らはこのアルゴリズムに減衰の項も組み込み、「ブロック内は行列積、ブロック間は状態を受け渡す」という構造を保っています。\n\n### アーキテクチャとハイブリッド版\n\n[![3枚の図。左の Gated DeltaNet-H1：繰り返し単位は Gated DeltaNet と MLP、続いてスライディングウィンドウアテンション SWA と MLP からなり、N 回繰り返す。中央の Gated DeltaNet-H2：Mamba2 と MLP、Gated DeltaNet と MLP、SWA と MLP の順。右は Gated DeltaNet ブロック：q、k は線形射影、短い畳み込み、SiLU、L2 正規化を通り、v は線形射影、短い畳み込み、SiLU を通り、α と β は線形射影だけを通って、一緒に Gated Delta Rule に送られる。出力は正規化を経て別系統のゲートと掛け合わされ、最後に線形射影される](/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png)](/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png)\n\n*原論文 Figure 1。[**v3 PDF の7ページ**](https://arxiv.org/pdf/2412.06464v3#page=7)から抜粋、CC BY 4.0。*\n\nまず右のブロック設計から。全体の骨格は Llama を踏襲していて、token mixer と SwiGLU MLP を交互に積み重ね、自己アテンションを gated delta rule に置き換えただけです。\n\n- $q$、$k$、$v$ はどれも線形射影、短い畳み込み、SiLU を通ります。$q$、$k$ にはさらに L2 正規化をかけ、論文はその理由を学習の安定化としています。（本稿から一点補足すると、キーの長さが1に固定されていれば、$\\beta_t=1$ の $I-k_tk_t^\\top$ はちょうどその方向を丸ごと射影で取り除くので、「消す」ときにきれいに消せます。）\n- $\\alpha$、$\\beta$ は線形射影だけで作り、$\\alpha$ は Mamba-2 のパラメータ化を踏襲します。\n- 出力はまず正規化し、ゲートを掛けてから、最後に射影し直します。\n\n左と中央は、2つのハイブリッド版です。\n\n- **Gated DeltaNet-H1**：Gated DeltaNet とスライディングウィンドウアテンション（SWA）を交互に配置。\n- **Gated DeltaNet-H2**：Mamba2、Gated DeltaNet、SWA の3種類を順番に配置。\n\n著者らの理由はこうです。線形 Transformer は局所的なシフトや比較が苦手で、固定サイズの状態は検索も難しくする。そこで Griffin や Samba のやり方を借りて、ウィンドウ 2K の局所アテンションを加えた、と。\n\n## 考察\n\n### 実験設定\n\nすべてのモデルを同じ条件で学習しています。1.3B パラメータ、FineWeb-Edu からサンプリングした 100B トークン、Llama 2 のトークナイザー、学習長 4K です。比較対象は RetNet、HGRN2、Mamba、Mamba2、DeltaNet、Samba、Transformer++ です。\n\n### needle-in-a-haystack：3つの規則の分担\n\n設計の意図がいちばんよく見えるのは、RULER の単一 needle-in-a-haystack（S-NIAH）です。\n\n| モデル | S-NIAH-1 4K | S-NIAH-1 8K | S-NIAH-2 4K | S-NIAH-2 8K | S-NIAH-3 2K | S-NIAH-3 4K |\n| --- | ---: | ---: | ---: | ---: | ---: | ---: |\n| DeltaNet | 99.0 | 98.8 | 18.6 | 14.4 | 47.0 | 22.4 |\n| Mamba2 | 65.4 | 30.4 | 56.2 | 17.0 | 47.6 | 4.6 |\n| Gated DeltaNet | 91.4 | 91.8 | 92.2 | 29.6 | 84.2 | 27.6 |\n\n*表：原論文 Table 2 より抜粋。1.3B モデル。*\n\nこの表は、じっくり読む価値があります。3つのモデルの順位が、設定によって入れ替わるからです。\n\nまず S-NIAH-1。背景は同じ合成文の繰り返しで、モデルはパスキーを一つ覚えるだけです。DeltaNet は 4K でも 8K でもほぼ全問正解、Mamba2 は 8K で30.4まで落ち、Gated DeltaNet は91前後です。「一つのことを長く覚えておく」には、割り引き続ける減衰がかえって重荷になります。\n\nS-NIAH-2 では背景が実際の文章になり、順位がひっくり返ります。4K では Gated DeltaNet が92.2、Mamba2 が56.2、DeltaNet はわずか18.6です。今度は、どれも役に立ちそうに見える大量の内容の中で答えを残しておかなければならず、古い情報を消せない DeltaNet が真っ先に持ちこたえられなくなります。\n\nS-NIAH-3 では、答えが UUID のような長くて規則性のない文字列になります。4K では Mamba2 がわずか4.6、DeltaNet が22.4、Gated DeltaNet が27.6です。\n\n著者らは、これらの逆転を「記憶を消す」能力と「ペアを覚える」能力のトレードオフで説明しています。減衰が無関係な内容を消し、delta rule がペアを正確に覚える。両者を組み合わせた版は、たいていの設定で不利になりません。\n\n注意したいのは、これらのモデルは長さ 4K で学習しているので、8K の列は長さの外挿も同時に試しているという点です。8K の S-NIAH-2 では Gated DeltaNet も29.6まで落ち、検索にはまだはっきりした差が残っています。\n\n### 言語モデリングと実際の検索\n\n常識推論とパープレキシティ（Table 3）：純粋な再帰モデルの中では、Gated DeltaNet の8項目のゼロショット正解率の平均が55.32で、Mamba2 の54.89をわずかに上回り、Transformer++ の52.25よりも高くなっています。2つのハイブリッド版はさらに高い値です。（原表では H1 の平均が56.40と記されていますが、同じ行の8つの数字から計算し直すと約56.46で、原表自体に小さな食い違いがあります。）\n\n実際の検索タスク（Table 4、入力は 2K トークンで切り詰め）では、話が変わります。\n\n| モデル | 六項目の平均 |\n| --- | ---: |\n| Mamba2 | 29.8 |\n| DeltaNet | 26.2 |\n| Gated DeltaNet | 30.6 |\n| Transformer++ | 37.0 |\n| Gated DeltaNet-H1 | 39.0 |\n| Gated DeltaNet-H2 | 40.1 |\n\n*表：原論文 Table 4 より抜粋。項目は SWDE、SQuAD、FDA、TriviaQA、NQ、DROP。*\n\n純粋な再帰モデルの中では Gated DeltaNet が最もよいものの、Transformer++ とはまだ6ポイント以上の差があります。スライディングウィンドウアテンションを加えたハイブリッド版になって、ようやくアテンションのみのモデルを逆に上回ります。\n\n著者らはここでも率直です。実際の検索タスクでは、Gated DeltaNet の Mamba2 に対する優位は S-NIAH よりずっと小さいと認めています。これらの小さなモデルは指示チューニングをしていないので、もともと答える能力が限られているからだろう、と推測しています。\n\n### 速度\n\n学習のスループット（Figure 3：H100 1枚、1.3B モデル、1バッチ約 32K トークン）では、Gated DeltaNet は DeltaNet とほぼ同じで、Mamba2 より少し遅くなります。更新規則がより複雑なためで、著者らによれば差は毎秒2,000〜3,000トークンほどです。SWA を混ぜた版は、むしろ速くなります。\n\n## 結論\n\nこの論文の貢献は、短くまとめられます。\n\n1. **Mamba-2 の減衰と DeltaNet の delta rule は補い合う**。前者は広い範囲をまとめて忘れるのが得意で、後者は精密に直すのが得意です。\n2. **両者を合わせた gated delta rule は並列に学習できる**。1.3B、100B トークンの比較では、言語ベンチマークと実際の検索の平均がどちらも Mamba2 と DeltaNet を上回ります。長さの外挿はタスクによって異なり、S-NIAH-1 では依然として DeltaNet がリードしています。\n3. **純粋な再帰モデルの検索の差はまだ残る**。実際の検索タスクで Transformer を追い越すには、局所アテンションを戻す必要があります。\n\nこの論文は発表から1年もたたないうちに、学術的な比較から大規模モデルの中へ入っていきました。2025年9月、アリババの Qwen3-Next は48層で、4層ごとに Gated DeltaNet 3層と Gated Attention 1層を並べる構成を採用しました。[Qwen3-Next のモデルカード](https://huggingface.co/Qwen/Qwen3-Next-80B-A3B-Instruct) 同年10月には、Moonshot AI の Kimi Linear が、$\\alpha_t$ を1つのスカラーからチャネルごとのベクトルに変えています。\n\nMamba の選択性、Mamba-2 のスカラー減衰、そしてここでの「消してから書く」まで、名前は変わっても、「何を覚え、何を忘れるかをモデル自身に決めさせる」という系譜は途切れていません。\n\n\n> [!TIP]\n> \n> この論文の一歩前と一歩後は、こちらを参照してください。\n> \n> - **[[24.05] Mamba-2：アテンションの遠い親戚](/blog/papers/mamba/mamba-2)**\n> - **[[25.10] Kimi Linear：チャネルごとの忘却](/blog/papers/mamba/kimi-linear)**\n","imageSizes":{"/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png":{"width":1050,"height":544}}}