{"notes":[{"id":"mamba/gated-deltanet","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Gated DeltaNet","subtitle":"Effacer avant d'écrire","author":"Z. Yuan","paperDate":"2024-12-09","publishedOn":"2026-02-12","world":"external/gated-deltanet","paperTitle":"Gated Delta Networks: Improving Mamba2 with Delta Rule","paperUrl":"https://arxiv.org/abs/2412.06464","bibliography":{"title":"Gated Delta Networks: Improving Mamba2 with Delta Rule","authors":["Songlin Yang","Jan Kautz","Ali Hatamizadeh"],"url":"https://arxiv.org/abs/2412.06464","pdfUrl":"https://arxiv.org/pdf/2412.06464v3","codeUrl":"https://github.com/NVlabs/GatedDeltaNet","preprint":{"id":"2412.06464","submittedOn":"2024-12-09","url":"https://arxiv.org/abs/2412.06464"},"publication":{"venue":"ICLR","year":2025,"kind":"conference","url":"https://mlanthology.org/iclr/2025/yang2025iclr-gated/"},"citation":"@misc{mambagateddeltanet2024,\n  title = {{Gated Delta Networks: Improving Mamba2 with Delta Rule}},\n  author = {Songlin Yang and Jan Kautz and Ali Hatamizadeh},\n  year = {2024},\n  eprint = {2412.06464},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.06464}\n}\n","citationPath":"/content/papers/citations/mamba/gated-deltanet.b65d8f168c74.bib"},"thumbnail":{"src":"/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png","width":1050,"height":544},"locale":"fr","path":"/content/papers/fr/mamba/gated-deltanet.73e4e48ef739.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"lattention-linéaire-un-annuaire-où-les-numéros-se-télescopent","text":"L'attention linéaire, un annuaire où les numéros se télescopent","depth":3},{"id":"mamba-2-remise-générale","text":"Mamba-2 : remise générale","depth":3},{"id":"deltanet-ne-corriger-que-lentrée-visée","text":"DeltaNet : ne corriger que l'entrée visée","depth":3},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"trois-règles-un-même-calcul","text":"Trois règles, un même calcul","depth":3},{"id":"réunir-les-deux","text":"Réunir les deux","depth":3},{"id":"rendre-lentraînement-parallèle","text":"Rendre l'entraînement parallèle","depth":3},{"id":"architecture-et-versions-hybrides","text":"Architecture et versions hybrides","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"protocole-expérimental","text":"Protocole expérimental","depth":3},{"id":"laiguille-dans-la-botte-de-foin-trois-règles-trois-rôles","text":"L'aiguille dans la botte de foin : trois règles, trois rôles","depth":3},{"id":"modélisation-du-langage-et-récupération-réelle","text":"Modélisation du langage et récupération réelle","depth":3},{"id":"vitesse","text":"Vitesse","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/kimi-linear","relation":"referenced","topic":""}]},{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"Le cousin éloigné de l'attention","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"fr","path":"/content/papers/fr/mamba/mamba-2.a6a083d80633.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"écrire-le-ssm-comme-une-matrice","text":"Écrire le SSM comme une matrice","depth":3},{"id":"réduire-a-à-un-nombre","text":"Réduire A à un nombre","depth":3},{"id":"quatre-tokens-calculés-pas-à-pas","text":"Quatre tokens, calculés pas à pas","depth":3},{"id":"chaque-voie-fait-la-moitié-du-chemin","text":"Chaque voie fait la moitié du chemin","depth":3},{"id":"le-bloc-mamba-2","text":"Le bloc Mamba-2","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"plus-détat-plus-de-mémoire","text":"Plus d'état, plus de mémoire","depth":3},{"id":"modélisation-du-langage","text":"Modélisation du langage","depth":3},{"id":"les-auteurs-aussi-recommandent-lhybride","text":"Les auteurs aussi recommandent l'hybride","depth":3},{"id":"pas-une-amélioration-sur-tous-les-plans","text":"Pas une amélioration sur tous les plans","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]},{"id":"mamba/kimi-linear","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Kimi Linear","subtitle":"L'oubli canal par canal","author":"Z. Yuan","paperDate":"2025-10-30","publishedOn":"2026-08-06","world":"external/kimi-linear","paperTitle":"Kimi Linear: An Expressive, Efficient Attention Architecture","paperUrl":"https://arxiv.org/abs/2510.26692","bibliography":{"title":"Kimi Linear: An Expressive, Efficient Attention Architecture","authors":["Kimi Team","Yu Zhang","Zongyu Lin","Xingcheng Yao","Jiaxi Hu","Fanqing Meng","Chengyin Liu","Xin Men","Songlin Yang","Zhiyuan Li","Wentao Li","Enzhe Lu","Weizhou Liu","Yanru Chen","Weixin Xu","Longhui Yu","Yejie Wang","Yu Fan","Longguang Zhong","Enming Yuan","Dehao Zhang","Yizhi Zhang","T. Y. Liu","Haiming Wang","Shengjun Fang","Weiran He","Shaowei Liu","Yiwei Li","Jianlin Su","Jiezhong Qiu","Bo Pang","Junjie Yan","Zhejun Jiang","Weixiao Huang","Bohong Yin","Jiacheng You","Chu Wei","Zhengtao Wang","Chao Hong","Yutian Chen","Guanduo Chen","Yucheng Wang","Huabin Zheng","Feng Wang","Yibo Liu","Mengnan Dong","Zheng Zhang","Siyuan Pan","Wenhao Wu","Yuhao Wu","Longyu Guan","Jiawen Tao","Guohong Fu","Xinran Xu","Yuzhi Wang","Guokun Lai","Yuxin Wu","Xinyu Zhou","Zhilin Yang","Yulun Du"],"url":"https://arxiv.org/abs/2510.26692","pdfUrl":"https://arxiv.org/pdf/2510.26692v2","codeUrl":"https://github.com/MoonshotAI/Kimi-Linear","preprint":{"id":"2510.26692","submittedOn":"2025-10-30","url":"https://arxiv.org/abs/2510.26692"},"publication":null,"citation":"@misc{mambakimilinear2025,\n  title = {{Kimi Linear: An Expressive, Efficient Attention Architecture}},\n  author = {Kimi Team and Yu Zhang and Zongyu Lin and Xingcheng Yao and Jiaxi Hu and Fanqing Meng and Chengyin Liu and Xin Men and Songlin Yang and Zhiyuan Li and Wentao Li and Enzhe Lu and Weizhou Liu and Yanru Chen and Weixin Xu and Longhui Yu and Yejie Wang and Yu Fan and Longguang Zhong and Enming Yuan and Dehao Zhang and Yizhi Zhang and T. Y. Liu and Haiming Wang and Shengjun Fang and Weiran He and Shaowei Liu and Yiwei Li and Jianlin Su and Jiezhong Qiu and Bo Pang and Junjie Yan and Zhejun Jiang and Weixiao Huang and Bohong Yin and Jiacheng You and Chu Wei and Zhengtao Wang and Chao Hong and Yutian Chen and Guanduo Chen and Yucheng Wang and Huabin Zheng and Feng Wang and Yibo Liu and Mengnan Dong and Zheng Zhang and Siyuan Pan and Wenhao Wu and Yuhao Wu and Longyu Guan and Jiawen Tao and Guohong Fu and Xinran Xu and Yuzhi Wang and Guokun Lai and Yuxin Wu and Xinyu Zhou and Zhilin Yang and Yulun Du},\n  year = {2025},\n  eprint = {2510.26692},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2510.26692}\n}\n","citationPath":"/content/papers/citations/mamba/kimi-linear.38a5b561e63e.bib"},"thumbnail":{"src":"/content/papers/assets/2f970769c0aa4ffad72650699d1a2c3f9c71e6b262171a38ddf5b2e287a10124.png","width":1440,"height":960},"locale":"fr","path":"/content/papers/fr/mamba/kimi-linear.bd7a3067f5d6.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"kda-une-décroissance-propre-à-chaque-canal","text":"KDA : une décroissance propre à chaque canal","depth":3},{"id":"les-autres-pièces","text":"Les autres pièces","depth":3},{"id":"un-hybride-31-et-une-mla-sans-encodage-positionnel","text":"Un hybride 3:1, et une MLA sans encodage positionnel","depth":3},{"id":"calculer-le-cache-à-la-main","text":"Calculer le cache à la main","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"choisir-le-rapport","text":"Choisir le rapport","depth":3},{"id":"même-recette-14t-tokens","text":"Même recette, 1,4T tokens","depth":3},{"id":"vitesse","text":"Vitesse","depth":3},{"id":"comment-lire-ces-résultats","text":"Comment lire ces résultats","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/gated-deltanet","relation":"referenced","topic":""},{"id":"mamba/mamba-2","relation":"referenced","topic":""}]}],"text":"Le sous-titre annonce clairement la couleur : il s'agit d'améliorer Mamba-2, et l'outil choisi est la règle delta (*delta rule*).\n\nLa règle delta n'a rien de neuf. Elle remonte aux travaux de Widrow et de ses collègues en 1960 ; en 2021, Schlag et ses coauteurs l'ont introduite dans l'attention linéaire sous le nom de DeltaNet ; en 2024, d'autres chercheurs lui ont conçu un algorithme permettant de l'entraîner en parallèle sur GPU.\n\nLes auteurs sont Songlin Yang, du MIT CSAIL, ainsi que Jan Kautz et Ali Hatamizadeh, de NVIDIA. Ils observent que Mamba-2 et DeltaNet résolvent chacun une moitié des problèmes de l'attention linéaire, et que les deux approches se trouvent justement complémentaires. L'article a été publié à ICLR 2025.\n\n## Définition du problème\n\n### L'attention linéaire, un annuaire où les numéros se télescopent\n\nÉcrivons d'abord l'attention linéaire sous forme récurrente. Sans softmax, et en omettant la normalisation ainsi que la fonction de caractéristiques (*feature map*) appliquée aux requêtes et aux clés, chaque token lu inscrit une paire « clé–valeur » dans un état matriciel :\n\n$$\nS_t=S_{t-1}+v_t k_t^\\top,\\qquad o_t=S_t q_t\n$$\n\nPour interroger, on multiplie l'état par $q_t$. Si l'état part de zéro et que toutes les clés sont orthogonales deux à deux et de norme 1, la requête $q_t=k_i$ renvoie exactement $v_i$.\n\nLe problème, c'est qu'un espace de dimension $d_k$ n'offre au plus que $d_k$ directions orthogonales. Dès que la séquence dépasse $d_k$, les clés interfèrent forcément entre elles ; les auteurs parlent de **collision de mémoire** (*memory collision*) : on interroge une clé et l'on récupère plusieurs valeurs superposées.\n\n### Mamba-2 : remise générale\n\nMamba-2 ajoute une décroissance déterminée par les données :\n\n$$\nS_t=\\alpha_t S_{t-1}+v_t k_t^\\top,\\qquad \\alpha_t\\in(0,1)\n$$\n\nLes anciennes entrées s'estompent peu à peu, ce qui atténue les collisions.\n\nMais cette décroissance s'applique **à tout, sans distinction**. Pour oublier une entrée, on fait pâlir toutes les autres avec elle.\n\n### DeltaNet : ne corriger que l'entrée visée\n\nDeltaNet écrit autrement. Avant d'inscrire une nouvelle paire clé–valeur, il lit l'ancienne valeur avec cette clé, puis la remplace par la nouvelle :\n\n$$\nv^{\\text{old}}_t=S_{t-1}k_t,\\qquad\nv^{\\text{new}}_t=\\beta_t v_t+(1-\\beta_t)v^{\\text{old}}_t\n$$\n\n$$\nS_t=S_{t-1}-v^{\\text{old}}_t k_t^\\top+v^{\\text{new}}_t k_t^\\top\n=S_{t-1}\\big(I-\\beta_t k_t k_t^\\top\\big)+\\beta_t v_t k_t^\\top\n$$\n\n$\\beta_t$ est la force d'écriture. Avec une clé de norme 1 et $\\beta_t=1$, l'ancienne valeur lue avec cette clé est entièrement remplacée par la nouvelle. Les autres clés ne sont totalement épargnées que si elles lui sont orthogonales ; sinon, la valeur qu'elles lisent est elle aussi un peu corrigée.\n\nC'est précis, mais on ne corrige qu'une entrée à la fois. Lors d'un changement de contexte, quand il faudrait effacer d'un coup beaucoup d'informations anciennes, DeltaNet n'arrive pas à faire place nette. Les auteurs citent une observation antérieure : DeltaNet brille sur les tâches synthétiques de récupération d'information, mais reste moyen sur les tâches réelles.\n\n## Résolution du problème\n\n### Trois règles, un même calcul\n\nComparons les trois mises à jour sur un tout petit exemple. Les clés sont des vecteurs unitaires de dimension 3, les valeurs de simples nombres. On écrit trois entrées dans l'ordre :\n\n1. clé $k_1$, valeur 5\n2. clé $k_2$, valeur 7\n3. clé $k_1$, valeur changée en 9\n\nÀ la fin, interroger $k_1$ devrait donner 9, et interroger $k_2$ devrait donner 7 :\n\n```python\nimport numpy as np\n\nk1, k2 = np.array([1.0, 0.0, 0.0]), np.array([0.0, 1.0, 0.0])\nevents = [(k1, 5.0), (k2, 7.0), (k1, 9.0)]     # la valeur de la clé k1 passe ensuite de 5 à 9\n\ndef run(update):\n    S = np.zeros(3)                              # la valeur est de dimension 1, l'état est donc 1×3\n    for k, v in events:\n        S = update(S, k, v)\n    return S @ k1, S @ k2\n\nlinear = lambda S, k, v: S + v * k                              # attention linéaire : simple cumul\ndecay  = lambda S, k, v: 0.5 * S + v * k                        # Mamba-2 : décroissance globale, puis écriture\ndelta  = lambda S, k, v: S - (S @ k) * k + 1.0 * v * k          # règle delta (β=1) : effacer l'ancienne valeur, puis écrire\nfor name, f in [(\"Linéaire\", linear), (\"Global α=0.5\", decay), (\"Règle delta\", delta)]:\n    a, b = run(f)\n    print(f\"{name:<14} k1 → {a:5.2f} (attendu 9)  k2 → {b:5.2f} (attendu 7)\")\n```\n\n```text\nLinéaire       k1 → 14.00 (attendu 9)  k2 →  7.00 (attendu 7)\nGlobal α=0.5   k1 → 10.25 (attendu 9)  k2 →  3.50 (attendu 7)\nRègle delta    k1 →  9.00 (attendu 9)  k2 →  7.00 (attendu 7)\n```\n\n- **L'attention linéaire** additionne les deux valeurs écrites pour $k_1$ et renvoie 14.\n- **La décroissance globale** fait pâlir l'ancien 5 et renvoie 10,25 ; mais $k_2$ subit lui aussi la remise et tombe à 3,5, alors qu'il n'y était pour rien.\n- **La règle delta** efface d'abord l'ancienne valeur de $k_1$, puis écrit 9 ; $k_2$ n'est pas touché du tout.\n\nIci, les clés sont orthogonales : c'est le cas le plus confortable pour la règle delta. Dans un vrai modèle, les clés sont moins nettes, mais la tendance reste la même : la règle delta excelle à corriger précisément une entrée, la décroissance à faire le ménage à grande échelle.\n\n### Réunir les deux\n\nLa **règle delta à porte** (*gated delta rule*) proposée par les auteurs se contente de remettre la décroissance en facteur devant la règle delta :\n\n$$\nS_t=S_{t-1}\\Big(\\alpha_t\\big(I-\\beta_t k_t k_t^\\top\\big)\\Big)+\\beta_t v_t k_t^\\top\n$$\n\nChacun des deux boutons a son rôle :\n\n- $\\alpha_t$ règle la part de l'ancien état conservée. Quand il tend vers 0, l'information ancienne est effacée et il ne reste que l'écriture de ce pas, $\\beta_t v_t k_t^\\top$ : c'est ce qu'il faut lors d'un changement de contexte. Quand il tend vers 1, on retrouve la règle delta pure.\n- $\\beta_t$ règle la force de la correction le long de la clé courante.\n\nLes auteurs interprètent aussi ces règles sous l'angle de l'**apprentissage en ligne** : chaque mise à jour de l'état revient à résoudre un petit problème d'optimisation. Pour l'attention linéaire et Mamba-2, l'objectif consiste à augmenter le produit scalaire entre $S_t k_t$ et $v_t$ tout en pénalisant un nouvel état trop éloigné de l'ancien (ou de l'ancien après remise). La règle delta correspond, elle, à réduire l'erreur quadratique entre $S_t k_t$ et $v_t$, en un seul pas de descente de gradient. Cette dernière s'apparente davantage à une régression : les paires stockées ont moins tendance à se brouiller.\n\n\n> [!NOTE]\n> \n> Une note de bas de page ajoute que, si l'on autorise $\\beta_t$ entre 0 et 2, $I-\\beta_t k_t k_t^\\top$ peut avoir des valeurs propres négatives, ce qui touche à la capacité d'un RNN linéaire à faire du « suivi d'état » (par exemple déterminer une parité). L'article n'explore pas cette piste ; Mamba-3 abordera plus tard la question sous un autre angle.\n\n\n### Rendre l'entraînement parallèle\n\nLa récurrence s'écrit simplement, mais l'entraînement sur GPU exige du parallélisme. L'algorithme par blocs de Mamba-2 gère la décroissance scalaire ; avec la règle delta, la matrice de transition $I-\\beta_t k_t k_t^\\top$ change à chaque pas, et le produit de ces matrices successives est plus délicat à calculer.\n\nDes travaux antérieurs avaient déjà réécrit DeltaNet sous une forme parallèle par blocs grâce à la **représentation WY** (une technique qui condense le produit d'une suite de matrices de type Householder sous une forme de faible rang). Les auteurs intègrent le terme de décroissance à cet algorithme, en conservant la structure « multiplications matricielles à l'intérieur des blocs, transmission de l'état entre les blocs ».\n\n### Architecture et versions hybrides\n\n[![Trois schémas. À gauche, Gated DeltaNet-H1 : chaque unité répétée se compose de Gated DeltaNet plus MLP, puis d'une attention à fenêtre glissante SWA plus MLP, le tout répété N fois. Au centre, Gated DeltaNet-H2 : successivement Mamba2 plus MLP, Gated DeltaNet plus MLP, SWA plus MLP. À droite, le bloc Gated DeltaNet : q et k passent par une projection linéaire, une convolution courte, SiLU et une normalisation L2 ; v par une projection linéaire, une convolution courte et SiLU ; α et β par une simple projection linéaire ; tous entrent ensemble dans la Gated Delta Rule ; la sortie est normalisée, multipliée par une autre branche servant de porte, puis projetée linéairement](/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png)](/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png)\n\n*Figure 1 de l'article, extraite de la [**page 7 du PDF v3**](https://arxiv.org/pdf/2412.06464v3#page=7), CC BY 4.0.*\n\nCommençons par le bloc de droite. Le squelette général reprend celui de Llama : *token mixer* et MLP SwiGLU s'empilent en alternance, l'auto-attention étant simplement remplacée par la règle delta à porte.\n\n- $q$, $k$ et $v$ passent tous par une projection linéaire, une convolution courte et SiLU ; $q$ et $k$ subissent en plus une normalisation L2, qui stabilise l'entraînement selon l'article. (Ajoutons un point : avec une clé de norme fixée à 1 et $\\beta_t=1$, $I-k_tk_t^\\top$ supprime exactement la composante dans cette direction ; c'est ce qui permet d'« effacer » proprement.)\n- $\\alpha$ et $\\beta$ n'ont qu'une projection linéaire ; $\\alpha$ reprend la paramétrisation de Mamba-2.\n- La sortie est d'abord normalisée, puis multipliée par une porte, et enfin projetée.\n\nÀ gauche et au centre, deux versions hybrides :\n\n- **Gated DeltaNet-H1** : Gated DeltaNet et attention à fenêtre glissante (SWA) en alternance.\n- **Gated DeltaNet-H2** : Mamba2, Gated DeltaNet et SWA à tour de rôle.\n\nSelon les auteurs, les Transformers linéaires sont peu doués pour les décalages et les comparaisons locales, et l'état de taille fixe complique la récupération d'information ; ils empruntent donc à Griffin et Samba l'idée d'une attention locale à fenêtre de 2K.\n\n## Discussion\n\n### Protocole expérimental\n\nTous les modèles sont entraînés dans les mêmes conditions : 1,3B paramètres, 100B tokens échantillonnés dans FineWeb-Edu, tokenizer de Llama 2, longueur d'entraînement de 4K. Les modèles comparés sont RetNet, HGRN2, Mamba, Mamba2, DeltaNet, Samba et Transformer++.\n\n### L'aiguille dans la botte de foin : trois règles, trois rôles\n\nCe qui révèle le mieux l'intention de la conception, c'est le test de l'aiguille unique de RULER (S-NIAH) :\n\n| Modèle | S-NIAH-1 4K | S-NIAH-1 8K | S-NIAH-2 4K | S-NIAH-2 8K | S-NIAH-3 2K | S-NIAH-3 4K |\n| --- | ---: | ---: | ---: | ---: | ---: | ---: |\n| DeltaNet | 99,0 | 98,8 | 18,6 | 14,4 | 47,0 | 22,4 |\n| Mamba2 | 65,4 | 30,4 | 56,2 | 17,0 | 47,6 | 4,6 |\n| Gated DeltaNet | 91,4 | 91,8 | 92,2 | 29,6 | 84,2 | 27,6 |\n\n*Tableau : extrait de la Table 2 de l'article, modèles de 1,3B.*\n\nCe tableau mérite une lecture attentive, car le classement des trois modèles s'inverse selon le réglage.\n\nCommençons par S-NIAH-1 : le fond est fait de phrases synthétiques répétées en boucle, et le modèle n'a qu'un mot de passe à retenir. DeltaNet est presque parfait à 4K comme à 8K, Mamba2 tombe à 30,4 à 8K, et Gated DeltaNet se situe autour de 91. Pour « retenir une seule chose longtemps », une décroissance qui applique sa remise à chaque pas devient un handicap.\n\nAvec S-NIAH-2, le fond devient un vrai texte, et le classement s'inverse : à 4K, Gated DeltaNet obtient 92,2, Mamba2 56,2, et DeltaNet seulement 18,6. Il faut cette fois conserver la réponse au milieu d'une masse de contenus qui semblent tous potentiellement utiles ; DeltaNet, incapable de se débarrasser des informations anciennes, cède le premier.\n\nS-NIAH-3 remplace la réponse par une chaîne longue et sans régularité, de type UUID. À 4K, Mamba2 tombe à 4,6, DeltaNet obtient 22,4 et Gated DeltaNet 27,6.\n\nLes auteurs expliquent ces inversions par un arbitrage entre deux capacités, « faire le ménage dans la mémoire » et « retenir des associations » : la décroissance évacue le contenu non pertinent, la règle delta retient les associations avec précision, et la version qui combine les deux ne perd rien dans la plupart des réglages.\n\nNotons aussi que ces modèles sont entraînés sur une longueur de 4K : les colonnes 8K testent en même temps l'extrapolation en longueur. Sur S-NIAH-2 à 8K, Gated DeltaNet tombe lui aussi à 29,6 ; la récupération reste nettement en retrait.\n\n### Modélisation du langage et récupération réelle\n\nRaisonnement de bon sens et perplexité (Table 3) : parmi les modèles purement récurrents, Gated DeltaNet obtient une précision zéro-shot moyenne de 55,32 sur huit tâches, un peu au-dessus de Mamba2 (54,89) et au-dessus de Transformer++ (52,25). Les deux versions hybrides font encore mieux. (Le tableau original indique 56,40 de moyenne pour H1 ; recalculée à partir des huit valeurs de la même ligne, elle vaut environ 56,46 : le tableau contient une petite incohérence.)\n\nSur les tâches réelles de récupération (Table 4, entrées tronquées à 2K tokens), c'est une autre histoire :\n\n| Modèle | Moyenne sur six tâches |\n| --- | ---: |\n| Mamba2 | 29,8 |\n| DeltaNet | 26,2 |\n| Gated DeltaNet | 30,6 |\n| Transformer++ | 37,0 |\n| Gated DeltaNet-H1 | 39,0 |\n| Gated DeltaNet-H2 | 40,1 |\n\n*Tableau : extrait de la Table 4 de l'article. Les tâches sont SWDE, SQuAD, FDA, TriviaQA, NQ et DROP.*\n\nParmi les modèles purement récurrents, Gated DeltaNet est le meilleur, mais reste à plus de 6 points de Transformer++. Il faut les versions hybrides, avec attention à fenêtre glissante, pour passer devant l'attention pure.\n\nLes auteurs sont francs sur ce point : sur les tâches réelles de récupération, l'avance de Gated DeltaNet sur Mamba2 est bien plus faible que sur S-NIAH. Ils supposent que ces petits modèles, faute d'affinage sur instructions, ont une capacité à répondre limitée en soi.\n\n### Vitesse\n\nEn débit d'entraînement (Figure 3 : un seul H100, modèles de 1,3B, environ 32K tokens par lot), Gated DeltaNet est au niveau de DeltaNet et un peu plus lent que Mamba2, d'environ 2 000 à 3 000 tokens par seconde selon les auteurs, à cause d'une règle de mise à jour plus complexe. Les versions hybrides avec SWA sont au contraire plus rapides.\n\n## Conclusion\n\nLa contribution de cet article se résume en quelques mots :\n\n1. **La décroissance de Mamba-2 et la règle delta de DeltaNet sont complémentaires.** La première excelle à oublier à grande échelle, la seconde à corriger avec précision.\n2. **Leur combinaison, la règle delta à porte, s'entraîne en parallèle.** Dans la comparaison à 1,3B et 100B tokens, elle fait mieux que Mamba2 et DeltaNet en moyenne, tant sur les évaluations de langage que sur la récupération réelle ; l'extrapolation en longueur dépend de la tâche, et DeltaNet reste en tête sur S-NIAH-1.\n3. **L'écart de récupération des modèles purement récurrents persiste.** Sur les tâches réelles de récupération, il faut réintroduire une attention locale pour dépasser le Transformer.\n\nMoins d'un an après sa publication, cet article est passé des comparaisons académiques aux grands modèles. En septembre 2025, Qwen3-Next, d'Alibaba, adopte une disposition de 48 couches où, sur 4 couches, 3 sont des Gated DeltaNet et 1 une Gated Attention. [Fiche du modèle Qwen3-Next](https://huggingface.co/Qwen/Qwen3-Next-80B-A3B-Instruct) En octobre de la même année, Kimi Linear, de Moonshot AI, fait passer $\\alpha_t$ d'un scalaire à un vecteur par canal.\n\nDe la sélectivité de Mamba à la décroissance scalaire de Mamba-2, puis à l'« effacer avant d'écrire » de cet article, les noms ont changé, mais le fil conducteur, « laisser le modèle décider lui-même quoi retenir et quoi oublier », ne s'est jamais rompu.\n\n\n> [!TIP]\n> \n> L'étape précédente et l'étape suivante :\n> \n> - **[[24.05] Mamba-2 : le cousin éloigné de l'attention](/blog/papers/mamba/mamba-2)**\n> - **[[25.10] Kimi Linear : l'oubli canal par canal](/blog/papers/mamba/kimi-linear)**\n","imageSizes":{"/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png":{"width":1050,"height":544}}}