{"notes":[{"id":"mamba/kimi-linear","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Kimi Linear","subtitle":"L'oubli canal par canal","author":"Z. Yuan","paperDate":"2025-10-30","publishedOn":"2026-08-06","world":"external/kimi-linear","paperTitle":"Kimi Linear: An Expressive, Efficient Attention Architecture","paperUrl":"https://arxiv.org/abs/2510.26692","bibliography":{"title":"Kimi Linear: An Expressive, Efficient Attention Architecture","authors":["Kimi Team","Yu Zhang","Zongyu Lin","Xingcheng Yao","Jiaxi Hu","Fanqing Meng","Chengyin Liu","Xin Men","Songlin Yang","Zhiyuan Li","Wentao Li","Enzhe Lu","Weizhou Liu","Yanru Chen","Weixin Xu","Longhui Yu","Yejie Wang","Yu Fan","Longguang Zhong","Enming Yuan","Dehao Zhang","Yizhi Zhang","T. Y. Liu","Haiming Wang","Shengjun Fang","Weiran He","Shaowei Liu","Yiwei Li","Jianlin Su","Jiezhong Qiu","Bo Pang","Junjie Yan","Zhejun Jiang","Weixiao Huang","Bohong Yin","Jiacheng You","Chu Wei","Zhengtao Wang","Chao Hong","Yutian Chen","Guanduo Chen","Yucheng Wang","Huabin Zheng","Feng Wang","Yibo Liu","Mengnan Dong","Zheng Zhang","Siyuan Pan","Wenhao Wu","Yuhao Wu","Longyu Guan","Jiawen Tao","Guohong Fu","Xinran Xu","Yuzhi Wang","Guokun Lai","Yuxin Wu","Xinyu Zhou","Zhilin Yang","Yulun Du"],"url":"https://arxiv.org/abs/2510.26692","pdfUrl":"https://arxiv.org/pdf/2510.26692v2","codeUrl":"https://github.com/MoonshotAI/Kimi-Linear","preprint":{"id":"2510.26692","submittedOn":"2025-10-30","url":"https://arxiv.org/abs/2510.26692"},"publication":null,"citation":"@misc{mambakimilinear2025,\n  title = {{Kimi Linear: An Expressive, Efficient Attention Architecture}},\n  author = {Kimi Team and Yu Zhang and Zongyu Lin and Xingcheng Yao and Jiaxi Hu and Fanqing Meng and Chengyin Liu and Xin Men and Songlin Yang and Zhiyuan Li and Wentao Li and Enzhe Lu and Weizhou Liu and Yanru Chen and Weixin Xu and Longhui Yu and Yejie Wang and Yu Fan and Longguang Zhong and Enming Yuan and Dehao Zhang and Yizhi Zhang and T. Y. Liu and Haiming Wang and Shengjun Fang and Weiran He and Shaowei Liu and Yiwei Li and Jianlin Su and Jiezhong Qiu and Bo Pang and Junjie Yan and Zhejun Jiang and Weixiao Huang and Bohong Yin and Jiacheng You and Chu Wei and Zhengtao Wang and Chao Hong and Yutian Chen and Guanduo Chen and Yucheng Wang and Huabin Zheng and Feng Wang and Yibo Liu and Mengnan Dong and Zheng Zhang and Siyuan Pan and Wenhao Wu and Yuhao Wu and Longyu Guan and Jiawen Tao and Guohong Fu and Xinran Xu and Yuzhi Wang and Guokun Lai and Yuxin Wu and Xinyu Zhou and Zhilin Yang and Yulun Du},\n  year = {2025},\n  eprint = {2510.26692},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2510.26692}\n}\n","citationPath":"/content/papers/citations/mamba/kimi-linear.38a5b561e63e.bib"},"thumbnail":{"src":"/content/papers/assets/2f970769c0aa4ffad72650699d1a2c3f9c71e6b262171a38ddf5b2e287a10124.png","width":1440,"height":960},"locale":"fr","path":"/content/papers/fr/mamba/kimi-linear.bd7a3067f5d6.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"kda-une-décroissance-propre-à-chaque-canal","text":"KDA : une décroissance propre à chaque canal","depth":3},{"id":"les-autres-pièces","text":"Les autres pièces","depth":3},{"id":"un-hybride-31-et-une-mla-sans-encodage-positionnel","text":"Un hybride 3:1, et une MLA sans encodage positionnel","depth":3},{"id":"calculer-le-cache-à-la-main","text":"Calculer le cache à la main","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"choisir-le-rapport","text":"Choisir le rapport","depth":3},{"id":"même-recette-14t-tokens","text":"Même recette, 1,4T tokens","depth":3},{"id":"vitesse","text":"Vitesse","depth":3},{"id":"comment-lire-ces-résultats","text":"Comment lire ces résultats","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/gated-deltanet","relation":"referenced","topic":""},{"id":"mamba/mamba-2","relation":"referenced","topic":""}]},{"id":"mamba/gated-deltanet","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Gated DeltaNet","subtitle":"Effacer avant d'écrire","author":"Z. Yuan","paperDate":"2024-12-09","publishedOn":"2026-02-12","world":"external/gated-deltanet","paperTitle":"Gated Delta Networks: Improving Mamba2 with Delta Rule","paperUrl":"https://arxiv.org/abs/2412.06464","bibliography":{"title":"Gated Delta Networks: Improving Mamba2 with Delta Rule","authors":["Songlin Yang","Jan Kautz","Ali Hatamizadeh"],"url":"https://arxiv.org/abs/2412.06464","pdfUrl":"https://arxiv.org/pdf/2412.06464v3","codeUrl":"https://github.com/NVlabs/GatedDeltaNet","preprint":{"id":"2412.06464","submittedOn":"2024-12-09","url":"https://arxiv.org/abs/2412.06464"},"publication":{"venue":"ICLR","year":2025,"kind":"conference","url":"https://mlanthology.org/iclr/2025/yang2025iclr-gated/"},"citation":"@misc{mambagateddeltanet2024,\n  title = {{Gated Delta Networks: Improving Mamba2 with Delta Rule}},\n  author = {Songlin Yang and Jan Kautz and Ali Hatamizadeh},\n  year = {2024},\n  eprint = {2412.06464},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.06464}\n}\n","citationPath":"/content/papers/citations/mamba/gated-deltanet.b65d8f168c74.bib"},"thumbnail":{"src":"/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png","width":1050,"height":544},"locale":"fr","path":"/content/papers/fr/mamba/gated-deltanet.73e4e48ef739.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"lattention-linéaire-un-annuaire-où-les-numéros-se-télescopent","text":"L'attention linéaire, un annuaire où les numéros se télescopent","depth":3},{"id":"mamba-2-remise-générale","text":"Mamba-2 : remise générale","depth":3},{"id":"deltanet-ne-corriger-que-lentrée-visée","text":"DeltaNet : ne corriger que l'entrée visée","depth":3},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"trois-règles-un-même-calcul","text":"Trois règles, un même calcul","depth":3},{"id":"réunir-les-deux","text":"Réunir les deux","depth":3},{"id":"rendre-lentraînement-parallèle","text":"Rendre l'entraînement parallèle","depth":3},{"id":"architecture-et-versions-hybrides","text":"Architecture et versions hybrides","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"protocole-expérimental","text":"Protocole expérimental","depth":3},{"id":"laiguille-dans-la-botte-de-foin-trois-règles-trois-rôles","text":"L'aiguille dans la botte de foin : trois règles, trois rôles","depth":3},{"id":"modélisation-du-langage-et-récupération-réelle","text":"Modélisation du langage et récupération réelle","depth":3},{"id":"vitesse","text":"Vitesse","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/kimi-linear","relation":"referenced","topic":""}]},{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"Le cousin éloigné de l'attention","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"fr","path":"/content/papers/fr/mamba/mamba-2.a6a083d80633.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"écrire-le-ssm-comme-une-matrice","text":"Écrire le SSM comme une matrice","depth":3},{"id":"réduire-a-à-un-nombre","text":"Réduire A à un nombre","depth":3},{"id":"quatre-tokens-calculés-pas-à-pas","text":"Quatre tokens, calculés pas à pas","depth":3},{"id":"chaque-voie-fait-la-moitié-du-chemin","text":"Chaque voie fait la moitié du chemin","depth":3},{"id":"le-bloc-mamba-2","text":"Le bloc Mamba-2","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"plus-détat-plus-de-mémoire","text":"Plus d'état, plus de mémoire","depth":3},{"id":"modélisation-du-langage","text":"Modélisation du langage","depth":3},{"id":"les-auteurs-aussi-recommandent-lhybride","text":"Les auteurs aussi recommandent l'hybride","depth":3},{"id":"pas-une-amélioration-sur-tous-les-plans","text":"Pas une amélioration sur tous les plans","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]}],"text":"Le 29 octobre 2025, le responsable du préentraînement de MiniMax publie un billet expliquant pourquoi M2, le nouveau modèle de l'entreprise, est revenu à l'attention complète : les modèles intégrant de l'attention linéaire semblaient faire jeu égal dans les évaluations à petite échelle, mais une fois agrandis, ils laissaient voir leurs failles en raisonnement multi-sauts. [MiniMax, 2025-10-29](https://www.minimax.io/news/why-did-m2-end-up-as-a-full-attention-model)\n\nLe lendemain, Moonshot AI met en ligne ce rapport technique. La première phrase du résumé l'affirme : dans des comparaisons équitables, c'est la première architecture hybride d'attention linéaire à **surpasser** l'attention complète dans trois types de scénarios, contexte court, contexte long et apprentissage par renforcement.\n\nLa même semaine, deux équipes chinoises, chacune avec ses propres modèles et ses contraintes de produit, font des choix opposés.\n\nMoonshot AI développe l'assistant conversationnel Kimi ; Kimi K2, publié en juillet de la même année, est un MoE de 1T paramètres dont l'attention repose sur la MLA proposée par DeepSeek. Ce rapport, lui, entraîne un modèle de 48B paramètres au total, dont 3B actifs par token, pour tester une nouvelle conception de l'attention. Parmi les auteurs figure Songlin Yang, dont le nom figurait en tête de l'article Gated DeltaNet.\n\n## Définition du problème\n\nLe point de départ des auteurs, ce sont les agents et l'apprentissage par renforcement. À l'inférence, le modèle doit traiter de très longues trajectoires : historiques d'appels d'outils, réflexions et corrections successives, avec des sorties de plus en plus longues. Ce travail est dominé par le **décodage** : la taille du cache KV et le temps de génération par token déterminent directement le coût.\n\nAvec des couches linéaires, le problème du cache KV disparaît, mais un autre surgit : plus le journal des appels d'outils s'allonge, plus l'état de taille fixe doit compresser d'historique, et quand il faut ensuite retrouver un détail, celui-ci est souvent devenu flou. La porte de Mamba-2 et la règle delta de DeltaNet visent toutes deux à améliorer cette compression, mais les couches linéaires seules ne suffisent toujours pas ; l'industrie a donc commencé à intercaler parmi elles quelques couches d'attention complète.\n\nCet article aborde la question sous deux angles : d'une part, affiner encore la mise à jour de la mémoire des couches linéaires ; d'autre part, vérifier, à une échelle suffisante et avec une évaluation assez complète, si ce type d'hybride peut **égaler, voire dépasser**, l'attention complète en qualité, tout en réduisant réellement le coût d'inférence.\n\n## Résolution du problème\n\n### KDA : une décroissance propre à chaque canal\n\nLe module central s'appelle **KDA** (*Kimi Delta Attention*) ; il pousse Gated DeltaNet d'un cran. Voici d'abord la mise à jour de Gated DeltaNet :\n\n$$\nS_t=\\alpha_t\\big(I-\\beta_t k_t k_t^\\top\\big)S_{t-1}+\\beta_t k_t v_t^\\top\n$$\n\n(Nous suivons ici la notation du rapport Kimi Linear : l'état est de taille $d_k\\times d_v$, d'où la multiplication matricielle à gauche.)\n\n$\\alpha_t$ est un scalaire : toute la mémoire de la tête subit la même remise. KDA le remplace par une matrice diagonale :\n\n$$\nS_t=\\big(I-\\beta_t k_t k_t^\\top\\big)\\,\\text{Diag}(\\alpha_t)\\,S_{t-1}+\\beta_t k_t v_t^\\top,\\qquad \\alpha_t\\in[0,1]^{d_k}\n$$\n\nChaque ligne de l'état correspond à une direction de l'espace des clés, et chaque direction a désormais sa propre vitesse d'oubli. Certains canaux peuvent retenir longtemps, d'autres se vider très vite.\n\nPrenons un petit état à deux canaux pour fixer les idées :\n\n| État avant mise à jour | Décroissance scalaire $\\alpha=0.5$ | Décroissance par canal $\\alpha=(1.0,\\ 0.1)$ |\n| --- | --- | --- |\n| Canal 1 : 8 | 4 | 8 |\n| Canal 2 : 6 | 3 | 0,6 |\n\n*Tableau : illustration propre à cette note ; seule l'étape de la porte d'oubli $\\text{Diag}(\\alpha_t)S_{t-1}$ est calculée, avant la correction et l'écriture de la règle delta.*\n\nSupposons que le canal 1 contienne une information qui servira encore bien plus tard, et le canal 2 un contenu déjà périmé. La décroissance scalaire ne peut qu'appliquer aux deux la même remise de 50 % ; la version par canal garde le canal 1 intact et vide presque le canal 2.\n\nCe type de porte par canal existait déjà dans GLA (*Gated Linear Attention*). L'apport de KDA est de l'associer à la règle delta tout en préservant un entraînement parallèle efficace.\n\nLes auteurs écrivent la matrice de transition sous une forme particulière « diagonale plus rang faible » (DPLR) et lui conçoivent un algorithme par blocs dédié. Par rapport à la formulation DPLR générale, le calcul est sensiblement allégé et reste plus proche de la règle delta d'origine.\n\n### Les autres pièces\n\nLes entrées de chaque tête sont produites ainsi :\n\n- $q$, $k$ : projection linéaire, convolution courte, Swish, puis normalisation L2 pour garder des valeurs propres stables.\n- $v$ : projection linéaire, convolution courte, Swish.\n- $\\alpha$ : d'abord une projection de faible rang (de rang égal à la dimension de tête), puis une fonction de décroissance semblable à celle de GDN et de Mamba.\n- $\\beta$ : projection linéaire suivie d'une sigmoïde.\n\nLa sortie passe par un RMSNorm par tête, puis est multipliée par une porte sigmoïde dépendante des données, avant la projection finale. Selon les auteurs, cette porte de sortie aide aussi à atténuer le phénomène d'*attention sink*.\n\n### Un hybride 3:1, et une MLA sans encodage positionnel\n\nLe modèle reprend le squelette de Moonlight (un précédent MoE de Moonshot AI) : chaque bloc associe une couche de mélange de tokens et une couche feed-forward, toutes en MoE sauf la première, qui utilise une couche feed-forward dense classique. Côté mélange de tokens, 3 couches KDA alternent avec 1 couche MLA. Les auteurs choisissent d'alterner des couches entières plutôt que de mélanger différentes têtes au sein d'une même couche, pour une infrastructure plus simple et un entraînement plus stable.\n\nChoix remarquable : les couches MLA **n'utilisent aucun encodage positionnel** (NoPE). L'information de position et la préférence pour « plus c'est proche, plus c'est important » sont entièrement confiées aux couches KDA. Les auteurs considèrent que la décroissance de KDA constitue en soi un encodage positionnel déterminé par les données.\n\n### Calculer le cache à la main\n\nD'après le fichier de configuration de Kimi-Linear-48B-A3B sur Hugging Face, le modèle compte 27 couches, dont 20 KDA et 7 MLA (la dernière couche est aussi une MLA). Chaque couche MLA met en cache, pour chaque token, un vecteur compressé de 512 dimensions, plus une partie positionnelle de 64 dimensions :\n\n```python\nGiB, MiB = 2**30, 2**20\nmla_per_layer = 512 + 64                    # cache MLA par couche et par token : KV compressé (512) + partie positionnelle (64)\nfull = 27 * mla_per_layer * 2               # 27 couches toutes MLA, bf16\nhybrid = 7 * mla_per_layer * 2              # Kimi Linear : seulement 7 couches MLA\nprint(f\"Tout MLA : {full / 1024:.1f} KiB par token ; Kimi Linear : {hybrid / 1024:.1f} KiB (économie de {1 - hybrid / full:.0%})\")\nn = 2**20\nprint(f\"1M tokens : tout MLA {full * n / GiB:.1f} GiB ; Kimi Linear {hybrid * n / GiB:.1f} GiB\")\nkda_state = 20 * 32 * 128 * 128             # 20 couches KDA, 32 têtes par couche, état matriciel 128×128 par tête\nprint(f\"État des 20 couches KDA : {kda_state:,} valeurs, bf16 {kda_state * 2 / MiB:.0f} MiB (indépendant de la longueur)\")\n```\n\n```text\nTout MLA : 30.4 KiB par token ; Kimi Linear : 7.9 KiB (économie de 74%)\n1M tokens : tout MLA 30.4 GiB ; Kimi Linear 7.9 GiB\nÉtat des 20 couches KDA : 10,485,760 valeurs, bf16 20 MiB (indépendant de la longueur)\n```\n\nLa proportion économisée ne dépend que du « nombre de couches qui gardent un cache KV » : 7/27, c'est presque exactement un quart, d'où le « jusqu'à 75 % » d'économie annoncé par l'article. Nous supposons ici que chaque couche MLA des deux modèles met en cache les mêmes 576 valeurs, et nous ne comparons que la partie qui croît avec la longueur. Que la partie positionnelle de 64 dimensions prévue par la configuration soit réellement mise en cache sous NoPE, et quelle précision sert réellement à stocker l'état KDA, cela dépend de l'implémentation du moteur d'inférence ; si aucun des deux modèles ne stocke ces 64 dimensions, la proportion économisée reste la même.\n\nLa MLA compresse déjà fortement le KV : les valeurs absolues sont donc ici bien plus petites que pour les générations de modèles précédentes. Les 20 MiB d'état KDA, eux, ne dépendent pas de la longueur du contexte.\n\n## Discussion\n\n### Choisir le rapport\n\nLes auteurs balaient d'abord plusieurs rapports entre KDA et MLA avec le plus petit modèle de leurs expériences sur les lois d'échelle (16 couches, 16 têtes), chaque version recevant le même budget de calcul d'entraînement. Le jeu de validation est volontairement composé de textes de haute qualité dont la distribution diffère fortement de celle des données de préentraînement, afin d'évaluer la généralisation quand la distribution change.\n\n![Nuage de points : en abscisse, le rapport entre couches KDA et couches MLA, de gauche à droite 0:1 (MLA pure), 1:1, 3:1, 7:1 et 15:1 ; en ordonnée, la perplexité de validation, de 5,60 à 5,85. Les cinq points valent dans l'ordre 5,77, 5,66, 5,65, 5,70 et 5,82 : 3:1 est le plus bas, les deux extrémités les plus hautes.](/content/papers/assets/2f970769c0aa4ffad72650699d1a2c3f9c71e6b262171a38ddf5b2e287a10124.png)\n\n*Figure : redessinée pour cette note à partir des perplexités de validation de la Table 1 de l'article. L'article étant sous licence CC BY-NC-ND 4.0, la figure originale n'est pas reproduite ici.*\n\nLes chiffres complets, avec deux ablations de composants supplémentaires :\n\n| Configuration | Perplexité d'entraînement | Perplexité de validation |\n| --- | ---: | ---: |\n| **3:1** | **9,23** | **5,65** |\n| 0:1 (MLA pure) | 9,45 | 5,77 |\n| 1:1 | 9,29 | 5,66 |\n| 7:1 | 9,23 | 5,70 |\n| 15:1 | 9,34 | 5,82 |\n| 3:1, sans porte de sortie | 9,25 | 5,67 |\n| 3:1, sans couche de convolution | 9,29 | 5,70 |\n\n*Tableau : extrait de la Table 1 de l'article.*\n\nLe rapport 7:1 a la même perplexité d'entraînement que 3:1, mais une perplexité de validation nettement moins bonne ; 1:1 fait presque aussi bien, mais coûte plus cher à l'inférence. La MLA pure est elle aussi nettement en retrait. Dans un modèle de 16 couches, 15:1 revient à ne garder qu'une seule couche MLA : sa perplexité de validation est la pire des cinq rapports.\n\nComparé au 1:7 de Jamba et aux quelque 8 % d'attention de l'étude de NVIDIA, l'optimum penche ici vers davantage d'attention complète. Avec d'autres couches linéaires et d'autres méthodes d'évaluation, la réponse change.\n\n### Même recette, 1,4T tokens\n\nLa comparaison principale porte sur trois modèles : MLA pure, GDN-H (la version hybride où KDA est remplacé par Gated DeltaNet) et Kimi Linear. Tous trois utilisent les mêmes données et la même recette, sur 1,4T tokens. Quelques résultats :\n\n| Modèle de base | MLA | GDN-H | Kimi Linear |\n| --- | ---: | ---: | ---: |\n| MMLU | 71,6 | 72,2 | 73,8 |\n| MMLU-Pro | 47,2 | 47,9 | 51,0 |\n| BBH | 71,6 | 70,6 | 72,9 |\n| GSM8K | 83,7 | 81,7 | 83,9 |\n| EvalPlus | 59,5 | 63,1 | 60,2 |\n\n*Tableau : extrait de la Table 3 de l'article.*\n\nKimi Linear arrive en tête sur la plupart des benchmarks, avec des exceptions : il perd face à GDN-H sur EvalPlus et fait jeu égal avec MLA sur MATH. Après affinage sur instructions (Table 4), le tableau est à peu près le même, sans victoire sur LiveBench, MATH500 ni EvalPlus.\n\nÉvaluations sur textes longs des modèles préentraînés sur 1,4T tokens, avec un contexte de 128K (Table 5) :\n\n| Modèle | RULER | MRCR | LongBench V2 | Frames | Moyenne sur huit tâches |\n| --- | ---: | ---: | ---: | ---: | ---: |\n| MLA | 81,3 | 22,6 | 36,1 | 60,5 | 52,2 |\n| GDN-H | 80,5 | 23,9 | 32,6 | 58,7 | 51,2 |\n| Kimi Linear (RoPE) | 78,8 | 22,0 | 35,4 | 59,9 | 51,8 |\n| Kimi Linear | 84,3 | 29,6 | 35,0 | 58,8 | 54,5 |\n\n*Tableau : extrait de la Table 5 de l'article.*\n\nKimi Linear a la meilleure moyenne, avec une nette avance sur RULER et MRCR ; sur LongBench V2 et Frames, c'est la MLA pure qui fait mieux. Autre comparaison intéressante, Kimi Linear (RoPE), c'est-à-dire le même modèle avec un encodage positionnel réintroduit dans la MLA : sa moyenne en contexte long tombe au contraire à 51,8, ce qui conforte le choix de « confier la position à KDA ».\n\n### Vitesse\n\nLes comparaisons d'efficacité se font toutes dans la configuration 48B, avec le même nombre de couches et de têtes pour les trois modèles :\n\n- **Préremplissage** (*prefill*) : de 4K à 16K, Kimi Linear fait jeu égal avec MLA ; il devient nettement plus rapide à partir de 128K, 2,3 fois plus rapide à 512K et 2,9 fois à 1M. KDA et GDN-H vont presque à la même vitesse : la décroissance par canal n'ajoute pas de coût notable.\n- **Décodage** : avec un lot fixé à 1 (Figure 7b), Kimi Linear est environ 2,3 fois plus rapide sur un contexte de 1M. En ajoutant le gain lié aux lots plus grands que permet un cache KV réduit, les auteurs estiment le gain théorique maximal à environ 6,3 fois (Figure 1b : 1,84 ms contre 11,48 ms par token de sortie).\n\nLes expériences sur les lois d'échelle montrent, elles, qu'en entraînement à calcul optimal, Kimi Linear est environ 1,16 fois plus efficace en calcul que MLA. Les auteurs précisent aussi que les hyperparamètres de KDA n'ont pas été réglés aussi soigneusement que ceux de MLA.\n\n### Comment lire ces résultats\n\nLes conditions de comparaison de ce rapport sont plus rigoureuses que celles de bien des articles antérieurs sur les architectures hybrides : mêmes données, même recette, même échelle, ablations à l'appui. Quelques points restent toutefois à garder en tête :\n\n1. **Les références ont été entraînées par les auteurs eux-mêmes.** MLA et GDN-H sont des références entraînées avec la même recette, et non des modèles publics externes. Dans un commentaire publié le lendemain du rapport, Benjamin Marie relève l'absence d'une référence à attention complète bien réglée, et note que de nombreux scores sont inférieurs à ceux de Qwen3-8B, voire de Qwen3-4B ; selon lui, « mieux que l'attention complète » signifie ici mieux que les quelques configurations essayées par les auteurs. [The Kaitchup, 2025-10-31](https://kaitchup.substack.com/p/minimax-m2-and-kimi-linear-why-full)\n2. **L'échelle est de 48B paramètres au total, dont 3B actifs, sur 1,4T tokens.** Les problèmes décrits par MiniMax ne sont apparus qu'à plus grande échelle, sur des raisonnements multi-sauts plus complexes ; ce rapport ne répond pas à la question pour cette échelle-là.\n3. **Les marges de victoire varient.** En contexte court, les écarts sont le plus souvent de 1 à 4 points ; en contexte long, victoires et défaites alternent.\n\nSur Hacker News, quelqu'un demande ce qu'est une « architecture hybride d'attention linéaire » ; la réponse, juste en dessous, est on ne peut plus concise : un quart des couches sont de l'attention quadratique classique. [Hacker News, 2025-10-31](https://news.ycombinator.com/item?id=45766937)\n\n## Conclusion\n\nL'apport de Kimi Linear se situe à trois niveaux :\n\n1. **KDA** : la décroissance scalaire de Gated DeltaNet est affinée canal par canal, avec un algorithme par blocs adapté, pour une vitesse proche de celle de GDN.\n2. **Un hybride 3:1 au niveau des couches, avec une MLA en NoPE** : l'information de position est entièrement confiée à KDA, et le cache KV diminue d'environ trois quarts.\n3. **Dans des comparaisons équitables contrôlées par les auteurs**, le modèle de 48B surpasse MLA pure sur la plupart des évaluations en contexte court, en contexte long et en apprentissage par renforcement ; en décodage sur un contexte de 1M, il est environ 2,3 fois plus rapide avec un lot de 1, et jusqu'à environ 6,3 fois en valeur théorique si l'on tient compte de lots plus grands.\n\nÀ la publication du rapport, la question « l'attention linéaire peut-elle remplacer la plupart des couches d'attention complète dans les grands modèles ? » n'était pas tranchée ; la même semaine, MiniMax choisissait l'attention complète pour son M2. Neuf mois plus tard, le modèle phare de Moonshot AI, Kimi K3, conserve l'hybride KDA-MLA : 2,8T paramètres et 69 couches KDA sur 93. [Fiche du modèle Kimi K3](https://huggingface.co/moonshotai/Kimi-K3) Moonshot AI a donc étendu KDA à un modèle plus grand ; l'écart avec l'attention complète à cette échelle reste à mesurer par des évaluations adaptées.\n\n\n> [!TIP]\n> \n> Pour le prédécesseur de KDA, et pour la décroissance et la règle delta dont il hérite :\n> \n> - **[[24.12] Gated DeltaNet : effacer avant d'écrire](/blog/papers/mamba/gated-deltanet)**\n> - **[[24.05] Mamba-2 : le cousin éloigné de l'attention](/blog/papers/mamba/mamba-2)**\n","imageSizes":{"/content/papers/assets/2f970769c0aa4ffad72650699d1a2c3f9c71e6b262171a38ddf5b2e287a10124.png":{"width":1440,"height":960}}}