{"notes":[{"id":"mamba/mamba-3","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-3","subtitle":"L'inférence d'abord","author":"Z. Yuan","paperDate":"2026-03-16","publishedOn":"2026-04-02","world":"external/mamba3","paperTitle":"Mamba-3: Improved Sequence Modeling using State Space Principles","paperUrl":"https://arxiv.org/abs/2603.15569","bibliography":{"title":"Mamba-3: Improved Sequence Modeling using State Space Principles","authors":["Aakash Lahoti","Kevin Y. Li","Berlin Chen","Caitlin Wang","Aviv Bick","J. Zico Kolter","Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2603.15569","pdfUrl":"https://arxiv.org/pdf/2603.15569v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2603.15569","submittedOn":"2026-03-16","url":"https://arxiv.org/abs/2603.15569"},"publication":{"venue":"ICLR","year":2026,"kind":"conference","url":"https://mlanthology.org/iclr/2026/lahoti2026iclr-mamba3/"},"citation":"@misc{mambamamba32026,\n  title = {{Mamba-3: Improved Sequence Modeling using State Space Principles}},\n  author = {Aakash Lahoti and Kevin Y. Li and Berlin Chen and Caitlin Wang and Aviv Bick and J. Zico Kolter and Tri Dao and Albert Gu},\n  year = {2026},\n  eprint = {2603.15569},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2603.15569}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-3.7f42c2a217f2.bib"},"thumbnail":{"src":"/content/papers/assets/bafe70ab05ff3f4100278e18abb0198af0081a8802873a746e8df5fef028e047.png","width":1356,"height":644},"locale":"fr","path":"/content/papers/fr/mamba/mamba-3.6217568b11be.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"premier-levier-une-discrétisation-plus-expressive","text":"Premier levier : une discrétisation plus expressive","depth":3},{"id":"deuxième-levier-un-état-complexe-qui-tourne","text":"Deuxième levier : un état complexe qui tourne","depth":3},{"id":"troisième-levier-mimo-pour-occuper-le-gpu-au-décodage","text":"Troisième levier : MIMO, pour occuper le GPU au décodage","depth":3},{"id":"architecture","text":"Architecture","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"modélisation-du-langage","text":"Modélisation du langage","depth":3},{"id":"récupération-le-modèle-pur-ne-suffit-toujours-pas","text":"Récupération : le modèle pur ne suffit toujours pas","depth":3},{"id":"vitesse-bien-lire-les-conditions-de-comparaison","text":"Vitesse : bien lire les conditions de comparaison","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]},{"id":"mamba/mamba","category":"mamba","legacyPath":"mamba/2312-mamba","legacySlug":"2312-mamba","legacyPaths":[],"title":"Mamba","subtitle":"Qui prendra la relève ?","author":"Z. Yuan","paperDate":"2023-12-01","publishedOn":"2024-12-25","paperTitle":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","paperUrl":"https://arxiv.org/abs/2312.00752","bibliography":{"title":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","authors":["Albert Gu","Tri Dao"],"url":"https://arxiv.org/abs/2312.00752","pdfUrl":"https://arxiv.org/pdf/2312.00752","codeUrl":null,"preprint":{"id":"2312.00752","submittedOn":"2023-12-01","url":"https://arxiv.org/abs/2312.00752"},"publication":null,"citation":"@misc{mambamamba2023,\n  title = {{Mamba: Linear-Time Sequence Modeling with Selective State Spaces}},\n  author = {Albert Gu and Tri Dao},\n  year = {2023},\n  eprint = {2312.00752},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2312.00752}\n}\n","citationPath":"/content/papers/citations/mamba/mamba.5671f143cfd6.bib"},"thumbnail":{"src":"/content/papers/assets/8f6187d5a2a7a17c0687f2ca08ea302601584bb95f5cd5f52927c54d6e76089a.jpg","width":1224,"height":500},"locale":"fr","path":"/content/papers/fr/mamba/mamba.a4779c10efa6.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"mécanisme-de-sélection","text":"Mécanisme de sélection","depth":3},{"id":"architecture-s6","text":"Architecture S6","depth":3},{"id":"architecture-mamba","text":"Architecture Mamba","depth":3},{"id":"retour-sur-la-sélection","text":"Retour sur la sélection","depth":3},{"id":"méthodes-et-protocole-dentraînement","text":"Méthodes et protocole d'entraînement","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"lois-de-mise-à-léchelle","text":"Lois de mise à l'échelle","depth":3},{"id":"comparaison-avec-dautres-modèles-de-langage","text":"Comparaison avec d'autres modèles de langage","depth":3},{"id":"comparaison-de-lefficacité-en-inférence","text":"Comparaison de l'efficacité en inférence","depth":3},{"id":"ablation--mécanisme-de-sélection","text":"Ablation : mécanisme de sélection","depth":3},{"id":"ablation--paramètres-décisifs","text":"Ablation : paramètres décisifs","depth":3},{"id":"ablation--autres-réglages","text":"Ablation : autres réglages","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/s4","relation":"background","topic":"De la mémoire d’état aux séquences visuelles"},{"id":"mamba/vim","relation":"next","topic":"De la mémoire d’état aux séquences visuelles"}]},{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"Le cousin éloigné de l'attention","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"fr","path":"/content/papers/fr/mamba/mamba-2.a6a083d80633.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"écrire-le-ssm-comme-une-matrice","text":"Écrire le SSM comme une matrice","depth":3},{"id":"réduire-a-à-un-nombre","text":"Réduire A à un nombre","depth":3},{"id":"quatre-tokens-calculés-pas-à-pas","text":"Quatre tokens, calculés pas à pas","depth":3},{"id":"chaque-voie-fait-la-moitié-du-chemin","text":"Chaque voie fait la moitié du chemin","depth":3},{"id":"le-bloc-mamba-2","text":"Le bloc Mamba-2","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"plus-détat-plus-de-mémoire","text":"Plus d'état, plus de mémoire","depth":3},{"id":"modélisation-du-langage","text":"Modélisation du langage","depth":3},{"id":"les-auteurs-aussi-recommandent-lhybride","text":"Les auteurs aussi recommandent l'hybride","depth":3},{"id":"pas-une-amélioration-sur-tous-les-plans","text":"Pas une amélioration sur tous les plans","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]},{"id":"mamba/gated-deltanet","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Gated DeltaNet","subtitle":"Effacer avant d'écrire","author":"Z. Yuan","paperDate":"2024-12-09","publishedOn":"2026-02-12","world":"external/gated-deltanet","paperTitle":"Gated Delta Networks: Improving Mamba2 with Delta Rule","paperUrl":"https://arxiv.org/abs/2412.06464","bibliography":{"title":"Gated Delta Networks: Improving Mamba2 with Delta Rule","authors":["Songlin Yang","Jan Kautz","Ali Hatamizadeh"],"url":"https://arxiv.org/abs/2412.06464","pdfUrl":"https://arxiv.org/pdf/2412.06464v3","codeUrl":"https://github.com/NVlabs/GatedDeltaNet","preprint":{"id":"2412.06464","submittedOn":"2024-12-09","url":"https://arxiv.org/abs/2412.06464"},"publication":{"venue":"ICLR","year":2025,"kind":"conference","url":"https://mlanthology.org/iclr/2025/yang2025iclr-gated/"},"citation":"@misc{mambagateddeltanet2024,\n  title = {{Gated Delta Networks: Improving Mamba2 with Delta Rule}},\n  author = {Songlin Yang and Jan Kautz and Ali Hatamizadeh},\n  year = {2024},\n  eprint = {2412.06464},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.06464}\n}\n","citationPath":"/content/papers/citations/mamba/gated-deltanet.b65d8f168c74.bib"},"thumbnail":{"src":"/content/papers/assets/ffdf63101911e19f771ec701520a03d60259e0007937a0626ccebb8bc77c0f15.png","width":1050,"height":544},"locale":"fr","path":"/content/papers/fr/mamba/gated-deltanet.73e4e48ef739.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"lattention-linéaire-un-annuaire-où-les-numéros-se-télescopent","text":"L'attention linéaire, un annuaire où les numéros se télescopent","depth":3},{"id":"mamba-2-remise-générale","text":"Mamba-2 : remise générale","depth":3},{"id":"deltanet-ne-corriger-que-lentrée-visée","text":"DeltaNet : ne corriger que l'entrée visée","depth":3},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"trois-règles-un-même-calcul","text":"Trois règles, un même calcul","depth":3},{"id":"réunir-les-deux","text":"Réunir les deux","depth":3},{"id":"rendre-lentraînement-parallèle","text":"Rendre l'entraînement parallèle","depth":3},{"id":"architecture-et-versions-hybrides","text":"Architecture et versions hybrides","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"protocole-expérimental","text":"Protocole expérimental","depth":3},{"id":"laiguille-dans-la-botte-de-foin-trois-règles-trois-rôles","text":"L'aiguille dans la botte de foin : trois règles, trois rôles","depth":3},{"id":"modélisation-du-langage-et-récupération-réelle","text":"Modélisation du langage et récupération réelle","depth":3},{"id":"vitesse","text":"Vitesse","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba-2","relation":"referenced","topic":""},{"id":"mamba/kimi-linear","relation":"referenced","topic":""}]}],"text":"Plus de deux ans après la première version de Mamba, Mamba-3 est publié à ICLR 2026.\n\nL'équipe d'auteurs s'est renouvelée, mais l'encadrement reste assuré par Albert Gu et Tri Dao. Les affiliations sont Carnegie Mellon, Princeton, Together AI et Cartesia AI : Tri Dao est rattaché à Princeton et à Together AI, Albert Gu à Carnegie Mellon et à Cartesia AI.\n\nDès l'introduction, le ton tranche avec celui de 2023. Mamba se demandait alors s'il pouvait devenir « le backbone de modèles de séquence généralistes » ; le premier paragraphe de cet article parle du coût de l'inférence : chaînes de pensée et workflows d'agents ont fait du calcul à l'inférence un facteur clé des performances. Puis les auteurs décrivent sans détour la situation : des couches comme Mamba-2 et Gated DeltaNet ont déjà été intégrées dans de grands modèles **hybrides** chez Kimi, NVIDIA, Tencent Hunyuan et Qwen.\n\nL'objectif de cet article est donc de fournir à ces modèles hybrides une meilleure couche linéaire.\n\n## Définition du problème\n\nLes auteurs énumèrent trois problèmes :\n\n1. **Mamba-2 a sacrifié de l'expressivité à la vitesse d'entraînement.** À coût d'inférence égal, les modèles Mamba-2 sont moins bons. Tri Dao l'avait déjà signalé sur son blog en 2024.\n2. **Le suivi d'état est hors de portée.** Prenez une suite de 0 et de 1, et demandez si le nombre de 1 est pair ou impair : un LSTM à une seule couche y arrive, Mamba-2 non. Des travaux antérieurs ont montré que la cause tient aux valeurs propres de la transition d'état, limitées à des réels non négatifs.\n3. **Au décodage, le matériel se tourne les pouces.** Ces algorithmes ont été conçus du point de vue de l'entraînement. Au décodage, chaque pas ne traite qu'un token : le calcul est minime, mais il faut lire tout l'état en mémoire puis l'y réécrire. Le GPU passe l'essentiel de son temps à attendre les données, et l'intensité arithmétique (calcul divisé par trafic mémoire) est très faible.\n\nAdoptant un point de vue « inférence d'abord », les auteurs reviennent aux principes des modèles à espace d'état pour apporter une solution à chacun.\n\n## Résolution du problème\n\n### Premier levier : une discrétisation plus expressive\n\nUn modèle à espace d'état est à l'origine un système en temps continu ; pour traiter des tokens un par un, il faut d'abord le discrétiser. Les auteurs commencent par relever un point : les articles Mamba-1 et Mamba-2 présentent une formule, mais le code utilise en pratique une autre approximation. Ils donnent à cette approximation la justification qui lui manquait et la baptisent **exponential-Euler** :\n\n$$\nh_t=e^{\\Delta_t A_t}h_{t-1}+\\Delta_t B_t x_t\n$$\n\nElle n'utilise que l'entrée à l'extrémité droite de l'intervalle : c'est une approximation du premier ordre. Mamba-3 passe à une généralisation de la méthode des trapèzes, qui regarde les deux extrémités de l'intervalle :\n\n$$\nh_t=\\alpha_t h_{t-1}+\\beta_t B_{t-1}x_{t-1}+\\gamma_t B_t x_t\n$$\n\navec $\\alpha_t=e^{\\Delta_t A_t}$, $\\beta_t=(1-\\lambda_t)\\Delta_t e^{\\Delta_t A_t}$, $\\gamma_t=\\lambda_t\\Delta_t$, et $\\lambda_t\\in[0,1]$ déterminé par les données. Avec $\\lambda_t=1$, on retombe sur Mamba-2 ; avec $\\lambda_t=\\tfrac12$, on prend la moyenne des deux extrémités pour l'intégrale de l'entrée (pondérée par la décroissance exponentielle), à la manière de la méthode des trapèzes. Atteindre un ordre d'erreur plus élevé exigerait en outre des conditions comme un $\\lambda_t$ proche de $\\tfrac12$ ; le modèle réel laisse $\\lambda_t$ s'apprendre librement, surtout pour enrichir l'expressivité de la récurrence.\n\nCette formule ajoute un terme portant sur l'entrée du token précédent, ce qui revient à appliquer d'abord une convolution de largeur 2 à l'entrée du SSM. Les auteurs constatent qu'en ajoutant aussi des biais apprenables sur $B$ et $C$, on peut supprimer la convolution courte que presque tous les modèles linéaires incluent :\n\n| Variante (440M) | Perplexité |\n| --- | ---: |\n| Mamba-3 sans biais ni trapèzes | 16,68 |\n| Mamba-3 sans biais | 16,49 |\n| Mamba-3 | 15,72 |\n| Mamba-3 avec la convolution courte réintroduite | 15,85 |\n\n*Tableau : Table 5a de l'article.*\n\n### Deuxième levier : un état complexe qui tourne\n\nRevenons au problème de parité. Si l'état peut « tourner », tout devient simple : à chaque 1, on fait un demi-tour ; à chaque 0, on ne bouge pas ; à la fin, on regarde de quel côté on s'est arrêté.\n\n```python\nimport numpy as np\nrng = np.random.default_rng(0)\nbits = rng.integers(0, 2, size=1000)\n\ndef rot(theta):\n    c, s = np.cos(theta), np.sin(theta)\n    return np.array([[c, -s], [s, c]])\n\nh = np.array([1.0, 0.0])\nfor x in bits:\n    h = rot(np.pi * x) @ h          # un 1 : demi-tour ; un 0 : on ne bouge pas\nprint(\"État en rotation :\", np.round(h, 6), \"→ parité\", 0 if h[0] > 0 else 1)\nprint(\"Calcul direct :\", bits.sum() % 2)\n\n# Décroissance réelle et non négative : on multiplie à chaque pas par un nombre entre 0 et 1 ; l'état ne peut que rétrécir, jamais changer de signe\nh = 1.0\nfor x in bits[:20]:\n    h = (0.5 if x else 0.9) * h\nprint(\"Décroissance non négative, après 20 pas :\", round(h, 6))\n```\n\n```text\nÉtat en rotation : [-1.  0.] → parité 1\nCalcul direct : 1\nDécroissance non négative, après 20 pas : 3.2e-05\n```\n\nAprès mille bits, l'état en rotation s'arrête exactement sur la réponse. À l'inverse, une décroissance scalaire non négative comme celle de Mamba-2 ne peut multiplier, à chaque pas, que par un nombre entre 0 et 1 : l'état ne fait que rétrécir, sans jamais basculer de l'autre côté.\n\n(Le dernier bloc n'est qu'une illustration. Le théorème établi par des travaux antérieurs couvre un cas plus général : dès que toutes les valeurs propres de la matrice de transition sont des réels non négatifs, un tel RNN linéaire ne peut pas, en précision finie, résoudre la parité pour des longueurs arbitraires.)\n\nEn nombres complexes, une rotation revient à multiplier par $e^{i\\theta}$. Les auteurs passent le SSM de Mamba-3 sous forme complexe, puis démontrent deux choses :\n\n1. Un SSM complexe peut se réécrire comme un SSM réel de dimension double, dont la matrice de transition est le coefficient de décroissance multiplié par une matrice bloc-diagonale de rotations 2×2.\n2. Absorber dans $B$ et $C$ la rotation cumulée jusqu'au pas courant équivaut à appliquer un **encodage positionnel rotatif dépendant des données** (RoPE).\n\nLe second point est très pratique. Le RoPE dispose déjà, dans les Transformers, d'implémentations très mûres et peu coûteuses, que Mamba-3 peut reprendre telles quelles pour un surcoût minime. La différence : un RoPE classique tourne d'un angle fixe à chaque position, alors que chez Mamba-3, l'angle dépend de l'entrée.\n\nRésultats sur les tâches de langages formels (précision normalisée, en %) :\n\n| Modèle | Parité | Arithmétique modulaire (sans parenthèses) | Arithmétique modulaire (avec parenthèses) |\n| --- | ---: | ---: | ---: |\n| Mamba-3 | 100,00 | 98,51 | 87,75 |\n| Mamba-3 (avec un RoPE classique) | 1,56 | 20,70 | 2,62 |\n| Mamba-3 (sans RoPE) | 2,27 | 1,49 | 0,72 |\n| Mamba-2 | 0,90 | 47,81 | 0,88 |\n| GDN (valeurs propres dans [−1, 1]) | 100,00 | 99,25 | 93,50 |\n\n*Tableau : Table 5b de l'article.*\n\nCes tests entraînent sur des séquences courtes et évaluent sur des séquences plus longues. Parmi les variantes de Mamba-3, seule celle dont l'angle dépend des données réussit les trois tâches ; le RoPE à angle fixe et l'absence de RoPE restent le plus souvent proches de zéro, seule la version à angle fixe atteignant 20,70 en arithmétique modulaire sans parenthèses. (Il s'agit de précision normalisée : 0 correspond à peu près au hasard.) Mamba-2 réussit en partie l'arithmétique modulaire sans parenthèses (47,81), mais reste proche de zéro sur la parité et sur l'arithmétique modulaire avec parenthèses.\n\nLa dernière ligne du tableau mérite aussi un regard : Gated DeltaNet, quand on l'autorise à avoir des valeurs propres négatives, résout lui aussi ces tâches, et fait même mieux en arithmétique modulaire avec parenthèses. Les nombres complexes ne sont pas la seule voie vers le suivi d'état : les valeurs propres négatives offrent une autre façon de basculer.\n\n### Troisième levier : MIMO, pour occuper le GPU au décodage\n\nLe SSM d'origine effectue à chaque pas une mise à jour **mono-entrée mono-sortie** (SISO) : un produit extérieur entre l'entrée et $B$, qui ajoute une matrice de rang 1 à l'état. Au décodage, chaque pas doit lire et écrire tout l'état, pour un calcul minuscule.\n\nMamba-3 la remplace par une mise à jour **multi-entrées multi-sorties** (MIMO) : l'entrée et $B$ se démultiplient chacun en $R$ branches, chaque pas écrit une mise à jour de rang au plus $R$, et la lecture utilise aussi $R$ jeux de $C$, sans changer la taille de l'état. Quand $R$ est très inférieur à la dimension d'état et à la dimension de tête, le calcul de l'opération principale du SSM croît à peu près avec $R$, tandis que le trafic mémoire reste dominé par l'état de taille fixe : l'intensité arithmétique augmente d'autant. Comme le décodage est de toute façon bridé par la mémoire, ce calcul supplémentaire ne fait que récupérer du temps où le GPU restait inactif.\n\nL'article utilise $R=4$. Pour garder le même nombre de paramètres que la version SISO, la couche intermédiaire du MLP du modèle de 1,5B passe de 4 096 à 3 824. À l'entraînement, MIMO est plus lent : jusqu'à $R$ fois plus lent que SISO, selon les auteurs.\n\n### Architecture\n\n[![Deux blocs côte à côte. À gauche, le bloc Mamba-2 : l'entrée est projetée en X, B, C et en paramètres de décroissance (notés A sur la figure) ; X passe par une convolution et une activation avant d'entrer dans le SSM, dont la sortie est multipliée par la porte, normalisée, puis projetée en sortie. À droite, le bloc Mamba-3 : plus de convolution ; B et C sont d'abord normalisés chacun de leur côté, puis passent par un RoPE dont l'angle Θ est produit par la projection d'entrée, avec en plus une projection MIMO optionnelle](/content/papers/assets/bafe70ab05ff3f4100278e18abb0198af0081a8802873a746e8df5fef028e047.png)](/content/papers/assets/bafe70ab05ff3f4100278e18abb0198af0081a8802873a746e8df5fef028e047.png)\n\n*Figure 2 de l'article, extraite de la [**page 11 du PDF v1**](https://arxiv.org/pdf/2603.15569v1#page=11), CC BY 4.0.*\n\nEn comparant les deux blocs :\n\n- **La convolution courte disparaît**, remplacée par la méthode des trapèzes et les termes de biais.\n- **$B$ et $C$ sont d'abord normalisés**, avec un effet semblable à la normalisation QK des Transformers.\n- **Un RoPE est ajouté**, avec un angle $\\Theta$ produit à partir de l'entrée : c'est l'implémentation de l'état complexe.\n- **La projection MIMO, en jaune**, est optionnelle.\n- Mamba-3 pur supprime la normalisation placée avant la sortie dans Mamba-2 ; dans un modèle hybride, les auteurs constatent que la réintroduire aide la généralisation en longueur.\n\nLe squelette général reprend celui de Llama, avec des blocs Mamba-3 et SwiGLU empilés en alternance.\n\n## Discussion\n\n### Modélisation du langage\n\nTous les modèles sont entraînés sur 100B tokens de FineWeb-Edu, avec un contexte de 2K, à quatre tailles allant de 180M à 1,5B. Résultats à 1,5B :\n\n| Modèle | Perplexité FineWeb-Edu | Précision moyenne sur sept tâches |\n| --- | ---: | ---: |\n| Transformer | 10,51 | 55,4 |\n| GDN | 10,45 | 55,8 |\n| Mamba-2 | 10,47 | 55,7 |\n| Mamba-3 SISO | 10,35 | 56,4 |\n| Mamba-3 MIMO ($R=4$) | 10,24 | 57,6 |\n\n*Tableau : extrait de la Table 3 de l'article.*\n\nSISO devance de 0,6 point GDN, deuxième du classement, et MIMO ajoute encore 1,2 point. Aux quatre tailles, Mamba-3 SISO fait mieux que Mamba-2.\n\n[![Graphique en courbes : en abscisse, la taille totale relative de l'état (échelle logarithmique) ; en ordonnée, la perplexité de préentraînement. Les trois courbes, de haut en bas, sont Mamba-2, Mamba-3 et Mamba-3 MIMO ; plus l'état est grand, plus la perplexité est basse ; la courbe de Mamba-3 MIMO reste tout entière la plus basse](/content/papers/assets/9c2757127eedcbc423ca747c871fa87a8c498a586a11782bf356497d5bf9510d.png)](/content/papers/assets/9c2757127eedcbc423ca747c871fa87a8c498a586a11782bf356497d5bf9510d.png)\n\n*Figure 3 de l'article, extraite de la [**page 15 du PDF v1**](https://arxiv.org/pdf/2603.15569v1#page=15), CC BY 4.0. Modèles de 440M, entraînés jusqu'à deux fois le nombre de tokens optimal selon Chinchilla.*\n\nLa vitesse de décodage dépend surtout de la taille de l'état ; les auteurs utilisent donc celle-ci comme indicateur de la vitesse d'inférence. À taille d'état égale, Mamba-3 a toujours une perplexité plus basse que Mamba-2 ; avec un état de 64, la version MIMO atteint déjà la perplexité de Mamba-2 avec un état de 128. C'est de là que vient la « moitié de l'état » du résumé.\n\n### Récupération : le modèle pur ne suffit toujours pas\n\nLa récupération d'information reste le point faible d'un état fixe. Tâches réelles de récupération pour les modèles de 1,5B, entrées tronquées à 2K tokens :\n\n| Modèle (1,5B) | SWDE | SQuAD | FDA | TriviaQA |\n| --- | ---: | ---: | ---: | ---: |\n| Transformer | 48,9 | 46,6 | 58,4 | 67,5 |\n| Mamba-2 | 30,7 | 39,1 | 23,7 | 64,3 |\n| Mamba-3 SISO | 28,5 | 40,1 | 23,4 | 64,5 |\n| Mamba-3 MIMO | 36,3 | 41,7 | 29,3 | 64,5 |\n| Hybride Mamba-3 SISO | 58,5 | 47,0 | 65,9 | 64,8 |\n\n*Tableau : extrait de la Table 4 de l'article. Le modèle hybride associe 5 couches linéaires à 1 couche d'attention sans encodage positionnel.*\n\nCes jeux de données réels sont tous reformulés en textes à trous, tronqués à 2K tokens. Sur TriviaQA, une tâche de questions-réponses, les scores se valent ; mais sur SWDE et FDA, qui demandent d'extraire de l'information de pages web ou de documents semi-structurés, Mamba-3 SISO pur accuse respectivement 20,4 et 35,0 points de retard sur le Transformer, ramenés à 12,6 et 29,1 points pour la version MIMO. Avec des couches d'attention, la version hybride rattrape, voire dépasse, le Transformer sur ces tâches.\n\nLes auteurs écrivent ici une phrase importante : en raison des faiblesses naturelles d'un état de taille fixe pour la récupération, **ils prévoient que les couches linéaires seront surtout utilisées dans des architectures hybrides**, où des couches d'auto-attention de complexité quadratique compensent cette faiblesse.\n\nCette phrase figure dans l'article des auteurs mêmes de Mamba. Par rapport à 2023, la place de Mamba est désormais énoncée clairement.\n\nLes auteurs reconnaissent aussi que le comportement des hybrides est peu intuitif : placer la normalisation avant ou après la porte, et le type de normalisation choisi, tirent en sens contraires entre généralisation en longueur et récupération réelle ; la question reste ouverte.\n\n### Vitesse : bien lire les conditions de comparaison\n\nLa latence du noyau de décodage (Table 6) est mesurée sur un H100, avec un lot de 128 et des modèles de 1,5B. En bf16 avec un état de 128, Mamba-3 SISO prend 0,156 ms par pas, Mamba-2 0,203 ms et GDN 0,257 ms ; MIMO prend 0,179 ms, un peu plus que SISO mais toujours moins que Mamba-2.\n\nLa comparaison de bout en bout (Table 7) porte sur le préremplissage suivi d'un décodage de même longueur. À 16K tokens, Mamba-3 SISO prend environ 141 secondes, contre environ 977 secondes pour Llama-3.2-1B sur vLLM : un facteur d'environ 7. Le « 7 fois plus rapide » repris par la presse vient très probablement de ces deux cases.\n\nCe chiffre ne se lit qu'avec ses conditions :\n\n- Le point de comparaison est un autre modèle (Llama-3.2-1B), exécuté sur vLLM, et non le même code.\n- Le lot est de 128. Selon l'annexe, à 16K, vLLM dépasse la mémoire avec un lot de 128 ; la mesure a donc été faite avec un lot de 16, puis multipliée par 8.\n- Plus la séquence est courte, plus l'écart se réduit : à 512 tokens, il n'est plus que de 0,06 seconde.\n\nSur Hacker News, un lecteur n'adhère pas vraiment à l'idée qu'« ajouter du calcul à l'inférence est une bonne chose » : avec un lot de 1, le décodage est certes limité par la mémoire, mais les fournisseurs regroupent les requêtes en grands lots, et la puissance de calcul n'est pas forcément inemployée. Un autre lecteur répond que l'article compare justement les latences de Mamba-2 et de Mamba-3 avec un lot de 128, et qu'à cette taille Mamba-2 ne semble même pas saturer le calcul ; le sceptique rétorque que les lots de DeepSeek tournent autour de 8 192, et que 128 n'a rien de grand. Quelqu'un ajoute qu'en inférence locale, le lot est généralement de 1, et que le calcul inemployé tombe alors à point. [Hacker News, 2026-03-21](https://news.ycombinator.com/item?id=47419391) Cet échange cerne assez bien le domaine d'application de MIMO : plus le lot est petit et la contrainte mémoire forte, plus il est rentable.\n\n## Conclusion\n\nMamba-3 puise trois modifications dans les vieux principes des modèles à espace d'état :\n\n1. **La discrétisation exponentielle-trapézoïdale** : une récurrence plus expressive qui, avec des biais sur $B$ et $C$, rend la convolution courte facultative.\n2. **L'état complexe** : équivalent à un RoPE dépendant des données, il résout la parité et l'arithmétique modulaire, hors de portée de Mamba-2.\n3. **MIMO** : un peu plus de calcul pendant un décodage limité par la mémoire, pour une meilleure qualité à latence presque inchangée.\n\nDans la comparaison à 1,5B et 100B tokens, il surpasse le Transformer, Mamba-2 et GDN en modélisation du langage ; dans une autre expérience à 440M, avec deux fois le nombre de tokens optimal selon Chinchilla, la version MIMO atteint la perplexité de Mamba-2 avec moitié moins d'état.\n\nMais le plus marquant est peut-être le jugement des auteurs eux-mêmes sur la récupération : la faiblesse d'un état fixe dans ce domaine les amène à prévoir que les couches linéaires serviront surtout dans des architectures hybrides. L'article conserve pourtant la comparaison des modèles purs, et mesure aussi leur complémentarité avec l'attention. Par rapport à l'article Mamba de 2023, qui voyait le modèle devenir le backbone des modèles de séquence généralistes, le centre de gravité s'est nettement déplacé vers une autre question : « comment bien concevoir la couche linéaire d'un modèle hybride ».\n\nLes expériences principales restent à 1,5B paramètres au plus et 100B tokens ; les études de taille d'état et les ablations de composants utilisent un modèle encore plus petit, de 440M ; et un seul rapport hybride, 5:1, a été testé. Le comportement de Mamba-3 au sein d'hybrides de plusieurs dizaines de milliards de paramètres reste une question ouverte.\n\n\n> [!TIP]\n> \n> Pour les deux premières générations de Mamba, et pour Gated DeltaNet, qui travaille lui aussi sur la mise à jour de l'état :\n> \n> - **[[23.12] Mamba : qui prendra la relève ?](/blog/papers/mamba/mamba)**\n> - **[[24.05] Mamba-2 : le cousin éloigné de l'attention](/blog/papers/mamba/mamba-2)**\n> - **[[24.12] Gated DeltaNet : effacer avant d'écrire](/blog/papers/mamba/gated-deltanet)**\n","imageSizes":{"/content/papers/assets/bafe70ab05ff3f4100278e18abb0198af0081a8802873a746e8df5fef028e047.png":{"width":1356,"height":644},"/content/papers/assets/9c2757127eedcbc423ca747c871fa87a8c498a586a11782bf356497d5bf9510d.png":{"width":650,"height":345}}}