{"notes":[{"id":"mamba/mamba-2-hybrid","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2-Hybrid","subtitle":"Une mémoire floue","author":"Z. Yuan","paperDate":"2024-06-12","publishedOn":"2026-01-22","paperTitle":"An Empirical Study of Mamba-based Language Models","paperUrl":"https://arxiv.org/abs/2406.07887","bibliography":{"title":"An Empirical Study of Mamba-based Language Models","authors":["Roger Waleffe","Wonmin Byeon","Duncan Riach","Brandon Norick","Vijay Korthikanti","Tri Dao","Albert Gu","Ali Hatamizadeh","Sudhakar Singh","Deepak Narayanan","Garvit Kulshreshtha","Vartika Singh","Jared Casper","Jan Kautz","Mohammad Shoeybi","Bryan Catanzaro"],"url":"https://arxiv.org/abs/2406.07887","pdfUrl":"https://arxiv.org/pdf/2406.07887v1","codeUrl":"https://github.com/NVIDIA/Megatron-LM","preprint":{"id":"2406.07887","submittedOn":"2024-06-12","url":"https://arxiv.org/abs/2406.07887"},"publication":null,"citation":"@misc{mambamamba2hybrid2024,\n  title = {{An Empirical Study of Mamba-based Language Models}},\n  author = {Roger Waleffe and Wonmin Byeon and Duncan Riach and Brandon Norick and Vijay Korthikanti and Tri Dao and Albert Gu and Ali Hatamizadeh and Sudhakar Singh and Deepak Narayanan and Garvit Kulshreshtha and Vartika Singh and Jared Casper and Jan Kautz and Mohammad Shoeybi and Bryan Catanzaro},\n  year = {2024},\n  eprint = {2406.07887},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2406.07887}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2-hybrid.2add9f814f3a.bib"},"thumbnail":{"src":"/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png","width":1245,"height":322},"locale":"fr","path":"/content/papers/fr/mamba/mamba-2-hybrid.11d049be2f70.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"dabord-les-ssm-purs","text":"D'abord, les SSM purs","depth":3},{"id":"lannuaire-et-la-mémoire-floue","text":"L'annuaire et la mémoire floue","depth":3},{"id":"combien-dattention-réintroduire","text":"Combien d'attention réintroduire ?","depth":3},{"id":"calculer-la-mémoire-à-la-main","text":"Calculer la mémoire à la main","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"12-tâches-standards","text":"12 tâches standards","depth":3},{"id":"contexte-long-souvent-à-la-hauteur-en-retrait-sur-le-multi-documents","text":"Contexte long : souvent à la hauteur, en retrait sur le multi-documents","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/repeat-after-me","relation":"referenced","topic":""},{"id":"mamba/mamba-2","relation":"referenced","topic":""}]},{"id":"mamba/repeat-after-me","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Repeat After Me","subtitle":"Le test de l'annuaire","author":"Z. Yuan","paperDate":"2024-02-01","publishedOn":"2025-12-23","paperTitle":"Repeat After Me: Transformers are Better than State Space Models at Copying","paperUrl":"https://arxiv.org/abs/2402.01032","bibliography":{"title":"Repeat After Me: Transformers are Better than State Space Models at Copying","authors":["Samy Jelassi","David Brandfonbrener","Sham M. Kakade","Eran Malach"],"url":"https://arxiv.org/abs/2402.01032","pdfUrl":"https://arxiv.org/pdf/2402.01032v2","codeUrl":"https://github.com/sjelassi/transformers_ssm_copy","preprint":{"id":"2402.01032","submittedOn":"2024-02-01","url":"https://arxiv.org/abs/2402.01032"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/jelassi24a.html"},"citation":"@misc{mambarepeatafterme2024,\n  title = {{Repeat After Me: Transformers are Better than State Space Models at Copying}},\n  author = {Samy Jelassi and David Brandfonbrener and Sham M. Kakade and Eran Malach},\n  year = {2024},\n  eprint = {2402.01032},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2402.01032}\n}\n","citationPath":"/content/papers/citations/mamba/repeat-after-me.6f1018ade730.bib"},"thumbnail":{"src":"/content/papers/assets/6d45fd8ab61191e1263c400e01bf76bdd9ef3534ecc4485835332074ea553443.png","width":1378,"height":416},"locale":"fr","path":"/content/papers/fr/mamba/repeat-after-me.55d6d5e637f7.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"la-tâche-de-copie","text":"La tâche de copie","depth":3},{"id":"un-état-trop-petit-ne-peut-pas-tout-recopier","text":"Un état trop petit ne peut pas tout recopier","depth":3},{"id":"le-transformer-se-repère-par-n-grammes","text":"Le Transformer se repère par n-grammes","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"données-synthétiques-apprendre-vite-généraliser-loin","text":"Données synthétiques : apprendre vite, généraliser loin","depth":3},{"id":"dites-moi-dabord-quoi-chercher-et-tout-ira-bien","text":"Dites-moi d'abord quoi chercher, et tout ira bien","depth":3},{"id":"modèles-préentraînés-lannuaire","text":"Modèles préentraînés : l'annuaire","depth":3},{"id":"ce-que-larticle-laisse-ouvert","text":"Ce que l'article laisse ouvert","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/jamba","relation":"referenced","topic":""}]},{"id":"mamba/mamba-2","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mamba-2","subtitle":"Le cousin éloigné de l'attention","author":"Z. Yuan","paperDate":"2024-05-31","publishedOn":"2025-12-06","world":"external/mamba2","paperTitle":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","paperUrl":"https://arxiv.org/abs/2405.21060","bibliography":{"title":"Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality","authors":["Tri Dao","Albert Gu"],"url":"https://arxiv.org/abs/2405.21060","pdfUrl":"https://arxiv.org/pdf/2405.21060v1","codeUrl":"https://github.com/state-spaces/mamba","preprint":{"id":"2405.21060","submittedOn":"2024-05-31","url":"https://arxiv.org/abs/2405.21060"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://proceedings.mlr.press/v235/dao24a.html"},"citation":"@misc{mambamamba22024,\n  title = {{Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality}},\n  author = {Tri Dao and Albert Gu},\n  year = {2024},\n  eprint = {2405.21060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.21060}\n}\n","citationPath":"/content/papers/citations/mamba/mamba-2.3152f9dfa9a1.bib"},"thumbnail":{"src":"/content/papers/assets/771f5c6bcb0b30ac06fac163812a3aa6aad0063df419f7ffd41bc60cef195e79.png","width":1462,"height":556},"locale":"fr","path":"/content/papers/fr/mamba/mamba-2.a6a083d80633.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"écrire-le-ssm-comme-une-matrice","text":"Écrire le SSM comme une matrice","depth":3},{"id":"réduire-a-à-un-nombre","text":"Réduire A à un nombre","depth":3},{"id":"quatre-tokens-calculés-pas-à-pas","text":"Quatre tokens, calculés pas à pas","depth":3},{"id":"chaque-voie-fait-la-moitié-du-chemin","text":"Chaque voie fait la moitié du chemin","depth":3},{"id":"le-bloc-mamba-2","text":"Le bloc Mamba-2","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"plus-détat-plus-de-mémoire","text":"Plus d'état, plus de mémoire","depth":3},{"id":"modélisation-du-langage","text":"Modélisation du langage","depth":3},{"id":"les-auteurs-aussi-recommandent-lhybride","text":"Les auteurs aussi recommandent l'hybride","depth":3},{"id":"pas-une-amélioration-sur-tous-les-plans","text":"Pas une amélioration sur tous les plans","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"referenced","topic":""},{"id":"mamba/gated-deltanet","relation":"referenced","topic":""}]}],"text":"À la mi-2024, les nouvelles de Mamba étaient plutôt contrastées.\n\nD'un côté, les expériences des auteurs originaux, jusqu'à 2,8B : sur les benchmarks courants, Mamba et Mamba-2 égalaient, voire dépassaient, les Transformers de même taille. De l'autre, de plus en plus d'études pointaient ses faiblesses en copie, en récupération d'information et en apprentissage en contexte (*in-context learning*). Jamba, d'AI21, avait carrément gardé quelques couches d'attention entre ses couches Mamba.\n\nLe problème : ces comparaisons se faisaient dans des conditions très différentes. Les expériences des auteurs originaux restaient sous les 3B paramètres et sous 1T tokens ; et, pour les grands modèles comme Jamba, aucun Transformer de contrôle n'avait été entraîné sur les mêmes données.\n\nCe rapport technique de NVIDIA veut combler ce manque : avec **les mêmes données, les mêmes hyperparamètres et le même protocole d'évaluation**, il entraîne des modèles de 8B paramètres, Mamba, Mamba-2, Transformer et un modèle hybride, jusqu'à 3,5T tokens, puis les compare sur 35 tâches.\n\nAux côtés des chercheurs de NVIDIA, la liste des auteurs compte aussi les deux auteurs de Mamba, Tri Dao et Albert Gu.\n\n## Définition du problème\n\nLa question des auteurs est directe : avec un budget d'entraînement plus important, Mamba peut-il suivre le Transformer ? Et là où il décroche, suffit-il de rajouter quelques couches d'attention ?\n\nPour que la comparaison soit équitable, les quatre modèles partagent :\n\n- les mêmes données : deux versions, de 1,1T et 3,5T tokens, toutes deux précurseurs des données d'entraînement de Nemotron-4, avec 70 % d'anglais, 15 % d'autres langues et 15 % de code ;\n- les mêmes hyperparamètres : des essais à petite échelle ont montré que les hyperparamètres optimaux de Mamba sont proches de ceux du Transformer, d'où leur mise en commun ;\n- la même évaluation : une suite d'évaluation open source à version figée, avec les mêmes prompts.\n\nLa configuration des modèles :\n\n| Modèle | Couches | Description |\n| --- | ---: | --- |\n| Transformer | 32 | chaque couche = attention + MLP, 32 têtes d'attention, RoPE |\n| Mamba | 56 | deux couches Mamba ont à peu près autant de paramètres qu'une couche attention + MLP ; dimension d'état 128 |\n| Mamba-2 | 56 | idem, avec des blocs Mamba-2 ; dimension de tête 64, 8 groupes |\n| Mamba-2-Hybrid | 56 | 24 couches Mamba-2, 4 couches d'attention, 28 couches MLP |\n\n*Tableau : d'après le §3.1 et la Table 6 de l'article. Les quatre modèles comptent environ 8B paramètres, avec une dimension cachée de 4 096.*\n\nPour la série à 3,5T tokens, seuls Mamba-2, le Transformer et l'hybride ont été entraînés. Les auteurs expliquent que l'état de Mamba pur est trop grand : dans la série à 1,1T, il était déjà près de trois fois plus lent que Mamba-2.\n\n## Résolution du problème\n\n### D'abord, les SSM purs\n\nLes résultats à 1,1T tokens contiennent un chiffre qui détonne :\n\n| Modèle | Moyenne des cinq tâches de bon sens | MMLU 0-shot | MMLU 5-shot |\n| --- | ---: | ---: | ---: |\n| Transformer | 67,87 | 38,32 | 46,28 |\n| Mamba | 68,07 | 28,63 | 28,00 |\n| Mamba-2 | 68,56 | 28,94 | 29,19 |\n\n*Tableau : extrait de la Table 2 de l'article, modèles de 8B, 1,1T tokens. Les cinq tâches sont WinoGrande, PIQA, HellaSwag, ARC-E et ARC-C.*\n\nSur les tâches de bon sens, les deux Mamba devancent légèrement le Transformer. En MMLU 5-shot, en revanche, l'écart dépasse 17 points : on tombe presque au niveau du hasard pour un QCM à quatre choix.\n\nEntraîné jusqu'à 3,5T tokens, Mamba-2 remonte à 48,7 en MMLU 5-shot, à seulement 1,37 point des 50,07 du Transformer ; sa moyenne passe même devant. Suffirait-il donc d'entraîner plus longtemps ?\n\nLes auteurs ne s'arrêtent pas là et posent les questions de MMLU de trois façons :\n\n1. **Format standard** : la question est suivie des quatre options A, B, C et D, et l'on regarde quelle lettre le modèle a la plus forte probabilité de produire ensuite.\n2. **Texte de l'option comme cible** : les options sont toujours listées, mais on compare la probabilité du texte complet de chaque option, lettre comprise, par exemple « B. sorted('ab') ».\n3. **Texte à trous** : aucune option n'est listée ; on compare directement la probabilité de chaque réponse placée à la suite de la question.\n\nAvec la troisième formulation, les modèles à 1,1T tokens obtiennent des scores presque identiques, les deux Mamba comme le Transformer (environ 38 à 39 points en 5-shot).\n\nLes auteurs en tirent une hypothèse : un SSM pur acquiert peut-être autant de connaissances qu'un Transformer, mais bute sur le format. Le modèle doit comprendre que « quatre options sont listées plus haut et qu'il faut répondre par une lettre », puis associer le contenu de chaque option à la lettre correspondante. Déplacer ainsi de l'information d'un token à l'autre, c'est précisément ce que l'attention sait faire et ce qui coûte à un SSM pur. C'est l'interprétation des auteurs ; les scores obtenus avec les trois formulations vont dans son sens, sans encore la démontrer directement.\n\nAutre détail : en passant de 0-shot à 5-shot, le Mamba-2 à 3,5T ne gagne que 1,45 point en MMLU, contre 4,38 pour le Transformer. Mamba-2 tire moins parti des exemples supplémentaires.\n\n### L'annuaire et la mémoire floue\n\nAutre test, celui de l'annuaire : le prompt contient une liste de « nom : numéro », suivie de deux exemples de questions-réponses, puis on demande le numéro d'une personne.\n\n[![Trois graphiques en courbes ; en abscisse, la longueur de l'annuaire (en milliers de tokens), avec un trait vertical à 4K, la longueur de préentraînement. (a) Annuaire standard : le Transformer reste proche de 100 % jusqu'à 4K, puis tombe rapidement à zéro au-delà ; Mamba et Mamba-2 commencent à baisser vers 0,5K et restent le plus souvent sous 20 % après 2,5K. (b) Nombre de tokens corrects dans la réponse : pour les deux Mamba, il descend progressivement de 12 à une valeur comprise entre 4 et 6. (c) Annuaire inversé, où l'on indique d'abord au modèle qui retenir : Mamba fait un peu mieux mais baisse toujours avec la longueur, Mamba-2 tombe sous 10 % vers 3K, le Transformer reste à 100 % jusqu'à 4K](/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png)](/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png)\n\n*Figure 3 de l'article, extraite de la [**page 8 du PDF v1**](https://arxiv.org/pdf/2406.07887v1#page=8). Les trois graphiques portent sur les modèles de 8B entraînés sur 1,1T tokens ; le trait vertical marque la longueur de préentraînement de 4 096.*\n\nÀ gauche : le Transformer répond presque toujours juste jusqu'à la longueur de préentraînement de 4 096, puis s'effondre au-delà. Les deux Mamba commencent à se tromper vers 500 tokens. Les auteurs soulignent que, contrairement à ce qu'on observe sur MMLU, cet écart persiste avec le Mamba-2 entraîné sur 3,5T tokens.\n\nLe graphique du milieu est particulièrement intéressant. Au lieu de se contenter de juste ou faux, les auteurs comptent les tokens corrects dans chaque réponse. Un numéro de téléphone fait environ 12 tokens ; même quand ils se trompent, les deux Mamba en ont souvent 4 à 8 de justes.\n\nLes auteurs parlent de **mémoire floue** (*fuzzy memory*) : chaque entrée a bien été comprimée dans l'état, mais sans assez de précision, si bien qu'elle en ressort déformée.\n\nÀ droite, la question change de place : on indique d'abord au modèle sur qui portera la question, puis on lui fournit l'annuaire. En principe, Mamba n'a qu'à guetter ce nom du début à la fin. Les scores s'améliorent effectivement un peu, mais baissent toujours avec la longueur. Les auteurs en déduisent que, même en connaissant la question à l'avance, le modèle a du mal à décider quelles informations garder avec précision et lesquelles il peut oublier.\n\n\n> [!TIP]\n> \n> La tâche de l'annuaire est reprise de l'étude de Jelassi et ses coauteurs, à Harvard. Cette étude comparait aussi les versions « question avant » et « question après » ; sur de petits modèles entraînés à partir de zéro, les modèles à état s'en sortaient très bien quand la question venait en premier :\n> \n> - **[[24.02] Repeat After Me : le test de l'annuaire](/blog/papers/mamba/repeat-after-me)**\n\n\n### Combien d'attention réintroduire ?\n\nLes auteurs réintroduisent ensuite quelques couches d'attention. Par souci d'équité, ils ajustent le nombre de têtes d'attention et le facteur d'expansion du MLP pour que chaque type de couche ait à peu près autant de paramètres : la proportion de couches équivaut alors à la proportion de paramètres.\n\n[![Graphique en courbe : en abscisse, la part des couches d'attention dans le total des couches, de 0 à 100 % ; en ordonnée, la perte de validation. Environ 2,615 à 0 %, minimum d'environ 2,554 vers 8 %, puis remontée progressive à mesure que la proportion augmente, jusqu'à environ 2,63 à 100 %](/content/papers/assets/5b19ee03675ebbd942f790c816960a5b57e28b46fad1020453f2a1f4e4a2c647.png)](/content/papers/assets/5b19ee03675ebbd942f790c816960a5b57e28b46fad1020453f2a1f4e4a2c647.png)\n\n*Figure 4 de l'article, extraite de la [**page 9 du PDF v1**](https://arxiv.org/pdf/2406.07887v1#page=9). Modèles hybrides de 130 millions de paramètres et 24 couches.*\n\nSur ce petit modèle de 130 millions de paramètres et 24 couches, la perte de validation est minimale quand les couches d'attention représentent environ 8 % du total ; tout attention ou pas d'attention du tout, les deux extrêmes font moins bien que l'hybride. Un modèle de 840 millions de paramètres confirme la même tendance.\n\nAutres choix de conception :\n\n- **Part des couches MLP** : à 8 % d'attention, une part de MLP comprise entre 30 % et 50 % ne dégrade pas la perte. Plus elle est élevée, plus l'entraînement est rapide : avec 50 %, il va environ 20 % plus vite qu'avec 5 %.\n- **Encodage positionnel** : pour l'hybride de 840M, les modèles de base avec ou sans RoPE se valent ; après extension du contexte à 16K, la version sans RoPE obtient même une meilleure moyenne. La suite se fait donc sans RoPE.\n- **Disposition des couches** : une couche Mamba en premier, pour qu'elle apprenne naturellement l'information de position ; pour le reste, attention et MLP sont répartis uniformément. Les auteurs n'ont pas trouvé de meilleure disposition, et il n'est pas nécessaire de répéter un bloc fixe.\n- **GQA** : passer l'attention en GQA n'augmente la perplexité de validation que d'environ 0,04 %, tout en économisant beaucoup de mémoire à l'inférence.\n\nLe modèle hybride final de 8B compte 56 couches : 24 couches Mamba-2 (42,9 %), 4 couches d'attention (7,1 %) et 28 couches MLP (50 %). Leur disposition :\n\n```text\nM+M+M++M+M*+M+M+M+M++M*+M+M+M+M+M*++M+M+M+M+M*+M++M+M+M+\n```\n\n`M` désigne Mamba-2, `*` l'attention et `+` le MLP. Les quatre astérisques sont répartis régulièrement dans la partie centrale.\n\n### Calculer la mémoire à la main\n\nReprenons les configurations de l'article pour calculer ce que chaque modèle doit transporter à l'inférence. Le Transformer a 32 couches d'attention multi-têtes à 32 têtes ; l'hybride, 4 couches de GQA à 8 groupes KV ; dans les deux cas, 128 dimensions par tête, en bf16 :\n\n```python\ndef kv(layers, kv_heads, head_dim=128, tokens=1, b=2):\n    return 2 * layers * kv_heads * head_dim * b * tokens\n\nMiB, GiB = 2**20, 2**30\nt = kv(32, 32); h = kv(4, 8)\nprint(f\"Transformer : {t // 1024} KiB par token ; hybride : {h // 1024} KiB par token ({t // h} fois moins)\")\nfor n in (4096, 131072):\n    print(f\"{n:>6} tokens : Transformer {kv(32, 32, tokens=n) / GiB:.2f} GiB, hybride {kv(4, 8, tokens=n) / GiB:.3f} GiB\")\n\nssm = 24 * (2 * 4096) * 128            # 24 couches Mamba-2, largeur interne 8192, dimension d'état 128\nprint(f\"État des 24 couches Mamba-2 : {ssm:,} valeurs, bf16 {ssm * 2 / MiB:.0f} MiB (indépendant de la longueur)\")\n```\n\n```text\nTransformer : 512 KiB par token ; hybride : 16 KiB par token (32 fois moins)\n  4096 tokens : Transformer 2.00 GiB, hybride 0.062 GiB\n131072 tokens : Transformer 64.00 GiB, hybride 2.000 GiB\nÉtat des 24 couches Mamba-2 : 25,165,824 valeurs, bf16 48 MiB (indépendant de la longueur)\n```\n\nDans ce facteur 32, un facteur 8 vient du passage de 32 à 4 couches d'attention, et un facteur 4 de GQA. Les 48 MiB d'état Mamba-2 sont du même ordre que le cache KV pour un contexte de 4K ; plus le contexte s'allonge, moins ils pèsent.\n\nCe n'est que le bilan mémoire d'une seule séquence. La Figure 5 de l'article prévoit que, pour générer un token avec un lot de 32, les deux modèles vont aussi vite sur un contexte court, et que l'hybride devient près de 8 fois plus rapide au-delà de cent mille tokens de contexte. Il s'agit d'une prédiction du rapport, qui ne fournit ni mesure correspondante sur un système d'inférence ni modèle de latence détaillé. L'efficacité d'entraînement, elle, est mesurée : sur 1 024 H100, la MFU de l'hybride est de 29,9 %, contre 30,7 % pour le Transformer.\n\n## Discussion\n\n### 12 tâches standards\n\nÀ 3,5T tokens, l'hybride bat le Transformer sur les 12 tâches standards. La colonne de moyenne de l'article compte MMLU 0-shot et 5-shot séparément, soit 13 colonnes, et l'avance moyenne est de 2,65 points :\n\n| Modèle | MMLU 5-shot | SQuAD v2 | Moyenne de l'article (13 colonnes) |\n| --- | ---: | ---: | ---: |\n| Transformer | 50,07 | 53,4 | 53,17 |\n| Mamba-2 | 48,7 | 51,9 | 54,69 |\n| Mamba-2-Hybrid | 53,60 | 58,67 | 55,82 |\n\n*Tableau : extrait de la Table 7 de l'article.*\n\nLa courbe d'entraînement sur MMLU mérite aussi un coup d'œil (Figure 6 de l'article) : l'hybride devance Mamba-2 pur du début à la fin, mais reste derrière le Transformer en début d'entraînement ; il ne le rattrape qu'à 1,5T tokens, et garde ensuite la tête.\n\n### Contexte long : souvent à la hauteur, en retrait sur le multi-documents\n\nLes auteurs prolongent le préentraînement des modèles de base 4K sur 50B tokens pour les étendre à 16K et 32K. Les quatre couches d'attention utilisent une attention globale complète.\n\nLes résultats se rangent en trois catégories :\n\n1. **L'annuaire** : l'hybride ne se contente pas d'un sans-faute dans la longueur de préentraînement, il généralise même un peu au-delà. L'hybride 4K reste à 100 % jusqu'à 5,5K ; les versions 16K et 32K dépassent aussi leurs longueurs d'entraînement respectives. Un hybride étendu à 128K se comporte de la même façon.\n2. **Tâches synthétiques RULER** : sur des tâches comme l'aiguille dans une botte de foin, la recherche multi-clés ou le suivi de variables, l'hybride 16K devance le Transformer 16K d'environ 12 points en moyenne (74,19 contre 62,33). En suivi de variables, le Transformer recopie souvent tel quel la réponse de l'exemple fourni dans le prompt.\n3. **Tâches réelles sur textes longs** : en moyenne sur neuf tâches, ce sont les Transformers 16K et 32K qui mènent d'environ 1 point, l'écart venant surtout des questions-réponses multi-documents. Sur HotpotQA, par exemple, à 16K : 48,61 contre 42,17.\n\nPour ce troisième point, les auteurs avancent l'explication suivante : les questions-réponses multi-documents de LongBench mélangent les passages pertinents à de nombreux passages Wikipédia aléatoires, et la question n'arrive qu'à la fin. Pendant la lecture, les couches SSM ignorent encore la question et peuvent se laisser détourner par les documents sans rapport. Ils soupçonnent aussi que concaténer des documents sans lien pendant l'entraînement d'extension du contexte pourrait amener le SSM à les croire liés.\n\nAutre observation : l'hybride est plus sensible au format du prompt. Sur Musique, avec les modèles de base 4K, modifier le prompt fait osciller le score de l'hybride entre 10,63 et 16,16, contre 15,25 à 17,68 seulement pour le Transformer. Les auteurs notent aussi que les prompts de LongBench avaient été mis au point pour des Transformers.\n\n## Conclusion\n\nAvec les mêmes données et le même protocole, ce rapport confronte d'un coup plusieurs affirmations de 2024 sur Mamba :\n\n1. **Sur la plupart des tâches de langage, un SSM pur tient tête au Transformer.** À 3,5T tokens, Mamba-2 pur a même une moyenne légèrement supérieure sur les cinq tâches de bon sens ; sur les autres tâches, chacun a ses victoires.\n2. **Les faiblesses d'un SSM pur se concentrent sur le format, la copie et l'apprentissage en contexte.** Le retard sur MMLU se comble en grande partie en entraînant davantage ; l'écart sur l'annuaire persiste aux deux budgets, 1,1T et 3,5T, et Mamba-2 pur à 3,5T reste aussi derrière en moyenne sur les neuf tâches réelles sur textes longs ; quand il se trompe, il « se souvient vaguement » plutôt qu'il n'oublie tout.\n3. **Environ 8 % de couches d'attention suffisent.** L'hybride de 8B ne compte que 4 couches d'attention sur 56, bat le Transformer sur les 12 tâches standards, divise le cache KV par 32 et retrouve l'information de façon plus fiable en contexte long.\n4. **Des incertitudes demeurent pour l'hybride** : questions-réponses multi-documents, sensibilité au prompt et méthode d'entraînement en contexte long.\n\nAu départ, on parlait de Mamba comme d'un remplaçant du Transformer. Après ce rapport, sa place semble plutôt être la suivante : la plupart des couches confiées à Mamba-2 pour traiter la séquence, et quelques couches d'attention chargées de revenir chercher l'information avec précision. Par la suite, Nemotron-H et la série Nemotron 3 de NVIDIA ont suivi cette même voie.\n\n\n> [!TIP]\n> \n> Pour le bloc Mamba-2 utilisé dans ce rapport et sa parenté avec l'attention linéaire :\n> \n> - **[[24.05] Mamba-2 : le cousin éloigné de l'attention](/blog/papers/mamba/mamba-2)**\n","imageSizes":{"/content/papers/assets/f2e0e285e0d5337a787c2e32537b37089640a036c9339c3574c147a3cbaad4eb.png":{"width":1245,"height":322},"/content/papers/assets/5b19ee03675ebbd942f790c816960a5b57e28b46fad1020453f2a1f4e4a2c647.png":{"width":506,"height":303}}}