{"notes":[{"id":"mamba/mambaout","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"MambaOut","subtitle":"Mamba tire sa révérence","author":"Z. Yuan","paperDate":"2024-05-13","publishedOn":"2025-11-18","world":"external/vim-2","paperTitle":"MambaOut: Do We Really Need Mamba for Vision?","paperUrl":"https://arxiv.org/abs/2405.07992","bibliography":{"title":"MambaOut: Do We Really Need Mamba for Vision?","authors":["Weihao Yu","Xinchao Wang"],"url":"https://arxiv.org/abs/2405.07992","pdfUrl":"https://arxiv.org/pdf/2405.07992v3","codeUrl":"https://github.com/yuweihao/MambaOut","preprint":{"id":"2405.07992","submittedOn":"2024-05-13","url":"https://arxiv.org/abs/2405.07992"},"publication":{"venue":"CVPR","year":2025,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2025/html/Yu_MambaOut_Do_We_Really_Need_Mamba_for_Vision_CVPR_2025_paper.html"},"citation":"@misc{mambamambaout2024,\n  title = {{MambaOut: Do We Really Need Mamba for Vision?}},\n  author = {Weihao Yu and Xinchao Wang},\n  year = {2024},\n  eprint = {2405.07992},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.07992}\n}\n","citationPath":"/content/papers/citations/mamba/mambaout.a7cd237c551a.bib"},"thumbnail":{"src":"/content/papers/assets/a9e2bb043c6ac8f4558024557394c6a1ec7b9007b52ba19b5d1f7c05b07a3bc7.png","width":1112,"height":456},"locale":"fr","path":"/content/papers/fr/mamba/mambaout.96c34bcfe649.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"pour-quelles-tâches-mamba-est-il-fait","text":"Pour quelles tâches Mamba est-il fait ?","depth":3},{"id":"une-image-est-elle-une-séquence-longue","text":"Une image est-elle une séquence longue ?","depth":3},{"id":"retirer-le-ssm","text":"Retirer le SSM","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"classification-imagenet","text":"Classification ImageNet","depth":3},{"id":"détection-et-segmentation","text":"Détection et segmentation","depth":3},{"id":"les-limites-de-cet-étalon","text":"Les limites de cet étalon","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/poolformer","relation":"referenced","topic":""},{"id":"vision-transformers/caformer","relation":"referenced","topic":""},{"id":"mamba/vim","relation":"referenced","topic":""}]},{"id":"vision-transformers/poolformer","category":"vision-transformers","legacyPath":"vision-transformers/2111-poolformer","legacySlug":"2111-poolformer","legacyPaths":[],"title":"PoolFormer","subtitle":"Ce dont vous avez besoin, c'est du cadre !","author":"Z. Yuan","paperDate":"2021-11-22","publishedOn":"2024-07-10","paperTitle":"MetaFormer Is Actually What You Need for Vision","paperUrl":"https://openaccess.thecvf.com/content/CVPR2022/html/Yu_MetaFormer_Is_Actually_What_You_Need_for_Vision_CVPR_2022_paper.html","bibliography":{"title":"MetaFormer Is Actually What You Need for Vision","authors":["Weihao Yu","Mi Luo","Pan Zhou","Chenyang Si","Yichen Zhou","Xinchao Wang","Jiashi Feng","Shuicheng Yan"],"url":"https://openaccess.thecvf.com/content/CVPR2022/html/Yu_MetaFormer_Is_Actually_What_You_Need_for_Vision_CVPR_2022_paper.html","pdfUrl":"https://openaccess.thecvf.com/content/CVPR2022/papers/Yu_MetaFormer_Is_Actually_What_You_Need_for_Vision_CVPR_2022_paper.pdf","codeUrl":"https://github.com/sail-sg/poolformer","preprint":{"id":"2111.11418","submittedOn":"2021-11-22","url":"https://arxiv.org/abs/2111.11418"},"publication":{"venue":"CVPR","year":2022,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2022/html/Yu_MetaFormer_Is_Actually_What_You_Need_for_Vision_CVPR_2022_paper.html"},"citation":"@misc{visiontransformerspoolformer2021,\n  title = {{MetaFormer Is Actually What You Need for Vision}},\n  author = {Weihao Yu and Mi Luo and Pan Zhou and Chenyang Si and Yichen Zhou and Xinchao Wang and Jiashi Feng and Shuicheng Yan},\n  year = {2021},\n  eprint = {2111.11418},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2111.11418}\n}\n","citationPath":"/content/papers/citations/vision-transformers/poolformer.f2f96629d283.bib"},"thumbnail":{"src":"/content/papers/assets/3cb141e9bb1247410c8214276b21b28ed1d536060d470406f1bfb0c88fe68df2.jpg","width":1498,"height":548},"locale":"fr","path":"/content/papers/fr/vision-transformers/poolformer.aec02301c056.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"input-embedding","text":"Input Embedding","depth":3},{"id":"token-mixer","text":"Token-Mixer","depth":3},{"id":"channel-mlp","text":"Channel MLP","depth":3},{"id":"et-si-le-token-mixer-nétait-pas-le-plus-important-","text":"Et si le token mixer n'était pas le plus important ?","depth":3},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"configurations-du-modèle","text":"Configurations du modèle","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"expériences-sur-imagenet","text":"Expériences sur ImageNet","depth":3},{"id":"expériences-dablation","text":"Expériences d'ablation","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/mlp-mixer","relation":"background","topic":"Séparer l’architecture du mélange des tokens"},{"id":"vision-transformers/caformer","relation":"next","topic":"Séparer l’architecture du mélange des tokens"}]},{"id":"vision-transformers/caformer","category":"vision-transformers","legacyPath":"vision-transformers/2210-caformer","legacySlug":"2210-caformer","legacyPaths":[],"title":"CAFormer","subtitle":"Le mode d'emploi de MetaFormer","author":"Z. Yuan","paperDate":"2022-10-24","publishedOn":"2024-07-11","paperTitle":"MetaFormer Baselines for Vision","paperUrl":"https://doi.org/10.1109/TPAMI.2023.3329173","bibliography":{"title":"MetaFormer Baselines for Vision","authors":["Weihao Yu","Chenyang Si","Pan Zhou","Mi Luo","Yichen Zhou","Jiashi Feng","Shuicheng Yan","Xinchao Wang"],"url":"https://doi.org/10.1109/TPAMI.2023.3329173","pdfUrl":"https://arxiv.org/pdf/2210.13452v4","codeUrl":"https://github.com/sail-sg/metaformer","preprint":{"id":"2210.13452","submittedOn":"2022-10-24","url":"https://arxiv.org/abs/2210.13452"},"publication":{"venue":"IEEE Transactions on Pattern Analysis and Machine Intelligence","shortVenue":"IEEE TPAMI","year":2024,"kind":"journal","url":"https://doi.org/10.1109/TPAMI.2023.3329173"},"citation":"@misc{visiontransformerscaformer2022,\n  title = {{MetaFormer Baselines for Vision}},\n  author = {Weihao Yu and Chenyang Si and Pan Zhou and Mi Luo and Yichen Zhou and Jiashi Feng and Shuicheng Yan and Xinchao Wang},\n  year = {2022},\n  eprint = {2210.13452},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2210.13452}\n}\n","citationPath":"/content/papers/citations/vision-transformers/caformer.aa84265d674f.bib"},"thumbnail":{"src":"/content/papers/assets/6ccbfbc74d7ee0be5bc2f37dd6cdd936bf9ed5cf9412cdab0f7dcc2c77a6d9ec.jpg","width":1224,"height":1004},"locale":"fr","path":"/content/papers/fr/vision-transformers/caformer.5e87ca112684.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"starrelu","text":"StarReLU","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"avec-des-token-mixers-élémentaires","text":"Avec des Token Mixers élémentaires","depth":3},{"id":"avec-des-token-mixers-courants","text":"Avec des Token Mixers courants","depth":3},{"id":"études-dablation","text":"Études d'ablation","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/poolformer","relation":"background","topic":"Séparer l’architecture du mélange des tokens"},{"id":"vision-transformers/convmixer","relation":"comparison","topic":"Mélanger les patches par convolution"},{"id":"classic-cnns/convnext","relation":"comparison","topic":"Mélanger les patches par convolution"}]},{"id":"mamba/vim","category":"mamba","legacyPath":"mamba/2401-vim","legacySlug":"2401-vim","legacyPaths":[],"title":"Vim","subtitle":"Le regard de Mamba","author":"Z. Yuan","paperDate":"2024-01-17","publishedOn":"2025-01-08","paperTitle":"Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model","paperUrl":"https://arxiv.org/abs/2401.09417","bibliography":{"title":"Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model","authors":["Lianghui Zhu","Bencheng Liao","Qian Zhang","Xinlong Wang","Wenyu Liu","Xinggang Wang"],"url":"https://arxiv.org/abs/2401.09417","pdfUrl":"https://arxiv.org/pdf/2401.09417","codeUrl":"https://github.com/hustvl/Vim","preprint":{"id":"2401.09417","submittedOn":"2024-01-17","url":"https://arxiv.org/abs/2401.09417"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://arxiv.org/abs/2401.09417"},"citation":"@misc{mambavim2024,\n  title = {{Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model}},\n  author = {Lianghui Zhu and Bencheng Liao and Qian Zhang and Xinlong Wang and Wenyu Liu and Xinggang Wang},\n  year = {2024},\n  eprint = {2401.09417},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2401.09417}\n}\n","citationPath":"/content/papers/citations/mamba/vim.04f7a0c3f9ed.bib"},"thumbnail":{"src":"/content/papers/assets/f6f1543dc8b09bec8d718b356195b440e445961b944f10cc2cca7bbae4ba11e1.jpg","width":1616,"height":440},"locale":"fr","path":"/content/papers/fr/mamba/vim.8b33cf219b5a.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"bloc-vision-mamba","text":"Bloc Vision Mamba","depth":3},{"id":"choix-des-paramètres","text":"Choix des paramètres","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"classification-dimages","text":"Classification d'images","depth":3},{"id":"résultats-à-haute-résolution","text":"Résultats à haute résolution","depth":3},{"id":"segmentation-dimages","text":"Segmentation d'images","depth":3},{"id":"détection-dobjets","text":"Détection d'objets","depth":3},{"id":"ablation--conception-bidirectionnelle","text":"Ablation : conception bidirectionnelle","depth":3},{"id":"ablation--stratégie-de-classification","text":"Ablation : stratégie de classification","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"background","topic":"De la mémoire d’état aux séquences visuelles"}]}],"text":"La page de garde de cet article porte une dédicace : In memory of Kobe Bryant.\n\nEn dessous figure la phrase qui concluait le discours d'adieu de Kobe à la NBA, en 2016 : « What can I say, Mamba out. » Black Mamba était le surnom de Kobe ; « Mamba out », c'est le Mamba qui tire sa révérence.\n\nEn lisant Mamba, nous avions annoncé le début d'une énorme nouvelle vague d'articles. La vision a effectivement réagi très vite : en janvier 2024, Vision Mamba puis VMamba font leur apparition, suivis de LocalMamba, PlainMamba et EfficientVMamba, qui intègrent Mamba dans toutes sortes de backbones de classification, de détection et de segmentation.\n\nMoins de six mois plus tard, Weihao Yu et Xinchao Wang, de l'Université nationale de Singapour, signent cet article, dont le titre pose la question sans détour : a-t-on vraiment besoin de Mamba pour la vision ?\n\nSi vous avez lu nos notes sur PoolFormer et CAFormer, vous reconnaîtrez le premier auteur. Il pose depuis longtemps le même genre de question : quand un modèle est performant, à quelle pièce en revient vraiment le mérite ?\n\n## Définition du problème\n\nLe point de départ des auteurs est une observation : comparés aux meilleurs modèles convolutifs ou attentionnels de l'époque, ces Mamba visuels affichent souvent des résultats peu éclatants.\n\nÀ quoi Mamba est-il donc adapté ? Et les tâches de vision entrent-elles dans ce cadre ? Les auteurs répondent d'abord à ces deux questions sur le plan conceptuel, puis vérifient leur réponse avec une série de modèles dont le SSM a été délibérément retiré.\n\n## Résolution du problème\n\n### Pour quelles tâches Mamba est-il fait ?\n\n[![Schéma en deux colonnes. À gauche, Causal attention : à la première étape, l'ancienne mémoire est vide ; après l'ajout de x1, la nouvelle mémoire contient k1 et v1 ; à la deuxième étape, elle contient deux paires, k1 v1 et k2 v2 ; à la troisième, trois paires : la mémoire s'allonge à chaque étape. À droite, RNN-like : à chaque étape, l'ancien état caché h et la nouvelle entrée fusionnent en un nouvel état de même taille, de h0 à h1, de h1 à h2, de h2 à h3](/content/papers/assets/0a06070fe70c8178d01ed035d860f87f5caa629d7b13f3eb90b15d154a055398.png)](/content/papers/assets/0a06070fe70c8178d01ed035d860f87f5caa629d7b13f3eb90b15d154a055398.png)\n\n*Figure 2 de l'article, extraite de la [**page 4 du PDF v3**](https://arxiv.org/pdf/2405.07992v3#page=4). À gauche, l'attention causale ; à droite, un modèle de type RNN.*\n\nCette figure montre très clairement deux façons de mémoriser.\n\nÀ gauche, l'attention causale ajoute à sa mémoire la clé et la valeur de chaque token lu. Les clés et valeurs de toutes les positions sont conservées, au prix d'une mémoire qui ne cesse de s'allonger : à la troisième étape, la nouvelle entrée est combinée avec trois paires clé-valeur ; à la millième, avec mille.\n\nÀ droite, les modèles de type RNN, dont le SSM de Mamba, fusionnent à chaque étape l'ancien état et la nouvelle entrée en un nouvel état de même taille. Le coût de cette fusion est fixe, mais la taille de l'état est limitée : l'information ancienne est forcément compressée ou perdue.\n\nLes auteurs en déduisent deux conditions dans lesquelles Mamba est pertinent :\n\n1. **La séquence doit être assez longue.** Sur une séquence courte, l'attention coûte encore peu et conserve la clé et la valeur de chaque position ; selon les auteurs, Mamba a alors du mal à prendre l'avantage. C'est seulement quand la séquence devient assez longue que le coût quadratique de l'attention pèse vraiment.\n2. **La tâche doit demander un flux d'information causal.** La récurrence d'un SSM ne voit par nature que le passé et le présent ; elle convient aux tâches qui génèrent mot après mot.\n\nLe second point mérite une précision. Les auteurs distinguent deux modes de mélange des tokens : le **mode causal**, où le $t$-ième token ne voit que les tokens 1 à $t$, et le **mode entièrement visible**, où chaque token voit tous les autres. L'attention sait faire les deux : il suffit d'un masque pour obtenir le mode causal. Un RNN unidirectionnel, lui, n'accumule l'information que dans le sens de la lecture ; pour que chaque position voie le contexte des deux côtés, il faut ajouter une branche en sens inverse, puis fusionner les deux. Après fusion, chaque position a bien accès à toute l'entrée, mais l'information transite par deux états de taille fixe, ce qui diffère d'une attention où les tokens se voient directement. Les auteurs rangent ce cas parmi les extensions du mode causal et le jugent moins naturel qu'une attention entièrement visible.\n\nLa reconnaissance d'images est une tâche de compréhension : l'image entière est visible d'un coup, sans aucune contrainte causale. Les auteurs font une petite expérience : passer l'attention d'un ViT en mode causal suffit à faire baisser la précision sur ImageNet (Figure 3b de l'article).\n\n### Une image est-elle une séquence longue ?\n\nLa première condition demande un étalon. Les auteurs prennent pour mesure le coût de calcul d'un bloc Transformer : pour $L$ tokens d'entrée de dimension $D$ chacun, avec un facteur d'expansion de 4 dans le MLP,\n\n$$\n\\text{FLOPs}=24D^2L+4DL^2,\\qquad r_L=\\frac{4DL^2}{24D^2L}=\\frac{L}{6D}\n$$\n\nQuand $r_L$ dépasse 1, c'est-à-dire quand $L>6D$, le terme quadratique en longueur l'emporte sur le terme linéaire : on peut alors parler de séquence longue.\n\nFaisons le calcul pour les trois tâches de l'article, avec des patchs de 16×16 :\n\n```python\nD = {\"ViT-S\": 384, \"ViT-B\": 768}\ntasks = {\"ImageNet 224×224\": (224, 224), \"COCO 800×1280\": (800, 1280), \"ADE20K 512×2048\": (512, 2048)}\nfor name, (h, w) in tasks.items():\n    L = (h // 16) * (w // 16)\n    ratios = \", \".join(f\"{k} : L/6D = {L / (6 * d):.2f}\" for k, d in D.items())\n    print(f\"{name} : {L:,} tokens ; {ratios}\")\n```\n\n```text\nImageNet 224×224 : 196 tokens ; ViT-S : L/6D = 0.09, ViT-B : L/6D = 0.04\nCOCO 800×1280 : 4,000 tokens ; ViT-S : L/6D = 1.74, ViT-B : L/6D = 0.87\nADE20K 512×2048 : 4,096 tokens ; ViT-S : L/6D = 1.78, ViT-B : L/6D = 0.89\n```\n\nLa classification ImageNet ne compte que 196 tokens, à plus d'un facteur dix du seuil. La détection sur COCO et la segmentation sur ADE20K tournent autour de 4K tokens : le seuil est déjà franchi pour ViT-S, et presque atteint pour ViT-B.\n\nLes auteurs formulent donc deux hypothèses :\n\n- **Hypothèse 1** : la classification ImageNet n'est ni longue ni causale ; elle n'a pas besoin de SSM.\n- **Hypothèse 2** : la détection et la segmentation ne sont pas causales, mais leurs séquences sont assez longues ; un SSM pourrait encore y être utile.\n\n### Retirer le SSM\n\n[![À gauche, la structure des deux blocs : dans le bloc Gated CNN, l'entrée passe par deux Linear et se divise en deux branches, l'une traversant une Conv, l'autre une fonction d'activation ; les deux branches sont multipliées, puis passent par un Linear. Le bloc Mamba est identique, si ce n'est qu'une activation et un SSM suivent la Conv. À droite, un graphique à bulles de la précision Top-1 sur ImageNet en fonction du calcul : la courbe de MambaOut se situe au-dessus de VMamba, PlainMamba et Vision Mamba](/content/papers/assets/a9e2bb043c6ac8f4558024557394c6a1ec7b9007b52ba19b5d1f7c05b07a3bc7.png)](/content/papers/assets/a9e2bb043c6ac8f4558024557394c6a1ec7b9007b52ba19b5d1f7c05b07a3bc7.png)\n\n*Figure 1 de l'article, extraite de la [**page 1 du PDF v3**](https://arxiv.org/pdf/2405.07992v3#page=1). (a) omet la normalisation et les connexions résiduelles ; dans (b), la taille des bulles représente le nombre de paramètres.*\n\nÀ gauche, les deux blocs sont presque identiques. Les auteurs les écrivent avec une même formule :\n\n$$\nY=\\big(\\text{TokenMixer}(X'W_1)\\odot\\sigma(X'W_2)\\big)W_3+X\n$$\n\n$X'$ est l'entrée normalisée ; une branche passe par le *token mixer*, l'autre par une fonction d'activation qui sert de porte ; les deux branches sont multipliées élément par élément, puis projetées vers la dimension d'origine. Seul le *token mixer* diffère :\n\n$$\n\\text{TokenMixer}_{\\text{Gated CNN}}(Z)=\\text{Conv}(Z),\\qquad\n\\text{TokenMixer}_{\\text{Mamba}}(Z)=\\text{SSM}\\big(\\sigma(\\text{Conv}(Z))\\big)\n$$\n\nUn bloc Mamba n'est donc qu'un Gated CNN auquel on a ajouté un SSM après la convolution.\n\nSi l'on retire le SSM d'un bloc Mamba, il reste un Gated CNN. Les auteurs empilent ce bloc pour former une famille de modèles baptisée **MambaOut** :\n\n- comme *token mixer*, une convolution depthwise 7×7, reprise de ConvNeXt ; pour la vitesse réelle, la convolution ne porte que sur une partie des canaux, comme dans InceptionNeXt ;\n- quatre étages, comme dans ResNet, avec un sous-échantillonnage entre deux étages ;\n- quatre tailles, de la plus petite, Femto, jusqu'à Base.\n\nCette conception sert de référence : voir jusqu'où l'on peut aller sans SSM. Précisons qu'elle se distingue de chacun des Mamba visuels par bien plus qu'un SSM : la forme de la convolution, la conception des blocs et la configuration des étages changent aussi. Même si MambaOut fait mieux, ce qu'il démontre au sens strict, c'est qu'« on peut atteindre ce niveau sans SSM » ; pour mesurer l'apport du SSM lui-même, il faudrait le retirer d'un même backbone.\n\n## Discussion\n\n### Classification ImageNet\n\nL'entraînement suit la recette de DeiT, sans distillation, avec des entrées de 224×224. Voici quelques comparaisons à nombre de paramètres voisin :\n\n| Modèle | Paramètres (M) | MACs (G) | Top-1 (%) |\n| --- | ---: | ---: | ---: |\n| Vim-Ti | 7 | 1,5 | 76,1 |\n| EfficientVMamba-S | 11 | 1,3 | 78,7 |\n| **MambaOut-Femto** | 7 | 1,2 | **78,9** |\n| VMamba-T | 22 | 5,6 | 82,2 |\n| LocalVMamba-T | 26 | 5,7 | 82,7 |\n| **MambaOut-Tiny** | 27 | 4,5 | **82,7** |\n| LocalVMamba-S | 50 | 11,4 | 83,7 |\n| VMambaV9-S | 50 | 8,7 | 83,6 |\n| **MambaOut-Small** | 48 | 9,0 | **84,1** |\n| VMambaV9-B | 89 | 15,4 | 83,9 |\n| **MambaOut-Base** | 85 | 15,8 | **84,2** |\n\n*Tableau : extrait de la Table 1 de l'article.*\n\nÀ chaque taille, MambaOut égale ou dépasse les Mamba visuels dotés d'un SSM. En taille Small, par exemple, MambaOut devance LocalVMamba-S de 0,4 point avec seulement 79 % de son calcul ; face à VMambaV9, en revanche, ses MACs sont un peu plus élevés.\n\nLa Table 1 de l'article contient un autre point de comparaison instructif. CAFormer-M36 atteint 85,2 % avec 56M paramètres et 13,2G MACs ; VMambaV9-B, plus gros (89M, 15,4G), plafonne à 83,9 %. Autrement dit, pour juger si un SSM vaut la peine, il faut aussi faire entrer dans la comparaison les meilleurs backbones convolutifs et attentionnels.\n\n\n> [!TIP]\n> \n> La lignée CAFormer et MetaFormer est elle aussi l'œuvre du même auteur :\n> \n> - **[[21.11] PoolFormer : ce dont vous avez besoin, c'est du cadre !](/blog/papers/vision-transformers/poolformer)**\n> - **[[22.10] CAFormer : le mode d'emploi de MetaFormer](/blog/papers/vision-transformers/caformer)**\n\n\n### Détection et segmentation\n\nSur les tâches à séquences longues, la tendance s'inverse. Sur COCO, avec Mask R-CNN et un calendrier d'entraînement 1× :\n\n| Backbone | AP (boîtes) | AP (masques) |\n| --- | ---: | ---: |\n| MambaOut-Tiny | 45,1 | 41,0 |\n| VMamba-T | 46,5 | 42,1 |\n| LocalVMamba-T | 46,7 | 42,2 |\n| VMambaV9-T | 47,4 | 42,7 |\n\n*Tableau : extrait de la Table 2 de l'article.*\n\nMambaOut-Tiny a 1,4 point d'AP boîte et 1,1 point d'AP masque de moins que VMamba-T. La segmentation sémantique sur ADE20K va dans le même sens : le mIoU mono-échelle de MambaOut-Tiny, 47,4, est proche des 47,3 de VMamba-T, mais inférieur aux 47,9 de LocalVMamba-T et aux 48,3 de VMambaV9-T.\n\nLes auteurs y voient un appui à l'hypothèse 2 : avec des séquences assez longues, le SSM a peut-être été utile. Comme pour la classification, ce sont des architectures complètes différentes qui sont comparées ici ; ce résultat sert donc plutôt de piste pour la suite des recherches.\n\nIls ne font pas pour autant l'éloge des Mamba visuels. Dans les deux tableaux, COCO (Table 2, Mask R-CNN) et ADE20K (Table 3, UperNet), TransNeXt, qui combine convolution et attention, devance les Mamba visuels de sa catégorie ; sur ADE20K, par exemple, TransNeXt-Tiny atteint 51,1 de mIoU mono-échelle.\n\n### Les limites de cet étalon\n\nLe seuil $L>6D$ mesure le moment où le calcul d'un seul bloc Transformer devient dominé par le terme quadratique. C'est un critère commode, mais il ne permet pas d'établir qu'une tâche a « forcément besoin » d'un modèle en temps linéaire. Ajoutons un point : les backbones de détection et de segmentation recourent souvent à l'attention fenêtrée ou à un sous-échantillonnage hiérarchique pour réduire les coûts, si bien que la charge quadratique ne se manifeste pas toujours.\n\nPar ailleurs, l'hypothèse 2 s'appuie sur des preuves un peu plus faibles que l'hypothèse 1. Dans la catégorie Tiny ci-dessus, l'écart en détection va de 1,4 à 2,3 points d'AP boîte et de 1,1 à 1,7 point d'AP masque, et en segmentation certains Mamba visuels ne battent pas MambaOut. L'article étaye solidement l'idée que « la classification ImageNet n'a pas besoin de SSM » ; quant à l'idée que « les tâches visuelles à séquences longues ont besoin de SSM », elle relève plutôt de la piste « à creuser ».\n\n## Conclusion\n\nCet article répond à son titre avec une référence toute simple :\n\n1. **Selon les auteurs, Mamba convient aux tâches longues et causales.** Une mémoire de taille fixe n'apporte aucun avantage sur les séquences courtes, et une récurrence unidirectionnelle n'accumule l'information que dans le sens de la lecture.\n2. **La classification ImageNet ne remplit aucune des deux conditions.** Sans SSM, MambaOut égale ou bat les Mamba visuels à toutes les tailles du tableau ; pour les MACs, le classement dépend du modèle comparé.\n3. **La détection et la segmentation portent sur des séquences longues, où le SSM pourrait aider un peu.** MambaOut y perd face aux meilleurs Mamba visuels, mais tous les Mamba visuels perdent à leur tour face à des hybrides convolution-attention plus forts.\n\nLa flamme de Vision Mamba allait tout juste s'embraser, et la voilà déjà mouchée.\n\nAh, ainsi va la vie.\n\n\n> [!TIP]\n> \n> L'un des premiers travaux à avoir transposé Mamba à la vision :\n> \n> - **[[24.01] Vim : le regard de Mamba](/blog/papers/mamba/vim)**\n","imageSizes":{"/content/papers/assets/0a06070fe70c8178d01ed035d860f87f5caa629d7b13f3eb90b15d154a055398.png":{"width":983,"height":619},"/content/papers/assets/a9e2bb043c6ac8f4558024557394c6a1ec7b9007b52ba19b5d1f7c05b07a3bc7.png":{"width":1112,"height":456}}}