Retour à la bibliothèque
arXiv 2024ICML 2024Modèles d’espace d’étatNotes de lecture

Vim

Le regard de Mamba

Article original

Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model

Auteurs de l’article

Lianghui Zhu · Bencheng Liao · Qian Zhang · Xinlong Wang · Wenyu Liu · Xinggang Wang

Publication
ICML 2024Conférence
Premier dépôt sur arXiv
arXiv:2401.09417
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{mambavim2024,
  title = {{Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model}},
  author = {Lianghui Zhu and Bencheng Liao and Qian Zhang and Xinlong Wang and Wenyu Liu and Xinggang Wang},
  year = {2024},
  eprint = {2401.09417},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2401.09417}
}
Sur cette page

Vous souvenez-vous ? Après l'arrivée du Transformer en traitement du langage, il a fallu trois ans au domaine de la vision pour donner naissance à ViT.

Cette fois, Mamba vient tout juste d'apparaître pour le langage et, forts de cette expérience, les chercheurs en vision ne mettent qu'un mois à proposer Vim.

On ne peut que saluer leur travail acharné, de l'aube jusque tard dans la nuit.

Définition du problème

Mamba obtient de bons résultats sur les longues séquences en traitement du langage, pour une consommation de ressources bien inférieure à celle d'un Transformer.

Tout le monde semble alors se tourner vers lui : pourrait-il servir de base à la prochaine génération de grands modèles de langage et détrôner le Transformer ?

Les chercheurs débattront sans doute encore longtemps de cette succession. Le domaine de la vision, lui, n'attend pas : les auteurs de cet article remplacent directement le Transformer de ViT par Mamba pour voir ce qui se passe.

Résolution du problème

Architecture du modèle

Partons du principe que vous connaissez les travaux précédents et regardons directement l'architecture de Vim.

Elle reprend le style de ViT. Mamba étant aussi un modèle de séquence, il faut d'abord transformer l'image en séquence. Comme dans ViT, l'image est découpée en patches de taille P×PP \times P, puis chaque patch est aplati en vecteur.

Si l'image contient JJ patches, nous obtenons

xp∈RJ×(P2⋅C).x_p \in \mathbb{R}^{J \times (P^2 \cdot C)}.

Une projection linéaire W∈R(P2⋅C)×DW \in \mathbb{R}^{(P^2\cdot C) \times D} porte ensuite chaque patch dans la dimension DD. Pour classer l'image, un token CLS rassemble également l'information de la séquence. La formule de l'article le place d'abord au début pour illustrer le principe ; le modèle retenu le place au milieu après l'ablation consacrée à ce choix.

La séquence { tcls,  x1W,  x2W,… }\{\,t_{\text{cls}},\; x_1 W,\; x_2 W, \dots\} reçoit aussi un encodage de position appris Epos∈R(J+1)×DE_{\text{pos}} \in \mathbb{R}^{(J+1) \times D} :

T0=[ tcls;  t1pW;  … ;  tJpW ]  +  Epos.T_0 = [\,t_{\text{cls}};\;t_{1}^{p}W;\; \dots;\; t_{J}^{p}W\,] \;+\; E_{\text{pos}}.

Enfin, LL blocs Vim sont empilés. Chaque bloc transforme la séquence de tokens Tl−1T^{l-1} en TlT^l, et le token de classe de la dernière couche sert à la prédiction. Dans l'équation ci-dessous, TL0T_L^0 désigne la position initiale montrée par la formule de l'article ; avec la configuration finalement adoptée, on prend le token de classe situé au milieu :

Tl=Vim(Tl−1)+Tl−1,p^=MLP(Norm(TL0)).T^l = \mathrm{Vim}(T^{l-1}) + T^{l-1}, \quad \hat{p} = \mathrm{MLP}(\mathrm{Norm}(T_L^0)).

Tout cela ressemble beaucoup à ViT. La différence principale réside dans le bloc Vim : examinons-le.

Dans l'équation, Vim(⋅)\mathrm{Vim}(\cdot) représente la transformation sans connexion résiduelle. La sortie complète du bloc, décrite plus bas, réintroduit ce résidu.

Bloc Vision Mamba

Dans Mamba, l'état caché est mis à jour de façon récurrente le long de la séquence, contrairement au calcul d'auto-attention du Transformer. L'entraînement peut néanmoins employer un scan parallèle. Cette dynamique récurrente est l'une des caractéristiques de Mamba.

Pour une image, dont la structure spatiale importe, parcourir la séquence uniquement du début à la fin ne paraît pourtant pas idéal. Il faut aussi tenir compte des informations allant « de droite à gauche » et d'un contexte plus large. Les auteurs introduisent donc une modélisation bidirectionnelle.

Après réception de la séquence visuelle, le modèle applique un SSM dans le sens avant et un autre dans le sens arrière, puis fusionne leurs sorties : une idée qui rappelle les RNN bidirectionnels du traitement du langage.

Suivons le schéma étape par étape :

  • Normalisation : normaliser l'entrée Tl−1T^{l-1} pour obtenir T~\widetilde{T}.
  • Projection linéaire : projeter T~\widetilde{T} en xx et zz, de dimension EE.
  • Convolution 1D : appliquer à xx une convolution 1D dans chaque sens pour obtenir xo′x'_o.
  • Paramétrisation SSM : projeter xo′x'_o vers (Bo,Co,Δo)(B_o, C_o, \Delta_o) ; AoA_o est appris. La discrétisation produit ensuite Aˉo\bar{A}_o et Bˉo\bar{B}_o.
  • SSM avant et arrière : calculer séparément yforwardy_{\text{forward}} et ybackwardy_{\text{backward}}.
  • Fusion avec porte : pondérer ces deux sorties par SiLU(z)\mathrm{SiLU}(z), les additionner, appliquer une projection linéaire et ajouter le résidu pour obtenir TlT^l.

Sous forme mathématique, pour une séquence de longueur MM dans le sens avant et pour t=1,2,…,Mt=1,2,\dots,M :

ht=Aˉt ht−1+Bˉt xt′,yt=Ct ht,h_t = \bar{A}_t \, h_{t-1} + \bar{B}_t \, x'_t, \quad y_t = C_t \, h_t,

Le sens arrière est parcouru de t=Mt=M à t=1t=1.

La porte élément par élément SiLU(z)\mathrm{SiLU}(z) précède enfin la somme, la projection et l'ajout du résidu :

Tl=LinearT ⁣[(yforward+ybackward)⊙SiLU(z)]+Tl−1.T^l = \mathrm{Linear}^{T}\!\left[(y_{\text{forward}} + y_{\text{backward}})\odot\mathrm{SiLU}(z)\right]+T^{l-1}.

Choix des paramètres

Les principaux hyperparamètres de Vim sont :

  • LL : le nombre de blocs Vim empilés ;
  • DD : la dimension cachée des tokens d'entrée ;
  • EE : la dimension après expansion, fixée à 2D2D pour les variantes Tiny et Small ;
  • NN : la dimension de l'état SSM, égale à 16 par défaut.

Pour des configurations comparables à DeiT-Tiny et DeiT-Small :

  • Tiny : D=192,E=384,N=16,L=24D=192, E=384, N=16, L=24 ;
  • Small : D=384,E=768,N=16,L=24D=384, E=768, N=16, L=24 ;
  • les patches, de taille 16×16, ne se chevauchent pas. Ils sont aplatis avant d'entrer dans les blocs Vim.

L'architecture modélise ainsi l'image comme une séquence sans branche convolutive ou mécanisme d'attention supplémentaire.

Discussion

Classification d'images

Les auteurs testent d'abord Vim sur la classification ImageNet-1K. L'entraînement reprend principalement la recette de DeiT, avec l'optimiseur AdamW, une décroissance cosinus du taux d'apprentissage et huit GPU A800. Après 300 époques d'entraînement supervisé, ils réduisent le pas de découpe des patches à 8 et poursuivent le fine-tuning pendant 30 époques pour tester des séquences d'image plus longues.

Dans le tableau, Vim-S compte 26 M de paramètres contre 25 M pour ResNet50, avec une précision Top-1 de 80,3 % contre 76,2 %. Les modèles de tailles, recettes d'entraînement et résolutions différentes ne doivent toutefois pas tous être traités comme s'ils étaient évalués dans les mêmes conditions.

La comparaison avec ViT demande aussi de la prudence : ViT-B/L utilisent des images de 384 pixels, Vim des images de 224 pixels. Ces seules lignes ne suffisent pas à conclure à une supériorité à conditions égales. Face à DeiT, Vim obtient une meilleure précision aux tailles Tiny, Small et Base avec un nombre de paramètres voisin, mais légèrement supérieur :

  • Vim-Tiny dépasse DeiT-Tiny de 3,9 points de pourcentage ;
  • Vim-Small dépasse DeiT-Small de 0,5 point ;
  • Vim-Base dépasse DeiT-Base de 0,1 point.

Dans les configurations ImageNet-1K du tableau, DeiT obtient donc une précision de classification légèrement inférieure à Vim.

Après le fine-tuning sur des séquences plus longues, indiqué par †, les variantes Vim-Tiny, Vim-Small et Vim-Base gagnent encore en précision. Elles montrent qu'on peut améliorer les résultats par ce réglage tout en conservant un nombre de paramètres relativement réduit.

Résultats à haute résolution

Les auteurs comparent les variantes Tiny de Vim et de DeiT selon la résolution des images. Le graphique indique les images par seconde, ou FPS, lors de l'extraction de caractéristiques par lots, sur une échelle logarithmique, ainsi que la mémoire GPU utilisée :

  • À 512×512, les FPS sont proches, mais Vim utilise moins de mémoire GPU : 3,32 Go contre 4,56 Go.
  • À 1248×1248, Vim est 2,8 fois plus rapide et n'emploie que 13,2 % de la mémoire de DeiT, soit une économie de 86,8 %.

L'auto-attention croît quadratiquement avec la longueur MM, alors que le module SSM de Vim reste essentiellement linéaire. Lorsque MM augmente, les écarts de vitesse et de mémoire deviennent donc plus visibles.

Segmentation d'images

Après la classification, regardons la segmentation. Les auteurs utilisent le jeu ADE20K et le cadre de segmentation UperNet pour comparer plusieurs réseaux dorsaux.

Aux tailles Tiny et Small testées, Vim obtient une meilleure mIoU que DeiT. L'écart est de 1,8 point pour Vim-Tiny et de 0,9 point pour Vim-Small, dans ces conditions précises.

Vim-Small atteint aussi une mIoU proche de celle de ResNet-101 avec environ deux fois moins de paramètres. Cela montre qu'une modélisation purement séquentielle par SSM peut produire une segmentation sémantique précise et efficace dans ce protocole.

Détection d'objets

Sur COCO 2017, les auteurs évaluent la détection d'objets et la segmentation d'instances. Le tableau compare les réseaux dorsaux avec Cascade Mask R-CNN, en reprenant la configuration haute résolution de ViTDet.

Le box AP de Vim-Tiny dépasse celui de DeiT-Tiny de 1,3 point, et son mask AP de 1,1 point ; le box AP des petits objets est identique. Dans ce cadre, les résultats de Vim sont donc meilleurs pour la détection et la segmentation.

Pour les objets moyens, les gains de box AP et mask AP sont respectivement de 1,6 et 1,3 point ; pour les grands objets, de 1,4 et 1,8 point. Ces chiffres sont compatibles avec l'avantage supposé d'une modélisation du contexte lointain, mais le tableau seul n'en démontre pas la cause.

Ces expériences montrent que le réseau dorsal Vim, aux résolutions testées, atteint un AP supérieur sans ajouter l'attention par fenêtres 2D utilisée par le réseau dorsal DeiT. Il faut néanmoins revenir aux mesures de vitesse et de mémoire précédentes pour juger son efficacité de calcul.

Ablation : conception bidirectionnelle

Les auteurs décrivent cinq stratégies de parcours directionnel, dont quatre figurent dans le tableau. Ils étudient leur effet sur la classification ImageNet et la segmentation ADE20K. Pour la segmentation, une tête Segmenter à deux couches teste le transfert des caractéristiques du réseau dorsal ; cette ablation n'utilise pas de token de classe.

  1. None : le bloc Mamba d'origine ne parcourt la séquence que dans le sens avant. Cela peut convenir à la classification, mais risque de perdre des informations spatiales ou provenant des éléments suivants, utiles à la segmentation.
  2. Bidirectional Sequence : pendant l'entraînement, le sens de la séquence visuelle est inversé aléatoirement. Il s'agit surtout d'une augmentation des données, sans traitement bidirectionnel dans la structure du modèle.
  3. Bidirectional Layer, également appelé Block dans l'article : les blocs sont appariés. Le premier parcourt la séquence en avant, le suivant en arrière ; les couches impaires et paires alternent donc, sans combiner les deux sens dans une même couche.
  4. Bidirectional SSM : chaque bloc ajoute un SSM arrière au SSM avant et traite la séquence dans les deux sens au même niveau.
  5. Bidirectional SSM + Conv1d : une convolution 1D supplémentaire précède le SSM arrière.

Le tableau présente les résultats :

  • None (Mamba unidirectionnel)

    • Classification : la précision Top-1 reste convenable.
    • Segmentation sémantique : l'absence de contexte dans les deux sens pénalise davantage cette tâche dense.
  • Bidirectional Block

    • Classification : la précision Top-1 baisse de 73,2 % à 70,9 %, soit 2,3 points de pourcentage. Alterner blocs avant et arrière est défavorable dans cette configuration.
    • Segmentation : la mIoU progresse de 1,3 point par rapport à la version unidirectionnelle ; même cette stratégie en deux blocs enrichit le contexte global.
  • Bidirectional SSM + Conv1d, la stratégie bidirectionnelle complète

    • Cette configuration fournit le meilleur équilibre entre classification ImageNet et segmentation ADE20K :
      • 73,9 % de précision Top-1, contre 72,8 % pour Bidirectional SSM ;
      • 35,9 de mIoU, contre 32,3 dans le comparateur cité.
    • La combinaison des deux sens dans un bloc, avec une convolution 1D avant le SSM arrière, conserve la capacité de classification tout en améliorant nettement la prédiction dense.
    • Elle devient le bloc Vim finalement retenu.

Ablation : stratégie de classification

Les auteurs étudient l'effet de cinq façons de produire la prédiction ImageNet avec un réseau dorsal fondé sur des SSM :

  1. Mean pool : moyenner tous les tokens de la dernière couche avant de classer, sans token de classe.
  2. Max pool : prendre le maximum sur la séquence. Là encore, il n'y a pas de token de classe ; chaque token a une tête de classification locale et le maximum détermine la prédiction.
  3. Head class token : comme dans DeiT, placer le token de classe au début et ne classer qu'à partir de lui.
  4. Double class token : placer un token au début et un autre à la fin, puis combiner leurs informations.
  5. Middle class token : placer le token de classe au milieu et ne classer qu'à partir de celui-ci. Les auteurs pensent profiter à la fois de la dynamique récurrente bidirectionnelle et du fait que l'objet principal est souvent proche du centre des images ImageNet.

Voici les résultats :

Le Middle class token obtient la meilleure précision Top-1, soit 76,1 %.

Dans cette ablation, le token central gagne 0,9 point de pourcentage sur le token placé en tête (75,2 %). Les auteurs l'attribuent à la récurrence bidirectionnelle et au biais selon lequel l'objet se situe au centre ; le tableau teste la position du token, sans isoler ces deux explications.

Conclusion

Les auteurs proposent Vision Mamba (Vim) pour étendre Mamba, récent et efficace, à un réseau dorsal visuel généraliste.

Sans auto-attention, Vim recueille un contexte global au moyen de SSM bidirectionnels. Il conserve un coût de calcul et une consommation mémoire raisonnables pour les séquences longues ou les images de haute résolution, tout en donnant de bons résultats sur plusieurs tâches visuelles de référence.

Après cette lecture, c'est surtout l'idée de modélisation bidirectionnelle qui nous marque.

Une image est une structure 2D. Pourquoi ne la regarder que « de gauche à droite » ou « de droite à gauche » ? Pourrions-nous aussi la parcourir verticalement ? En diagonale ?

On peut imaginer toutes sortes de directions :

On pourrait également reprendre des idées de MAE et de CLIP : la modélisation d'images masquées ou un préentraînement multimodal dans l'esprit de CLIP amélioreraient peut-être Vim.

Après cela, c'est sûrement un camion entier de nouveaux articles qui nous attend !