Retour à la bibliothèque
arXiv 2021NeurIPS 2021Transformers visuelsNotes de lecture

MLP-Mixer

Perdre moins, c'est déjà gagner

Article original

MLP-Mixer: An all-MLP Architecture for Vision

Auteurs de l’article

Ilya Tolstikhin · Neil Houlsby · Alexander Kolesnikov …

Afficher les 12 auteurs

Ilya Tolstikhin · Neil Houlsby · Alexander Kolesnikov · Lucas Beyer · Xiaohua Zhai · Thomas Unterthiner · Jessica Yung · Andreas Steiner · Daniel Keysers · Jakob Uszkoreit · Mario Lucic · Alexey Dosovitskiy

Publication
NeurIPS 2021Conférence
Premier dépôt sur arXiv
arXiv:2105.01601
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{visiontransformersmlpmixer2021,
  title = {{MLP-Mixer: An all-MLP Architecture for Vision}},
  author = {Ilya Tolstikhin and Neil Houlsby and Alexander Kolesnikov and Lucas Beyer and Xiaohua Zhai and Thomas Unterthiner and Jessica Yung and Andreas Steiner and Daniel Keysers and Jakob Uszkoreit and Mario Lucic and Alexey Dosovitskiy},
  year = {2021},
  eprint = {2105.01601},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2105.01601}
}
Sur cette page

Depuis l'arrivée des Transformers en vision par ordinateur, de nombreux travaux cherchent à rendre plus efficaces les échanges d'information entre patches.

Un nouveau terme est apparu pour cela : « Token-Mixer ».

Comme son nom l'indique, un Token-Mixer mélange l'information entre différents patches afin d'améliorer les performances du modèle.

L'auto-attention classique en est une réalisation.

Mais le coût de calcul de l'attention originale est élevé, si bien que les chercheurs ont commencé à chercher d'autres solutions.

MLP-Mixer en est une.

Définir le problème

Les auteurs se disent : l'auto-attention coûte trop cher, alors supprimons-la entièrement !

Et après l'avoir supprimée, que faire ?

Hé ! Il n'y a pas une simple couche entièrement connectée qui traîne sur le bord de la route ? Servons-nous-en !

Et voilà, c'est tout pour cet article. (Eh non !)

Résoudre le problème

Architecture du modèle

Les auteurs proposent deux étapes de couches entièrement connectées, autrement dit des MLP (perceptrons multicouches), pour échanger l'information.

La figure ci-dessus n'est peut-être pas très claire. Pas de problème, reprenons étape par étape :

  1. Prenons une image de 3 x 224 x 224, découpée en patches de 16 x 16 ; supposons une dimension de caractéristiques de 512.

    • Changement de forme : [B x 3 x 224 x 224] -> [B x 512 x 14 x 14].
  2. Réorganisons la carte de caractéristiques en séquence de tokens. La forme rappelle l'entrée de ViT, mais cette séquence n'est pas transmise à un Transformer.

    • Changement de forme : [B x 512 x 14 x 14] -> [B x 512 x 196].
  3. Première étape : mélanger l'information entre les patches.

    python
    import torch.nn as nn
    
    token_mixer = nn.Sequential(
        nn.Linear(196, 256), nn.GELU(), nn.Linear(256, 196)
    )
    token_norm = nn.LayerNorm(512)
    
    # Forme de l'entrée : x = [B x 512 x 196]
    x_norm = token_norm(x.permute(0, 2, 1)).permute(0, 2, 1)
    x_mix_patch = token_mixer(x_norm)
    
    # skip connection
    x = x + x_mix_patch
    
  4. Deuxième étape : mélanger l'information entre les canaux.

    python
    import torch.nn as nn
    
    channel_mixer = nn.Sequential(
        nn.Linear(512, 2048), nn.GELU(), nn.Linear(2048, 512)
    )
    channel_norm = nn.LayerNorm(512)
    
    # Forme de l'entrée : x = [B x 512 x 196]
    # Réorganiser d'abord en [B x 196 x 512]
    x_mix_channel = channel_norm(x.permute(0, 2, 1))
    x_mix_channel = channel_mixer(x_mix_channel)
    
    # Revenir à la forme initiale
    x_mix_channel = x_mix_channel.permute(0, 2, 1)
    
    # skip connection
    x = x + x_mix_channel
    

Nous venons d'effectuer un passage dans un bloc MLP-Mixer.

Vous remarquerez que la deuxième étape ressemble au MLP feed-forward qui suit l'attention dans un bloc ViT : toutes deux mélangent les canaux de chaque token. Cette étape n'est cependant pas elle-même une auto-attention.

La première étape change davantage : elle ne calcule pas de carte d'auto-attention entre patches. Elle applique les mêmes poids d'un MLP à deux couches à chaque canal pour mélanger directement les 196 patches. Chaque étape d'une Mixer layer est précédée d'une LayerNorm ; il n'y a pas d'embedding de position ajouté séparément, et la classification finale utilise un global average pooling.

Discussion

Résultats sur ImageNet

  • Les colonnes « ImNet » et « ReaL » présentent respectivement les résultats avec les étiquettes de validation ImageNet originales et avec les étiquettes ReaL corrigées.

  • « Avg 5 » est la moyenne sur cinq tâches aval : ImageNet, CIFAR-10, CIFAR-100, Pets et Flowers.


Préentraîné sur ImageNet-21k avec une régularisation supplémentaire, puis réglé finement en résolution 448, Mixer-L/16 atteint 84,15 % de précision top-1 sur ImageNet. C'est un bon résultat, même s'il est légèrement inférieur à plusieurs modèles du tableau. Sans régularisation, Mixer surapprend facilement, comme cela a aussi été observé avec ViT.

En partant de poids aléatoires et en entraînant MLP-Mixer sur ImageNet, Mixer-B/16 obtient 76,4 % en résolution 224 : à peu près comme un ResNet50 ordinaire, mais derrière des CNN ou modèles hybrides plus performants, tels que BotNet à 84,7 % et NFNet à 86,5 %.

Les performances de MLP-Mixer progressent nettement avec la taille du jeu de données de préentraînement. Dans le panneau de droite de la figure ci-dessus, il s'agit de la précision d'une classification linéaire à cinq exemples par classe sur des représentations préentraînées figées, pas d'un réglage fin complet.

Dans le tableau 2, après préentraînement sur JFT-300M, Mixer-H/14 obtient 87,94 % de précision top-1 sur ImageNet, soit 0,40 point de plus que BiT-ResNet152x4 à 87,54 %, mais 0,61 point de moins que ViT-H/14 à 88,55 %. Les débits TPUv3 indiqués sont respectivement de 40, 26 et 15 images/s/cœur. Mixer atteint donc environ 2,7 fois le débit de ViT et 1,5 fois celui de BiT dans ces conditions.

Sur le compromis précision-calcul, Mixer reste concurrentiel face à des architectures neuronales plus classiques. Même entre différentes familles, on observe une corrélation nette entre le coût total du préentraînement et la précision sur les tâches aval.

Analyse visuelle

On observe souvent que la première couche d'un CNN apprend des détecteurs proches des filtres de Gabor, qui opèrent sur une petite région de pixels.

À l'inverse, le MLP de mélange des tokens de MLP-Mixer permet des échanges à l'échelle de toute l'image. D'où cette question :

  • Traite-t-il l'information de la même manière ?

Pour y répondre, les auteurs réorganisent les poids des unités cachées des trois premiers MLP de mélange des tokens en grilles de 14 x 14, afin de voir comment elles pondèrent les patches. Ce ne sont pas des cartes de caractéristiques issues d'une image d'entrée.

Sur la figure, les poids du premier, du deuxième puis du troisième MLP de mélange des tokens apparaissent de gauche à droite. Nous pouvons voir que :

  • Certaines caractéristiques apprises agissent sur toute l'image, d'autres sur des régions plus petites.
  • Dans les couches plus profondes, les structures distinctes semblent moins nettes.
  • Comme dans les CNN, nombre de détecteurs de caractéristiques forment des paires de phases opposées.

Conclusion

Perdre moins, c'est déjà gagner !

Par rapport à l'auto-attention d'origine, MLP-Mixer peut réduire une grande part du calcul. Même si sa précision est parfois légèrement moins bonne dans les comparaisons de l'article, il peut tout de même trouver sa place !