Retour à la bibliothèque
arXiv 2022TMLR 2023Transformers visuelsNotes de lecture

ConvMixer

Le mélangeur convolutif

Article original

Patches Are All You Need?

Auteurs de l’article

Asher Trockman · J. Zico Kolter

Premier dépôt sur arXiv
arXiv:2201.09792
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{visiontransformersconvmixer2022,
  title = {{Patches Are All You Need?}},
  author = {Asher Trockman and J. Zico Kolter},
  year = {2022},
  eprint = {2201.09792},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2201.09792}
}
Sur cette page

Depuis quelques années, on croise souvent des titres comme « XXX is all you need ».

À chaque fois, nous ne pouvons pas nous empêcher d’aller voir ce qui se passe cette fois.

Définir le problème

Depuis l’arrivée de ViT, tout le monde cherche à comprendre pourquoi les Transformers sont si puissants. Est-ce l’auto-attention ? Le mécanisme de Token-Mixer ? Ou bien l’architecture entière ?

Dans cet article, les auteurs demandent si la puissance de ViT vient du mécanisme de Patchify. Ils proposent donc ConvMixer pour retirer l’influence de l’auto-attention. Si les performances se maintiennent malgré cela, on pourra montrer que Patchify est important « dans une certaine mesure ».

Résoudre le problème

Architecture du modèle

Les auteurs conservent l’idée de ViT : prendre des patches en entrée et garder la même résolution à chaque couche. Ils construisent toutefois une autre architecture avec des convolutions. Deux différences dominent :

  1. Remplacer le module Self-Attention par un module Convolution.

    Nous avons ajouté des indications sur les modifications dans la figure ci-dessus. Le texte rouge est une annotation ajoutée à cette note ; à droite, dire que la Pointwise Convolution et le FFN sont « identiques » est imprécis. Nous distinguons les deux ci-dessous.

    L’image est toujours découpée en patches au départ, mais leur plongement est produit par une convolution dont le noyau et le pas valent la taille du patch. Leur organisation bidimensionnelle est conservée. Dans le Token-Mixer, une Depthwise Convolution remplace Self-Attention.

    Avant, chaque token pouvait voir tous les autres en une seule couche. Maintenant, chaque couche ne mélange que les tokens « proches », selon la taille du noyau ; en empilant les couches, le champ réceptif s’étend quand même. L’auto-attention disparaît et nous pouvons observer le rôle de la représentation par patches dans ce modèle.

  2. Remplacer le MLP par une Pointwise Convolution.

    La Pointwise Convolution mélange les canaux à chaque position spatiale. Elle remplit un rôle voisin de celui d’une couche linéaire appliquée à chaque token, sans être directement équivalente à un MLP complet à deux couches.

    Nous le soulignons, car une convolution 1×1 suffit pour réaliser ce mélange des canaux ; la figure montre aussi GELU et BatchNorm à sa suite.

Stratégie d’entraînement

Les auteurs n’introduisent aucune donnée d’entraînement supplémentaire : ils entraînent directement le modèle sur ImageNet.

Les réglages ressemblent à ceux d’autres modèles, avec RandAugment, MixUp et d’autres méthodes. L’optimiseur est AdamW, mais le nombre d’époques est assez faible : d’après l’article, les auteurs manquaient de puissance de calcul.

Paramètres du modèle

La figure ci-dessus reprend le tableau principal des configurations et résultats de l’article ; la conception de ConvMixer se décrit surtout par quatre paramètres :

  1. Largeur (hidden dimension, h) : la dimension des plongements de patches, également appelée dimension cachée du modèle.

  2. Profondeur (depth, d) : le nombre de répétitions d’une couche ConvMixer.

  3. Taille des patches (patch size, p) : un paramètre qui règle la résolution interne du modèle. Il détermine la taille de la découpe initiale quand la convolution traite l’image d’entrée.

  4. Taille du noyau (kernel size, k) : la taille du noyau des couches de convolution depthwise, qui détermine la portée de l’opération.

On nomme généralement ConvMixer d’après sa dimension cachée et sa profondeur, par exemple ConvMixer-h/d. Il accepte des entrées de tailles variables ; sa résolution interne dépend de la taille initiale n divisée par la taille de patch p.

Discussion

Performances sur ImageNet

ConvMixer-1536/20 fait mieux que ResNet-152 malgré un nombre de paramètres bien plus faible. ConvMixer-768/32 atteint une précision semblable avec seulement un tiers des paramètres de ResNet-152.

Avec relativement peu de paramètres, ConvMixer-1536/20 atteint 81,37 % dans le tableau principal, contre 81,0 % pour ResMLP-B24/8, et approche les 81,8 % de DeiT-B : un bon rapport entre paramètres et précision dans ce réglage. Les résultats de DeiT et de ResMLP impliquent davantage d’ajustements d’hyperparamètres. Le tableau principal de ConvMixer utilise des réglages non ajustés ; l’annexe rapporte séparément 82,20 % après adaptation de la régularisation. Il ne faut pas mélanger ces configurations.

La figure ci-dessus est la Figure 1 de l’article : elle relie le nombre de paramètres à la précision. Le tableau d’annexe présenté plus haut montre quant à lui le compromis lié à la taille des patches. Pour ConvMixer-1536/20, la faire passer de 7 à 14 fait baisser le top-1 de 81,37 % à 78,92 %, mais augmente le débit de 134 à 538 images/s. Regarder seulement la précision ou seulement la vitesse ferait manquer l’autre aspect.

Conclusion

Cet article propose ConvMixer pour diminuer l’influence de l’auto-attention et explorer le mécanisme de Patchify.

Les expériences montrent que les performances se maintiennent quand on retire l’auto-attention. Les auteurs en tirent deux conclusions :

  1. Le mécanisme de Patchify compte réellement.
  2. ConvMixer est simple et performant, donc mérite aussi d’être recommandé.