An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
- Publication
- ICLR 2021Conférence
- Premier dépôt sur arXiv
- arXiv:2010.11929
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{visiontransformersvit2020,
title = {{An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale}},
author = {Alexey Dosovitskiy and Lucas Beyer and Alexander Kolesnikov and Dirk Weissenborn and Xiaohua Zhai and Thomas Unterthiner and Mostafa Dehghani and Matthias Minderer and Georg Heigold and Sylvain Gelly and Jakob Uszkoreit and Neil Houlsby},
year = {2020},
eprint = {2010.11929},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2010.11929}
}
En 2017, l'arrivée du Transformer a déclenché une véritable frénésie dans le traitement automatique des langues. En un instant, le champ s'est embrasé.
Trois ans plus tard, le vent a fini par porter cette effervescence jusqu'à la vision par ordinateur.
Définir le problème
Les travaux des années précédentes avaient souvent associé l'attention aux réseaux convolutifs.
D'autres conservaient l'architecture convolutive et n'en remplaçaient que certaines parties.
Ces essais semblaient indiquer qu'on ne pouvait pas simplement transposer le Transformer tel quel aux images.
Pour les auteurs de cet article :
- C'est seulement que vous ne vous y êtes pas pris de la bonne façon !
On peut abandonner les convolutions et traiter directement les images avec un Transformer.
Après tout, une image n'est qu'une collection de « mots » de 16 x 16 pixels !
Résoudre le problème
Architecture du modèle
Le Transformer, nous le connaissons bien.
On projette les mots en embeddings, on les range en séquence, puis on les passe au Transformer. Ici, il s'agit de classification d'images : seul l'Encoder est utilisé, sans Decoder.
Pour appliquer cette architecture aux images, la première question est :
- Comment transformer une image en séquence de mots ?
La solution proposée par les auteurs : découpons-la en blocs !
Patchify
Prenons une image de 224 x 224. Comment la découper en régions plus petites ?
À la main ? Bien sûr que non !
Dans l'article, chaque patch est aplati puis soumis à une projection linéaire. On peut obtenir l'équivalent avec une couche Conv2d dont la taille du noyau et le pas sont égaux à la taille du patch.
Essayons :
import torch
import torch.nn as nn
# Supposons une image de 224 x 224
dummy_img = torch.randn(1, 3, 224, 224)
# Taille du patch
patch_size = 16
# Dimension de l'embedding
embed_dim = 768
# Patchify
emb_layer = nn.Conv2d(3, embed_dim, kernel_size=patch_size, stride=patch_size)
# Résultat du découpage :
# input.shape = (1, 3, 224, 224)
# tokens.shape = (1, 768, 14, 14)
tokens = emb_layer(dummy_img)
Nous fixons ici la taille des patches à 16 x 16 et la dimension de l'embedding à 768.
Grâce au pas de la convolution, la fenêtre glisse sans chevauchement et découpe l'image de 224 x 224 en 14 x 14 patches.
Dans un Transformer classique, chaque token de la séquence de mots reçoit un embedding. Même principe ici : l'embedding d'un patch projette linéairement sa région de 16 x 16 x 3 valeurs dans un vecteur de dimension 768.
Il ne reste qu'à aplatir ces patches pour former une séquence :
tokens = tokens.flatten(2) # (1, 768, 14, 14) -> (1, 768, 196)
tokens = tokens.permute(2, 0, 1) # (1, 768, 196) -> (196, 1, 768)
Pour cet Encoder Transformer, la première dimension de l'entrée est la longueur de la séquence, la deuxième est la taille du batch et la troisième est la dimension des représentations.
Nous avons maintenant une séquence d'embeddings de patches. Avant de l'envoyer à l'Encoder, il faut encore ajouter au début un token [class] appris et ajouter des embeddings de position appris à toute la séquence ; la sortie de [class] servira ensuite à la classification.
Et après ?
Et voilà, c'est fini.
On traite ensuite cette séquence comme dans l'Encoder d'un Transformer pour le langage.
Stop ! Non, on ne peut pas s'arrêter si tôt !
*
Le tableau ci-dessous donne les configurations de ViT :
Moins de biais inductifs propres aux images
Par rapport aux CNN, l'architecture de ViT intègre beaucoup moins de biais inductifs propres aux images.
Dans ViT, les couches MLP partagent leurs poids entre les tokens, ce qui leur donne une localité et une équivariance par translation ; l'auto-attention permet quant à elle des interactions globales. Hormis le découpage en patches et l'interpolation des embeddings de position lors du réglage fin à haute résolution, le voisinage bidimensionnel n'est pas directement inscrit dans le modèle.
Le modèle doit donc apprendre depuis le départ ce qu'est une image et ce qui constitue ses caractéristiques.
Dans les expériences de l'article, quand les données manquent, même une certaine régularisation ne suffit pas aux grands ViT pour donner leur pleine mesure. C'est pourquoi les auteurs étudient particulièrement l'échelle des données de préentraînement.
Effet de la taille des données de préentraînement
Dans ces expériences de préentraînement, les grands ViT sont derrière certains ResNet (BiT) lorsque les données sont rares, dans l'évaluation linéaire ImageNet à 5 exemples par classe. À mesure que les données augmentent, les résultats de ViT-L/16 continuent de progresser.
Sur le graphique, les courbes grises représentent ResNet50x1 (BiT) et ResNet152x2 (BiT), et les autres couleurs représentent ViT. L'axe horizontal indique le nombre d'exemples de préentraînement issus de JFT : vers 100 millions d'exemples, ViT-L/16 dépasse déjà les deux courbes ResNet. Il n'a pas besoin d'attendre 300 millions.
Pour les auteurs :
- Sur les petits jeux de données, les biais inductifs des réseaux convolutifs comptent beaucoup.
- Sur les grands jeux de données, le modèle peut apprendre les motifs nécessaires directement à partir des données !
Peut-on aller encore plus loin ?
Que se passe-t-il si l'on augmente le calcul consacré au préentraînement ?
Les auteurs comparent trois familles de modèles. L'axe horizontal représente le calcul total du préentraînement sur JFT-300M :
- ViT
- ResNet
- Hybrid Model
Dans cette expérience où tous les modèles utilisent JFT-300M, ViT obtient généralement une meilleure précision après transfert que ResNet à calcul de préentraînement comparable.
Les modèles hybrides font légèrement mieux que ViT avec moins de calcul, mais cet écart disparaît aux budgets plus élevés.
Enfin, ViT ne semble pas saturer dans la plage étudiée : il y a manifestement encore du potentiel à exploiter.
Discussion
Que voit ViT ?
À gauche, les auteurs montrent les 28 premières composantes principales extraites des filtres RGB de la projection linéaire des patches de la première couche ; au centre, la similarité des embeddings de position ; à droite seulement, les distances d'attention.
-
RGB embedding filters (à gauche)
Ces composantes dessinent des bandes, des contours et des motifs colorés. Elles reflètent des représentations locales apprises à l'intérieur des patches ; ce ne sont pas des cartes d'attention.
-
Position Embeddings (au centre)
Les patches proches dans l'espace ont des embeddings semblables, ce qui indique que ces embeddings peuvent encoder les relations de distance entre les patches d'une image.
On y distingue aussi une structure de lignes et de colonnes ; l'article signale que les grilles plus grandes présentent parfois une structure sinusoïdale.
-
Distance d'attention (à droite)
Cette « distance d'attention » rappelle la taille du champ réceptif dans un CNN.
Les auteurs calculent la distance spatiale moyenne pondérée par les poids d'attention. Dans les couches basses, elle varie beaucoup d'une tête à l'autre : certaines couvrent déjà une grande partie de l'image, d'autres restent concentrées sur les régions voisines.
Globalement, cette distance augmente avec la profondeur. Dans la seconde moitié du réseau, la plupart des têtes portent plus loin, ce qui traduit l'intégration d'informations globales.
Prédire avec [CLS] ou avec GAP ?
L'article examine deux méthodes pour la classification :
-
Prédiction avec [CLS]
C'est la méthode courante en traitement des langues : le premier token de la séquence représente l'ensemble de celle-ci.
Elle fonctionne aussi bien pour les images.
-
Prédiction avec GAP
Ici, GAP (Global Average Pooling) fait la moyenne des sorties de tous les tokens de patches pour obtenir le vecteur de classification.
C'est la première approche essayée par les auteurs, mais ses résultats étaient très mauvais !
En examinant le problème, ils constatent que GAP n'est pas en cause : ils avaient repris le taux d'apprentissage utilisé avec le token
[class]. En passant à , les résultats deviennent comparables.
Après cet ajustement, les deux méthodes donnent de bons résultats.
Entraînement auto-supervisé
En s'inspirant du MLM, les auteurs essaient de prédire des patches masqués : ils sélectionnent 50 % des embeddings de patches ; parmi eux, 80 % sont remplacés par un token [MASK] appris, 10 % par l'embedding d'un autre patch et 10 % restent inchangés. Le modèle prédit ensuite la cible des patches sélectionnés.
L'entraînement se fait sur JFT pendant un million d'étapes, soit environ 14 époques, avec un batch de 4096. Il utilise Adam, un taux d'apprentissage de base de , un échauffement sur les 10 000 premières étapes et une décroissance cosinus du taux d'apprentissage.
Plusieurs cibles sont essayées :
- Prédire la couleur moyenne du patch, codée sur 3 bits par canal RGB, soit 512 classes.
- Prédire un patch réduit à , avec 512 classes de couleur pour chaque position.
- Prédire par régression L2 les valeurs RGB du patch complet de .
Toutes ces méthodes donnent de bons résultats, même si la régression L2 est légèrement moins bonne.
Les auteurs retiennent finalement la première, celle qui fonctionne le mieux en apprentissage avec peu d'exemples. Ils essaient aussi de masquer 15 % des patches, mais ce réglage donne un résultat légèrement inférieur.
Pour cette première cible, le texte principal rapporte 79,9 % sur ImageNet avec ViT-B/16 : environ 2 points de pourcentage de plus qu'un entraînement à partir de zéro, mais environ 4 points de moins qu'un préentraînement supervisé. Ce chiffre ne doit pas être attribué aux deux autres cibles.
Autres points à retenir
Au-delà de l'idée principale, quelques détails d'entraînement méritent l'attention :
- Le préentraînement sur JFT utilise un Weight Decay de 0,1, qui aide selon les auteurs au transfert ultérieur ; le réglage fin n'en utilise pas.
- Quand la résolution de l'image change, la longueur de la séquence change aussi puisque la taille des patches reste fixe. Il faut alors interpoler en deux dimensions les embeddings de position appris, selon leurs positions d'origine.
- Tous les modèles de l'article sont préentraînés avec Adam puis réglés finement avec un SGD à momentum. Dans la comparaison de l'annexe sur deux ResNet préentraînés sur JFT, Adam donne en moyenne un résultat de transfert légèrement meilleur que SGD.
- Dans l'ablation ImageNet à 5 exemples par classe avec ViT-B/16, les embeddings de position appris en 1D ou en 2D et les embeddings de position relatifs donnent des résultats proches ; supprimer toute information de position donne un résultat moins bon.
Conclusion
Cet article étudie l'application des Transformers aux images et propose une nouvelle architecture, ViT.
Sur les grands jeux de données évalués, ViT dépasse les réseaux convolutifs comparés et laisse entrevoir un potentiel encore plus grand dans les expériences.
Sa publication marque la réussite des Transformers en vision par ordinateur et ouvre la voie à de nouvelles recherches.