Emerging Properties in Self-Supervised Vision Transformers
- Publication
- ICCV 2021Conférence
- Premier dépôt sur arXiv
- arXiv:2104.14294
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{contrastivelearningdino2021,
title = {{Emerging Properties in Self-Supervised Vision Transformers}},
author = {Mathilde Caron and Hugo Touvron and Ishan Misra and Hervé Jégou and Julien Mairal and Piotr Bojanowski and Armand Joulin},
year = {2021},
eprint = {2104.14294},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2104.14294}
}
Cet article paraît à peu près en même temps que MoCo v3. Sur certains protocoles ViT étudiés ici, DINO obtient de meilleurs résultats.
Le sigle vient de self-distillation with no labels : DINO. Quant à moi, je le prononce comme le début du mot anglais dinosaur, « DI-NO », et non « Dee-No ».
Définir le problème
Vous vous souvenez de BYOL ?
Si ce n'est pas le cas, voici son architecture en bref :
BYOL est un article important montrant qu'une méthode d'apprentissage de représentations peut fonctionner sans exemples négatifs.
On peut retenir trois éléments de son architecture :
- Deux branches siamoises : un réseau en ligne et un réseau cible, ce dernier étant mis à jour par moyenne mobile exponentielle (EMA) des paramètres.
- Arrêt du gradient : aucun gradient n'est propagé par la branche cible.
- Un MLP supplémentaire : la branche en ligne possède un prédicteur MLP que la branche cible n'a pas.
Inspirés par BYOL, les auteurs de DINO modifient un peu cette structure.
Ils retiennent notamment deux changements :
- Changer la perte : BYOL compare des vecteurs normalisés avec une erreur quadratique ; DINO aligne les distributions de sortie de l'enseignant et de l'étudiant par entropie croisée.
- Supprimer le MLP prédicteur supplémentaire : les branches de l'étudiant et de l'enseignant suivent la même architecture de base, sans prédicteur propre à l'étudiant.
Cela semble modeste, mais les auteurs s'appuient aussi sur un autre travail :
Dans les expériences semi-supervisées de cet article, la mise à jour de l'enseignant par moyenne mobile des paramètres de l'étudiant donne de meilleurs résultats qu'un enseignant figé.
Résoudre le problème
Après les modifications de BYOL que nous venons de voir, on obtient ce schéma.
Pour une image d'entrée , les deux réseaux produisent chacun des logits de dimension , transformés en distribution de probabilité par softmax. Pour l'étudiant, la probabilité de la composante , , est :
est la température qui règle la concentration de la distribution. L'enseignant produit de même une distribution , mais avec sa propre température .
Le gradient de cette perte ne met pas l'enseignant à jour. On veut que la distribution de l'étudiant se rapproche de celle de l'enseignant , en minimisant leur entropie croisée :
où mesure l'écart entre les deux distributions.
Sans étiquettes, les auteurs créent plusieurs vues d'une même image par des augmentations différentes, comme dans d'autres méthodes d'apprentissage de représentations.
Ici, toutes les vues passent dans l'étudiant, tandis que seules les vues globales passent dans l'enseignant. Le modèle peut ainsi relier une partie locale à une vue plus globale.
Pour chaque vue globale et chaque autre vue traitée par l'étudiant, avec , on calcule une entropie croisée et l'on minimise :
Cette perte accepte un nombre variable de vues. Le réglage de référence de l'article utilise deux vues globales et plusieurs vues locales.
Les paramètres de l'étudiant sont mis à jour par optimisation du gradient ; les expériences ViT de l'article emploient AdamW.
Les paramètres de l'enseignant suivent une EMA de ceux de l'étudiant :
Comme dans un encodeur par momentum, le coefficient suit un calendrier cosinus qui passe de 0,996 à 1 pendant l'entraînement.
Éviter l'effondrement
Une méthode siamoise autosupervisée risque de s'effondrer vers une sortie constante. D'autres travaux utilisent pour cela une perte contrastive ou le regroupement. DINO associe plutôt centrage et accentuation des probabilités.
-
Centrage (Centering) :
Avant le softmax de l'enseignant, on soustrait aux logits un vecteur centre :
Cela empêche une dimension de dominer indéfiniment, mais pourrait aussi pousser la distribution vers l'uniformité. Le centre est mis à jour par EMA de la moyenne des sorties d'enseignant sur le lot :
Ici, est le coefficient de moyenne mobile et la taille du lot. Le centre dépend ainsi de statistiques de premier ordre. Le texte de l'article mentionne , mais son Algorithm 1 et le code officiel soustraient le centre calculé par cette moyenne mobile.
-
Accentuation (Sharpening) :
Une température plus faible dans le softmax de l'enseignant rend sa distribution plus pointue. Cet effet contrebalance la tendance à l'uniformité du centrage ; ensemble, ces opérations aident à éviter l'effondrement dans les expériences.
Discussion
Comparaison avec d'autres méthodes
Les auteurs distinguent les comparaisons à architecture commune et celles entre architectures différentes :
-
Avec la même architecture :
- ResNet-50 : DINO obtient un résultat proche des meilleures méthodes autosupervisées comparées dans ce réglage standard.
- ViT-S : avec l'architecture inspirée de DeiT-S, DINO dépasse BYOL, MoCo v2 et SwAV dans le tableau.
- Sa classification linéaire atteint 77,0 %, soit 3,5 points de pourcentage au-dessus des 73,5 % de SwAV avec ViT-S.
- Son k-NN atteint 74,5 %, soit 7,9 points au-dessus des 66,6 % de BYOL avec ViT-S. Le k-NN de DINO ViT-S, à 74,5 %, est à 2,5 points de sa classification linéaire à 77,0 %. Un écart aussi faible ne se retrouve pas dans les autres méthodes du tableau ni avec DINO ResNet-50.
-
Entre architectures différentes :
Cette partie examine surtout jusqu'où peut aller un ViT entraîné par DINO avec différentes tailles de modèle, et non un classement direct entre méthodes.
Agrandir le ViT améliore les résultats, mais réduire la taille des patchs — les variantes « /8 » — a ici un effet plus marqué. Pour une même architecture, des patchs plus petits n'ajoutent pas de paramètres, mais créent plus de tokens, diminuent le débit d'inférence et demandent davantage de mémoire.
Avec DINO, ViT-B/8 atteint 80,1 % en classification linéaire top-1 et 77,4 % en k-NN. Face au SimCLRv2 RN152w3+SK du tableau, les extracteurs ont respectivement 85 et 794 millions de paramètres, et les débits sont de 63 et 46 images par seconde. C'est une comparaison entre architectures.
DINO et SwAV obtiennent tous deux 75,3 % de précision linéaire avec le ResNet-50 standard. Dans les variantes ViT du tableau, diminuer la taille des patchs améliore la précision, mais réduit le débit pour une même architecture.
Importance des composants
Les auteurs réalisent plusieurs ablations :
- Sans momentum (ligne 2 du tableau) : Si l'on retire seulement l'enseignant par momentum, en conservant les autres réglages, le k-NN et l'évaluation linéaire tombent tous deux à 0,1 %.
- Opérations contre l'effondrement, dont SK : SwAV, à la ligne 9, n'utilise pas de momentum, mais impose une contrainte de Sinkhorn-Knopp et atteint tout de même 71,8 % en précision linéaire. Les lignes 1 et 3 montrent que l'ajout de SK à DINO, qui a déjà un enseignant par momentum, change peu le résultat. Les autres réglages varient aussi : on ne peut pas attribuer tout l'écart entre les lignes 3 et 9 au seul momentum.
- Vues multiples et entropie croisée : Par rapport à la ligne 1, retirer les recadrages multiples à la ligne 4 fait passer la précision linéaire de 76,1 % à 72,5 % ; remplacer la perte par la MSE à la ligne 5 l'amène à 62,4 %. Chaque ablation mesure un choix distinct.
- Ajout d'un prédicteur : À la ligne 6, un prédicteur dans l'étudiant donne 75,6 %, soit 0,5 point de moins que la ligne 1. Celui de BYOL est un élément d'une autre méthode et d'un autre ensemble de réglages.
Tester l'effondrement
On distingue ici deux formes courantes d'effondrement :
- les sorties restent uniformes pour toutes les entrées ;
- les sorties se concentrent sur la même dimension pour toutes les entrées.
Le centrage soustrait aux logits de l'enseignant, . Il empêche qu'une dimension domine, mais peut rendre la distribution uniforme s'il agit seul. L'accentuation utilise une température plus faible pour rendre le softmax plus pointu et contrebalancer cette tendance.
On peut décomposer l'entropie croisée en entropie de l'enseignant et divergence de Kullback-Leibler :
Quand tend vers zéro, les distributions comparées de l'enseignant et de l'étudiant deviennent proches. Pour juger d'un éventuel effondrement entre différentes images, il faut aussi examiner l'entropie de l'enseignant et la variation des sorties selon l'entrée.
Dans la figure, n'utiliser qu'une des deux opérations conduit le KL vers zéro, mais l'entropie vers des limites distinctes : sans centrage, elle tend vers zéro, signe d'une concentration sur une dimension ; sans accentuation, elle tend vers , signe d'une distribution uniforme. Avec les deux opérations, les courbes ne rejoignent ni l'un ni l'autre de ces états dégénérés.
Conclusion
Dans les tâches et protocoles rapportés par l'article, le ViT préentraîné par DINO apprend des représentations utiles et obtient des résultats compétitifs face à plusieurs bases de comparaison, notamment convolutives.
Ces essais appuient l'intérêt de l'autosupervision pour ViT. Une comparaison générale avec des ViT supervisés ou des CNN dépend néanmoins des données de préentraînement, des backbones et du protocole de transfert.
La figure ci-dessus montre des cartes d'attention de ViT supervisés et de ViT entraînés par DINO. Les régions rouges correspondent aux zones d'attention sélectionnées ; ce ne sont pas des prédictions issues d'une tâche de segmentation. Dans ces exemples, l'attention de DINO se concentre davantage sur les objets principaux. Cette image qualitative ne mesure pas à elle seule un gain sur une tâche en aval.
Ces résultats font de l'autosupervision une voie prometteuse pour ViT, à vérifier sur d'autres tâches et dans d'autres conditions.