A Simple Framework for Contrastive Learning of Visual Representations
- Publication
- ICML 2020Conférence
- Premier dépôt sur arXiv
- arXiv:2002.05709
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{contrastivelearningsimclrv12020,
title = {{A Simple Framework for Contrastive Learning of Visual Representations}},
author = {Ting Chen and Simon Kornblith and Mohammad Norouzi and Geoffrey Hinton},
year = {2020},
eprint = {2002.05709},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2002.05709}
}
La recherche sur l'apprentissage contrastif a déjà environ cinq ans, et le paysage est devenu plutôt complexe et confus. Les architectures se compliquent, tout comme les méthodes d'entraînement.
Les auteurs de cet article pensent que l'essentiel de l'apprentissage contrastif devrait être plus simple.
Définir le problème
Rappelons un élément que l'on associe souvent à l'apprentissage contrastif :
- Pour obtenir de bons résultats, une banque de mémoire semble indispensable ?
Il faut beaucoup d'exemples négatifs pour guider l'apprentissage de bonnes représentations, et une banque de mémoire peut effectivement en fournir. InstDisc l'utilisait déjà, puis MoCo a repris cette idée.
Mais c'est contraignant ! Entretenir une banque de mémoire pendant l'entraînement ajoute une complication peu commode.
Les auteurs décident ici de s'en passer et d'utiliser des lots plus grands à la place. Avec suffisamment d'exemples négatifs dans chaque lot, le modèle peut apprendre une représentation utile.
Résoudre le problème
Architecture du modèle
Cette architecture est vraiment simple : ni plusieurs encodeurs, ni banque de mémoire.
On commence par appliquer deux augmentations aléatoires à une même image. On obtient ainsi deux images « différentes en apparence, mais issues de la même source ».
On passe ensuite ces deux images dans le même encodeur pour obtenir deux vecteurs latents.
Un petit réseau de projection transforme ces vecteurs dans l'espace où l'on calcule la perte contrastive. Celle-ci rapproche les vues augmentées provenant de la même image.
Hein ? C'est tout ?
Oui ! Nous avons déjà fini l'article ! (Enfin, presque.)
Augmentations des images
Pour SimCLR, les auteurs estiment que la diversité et l'intensité des augmentations comptent encore davantage qu'en apprentissage supervisé.
La figure présente plusieurs augmentations étudiées dans l'article. Parmi celles de la configuration de base de SimCLR, les plus importantes sont :
- le recadrage aléatoire (random crop) ;
- la déformation des couleurs (color distortion) ;
- le flou gaussien (Gaussian blur).
Les deux vues augmentées forment une « paire positive », puisqu'elles proviennent de la même image initiale.
Quelques détails
Commençons par l'encodeur : les auteurs prennent ResNet-50 comme base. L'image augmentée en entrée produit un vecteur . Celui-ci est généralement de grande dimension : après le pooling moyen, il compte par exemple 2 048 composantes avec ResNet-50.
Vient ensuite la tête de projection. Les auteurs observent qu'appliquer directement la perte contrastive à fonctionne moins bien que d'intercaler un petit MLP. Le réseau comporte habituellement une couche cachée, suivie de ReLU, puis produit un vecteur de dimension 128 sur lequel la perte est calculée.
Le point décisif est alors la définition de cette perte.
L'idée est de rapprocher dans l'espace vectoriel une paire issue de la même image et d'éloigner les vues provenant d'autres images. Les auteurs utilisent pour cela la forme NT-Xent (Normalized Temperature-scaled Cross Entropy Loss).
La perte NT-Xent
Comme l'InfoNCE que nous avons déjà rencontré, il s'agit d'une perte softmax qui identifie un positif parmi des candidats positifs et négatifs. SimCLR construit ces candidats avec les deux vues augmentées de chaque image du lot et moyenne la perte dans les deux sens. Les caractéristiques sont normalisées en ℓ₂ et comparées par similarité cosinus.
La perte NT-Xent s'écrit :
Ici :
- est le vecteur de dimension 128 produit par la tête de projection pour la -ième vue augmentée ;
- est la similarité cosinus ;
- (tau) est la température, un hyperparamètre qui règle l'échelle des scores de similarité ;
- le numérateur est le score exponentié entre et son positif ;
- le dénominateur additionne les scores exponentiés entre et toutes les autres vues du lot, à l'exclusion de lui-même.
Supposons que le lot contienne images initiales. Deux augmentations par image donnent vues. Pour une paire positive issue d'une seule image, les vues restantes servent de négatifs.
On cherche à augmenter la similarité de et à diminuer celle des négatifs : devrait être supérieure à pour tout négatif . Le modèle apprend ainsi des représentations plus discriminantes.
Dans le lot entier, chaque paire positive contribue dans les deux sens, et . On moyenne les termes avant la rétropropagation.
Discussion
La combinaison d'augmentations la plus utile
Pour observer l'effet de chaque augmentation ou de leur combinaison sur la qualité des représentations, les auteurs procèdent à une évaluation linéaire : ils figent l'encodeur préentraîné, ajoutent un classifieur linéaire et mesurent la précision top-1 sur ImageNet.
L'entrée du modèle comporte deux branches d'augmentation parallèles. Dans cette expérience, les auteurs n'appliquent les transformations à tester qu'à une seule branche ; l'autre reçoit uniquement le recadrage et le redimensionnement de base. Ils peuvent ainsi isoler l'effet de la transformation étudiée.
Voici comment lire le tableau de la figure :
- Diagonale : une seule transformation, comme le flou gaussien ou la modification des couleurs, appliquée sur une branche ;
- Hors diagonale : une composition de deux transformations, par exemple le flou suivi d'une modification des couleurs ;
- Dernière colonne : la moyenne des résultats de chaque ligne pour les diverses transformations en seconde position.
Les résultats indiquent que :
- une seule augmentation ne suffit généralement pas pour apprendre une représentation très efficace : le modèle peut encore exploiter les indices qui ne changent pas pour reconnaître la paire positive ;
- la composition d'augmentations produit des résultats variables selon le choix des opérations ; le recadrage associé à une modification des couleurs se distingue nettement de chacun pris seul.
Une bonne combinaison rend donc la tâche contrastive plus difficile et améliore ici l'évaluation linéaire.
Effet de l'intensité des augmentations
On peut faire varier l'intensité des augmentations, par exemple en augmentant ou en réduisant les changements de luminosité, de contraste, de saturation ou de teinte. Les auteurs étudient donc son effet sur les performances.
Pour entraîner un classifieur supervisé sur ImageNet, on emploie souvent une stratégie automatique comme AutoAugment. Dans les essais de cet article, AutoAugment ne fait toutefois pas forcément mieux qu'un simple recadrage associé à une forte modification des couleurs.
Le tableau ci-dessus montre qu'en apprentissage contrastif non supervisé, accentuer la modification des couleurs améliore nettement la qualité des caractéristiques apprises. Les augmentations utiles dans ce cadre ne sont donc pas nécessairement les mêmes qu'en apprentissage supervisé : une stratégie efficace pour ce dernier peut ne pas améliorer SimCLR.
Augmenter la taille du modèle
La figure compare l'évaluation linéaire selon la profondeur et la largeur du modèle. Les points bleus correspondent à SimCLR entraîné pendant 100 époques, les étoiles rouges à SimCLR entraîné pendant 1 000 époques et les croix vertes à des ResNet supervisés entraînés pendant 90 époques. Dans ces réglages, augmenter la profondeur ou la largeur améliore SimCLR.
Le résultat rappelle l'apprentissage supervisé : un modèle plus grand peut représenter des caractéristiques plus riches. Dans la plage de tailles de cette figure, l'écart de précision entre les modèles non supervisés et supervisés se réduit aussi lorsque leur taille augmente.
Effet de la taille des lots
La figure présente les résultats pour plusieurs tailles de lot et durées d'entraînement. Chaque barre représente une seule exécution entraînée depuis zéro.
Habituellement, on choisit la taille du lot en tenant compte de l'efficacité du calcul et de la stabilité du gradient. En apprentissage contrastif, elle détermine aussi le nombre de négatifs disponibles.
- Un lot plus grand contient davantage de négatifs à chaque étape, ce qui peut faciliter l'apprentissage de la distinction entre exemples.
- À durée courte, par exemple 100 époques, les grands lots obtiennent généralement une meilleure précision en évaluation linéaire dans la figure. Celle-ci compare le nombre d'époques, pas le temps réel de calcul.
Contrairement au rôle habituel des grands lots en apprentissage supervisé, le nombre supplémentaire de négatifs est ici une raison centrale de leur intérêt.
Autre observation : prolonger l'entraînement peut compenser en partie la petite taille d'un lot.
- Quand le nombre d'époques augmente et que les lots sont à nouveau échantillonnés au hasard, l'écart de précision entre petits et grands lots diminue, parfois jusqu'à presque disparaître.
- La figure ne compare ni un même temps d'entraînement ni une même quantité totale de calcul. Elle ne permet donc pas, à elle seule, de décider quelle taille de lot économise le plus de ressources.
Comparaison avec d'autres méthodes
Les auteurs comparent la précision en évaluation linéaire de plusieurs méthodes autosupervisées : le backbone est figé et seul le classifieur linéaire ajouté en sortie est entraîné.
SimCLR, même avec un ResNet standard sans architecture particulière, atteint ou dépasse plusieurs méthodes antérieures. La version ResNet-50 standard obtient 69,3 % ; avec une largeur multipliée par quatre, elle atteint 76,5 %, proche du ResNet-50 supervisé figurant dans la comparaison. Les tailles des deux modèles diffèrent toutefois : environ 375 et 24 millions de paramètres.
Que se passe-t-il si l'on réduit les étiquettes d'ImageNet à 1 % ou 10 %, puis que l'on affine le modèle avec un échantillonnage équilibré entre classes ? Voici le tableau :
En précision top-5, SimCLR 4× obtient respectivement 85,8 % et 92,6 % avec 1 % et 10 % des étiquettes : ce sont les meilleures valeurs du tableau. Le SimCLR fondé sur un ResNet-50 standard obtient 75,5 % et 87,8 % et ne dépasse pas tous les concurrents. Les représentations préentraînées restent donc utiles avec peu d'étiquettes, mais il faut aussi tenir compte de la taille des modèles comparés.
Conclusion
Cette étude propose un cadre contrastif simple et efficace, tout en examinant systématiquement l'effet des principaux choix de conception.
Les résultats sur ImageNet montrent l'intérêt de la composition des augmentations, de la tête de projection non linéaire et de la perte NT-Xent. Dans les conditions comparées par l'article, SimCLR obtient de solides résultats en évaluation autosupervisée et après affinage avec peu d'étiquettes ; ses essais de transfert concernent les jeux de données rapportés, sans établir une supériorité universelle.