Retour à la bibliothèque
arXiv 2020ICML 2020Apprentissage contrastifNotes de lecture

SimCLR v1

Faire simple et efficace

Article original

A Simple Framework for Contrastive Learning of Visual Representations

Auteurs de l’article

Ting Chen · Simon Kornblith · Mohammad Norouzi · Geoffrey Hinton

Publication
ICML 2020Conférence
Premier dépôt sur arXiv
arXiv:2002.05709
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{contrastivelearningsimclrv12020,
  title = {{A Simple Framework for Contrastive Learning of Visual Representations}},
  author = {Ting Chen and Simon Kornblith and Mohammad Norouzi and Geoffrey Hinton},
  year = {2020},
  eprint = {2002.05709},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2002.05709}
}
Sur cette page

La recherche sur l'apprentissage contrastif a déjà environ cinq ans, et le paysage est devenu plutôt complexe et confus. Les architectures se compliquent, tout comme les méthodes d'entraînement.

Les auteurs de cet article pensent que l'essentiel de l'apprentissage contrastif devrait être plus simple.

Définir le problème

Rappelons un élément que l'on associe souvent à l'apprentissage contrastif :

  • Pour obtenir de bons résultats, une banque de mémoire semble indispensable ?

Il faut beaucoup d'exemples négatifs pour guider l'apprentissage de bonnes représentations, et une banque de mémoire peut effectivement en fournir. InstDisc l'utilisait déjà, puis MoCo a repris cette idée.

Mais c'est contraignant ! Entretenir une banque de mémoire pendant l'entraînement ajoute une complication peu commode.

Les auteurs décident ici de s'en passer et d'utiliser des lots plus grands à la place. Avec suffisamment d'exemples négatifs dans chaque lot, le modèle peut apprendre une représentation utile.

Résoudre le problème

Architecture du modèle

Cette architecture est vraiment simple : ni plusieurs encodeurs, ni banque de mémoire.

On commence par appliquer deux augmentations aléatoires à une même image. On obtient ainsi deux images « différentes en apparence, mais issues de la même source ».

On passe ensuite ces deux images dans le même encodeur pour obtenir deux vecteurs latents.

Un petit réseau de projection transforme ces vecteurs dans l'espace où l'on calcule la perte contrastive. Celle-ci rapproche les vues augmentées provenant de la même image.

Hein ? C'est tout ?

Oui ! Nous avons déjà fini l'article ! (Enfin, presque.)

Augmentations des images

Pour SimCLR, les auteurs estiment que la diversité et l'intensité des augmentations comptent encore davantage qu'en apprentissage supervisé.

La figure présente plusieurs augmentations étudiées dans l'article. Parmi celles de la configuration de base de SimCLR, les plus importantes sont :

  • le recadrage aléatoire (random crop) ;
  • la déformation des couleurs (color distortion) ;
  • le flou gaussien (Gaussian blur).

Les deux vues augmentées forment une « paire positive », puisqu'elles proviennent de la même image initiale.

Quelques détails

Commençons par l'encodeur : les auteurs prennent ResNet-50 comme base. L'image augmentée en entrée produit un vecteur hih_i. Celui-ci est généralement de grande dimension : après le pooling moyen, il compte par exemple 2 048 composantes avec ResNet-50.

Vient ensuite la tête de projection. Les auteurs observent qu'appliquer directement la perte contrastive à hih_i fonctionne moins bien que d'intercaler un petit MLP. Le réseau g(⋅)g(·) comporte habituellement une couche cachée, suivie de ReLU, puis produit un vecteur ziz_i de dimension 128 sur lequel la perte est calculée.

Le point décisif est alors la définition de cette perte.

L'idée est de rapprocher dans l'espace vectoriel une paire (i,j)(i, j) issue de la même image et d'éloigner les vues provenant d'autres images. Les auteurs utilisent pour cela la forme NT-Xent (Normalized Temperature-scaled Cross Entropy Loss).

La perte NT-Xent

Comme l'InfoNCE que nous avons déjà rencontré, il s'agit d'une perte softmax qui identifie un positif parmi des candidats positifs et négatifs. SimCLR construit ces candidats avec les deux vues augmentées de chaque image du lot et moyenne la perte dans les deux sens. Les caractéristiques sont normalisées en ℓ₂ et comparées par similarité cosinus.

La perte NT-Xent s'écrit :

ℓi,j=−log⁡(exp⁡(sim(zi,zj)/τ)∑k=12N1[k≠i]exp⁡(sim(zi,zk)/τ)).ℓ_{i,j} = - \log \left( \frac{\exp(\text{sim}(z_i, z_j)/τ)}{\sum_{k=1}^{2N} \mathbf{1}[k \neq i] \exp(\text{sim}(z_i, z_k)/τ)} \right).

Ici :

  • zizᵢ est le vecteur de dimension 128 produit par la tête de projection pour la ii-ième vue augmentée ;
  • sim(u,v)=u⊤v∥u∥∥v∥\text{sim}(u, v) = \frac{u^\top v}{\|u\|\|v\|} est la similarité cosinus ;
  • ττ (tau) est la température, un hyperparamètre qui règle l'échelle des scores de similarité ;
  • le numérateur exp⁡(sim(zi,zj)/τ)\exp(\text{sim}(z_i, z_j)/τ) est le score exponentié entre ziz_i et son positif zjz_j ;
  • le dénominateur additionne les scores exponentiés entre ziz_i et toutes les autres vues du lot, à l'exclusion de lui-même.

Supposons que le lot contienne NN images initiales. Deux augmentations par image donnent 2N2N vues. Pour une paire positive (i,j)(i, j) issue d'une seule image, les 2(N−1)2(N - 1) vues restantes servent de négatifs.

On cherche à augmenter la similarité de (zi,zj)(z_i, z_j) et à diminuer celle des négatifs : sim(zi,zj)\text{sim}(z_i, z_j) devrait être supérieure à sim(zi,zk)\text{sim}(z_i, z_k) pour tout négatif k≠i,jk \neq i,j. Le modèle apprend ainsi des représentations plus discriminantes.

Dans le lot entier, chaque paire positive contribue dans les deux sens, (i,j)(i, j) et (j,i)(j, i). On moyenne les 2N2N termes avant la rétropropagation.

Discussion

La combinaison d'augmentations la plus utile

Pour observer l'effet de chaque augmentation ou de leur combinaison sur la qualité des représentations, les auteurs procèdent à une évaluation linéaire : ils figent l'encodeur préentraîné, ajoutent un classifieur linéaire et mesurent la précision top-1 sur ImageNet.

L'entrée du modèle comporte deux branches d'augmentation parallèles. Dans cette expérience, les auteurs n'appliquent les transformations à tester qu'à une seule branche ; l'autre reçoit uniquement le recadrage et le redimensionnement de base. Ils peuvent ainsi isoler l'effet de la transformation étudiée.

Voici comment lire le tableau de la figure :

  • Diagonale : une seule transformation, comme le flou gaussien ou la modification des couleurs, appliquée sur une branche ;
  • Hors diagonale : une composition de deux transformations, par exemple le flou suivi d'une modification des couleurs ;
  • Dernière colonne : la moyenne des résultats de chaque ligne pour les diverses transformations en seconde position.

Les résultats indiquent que :

  • une seule augmentation ne suffit généralement pas pour apprendre une représentation très efficace : le modèle peut encore exploiter les indices qui ne changent pas pour reconnaître la paire positive ;
  • la composition d'augmentations produit des résultats variables selon le choix des opérations ; le recadrage associé à une modification des couleurs se distingue nettement de chacun pris seul.

Une bonne combinaison rend donc la tâche contrastive plus difficile et améliore ici l'évaluation linéaire.

Effet de l'intensité des augmentations

On peut faire varier l'intensité des augmentations, par exemple en augmentant ou en réduisant les changements de luminosité, de contraste, de saturation ou de teinte. Les auteurs étudient donc son effet sur les performances.

Pour entraîner un classifieur supervisé sur ImageNet, on emploie souvent une stratégie automatique comme AutoAugment. Dans les essais de cet article, AutoAugment ne fait toutefois pas forcément mieux qu'un simple recadrage associé à une forte modification des couleurs.

Le tableau ci-dessus montre qu'en apprentissage contrastif non supervisé, accentuer la modification des couleurs améliore nettement la qualité des caractéristiques apprises. Les augmentations utiles dans ce cadre ne sont donc pas nécessairement les mêmes qu'en apprentissage supervisé : une stratégie efficace pour ce dernier peut ne pas améliorer SimCLR.

Augmenter la taille du modèle

La figure compare l'évaluation linéaire selon la profondeur et la largeur du modèle. Les points bleus correspondent à SimCLR entraîné pendant 100 époques, les étoiles rouges à SimCLR entraîné pendant 1 000 époques et les croix vertes à des ResNet supervisés entraînés pendant 90 époques. Dans ces réglages, augmenter la profondeur ou la largeur améliore SimCLR.

Le résultat rappelle l'apprentissage supervisé : un modèle plus grand peut représenter des caractéristiques plus riches. Dans la plage de tailles de cette figure, l'écart de précision entre les modèles non supervisés et supervisés se réduit aussi lorsque leur taille augmente.

Effet de la taille des lots

La figure présente les résultats pour plusieurs tailles de lot et durées d'entraînement. Chaque barre représente une seule exécution entraînée depuis zéro.

Habituellement, on choisit la taille du lot en tenant compte de l'efficacité du calcul et de la stabilité du gradient. En apprentissage contrastif, elle détermine aussi le nombre de négatifs disponibles.

  • Un lot plus grand contient davantage de négatifs à chaque étape, ce qui peut faciliter l'apprentissage de la distinction entre exemples.
  • À durée courte, par exemple 100 époques, les grands lots obtiennent généralement une meilleure précision en évaluation linéaire dans la figure. Celle-ci compare le nombre d'époques, pas le temps réel de calcul.

Contrairement au rôle habituel des grands lots en apprentissage supervisé, le nombre supplémentaire de négatifs est ici une raison centrale de leur intérêt.

Autre observation : prolonger l'entraînement peut compenser en partie la petite taille d'un lot.

  • Quand le nombre d'époques augmente et que les lots sont à nouveau échantillonnés au hasard, l'écart de précision entre petits et grands lots diminue, parfois jusqu'à presque disparaître.
  • La figure ne compare ni un même temps d'entraînement ni une même quantité totale de calcul. Elle ne permet donc pas, à elle seule, de décider quelle taille de lot économise le plus de ressources.

Comparaison avec d'autres méthodes

Les auteurs comparent la précision en évaluation linéaire de plusieurs méthodes autosupervisées : le backbone est figé et seul le classifieur linéaire ajouté en sortie est entraîné.

SimCLR, même avec un ResNet standard sans architecture particulière, atteint ou dépasse plusieurs méthodes antérieures. La version ResNet-50 standard obtient 69,3 % ; avec une largeur multipliée par quatre, elle atteint 76,5 %, proche du ResNet-50 supervisé figurant dans la comparaison. Les tailles des deux modèles diffèrent toutefois : environ 375 et 24 millions de paramètres.

Que se passe-t-il si l'on réduit les étiquettes d'ImageNet à 1 % ou 10 %, puis que l'on affine le modèle avec un échantillonnage équilibré entre classes ? Voici le tableau :

En précision top-5, SimCLR 4× obtient respectivement 85,8 % et 92,6 % avec 1 % et 10 % des étiquettes : ce sont les meilleures valeurs du tableau. Le SimCLR fondé sur un ResNet-50 standard obtient 75,5 % et 87,8 % et ne dépasse pas tous les concurrents. Les représentations préentraînées restent donc utiles avec peu d'étiquettes, mais il faut aussi tenir compte de la taille des modèles comparés.

Conclusion

Cette étude propose un cadre contrastif simple et efficace, tout en examinant systématiquement l'effet des principaux choix de conception.

Les résultats sur ImageNet montrent l'intérêt de la composition des augmentations, de la tête de projection non linéaire et de la perte NT-Xent. Dans les conditions comparées par l'article, SimCLR obtient de solides résultats en évaluation autosupervisée et après affinage avec peu d'étiquettes ; ses essais de transfert concernent les jeux de données rapportés, sans établir une supériorité universelle.