Retour à la bibliothèque
arXiv 2020NeurIPS 2020Apprentissage contrastifNotes de lecture

SwAV

Prédire les affectations échangées

Article original

Unsupervised Learning of Visual Features by Contrasting Cluster Assignments

Auteurs de l’article

Mathilde Caron · Ishan Misra · Julien Mairal · Priya Goyal · Piotr Bojanowski · Armand Joulin

Publication
NeurIPS 2020Conférence
Premier dépôt sur arXiv
arXiv:2006.09882
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{contrastivelearningswav2020,
  title = {{Unsupervised Learning of Visual Features by Contrasting Cluster Assignments}},
  author = {Mathilde Caron and Ishan Misra and Julien Mairal and Priya Goyal and Piotr Bojanowski and Armand Joulin},
  year = {2020},
  eprint = {2006.09882},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2006.09882}
}
Sur cette page

Voilà un moment que nous suivons les échanges entre les séries MoCo et SimCLR.

Jusqu'ici, il s'agissait surtout de comparer des paires positives et négatives. Regardons une autre idée : et si l'on essayait le regroupement en clusters ?

Définir le problème

Les grandes lignes de l'apprentissage contrastif sont déjà connues. On retrouve souvent quelques ingrédients :

  1. Une perte contrastive : InfoNCE, également appelée NT-Xent dans certains réglages, en est une forme courante.
  2. Des vues recadrées de l'image : rapprocher les représentations des vues d'une même image et éloigner celles d'images différentes.
  3. Beaucoup de négatifs : plusieurs méthodes en utilisent un grand nombre pour améliorer l'apprentissage.

Il reste bien sûr de nombreuses variantes, comme un encodeur par momentum ou une banque de mémoire.

Les auteurs soulignent un problème que l'on ne peut ignorer : « tout cela demande encore beaucoup de calcul ! »

Et si l'on reformulait la tâche sans s'accrocher à la perte contrastive, sous la forme d'une prédiction ?

Le modèle pourrait prédire l'affectation aux clusters d'une autre vue, au lieu de comparer directement toutes les caractéristiques. On éviterait ainsi le calcul de l'ensemble des comparaisons par paires, tout en apprenant à rapprocher les vues apparentées par leurs affectations.

Résoudre le problème

Architecture du modèle

Après avoir vu cette figure, on a presque vu tout l'article.

La partie gauche montre d'abord une architecture d'apprentissage contrastif devenue courante.

Une image XX subit deux transformations différentes (t∼Tt \sim T), qui produisent deux vues augmentées, par exemple X1X_1 et X2X_2.

Chaque vue passe dans un réseau convolutif, ou un autre extracteur de caractéristiques, fθf_\theta, pour obtenir un vecteur Z1Z_1 ou Z2Z_2.

Dans l'apprentissage contrastif par instances, on compare directement les vecteurs, par exemple au moyen de leur similarité, comme dans SimCLR ou MoCo. Ceux qui viennent de la même image doivent se rapprocher ; ceux qui viennent d'images différentes doivent s'éloigner.


La partie droite présente SwAV. Agrandissons-la un peu.

Les auteurs projettent chaque caractéristique, par exemple Z1Z_1 et Z2Z_2, sur un ensemble de vecteurs prototypes entraînables. Ils obtiennent les codes correspondants Q1Q_1 et Q2Q_2.

La figure nomme cette étape « Prototypes C » et « Codes ».

Le cœur de SwAV est la prédiction échangée (swapped prediction) :

  1. Le code Q1Q_1 associé à la vue 1 sert de cible à la prédiction issue des caractéristiques de la vue 2.
  2. Le code Q2Q_2 associé à la vue 2 sert de cible à la prédiction issue des caractéristiques de la vue 1.

SwAV ne compare donc pas directement Z1Z_1 et Z2Z_2. Il fait prédire, à partir des caractéristiques d'une vue, l'affectation aux prototypes de l'autre vue. Les vues d'une même image doivent aboutir à des affectations cohérentes.

Les prototypes, eux aussi appris pendant l'entraînement, se comportent comme des centres de clusters : ils associent les caractéristiques à des codes et prennent progressivement des positions qui permettent de les distinguer.

Regroupement en ligne

Le regroupement en ligne (online clustering) est une propriété importante de SwAV.

Voyons comment calculer les codes des images et mettre à jour les prototypes au fil de l'entraînement.

Pour chaque image xnx_n, on tire au hasard une transformation tt dans un ensemble TT : recadrage, retournement horizontal, changement de couleur, etc. On obtient une image augmentée xntx_{nt}. Un réseau convolutif en extrait ensuite un vecteur, projeté sur la sphère unité pour former zntz_{nt} : sa norme vaut 1.

Jusque-là, rien de très éloigné des articles précédents sur l'apprentissage contrastif.

Enfin, on associe zntz_{nt} aux KK prototypes entraînables {c1,…,cK}\{ c_1, \dots, c_K \} pour obtenir son code qntq_{nt}.

Une fois les codes obtenus, on passe à la prédiction échangée.

Soient deux vues augmentées (t,s)(t, s) de la même image. On note (zt,qt)(z_t, q_t) la caractéristique et le code de la vue tt, et (zs,qs)(z_s, q_s) ceux de la vue ss.

  • Les auteurs veulent prédire qsq_s à partir de ztz_t et, réciproquement, qtq_t à partir de zsz_s.
  • Au lieu de comparer directement les caractéristiques comme dans une méthode contrastive par instances, on prédit le code de l'autre vue.

À l'entraînement, les codes servent de cibles et les probabilités softmax des caractéristiques sur les prototypes servent de prédictions. On calcule alors une entropie croisée pour les prédictions échangées du lot courant.

Contrainte d'équipartition

Pour apprendre en ligne, les codes sont calculés à partir des caractéristiques du lot courant, plutôt que de l'ensemble complet des données. En recevant successivement des lots différents, les prototypes peuvent ainsi s'adapter à la diversité des caractéristiques.

Sans contrainte, toutes les caractéristiques pourraient pourtant finir associées au même prototype : le modèle s'effondrerait. Les auteurs introduisent donc une contrainte d'équipartition : dans chaque lot, les affectations aux prototypes doivent rester aussi équilibrées que possible.

Supposons que le lot contienne BB vecteurs de caractéristiques, notés :

Z=[z1,…,zB],Z = [z_1, \dots, z_B],

et que les KK prototypes soient :

C=[c1,…,cK].C = [c_1, \dots, c_K].

On optimise une matrice d'affectation QQ qui associe les caractéristiques aux prototypes. Le terme objectif :

Tr(Q⊤C⊤Z)\mathrm{Tr}(Q^\top C^\top Z)

récompense leur similarité totale. Le terme d'entropie ϵ H(Q)\epsilon\,H(Q), où H(Q)=−∑ijQijlog⁡QijH(Q) = -\sum_{ij} Q_{ij} \log Q_{ij}, évite une répartition trop concentrée. Le modèle peut ainsi apprendre à distinguer les caractéristiques sans les accumuler dans quelques prototypes.

On contraint QQ à appartenir à l'ensemble Q\mathcal{Q} suivant :

Q={Q∈R+K×B  ∣  Q 1B=1K 1K,Q⊤1K=1B 1B},\mathcal{Q} = \Bigl\{ Q \in \mathbb{R}_{+}^{K \times B} \;\Big|\; Q\,\mathbf{1}_{B} = \tfrac{1}{K}\,\mathbf{1}_{K}, \quad Q^\top \mathbf{1}_{K} = \tfrac{1}{B}\,\mathbf{1}_{B} \Bigr\},

Ici, 1K\mathbf{1}_K et 1B\mathbf{1}_B sont des vecteurs de 1 de dimensions KK et BB. En recherche opérationnelle, Q\mathcal{Q} est un polytope de transport. La somme de chaque ligne, correspondant à un prototype, et de chaque colonne, correspondant à un échantillon, est fixée. Chaque prototype reçoit ainsi une masse totale équivalant à BK\frac{B}{K} échantillons.

Le paramètre de lissage ϵ\epsilon de la régularisation entropique est important : s'il est trop grand, la répartition devient trop uniforme et les représentations peuvent s'effondrer. Les auteurs choisissent donc une valeur faible dans leurs expériences.

Ils conservent les affectations souples continues Q∗Q^* et les calculent avec l'algorithme de Sinkhorn-Knopp. Celui-ci normalise alternativement lignes et colonnes pour obtenir les matrices diagonales Diag(u)\mathrm{Diag}(u) et Diag(v)\mathrm{Diag}(v). À convergence complète, les contraintes sur leurs sommes sont satisfaites et la solution prend la forme :

Q∗=Diag(u) exp⁡(C⊤Zϵ) Diag(v).Q^* = \mathrm{Diag}(u)\,\exp \Bigl(\tfrac{C^\top Z}{\epsilon}\Bigr)\,\mathrm{Diag}(v).

En pratique, trois itérations suffisent à obtenir de bons résultats. Elles donnent toutefois une solution approchée : les contraintes ne sont pas nécessairement satisfaites exactement. Ce calcul s'exécute aussi efficacement sur GPU.

Avec de petits lots, si le nombre de caractéristiques BB est bien inférieur au nombre de prototypes KK, un seul lot ne permet pas de donner assez d'exemples à chaque prototype. Les auteurs conservent alors les caractéristiques des lots précédents pour agrandir l'ensemble servant à l'affectation. La rétropropagation, elle, n'actualise que les exemples du lot courant.

Dans l'expérience avec des lots de 256 images, ils stockent les caractéristiques des 15 lots précédents, soit 3 840 vecteurs. Avec le réglage comparé, MoCo v2 en stocke 65 536. Il s'agit de la taille des files de caractéristiques, pas de la consommation totale de mémoire des deux méthodes.

Recadrages multiples

Les travaux précédents utilisent souvent des recadrages aléatoires pour apprendre les relations entre les parties d'une image, comme une scène et les objets qu'elle contient. Les différentes régions apportent à la fois des informations locales et des indices sur la structure globale.

Augmenter le nombre de recadrages, donc de vues, demande plus de calcul pour les encoder et plus de mémoire pendant l'entraînement. Si l'on compare toutes les vues deux à deux, le nombre de paires croît aussi de manière quadratique.

Pour fournir davantage de vues sans faire exploser les coûts, les auteurs proposent une stratégie de recadrages multiples :

  1. Deux recadrages de résolution standard : ils conservent davantage de détails et servent à calculer les codes.
  2. VV recadrages supplémentaires de faible résolution : ils couvrent des régions partielles, mais coûtent moins cher à traiter grâce à leur petite taille.

Ces petites vues ajoutent moins de calcul que des recadrages tous en haute résolution. On peut donc voir davantage de parties d'une même image sans augmenter autant le temps de calcul ni la mémoire.

La perte initiale porte sur une prédiction échangée entre deux vues. Avec les recadrages multiples, elle devient :

L(zt1,zt2,…,ztV+2)=∑i∈{1,2}∑v=1v≠iV+2ℓ(ztv,qti)L(z_{t_1}, z_{t_2}, \dots, z_{t_{V+2}}) = \sum_{i \in \{1,2\}} \sum_{\substack{v=1 \\ v\neq i}}^{V+2} \ell(z_{t_v}, q_{t_i})

zt1z_{t_1} et zt2z_{t_2} désignent les caractéristiques des deux recadrages de résolution standard ; les autres ztvz_{t_v}, pour v=3,…,V+2v=3,\dots,V+2, viennent des recadrages de faible résolution.

Seules les grandes vues servent à calculer les codes. Ceux-ci servent ensuite de cibles aux caractéristiques des autres vues, y compris les petites.

Discussion

Les auteurs évaluent la généralité des caractéristiques apprises par SwAV sur plusieurs jeux de données de transfert. Ils reprennent aussi quelques techniques d'entraînement de SimCLR :

  • LARS (Layer-wise Adaptive Rate Scaling) : il aide à régler le taux d'apprentissage pour de grands lots.
  • Taux d'apprentissage cosinus : un calendrier de décroissance cosinus ajuste progressivement ce taux.
  • Tête de projection MLP : des couches entièrement connectées projettent les caractéristiques dans un espace utile à l'apprentissage.

Résultats expérimentaux

Commençons par l'évaluation des caractéristiques non supervisées sur ImageNet.

Le modèle est un ResNet-50 préentraîné avec SwAV. On en extrait des caractéristiques, on les fige, puis on entraîne uniquement un classifieur linéaire sur elles.

Voici les résultats :

SwAV atteint 75,3 % de précision top-1 en classification linéaire : 4,2 points de pourcentage au-dessus du MoCo v2 à 71,1 % figurant dans la comparaison, et 1,2 point en dessous du modèle entièrement supervisé à 76,5 %. Ici, SwAV a été entraîné pendant 800 époques avec de grands lots de 4 096 images.

La partie droite de la figure compare plusieurs largeurs de ResNet-50 pour l'apprentissage non supervisé de caractéristiques.

La précision de SwAV augmente avec la largeur. Pour le modèle le plus large de la figure, son écart avec le modèle supervisé de même largeur n'est plus que de 0,6 point. Cela décrit l'évaluation linéaire sur ImageNet dans ces conditions ; les tâches en aval demandent une évaluation de transfert distincte.

Ablation : recadrages multiples

Cette figure étudie les recadrages multiples sur ImageNet avec un ResNet-50.

Le tableau de gauche compare les méthodes fondées sur le regroupement et l'apprentissage contrastif par instances. Le graphique de droite montre SwAV pour différentes durées d'entraînement.

Les résultats sont les suivants :

  • Sans recadrages multiples : SwAV obtient 70,1 % et DeepCluster-v2 70,2 %, soit respectivement 1,9 et 2,0 points de plus que les 68,2 % de SimCLR.
  • Avec recadrages multiples : SwAV atteint 74,1 % et DeepCluster-v2 74,3 %, soit respectivement 3,5 et 3,7 points de plus que les 70,6 % de SimCLR.

Dans cette comparaison réglée avec les mêmes augmentations, époques et tailles de lot, les méthodes par regroupement dépassent SimCLR en précision top-1.

SwAV et DeepCluster-v2 obtiennent des résultats très proches, mais leur mode d'entraînement diffère :

  • DeepCluster-v2 parcourt plusieurs fois l'ensemble des données pour actualiser les centres et les affectations. Il ne convient donc pas à l'apprentissage strictement en ligne, où un immense jeu de données peut n'être parcouru qu'une fois.
  • SwAV échange les affectations directement à l'échelle du lot. Il peut les actualiser en ligne sans reparcourir l'ensemble des données pour les recalculer.

On peut aussi voir DeepCluster-v2 comme un cas particulier du mécanisme d'échange : son affectation calculée à l'époque précédente sert à prédire une vue augmentée de l'époque courante. Dans SwAV, l'échange se produit au sein du même lot, ce qui se prête mieux à l'entraînement en ligne.

Conclusion

Avec ses prototypes entraînables, SwAV évite de comparer directement les caractéristiques des vues : il les associe d'abord à des codes, puis échange les cibles de prédiction entre les vues.

Ces codes jouent un peu le rôle d'un langage intermédiaire. Ils aident les vues d'une même image à rester cohérentes et permettent d'apprendre des caractéristiques utiles. Dans les évaluations de l'article, SwAV se rapproche du modèle supervisé en classification linéaire sur ImageNet et le dépasse sur les tâches de transfert étudiées ; ces constats restent liés aux jeux de données et aux protocoles présentés.