{"notes":[{"id":"contrastive-learning/swav","category":"contrastive-learning","legacyPath":"contrastive-learning/2006-swav","legacySlug":"2006-swav","legacyPaths":[],"title":"SwAV","subtitle":"Prédire les affectations échangées","author":"Z. Yuan","paperDate":"2020-06-17","publishedOn":"2025-03-04","paperTitle":"Unsupervised Learning of Visual Features by Contrasting Cluster Assignments","paperUrl":"https://arxiv.org/abs/2006.09882","bibliography":{"title":"Unsupervised Learning of Visual Features by Contrasting Cluster Assignments","authors":["Mathilde Caron","Ishan Misra","Julien Mairal","Priya Goyal","Piotr Bojanowski","Armand Joulin"],"url":"https://arxiv.org/abs/2006.09882","pdfUrl":"https://arxiv.org/pdf/2006.09882","codeUrl":null,"preprint":{"id":"2006.09882","submittedOn":"2020-06-17","url":"https://arxiv.org/abs/2006.09882"},"publication":{"venue":"NeurIPS","year":2020,"kind":"conference","url":"https://arxiv.org/abs/2006.09882"},"citation":"@misc{contrastivelearningswav2020,\n  title = {{Unsupervised Learning of Visual Features by Contrasting Cluster Assignments}},\n  author = {Mathilde Caron and Ishan Misra and Julien Mairal and Priya Goyal and Piotr Bojanowski and Armand Joulin},\n  year = {2020},\n  eprint = {2006.09882},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2006.09882}\n}\n","citationPath":"/content/papers/citations/contrastive-learning/swav.0490004fcf03.bib"},"thumbnail":{"src":"/content/papers/assets/6a7e173611b1c8ff7d688566c9efb960e31afc020211d8c978ddc19250916671.jpg","width":1400,"height":428},"locale":"fr","path":"/content/papers/fr/contrastive-learning/swav.60bdb738b969.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"regroupement-en-ligne","text":"Regroupement en ligne","depth":3},{"id":"contrainte-déquipartition","text":"Contrainte d'équipartition","depth":3},{"id":"recadrages-multiples","text":"Recadrages multiples","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"résultats-expérimentaux","text":"Résultats expérimentaux","depth":3},{"id":"ablation--recadrages-multiples","text":"Ablation : recadrages multiples","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"contrastive-learning/byol","relation":"comparison","topic":"Auto-supervision sans paires négatives explicites"},{"id":"contrastive-learning/simsiam","relation":"comparison","topic":"Auto-supervision sans paires négatives explicites"}]},{"id":"contrastive-learning/byol","category":"contrastive-learning","legacyPath":"contrastive-learning/2006-byol","legacySlug":"2006-byol","legacyPaths":[],"title":"BYOL","subtitle":"Sans exemples négatifs","author":"Z. Yuan","paperDate":"2020-06-13","publishedOn":"2025-02-19","paperTitle":"Bootstrap your own latent: A new approach to self-supervised Learning","paperUrl":"https://arxiv.org/abs/2006.07733","bibliography":{"title":"Bootstrap your own latent: A new approach to self-supervised Learning","authors":["Jean-Bastien Grill","Florian Strub","Florent Altché","Corentin Tallec","Pierre H. Richemond","Elena Buchatskaya","Carl Doersch","Bernardo Avila Pires","Zhaohan Daniel Guo","Mohammad Gheshlaghi Azar","Bilal Piot","Koray Kavukcuoglu","Rémi Munos","Michal Valko"],"url":"https://arxiv.org/abs/2006.07733","pdfUrl":"https://arxiv.org/pdf/2006.07733","codeUrl":null,"preprint":{"id":"2006.07733","submittedOn":"2020-06-13","url":"https://arxiv.org/abs/2006.07733"},"publication":{"venue":"NeurIPS","year":2020,"kind":"conference","url":"https://proceedings.neurips.cc/paper/2020/file/f3ada80d5c4ee70142b17b8192b2958e-Review.html"},"citation":"@misc{contrastivelearningbyol2020,\n  title = {{Bootstrap your own latent: A new approach to self-supervised Learning}},\n  author = {Jean-Bastien Grill and Florian Strub and Florent Altché and Corentin Tallec and Pierre H. Richemond and Elena Buchatskaya and Carl Doersch and Bernardo Avila Pires and Zhaohan Daniel Guo and Mohammad Gheshlaghi Azar and Bilal Piot and Koray Kavukcuoglu and Rémi Munos and Michal Valko},\n  year = {2020},\n  eprint = {2006.07733},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2006.07733}\n}\n","citationPath":"/content/papers/citations/contrastive-learning/byol.bc00bcda9fb7.bib"},"thumbnail":{"src":"/content/papers/assets/b8cc1c529a1c65a2a6ce495941153b6b24def2bccc29907a0a5edf64b16570c9.jpg","width":1470,"height":526},"locale":"fr","path":"/content/papers/fr/contrastive-learning/byol.4b817e18efdb.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"entraînement","text":"Entraînement","depth":3},{"id":"fonction-de-perte","text":"Fonction de perte","depth":3},{"id":"détails-de-limplémentation","text":"Détails de l'implémentation","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"pourquoi-byol-ne-seffondre-t-il-pas-","text":"Pourquoi BYOL ne s'effondre-t-il pas ?","depth":3},{"id":"résultats-sur-imagenet","text":"Résultats sur ImageNet","depth":3},{"id":"études-dablation-partie-1","text":"Études d'ablation, partie 1","depth":3},{"id":"études-dablation-partie-2","text":"Études d'ablation, partie 2","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"contrastive-learning/simsiam","relation":"comparison","topic":"Auto-supervision sans paires négatives explicites"},{"id":"contrastive-learning/swav","relation":"comparison","topic":"Auto-supervision sans paires négatives explicites"}]},{"id":"contrastive-learning/simsiam","category":"contrastive-learning","legacyPath":"contrastive-learning/2011-simsiam","legacySlug":"2011-simsiam","legacyPaths":[],"title":"SimSiam","subtitle":"Vous ne passerez pas !","author":"Z. Yuan","paperDate":"2020-11-20","publishedOn":"2025-03-13","paperTitle":"Exploring Simple Siamese Representation Learning","paperUrl":"https://arxiv.org/abs/2011.10566","bibliography":{"title":"Exploring Simple Siamese Representation Learning","authors":["Xinlei Chen","Kaiming He"],"url":"https://arxiv.org/abs/2011.10566","pdfUrl":"https://arxiv.org/pdf/2011.10566","codeUrl":null,"preprint":{"id":"2011.10566","submittedOn":"2020-11-20","url":"https://arxiv.org/abs/2011.10566"},"publication":{"venue":"CVPR","year":2021,"kind":"conference","url":"https://doi.org/10.1109/cvpr46437.2021.01549"},"citation":"@misc{contrastivelearningsimsiam2020,\n  title = {{Exploring Simple Siamese Representation Learning}},\n  author = {Xinlei Chen and Kaiming He},\n  year = {2020},\n  eprint = {2011.10566},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2011.10566}\n}\n","citationPath":"/content/papers/citations/contrastive-learning/simsiam.a5921684873c.bib"},"thumbnail":{"src":"/content/papers/assets/9bab3f46b43305da27713f84e0b872ce577aedbd39bc82ce31403082310a0336.jpg","width":984,"height":624},"locale":"fr","path":"/content/papers/fr/contrastive-learning/simsiam.a7782eac688b.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"arrêter-le-gradient","text":"Arrêter le gradient","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"comparaison-avec-dautres-méthodes","text":"Comparaison avec d'autres méthodes","depth":3},{"id":"examiner-les-architectures-de-base","text":"Examiner les architectures de base","depth":3},{"id":"études-dablation","text":"Études d'ablation","depth":3},{"id":"lhypothèse-dune-maximisation-de-lespérance","text":"L'hypothèse d'une maximisation de l'espérance","depth":2},{"id":"formulation-mathématique","text":"Formulation mathématique","depth":3},{"id":"lapproximation-em-proposée-pour-simsiam","text":"L'approximation EM proposée pour SimSiam","depth":3},{"id":"le-rôle-possible-du-prédicteur","text":"Le rôle possible du prédicteur","depth":3},{"id":"effet-de-la-perte-symétrique","text":"Effet de la perte symétrique","depth":3},{"id":"expériences-de-vérification-conceptuelle","text":"Expériences de vérification conceptuelle","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"contrastive-learning/byol","relation":"comparison","topic":"Auto-supervision sans paires négatives explicites"},{"id":"contrastive-learning/swav","relation":"comparison","topic":"Auto-supervision sans paires négatives explicites"}]}],"text":"Voilà un moment que nous suivons les échanges entre les séries MoCo et SimCLR.\n\nJusqu'ici, il s'agissait surtout de comparer des paires positives et négatives. Regardons une autre idée : et si l'on essayait le regroupement en clusters ?\n\n## Définir le problème\n\nLes grandes lignes de l'apprentissage contrastif sont déjà connues. On retrouve souvent quelques ingrédients :\n\n1. **Une perte contrastive** : InfoNCE, également appelée NT-Xent dans certains réglages, en est une forme courante.\n2. **Des vues recadrées de l'image** : rapprocher les représentations des vues d'une même image et éloigner celles d'images différentes.\n3. **Beaucoup de négatifs** : plusieurs méthodes en utilisent un grand nombre pour améliorer l'apprentissage.\n\nIl reste bien sûr de nombreuses variantes, comme un encodeur par momentum ou une banque de mémoire.\n\nLes auteurs soulignent un problème que l'on ne peut ignorer : « tout cela demande encore beaucoup de calcul ! »\n\nEt si l'on reformulait la tâche sans s'accrocher à la perte contrastive, sous la forme d'une **prédiction** ?\n\nLe modèle pourrait prédire l'affectation aux clusters d'une autre vue, au lieu de comparer directement toutes les caractéristiques. On éviterait ainsi le calcul de l'ensemble des comparaisons par paires, tout en apprenant à rapprocher les vues apparentées par leurs affectations.\n\n\n> [!TIP]\n> \n> L'idée de « prédire » apparaît aussi dans l'article contemporain BYOL, mais la cible diffère : BYOL prédit la représentation d'une autre vue, SwAV prédit son affectation aux clusters.\n> \n> Si cela vous intéresse, vous pouvez lire notre note précédente : [**[20.06] BYOL : sans exemples négatifs**](/blog/papers/contrastive-learning/byol)\n\n\n## Résoudre le problème\n\n### Architecture du modèle\n\n\n\n![model-architecture](/content/papers/assets/6a7e173611b1c8ff7d688566c9efb960e31afc020211d8c978ddc19250916671.jpg)\n\n\n\nAprès avoir vu cette figure, on a presque vu tout l'article.\n\nLa partie gauche montre d'abord une architecture d'apprentissage contrastif devenue courante.\n\nUne image $X$ subit deux transformations différentes ($t \\sim T$), qui produisent deux vues augmentées, par exemple $X_1$ et $X_2$.\n\nChaque vue passe dans un réseau convolutif, ou un autre extracteur de caractéristiques, $f_\\theta$, pour obtenir un vecteur $Z_1$ ou $Z_2$.\n\nDans l'apprentissage contrastif par instances, on **compare directement les vecteurs**, par exemple au moyen de leur similarité, comme dans SimCLR ou MoCo. Ceux qui viennent de la même image doivent se rapprocher ; ceux qui viennent d'images différentes doivent s'éloigner.\n\n---\n\n\n\n![model-architecture](/content/papers/assets/e972c82bdd5f60c3ca166105fe552e31282aa3ea8453322b0916cb5c63dbb0c9.jpg)\n\n\n\nLa partie droite présente SwAV. Agrandissons-la un peu.\n\nLes auteurs projettent chaque caractéristique, par exemple $Z_1$ et $Z_2$, sur un ensemble de **vecteurs prototypes** entraînables. Ils obtiennent les **codes** correspondants $Q_1$ et $Q_2$.\n\nLa figure nomme cette étape « Prototypes C » et « Codes ».\n\nLe cœur de SwAV est la **prédiction échangée** (swapped prediction) :\n\n1. Le code $Q_1$ associé à la vue 1 sert de cible à la prédiction issue des caractéristiques de la vue 2.\n2. Le code $Q_2$ associé à la vue 2 sert de cible à la prédiction issue des caractéristiques de la vue 1.\n\nSwAV ne compare donc pas directement $Z_1$ et $Z_2$. Il fait prédire, à partir des caractéristiques d'une vue, l'affectation aux prototypes de l'autre vue. Les vues d'une même image doivent aboutir à des affectations cohérentes.\n\nLes prototypes, eux aussi appris pendant l'entraînement, se comportent comme des centres de clusters : ils associent les caractéristiques à des codes et prennent progressivement des positions qui permettent de les distinguer.\n\n### Regroupement en ligne\n\nLe **regroupement en ligne** (online clustering) est une propriété importante de SwAV.\n\nVoyons comment calculer les codes des images et mettre à jour les prototypes au fil de l'entraînement.\n\nPour chaque image $x_n$, on tire au hasard une transformation $t$ dans un ensemble $T$ : recadrage, retournement horizontal, changement de couleur, etc. On obtient une image augmentée $x_{nt}$. Un réseau convolutif en extrait ensuite un vecteur, projeté sur la sphère unité pour former $z_{nt}$ : sa norme vaut 1.\n\nJusque-là, rien de très éloigné des articles précédents sur l'apprentissage contrastif.\n\nEnfin, on associe $z_{nt}$ aux $K$ prototypes entraînables $\\{ c_1, \\dots, c_K \\}$ pour obtenir son code $q_{nt}$.\n\n\n> [!TIP]\n> \n> En lisant ce passage, on se dit : mais cela ressemble aux codebooks que nous avons souvent rencontrés par la suite !\n\n\nUne fois les codes obtenus, on passe à la prédiction échangée.\n\nSoient deux vues augmentées $(t, s)$ de la même image. On note $(z_t, q_t)$ la caractéristique et le code de la vue $t$, et $(z_s, q_s)$ ceux de la vue $s$.\n\n- Les auteurs veulent prédire $q_s$ à partir de $z_t$ et, réciproquement, $q_t$ à partir de $z_s$.\n- Au lieu de comparer directement les caractéristiques comme dans une méthode contrastive par instances, on prédit le **code de l'autre vue**.\n\nÀ l'entraînement, les codes servent de cibles et les probabilités softmax des caractéristiques sur les prototypes servent de prédictions. On calcule alors une entropie croisée pour les prédictions échangées du lot courant.\n\n### Contrainte d'équipartition\n\nPour apprendre en ligne, les codes sont calculés à partir des caractéristiques du **lot courant**, plutôt que de l'ensemble complet des données. En recevant successivement des lots différents, les prototypes peuvent ainsi s'adapter à la diversité des caractéristiques.\n\nSans contrainte, toutes les caractéristiques pourraient pourtant finir associées au même prototype : le modèle s'effondrerait. Les auteurs introduisent donc une contrainte d'**équipartition** : dans chaque lot, les affectations aux prototypes doivent rester aussi équilibrées que possible.\n\nSupposons que le lot contienne $B$ vecteurs de caractéristiques, notés :\n\n$$\nZ = [z_1, \\dots, z_B],\n$$\n\net que les $K$ prototypes soient :\n\n$$\nC = [c_1, \\dots, c_K].\n$$\n\nOn optimise une matrice d'affectation $Q$ qui associe les caractéristiques aux prototypes. Le terme objectif :\n\n$$\n\\mathrm{Tr}(Q^\\top C^\\top Z)\n$$\n\nrécompense leur similarité totale. Le terme d'entropie $\\epsilon\\,H(Q)$, où $H(Q) = -\\sum_{ij} Q_{ij} \\log Q_{ij}$, évite une répartition trop concentrée. Le modèle peut ainsi apprendre à distinguer les caractéristiques sans les accumuler dans quelques prototypes.\n\nOn contraint $Q$ à appartenir à l'ensemble $\\mathcal{Q}$ suivant :\n\n$$\n\\mathcal{Q} = \\Bigl\\{ Q \\in \\mathbb{R}_{+}^{K \\times B} \\;\\Big|\\;\nQ\\,\\mathbf{1}_{B} = \\tfrac{1}{K}\\,\\mathbf{1}_{K}, \\quad\nQ^\\top \\mathbf{1}_{K} = \\tfrac{1}{B}\\,\\mathbf{1}_{B} \\Bigr\\},\n$$\n\nIci, $\\mathbf{1}_K$ et $\\mathbf{1}_B$ sont des vecteurs de 1 de dimensions $K$ et $B$. En recherche opérationnelle, $\\mathcal{Q}$ est un **polytope de transport**. La somme de chaque ligne, correspondant à un prototype, et de chaque colonne, correspondant à un échantillon, est fixée. Chaque prototype reçoit ainsi une masse totale équivalant à $\\frac{B}{K}$ échantillons.\n\nLe paramètre de lissage $\\epsilon$ de la régularisation entropique est important : s'il est trop grand, la répartition devient trop uniforme et les représentations peuvent s'effondrer. Les auteurs choisissent donc une valeur faible dans leurs expériences.\n\nIls conservent les affectations souples continues $Q^*$ et les calculent avec l'algorithme de **Sinkhorn-Knopp**. Celui-ci normalise alternativement lignes et colonnes pour obtenir les matrices diagonales $\\mathrm{Diag}(u)$ et $\\mathrm{Diag}(v)$. À convergence complète, les contraintes sur leurs sommes sont satisfaites et la solution prend la forme :\n\n$$\nQ^* = \\mathrm{Diag}(u)\\,\\exp \\Bigl(\\tfrac{C^\\top Z}{\\epsilon}\\Bigr)\\,\\mathrm{Diag}(v).\n$$\n\nEn pratique, trois itérations suffisent à obtenir de bons résultats. Elles donnent toutefois une solution approchée : les contraintes ne sont pas nécessairement satisfaites exactement. Ce calcul s'exécute aussi efficacement sur GPU.\n\nAvec de petits lots, si le nombre de caractéristiques $B$ est bien inférieur au nombre de prototypes $K$, un seul lot ne permet pas de donner assez d'exemples à chaque prototype. Les auteurs conservent alors les caractéristiques des lots précédents pour agrandir l'ensemble servant à l'affectation. La rétropropagation, elle, n'actualise que les exemples du lot courant.\n\nDans l'expérience avec des lots de 256 images, ils stockent les caractéristiques des 15 lots précédents, soit 3 840 vecteurs. Avec le réglage comparé, MoCo v2 en stocke 65 536. Il s'agit de la **taille des files de caractéristiques**, pas de la consommation totale de mémoire des deux méthodes.\n\n\n> [!TIP]\n> \n> Imaginez que nous ayons 100 balles à répartir dans 10 boîtes. Pour éviter qu'elles ne finissent toutes dans la même boîte, il faut un mécanisme qui équilibre leur répartition.\n> \n> L'algorithme ci-dessus joue ce rôle : il répartit les caractéristiques entre les vecteurs prototypes **aussi uniformément que possible**.\n\n\n### Recadrages multiples\n\nLes travaux précédents utilisent souvent des recadrages aléatoires pour apprendre les relations entre les parties d'une image, comme une scène et les objets qu'elle contient. Les différentes régions apportent à la fois des informations locales et des indices sur la structure globale.\n\nAugmenter le nombre de recadrages, donc de vues, demande plus de calcul pour les encoder et plus de mémoire pendant l'entraînement. Si l'on compare toutes les vues deux à deux, le nombre de paires croît aussi de manière quadratique.\n\nPour fournir davantage de vues sans faire exploser les coûts, les auteurs proposent une stratégie de **recadrages multiples** :\n\n1. **Deux recadrages de résolution standard** : ils conservent davantage de détails et servent à calculer les codes.\n2. **$V$ recadrages supplémentaires de faible résolution** : ils couvrent des régions partielles, mais coûtent moins cher à traiter grâce à leur petite taille.\n\nCes petites vues ajoutent moins de calcul que des recadrages tous en haute résolution. On peut donc voir davantage de parties d'une même image sans augmenter autant le temps de calcul ni la mémoire.\n\nLa perte initiale porte sur une prédiction échangée entre deux vues. Avec les recadrages multiples, elle devient :\n\n$$\nL(z_{t_1}, z_{t_2}, \\dots, z_{t_{V+2}}) = \\sum_{i \\in \\{1,2\\}} \\sum_{\\substack{v=1 \\\\ v\\neq i}}^{V+2} \\ell(z_{t_v}, q_{t_i})\n$$\n\n$z_{t_1}$ et $z_{t_2}$ désignent les caractéristiques des deux recadrages de résolution standard ; les autres $z_{t_v}$, pour $v=3,\\dots,V+2$, viennent des recadrages de faible résolution.\n\nSeules les grandes vues servent à calculer les **codes**. Ceux-ci servent ensuite de cibles aux caractéristiques des autres vues, y compris les petites.\n\n\n> [!TIP]\n> \n> **Pourquoi ne calculer les codes que pour les grandes vues ?**\n> \n> Le calcul sur toutes les vues augmenterait le coût, tandis que les petites vues, qui contiennent surtout des informations locales, pourraient donner des affectations moins fiables. Dans les expériences, les codes issus des vues de pleine résolution préservent de meilleurs résultats de transfert.\n\n\n## Discussion\n\nLes auteurs évaluent la généralité des caractéristiques apprises par SwAV sur plusieurs jeux de données de transfert. Ils reprennent aussi quelques techniques d'entraînement de SimCLR :\n\n- **LARS (Layer-wise Adaptive Rate Scaling)** : il aide à régler le taux d'apprentissage pour de grands lots.\n- **Taux d'apprentissage cosinus** : un calendrier de décroissance cosinus ajuste progressivement ce taux.\n- **Tête de projection MLP** : des couches entièrement connectées projettent les caractéristiques dans un espace utile à l'apprentissage.\n\n### Résultats expérimentaux\n\nCommençons par l'évaluation des caractéristiques non supervisées sur ImageNet.\n\nLe modèle est un ResNet-50 préentraîné avec SwAV. On en extrait des caractéristiques, on les **fige**, puis on entraîne uniquement un classifieur linéaire sur elles.\n\nVoici les résultats :\n\n\n\n![main-results](/content/papers/assets/e0cb91cbc70e56a218646d87a3e88039c50f730be1994bfe7acec0fdf8997af4.jpg)\n\n\n\nSwAV atteint **75,3 % de précision top-1** en classification linéaire : 4,2 points de pourcentage au-dessus du MoCo v2 à 71,1 % figurant dans la comparaison, et 1,2 point en dessous du modèle entièrement supervisé à 76,5 %. Ici, SwAV a été entraîné pendant 800 époques avec de grands lots de 4 096 images.\n\nLa partie droite de la figure compare plusieurs largeurs de ResNet-50 pour l'apprentissage non supervisé de caractéristiques.\n\nLa précision de SwAV augmente avec la largeur. Pour le modèle le plus large de la figure, son écart avec le modèle supervisé de même largeur n'est plus que de 0,6 point. Cela décrit l'évaluation linéaire sur ImageNet dans ces conditions ; les tâches en aval demandent une évaluation de transfert distincte.\n\n### Ablation : recadrages multiples\n\n\n\n![multi-crop](/content/papers/assets/5cbf7f6b101223d9a09b94fa2bff05364301566ecbfce728b7378427a518954d.jpg)\n\n\n\nCette figure étudie les recadrages multiples sur ImageNet avec un ResNet-50.\n\nLe tableau de gauche compare les méthodes fondées sur le regroupement et l'apprentissage contrastif par instances. Le graphique de droite montre SwAV pour différentes durées d'entraînement.\n\nLes résultats sont les suivants :\n\n- **Sans recadrages multiples** : SwAV obtient 70,1 % et DeepCluster-v2 70,2 %, soit respectivement 1,9 et 2,0 points de plus que les 68,2 % de SimCLR.\n- **Avec recadrages multiples** : SwAV atteint 74,1 % et DeepCluster-v2 74,3 %, soit respectivement 3,5 et 3,7 points de plus que les 70,6 % de SimCLR.\n\nDans cette comparaison réglée avec les mêmes augmentations, époques et tailles de lot, les méthodes par regroupement dépassent SimCLR en précision top-1.\n\nSwAV et DeepCluster-v2 obtiennent des résultats très proches, mais leur mode d'entraînement diffère :\n\n- DeepCluster-v2 parcourt plusieurs fois l'ensemble des données pour actualiser les centres et les affectations. Il ne convient donc pas à l'apprentissage strictement en ligne, où un immense jeu de données peut n'être parcouru qu'une fois.\n- SwAV échange les affectations directement à l'échelle du lot. Il peut les actualiser en ligne sans reparcourir l'ensemble des données pour les recalculer.\n\nOn peut aussi voir DeepCluster-v2 comme un cas particulier du mécanisme d'échange : son affectation calculée à l'époque précédente sert à prédire une vue augmentée de l'époque courante. Dans SwAV, l'échange se produit au sein du même lot, ce qui se prête mieux à l'entraînement en ligne.\n\n## Conclusion\n\nAvec ses prototypes entraînables, SwAV évite de comparer directement les caractéristiques des vues : il les associe d'abord à des codes, puis échange les cibles de prédiction entre les vues.\n\nCes codes jouent un peu le rôle d'un langage intermédiaire. Ils aident les vues d'une même image à rester cohérentes et permettent d'apprendre des caractéristiques utiles. Dans les évaluations de l'article, SwAV se rapproche du modèle supervisé en classification linéaire sur ImageNet et le dépasse sur les tâches de transfert étudiées ; ces constats restent liés aux jeux de données et aux protocoles présentés.\n","imageSizes":{"/content/papers/assets/6a7e173611b1c8ff7d688566c9efb960e31afc020211d8c978ddc19250916671.jpg":{"width":1400,"height":428},"/content/papers/assets/e972c82bdd5f60c3ca166105fe552e31282aa3ea8453322b0916cb5c63dbb0c9.jpg":{"width":724,"height":428},"/content/papers/assets/e0cb91cbc70e56a218646d87a3e88039c50f730be1994bfe7acec0fdf8997af4.jpg":{"width":1224,"height":644},"/content/papers/assets/5cbf7f6b101223d9a09b94fa2bff05364301566ecbfce728b7378427a518954d.jpg":{"width":1224,"height":416}}}
