{"notes":[{"id":"contrastive-learning/examplar-cnn","category":"contrastive-learning","legacyPath":"contrastive-learning/1406-examplar-cnn","legacySlug":"1406-examplar-cnn","legacyPaths":[],"title":"Exemplar CNN","subtitle":"Chercher des caractéristiques invariantes","author":"Z. Yuan","paperDate":"2014-06-26","publishedOn":"2025-01-22","paperTitle":"Discriminative Unsupervised Feature Learning with Exemplar Convolutional Neural Networks","paperUrl":"https://arxiv.org/abs/1406.6909","bibliography":{"title":"Discriminative Unsupervised Feature Learning with Exemplar Convolutional Neural Networks","authors":["Alexey Dosovitskiy","Philipp Fischer","Jost Tobias Springenberg","Martin Riedmiller","Thomas Brox"],"url":"https://arxiv.org/abs/1406.6909","pdfUrl":"https://arxiv.org/pdf/1406.6909","codeUrl":null,"preprint":{"id":"1406.6909","submittedOn":"2014-06-26","url":"https://arxiv.org/abs/1406.6909"},"publication":{"venue":"IEEE Transactions on Pattern Analysis and Machine Intelligence","shortVenue":"IEEE TPAMI","year":2016,"kind":"journal","url":"https://doi.org/10.1109/tpami.2015.2496141"},"citation":"@misc{contrastivelearningexamplarcnn2014,\n  title = {{Discriminative Unsupervised Feature Learning with Exemplar Convolutional Neural Networks}},\n  author = {Alexey Dosovitskiy and Philipp Fischer and Jost Tobias Springenberg and Martin Riedmiller and Thomas Brox},\n  year = {2014},\n  eprint = {1406.6909},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1406.6909}\n}\n","citationPath":"/content/papers/citations/contrastive-learning/examplar-cnn.9f293122852b.bib"},"thumbnail":{"src":"/content/papers/assets/52a4c5931d81eeedf2a0857944f10ddc3749d7195e81184efa2a80bc736d062d.jpg","width":1080,"height":418},"locale":"fr","path":"/content/papers/fr/contrastive-learning/examplar-cnn.323644a6ed73.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"configuration-expérimentale","text":"Configuration expérimentale","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"comparaison-avec-dautres-méthodes","text":"Comparaison avec d'autres méthodes","depth":3},{"id":"ablation--nombre-de-classes-de-substitution","text":"Ablation : nombre de classes de substitution","depth":3},{"id":"ablation--nombre-déchantillons","text":"Ablation : nombre d'échantillons","depth":3},{"id":"ablation--types-daugmentation-dimage","text":"Ablation : types d'augmentation d'image","depth":3},{"id":"ablation--configuration-du-réseau","text":"Ablation : configuration du réseau","depth":3},{"id":"visualisation-des-filtres","text":"Visualisation des filtres","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"contrastive-learning/invaspread","relation":"comparison","topic":"Définir une tâche de prédiction auto-supervisée"},{"id":"contrastive-learning/cpc","relation":"comparison","topic":"Définir une tâche de prédiction auto-supervisée"}]},{"id":"contrastive-learning/invaspread","category":"contrastive-learning","legacyPath":"contrastive-learning/1904-invaspread","legacySlug":"1904-invaspread","legacyPaths":[],"title":"InvaSpread","subtitle":"Des indices dans un problème difficile","author":"Z. Yuan","paperDate":"2019-04-06","publishedOn":"2025-01-23","paperTitle":"Unsupervised Embedding Learning via Invariant and Spreading Instance Feature","paperUrl":"https://arxiv.org/abs/1904.03436","bibliography":{"title":"Unsupervised Embedding Learning via Invariant and Spreading Instance Feature","authors":["Mang Ye","Xu Zhang","Pong C. Yuen","Shih-Fu Chang"],"url":"https://arxiv.org/abs/1904.03436","pdfUrl":"https://arxiv.org/pdf/1904.03436","codeUrl":null,"preprint":{"id":"1904.03436","submittedOn":"2019-04-06","url":"https://arxiv.org/abs/1904.03436"},"publication":{"venue":"CVPR","year":2019,"kind":"conference","url":"https://arxiv.org/abs/1904.03436"},"citation":"@misc{contrastivelearninginvaspread2019,\n  title = {{Unsupervised Embedding Learning via Invariant and Spreading Instance Feature}},\n  author = {Mang Ye and Xu Zhang and Pong C. Yuen and Shih-Fu Chang},\n  year = {2019},\n  eprint = {1904.03436},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1904.03436}\n}\n","citationPath":"/content/papers/citations/contrastive-learning/invaspread.a46b3f57ac16.bib"},"thumbnail":{"src":"/content/papers/assets/135f248ffa5c98e798e9cd5d75ab7cdb38fda8130eae2511547941d70f316165.jpg","width":1596,"height":524},"locale":"fr","path":"/content/papers/fr/contrastive-learning/invaspread.cebb9b8762ca.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"fonction-de-perte","text":"Fonction de perte","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"comparaison-avec-dautres-méthodes","text":"Comparaison avec d'autres méthodes","depth":3},{"id":"expériences-sur-des-catégories-inédites","text":"Expériences sur des catégories inédites","depth":3},{"id":"expériences-dablation","text":"Expériences d'ablation","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"contrastive-learning/examplar-cnn","relation":"comparison","topic":"Définir une tâche de prédiction auto-supervisée"},{"id":"contrastive-learning/cpc","relation":"comparison","topic":"Définir une tâche de prédiction auto-supervisée"}]},{"id":"contrastive-learning/cpc","category":"contrastive-learning","legacyPath":"contrastive-learning/1807-cpc","legacySlug":"1807-cpc","legacyPaths":[],"title":"CPC","subtitle":"Sans connaître la vie, comment connaître la mort ?","author":"Z. Yuan","paperDate":"2018-07-10","publishedOn":"2025-01-16","paperTitle":"Representation Learning with Contrastive Predictive Coding","paperUrl":"https://arxiv.org/abs/1807.03748","bibliography":{"title":"Representation Learning with Contrastive Predictive Coding","authors":["Aaron van den Oord","Yazhe Li","Oriol Vinyals"],"url":"https://arxiv.org/abs/1807.03748","pdfUrl":"https://arxiv.org/pdf/1807.03748","codeUrl":null,"preprint":{"id":"1807.03748","submittedOn":"2018-07-10","url":"https://arxiv.org/abs/1807.03748"},"publication":null,"citation":"@misc{contrastivelearningcpc2018,\n  title = {{Representation Learning with Contrastive Predictive Coding}},\n  author = {Aaron van den Oord and Yazhe Li and Oriol Vinyals},\n  year = {2018},\n  eprint = {1807.03748},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1807.03748}\n}\n","citationPath":"/content/papers/citations/contrastive-learning/cpc.4cc0d1d40232.bib"},"thumbnail":{"src":"/content/papers/assets/a60b1a92f6088b36ddee7c87fed67d1e73769e003c30805f963c6b284d0c3a86.jpg","width":1382,"height":626},"locale":"fr","path":"/content/papers/fr/contrastive-learning/cpc.9c24b53717ee.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"infonce","text":"InfoNCE","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"application-à-la-reconnaissance-vocale","text":"Application à la reconnaissance vocale","depth":3},{"id":"expériences-dablation","text":"Expériences d'ablation","depth":3},{"id":"visualisation-des-locuteurs","text":"Visualisation des locuteurs","depth":3},{"id":"application-à-la-reconnaissance-dimages","text":"Application à la reconnaissance d'images","depth":3},{"id":"visualisation-des-caractéristiques-dimage","text":"Visualisation des caractéristiques d'image","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"contrastive-learning/examplar-cnn","relation":"comparison","topic":"Définir une tâche de prédiction auto-supervisée"},{"id":"contrastive-learning/invaspread","relation":"comparison","topic":"Définir une tâche de prédiction auto-supervisée"}]}],"text":"En lisant d'autres articles, nous avons remarqué que beaucoup reprenaient les idées de celui-ci. Prenons donc un peu de temps pour le lire.\n\nSon principe est simple, mais ses nombreux résultats expérimentaux donnent matière à réflexion.\n\n## Définition du problème\n\nL'avantage de l'apprentissage supervisé est aussi son défaut : il lui faut beaucoup de données annotées. Dans certaines applications, ces données sont difficiles à obtenir ou coûtent cher.\n\nEt si l'on souhaite transférer un modèle entre des tâches différentes, par exemple de la classification d'objets à l'appariement de descripteurs, les résultats de l'apprentissage supervisé peuvent être décevants.\n\nUne idée toute simple vient alors à l'esprit : et si l'on se passait d'étiquettes ?\n\nMais comment entraîner le modèle sans étiquettes ?\n\nLes auteurs répondent : avec une tâche de substitution.\n\n## Résolution du problème\n\nLes auteurs proposent **Exemplar-CNN**, une méthode d'entraînement qui ne requiert aucune annotation humaine.\n\nL'idée centrale est très simple :\n\n1. **Échantillonner des patchs d'image** : on extrait dans des images non annotées des patchs de $32 \\times 32$ pixels. Pour privilégier les régions qui contiennent davantage d'information sur les objets, la probabilité d'échantillonnage est proportionnelle à la moyenne du carré de la norme du gradient de l'image dans chaque patch.\n\n\n> [!TIP]\n> \n> Il s'agit du gradient *de l'image*, pas de celui calculé par rétropropagation. Les auteurs estiment qu'il aide à trouver des patchs plus intéressants.\n\n\n2. **Appliquer des transformations aléatoires aux patchs** : translations, changements d'échelle, rotations et ajustements de couleur ou de contraste produisent plusieurs versions d'un même patch. Ces transformations définissent explicitement les invariances que le réseau doit apprendre, par exemple une moindre sensibilité à la rotation ou à la couleur.\n3. **Former des classes de substitution et apprendre à les distinguer** : chaque patch initial et ses versions transformées sont considérés comme les exemples positifs d'une même classe de substitution.\n\nRépété sur de nombreuses images, ce processus crée autant de classes de substitution. Un CNN apprend alors à distinguer les patchs qui appartiennent à la même classe, malgré leurs transformations, de ceux des autres classes. Il apprend donc à différencier les patchs tout en devenant invariant aux transformations appliquées à chacun d'eux.\n\nVoici les transformations employées dans l'article :\n\n- **Translation** : déplacement vertical ou horizontal d'au plus 20 % de la taille du patch.\n- **Changement d'échelle** : facteur multiplicatif compris entre 0,7 et 1,4.\n- **Rotation** : angle limité à ±20 degrés.\n- **Contraste 1** : la projection de chaque pixel sur les composantes principales de l'ensemble des pixels est multipliée par un facteur entre 0,5 et 2, indépendant pour chaque composante mais commun aux pixels d'un même patch.\n- **Contraste 2** :\n  - la saturation et la luminosité de la représentation HSV, les composantes S et V, sont élevées à une puissance comprise entre 0,25 et 4 ;\n  - ces valeurs sont ensuite multipliées par un facteur de 0,7 à 1,4, puis décalées d'une valeur de −0,1 à 0,1.\n- **Couleur** : ajout d'un décalage de −0,1 à 0,1 à la teinte, composante H de HSV.\n\n\n> [!TIP]\n> \n> Les auteurs vérifieront l'utilité de ces transformations dans leurs expériences d'ablation.\n\n\nVoici à peu près à quoi ressemblent les données d'entraînement après extraction des patchs, avec STL-10 comme exemple :\n\n\n\n![dataset](/content/papers/assets/52a4c5931d81eeedf2a0857944f10ddc3749d7195e81184efa2a80bc736d062d.jpg)\n\n\n\n### Configuration expérimentale\n\nPour comparer **Exemplar-CNN** aux méthodes antérieures d'apprentissage non supervisé de caractéristiques, les auteurs réalisent des expériences sur STL-10, CIFAR-10, Caltech-101 et Caltech-256.\n\nHormis dans l'expérience de transfert entre jeux de données, les patchs servant à former les classes de substitution viennent des images non annotées de STL-10. Pour évaluer la classification, un SVM linéaire est ensuite entraîné avec les données annotées de chaque jeu.\n\nVoici quelques précisions sur le nombre de classes et le traitement des images :\n\n- **Nombre de classes** :\n  - STL-10 et CIFAR-10 : 10 classes.\n  - Caltech-101 : 101 classes.\n  - Caltech-256 : 256 classes.\n- **Taille des images** :\n  - CIFAR-10 : redimensionnement de $32 \\times 32$ à $64 \\times 64$.\n  - Caltech-101 : redimensionnement à $150 \\times 150$.\n  - Caltech-256 : redimensionnement à $256 \\times 256$.\n\nLes auteurs conçoivent ensuite plusieurs architectures :\n\n- **Petit réseau (64c5-64c5-128f)** :\n  - deux couches convolutives de 64 filtres chacune ;\n  - une couche entièrement connectée de 128 unités ;\n  - une couche Softmax en sortie.\n- **Réseau moyen (64c5-128c5-256c5-512f)** :\n  - trois couches convolutives de 64, 128 et 256 filtres ;\n  - une couche entièrement connectée de 512 unités.\n- **Grand réseau (92c5-256c5-512c5-1024f)** :\n  - trois couches convolutives de 92, 256 et 512 filtres ;\n  - une couche entièrement connectée de 1 024 unités.\n- **Convolution et pooling** :\n  - tous les filtres convolutifs couvrent une région d'entrée de $5 \\times 5$ ;\n  - un max-pooling $2 \\times 2$ suit chacune des deux premières couches convolutives.\n- **Autres détails** :\n  - dropout dans la couche entièrement connectée ;\n  - implémentation dans Caffe, avec des détails d'entraînement en annexe B.2.\n\nÀ l'évaluation, le réseau s'applique à des images de taille quelconque et produit des cartes de caractéristiques, agrégées selon le jeu de données :\n\n- STL-10 et CIFAR-10 : max-pooling sur quatre quadrants, soit quatre valeurs par carte.\n- Caltech-101 et Caltech-256 : pyramide spatiale à trois niveaux, soit $1+4+16=21$ valeurs.\n\nLa classification finale emploie un SVM linéaire un contre tous.\n\n## Discussion\n\n### Comparaison avec d'autres méthodes\n\n\n\n![result](/content/papers/assets/8beeea477c413bdd28ee69403a980d8c4d22550dd6f0024b27e06d4ed7d8249b.jpg)\n\n\n\nLe tableau ci-dessus compare **Exemplar-CNN** à d'autres méthodes d'apprentissage non supervisé de caractéristiques sur plusieurs jeux de données.\n\nLa grande version d'**Exemplar-CNN** obtient le meilleur score parmi les méthodes non supervisées indiquées pour chacun des jeux. Sur STL-10, ses 74,2 % dépassent même les 70,1 % de la méthode supervisée figurant au tableau ! Les résultats supervisés restent supérieurs sur les autres jeux, et les conditions d'entraînement des deux familles de méthodes diffèrent.\n\n### Ablation : nombre de classes de substitution\n\n\n\n![num_classes](/content/papers/assets/7160448ec9abe144de27e04fd75a28fc27b1d49b319e3392af59a0beb687ae0c.jpg)\n\n\n\nLes auteurs examinent d'abord l'effet du nombre de classes de substitution.\n\nIls font varier leur nombre $N$ de 50 à 32 000 et observent la précision de classification.\n\nSur STL-10, celle-ci augmente jusqu'à environ 4 000 à 8 000 classes, puis se stabilise ou diminue, tandis que l'erreur de validation de la classification des classes de substitution continue de croître. Les auteurs pensent qu'avec trop de classes, il devient plus difficile de distinguer des exemples similaires ou répétés, ce qui peut nuire à l'utilité des caractéristiques pour la classification.\n\n\n> [!TIP]\n> \n> Cette expérience ne compare pas l'effet de la normalisation des caractéristiques ; ce graphique seul ne permet donc pas d'expliquer avec certitude l'arrêt de la progression.\n\n\n### Ablation : nombre d'échantillons\n\n\n\n![num_samples](/content/papers/assets/2225aee7d0b3dbc4053b3de583132afea8ec0690f17eea71b8df96bb6671eafe.jpg)\n\n\n\nVient ensuite l'effet du nombre $K$ d'échantillons par classe de substitution.\n\nLes auteurs font varier $K$ de 1 à 300 et observent la précision de classification.\n\nSur STL-10, la précision augmente avec le nombre d'échantillons par classe, puis se stabilise vers 100. Selon les auteurs, cela suffit à approcher l'objectif en espérance de leur équation (3) ; dans ces expériences, ajouter encore des échantillons change peu le résultat.\n\n### Ablation : types d'augmentation d'image\n\n\n\n![augmentation](/content/papers/assets/d5d7ac3dc0915a68389f73b704ba8ccaa310e27e36dc931d1bfb10d0071b9738.jpg)\n\n\n\nLes auteurs étudient ensuite l'effet des différents types d'augmentation d'image.\n\nIls conservent les patchs « germes » initiaux et modifient les transformations appliquées aux données de substitution : échelle, rotation, translation, couleur ou contraste.\n\nLes valeurs négatives du graphique représentent la différence de précision par rapport à l'emploi de toutes les transformations lorsqu'on en retire une catégorie. Retirer la translation, la couleur ou le contraste fait généralement davantage baisser la précision ; l'effet de l'échelle et de la rotation est plus faible. La sensibilité à chaque transformation varie toutefois selon le jeu de données.\n\n### Ablation : configuration du réseau\n\n\n\n![result](/content/papers/assets/ad5a378e1fe37c38f5f5768e23ad6086d329151f76fa94dbbd04655bc8ecae21.jpg)\n\n\n\nCe tableau montre les performances d'**Exemplar-CNN** selon plusieurs configurations et jeux de données.\n\nCertaines configurations plus larges ou plus profondes améliorent la précision, mais agrandir le réseau ne suffit pas toujours : le modèle à quatre couches convolutives `64c5-64c5-64c5-64c5-128f` fait moins bien que le modèle à trois couches `64c5-64c5-64c5-128f`. À architecture égale, passer de 8 000 à 16 000 classes de substitution n'a pas non plus le même effet dans toutes les colonnes de test.\n\n### Visualisation des filtres\n\n\n\n![visualization](/content/papers/assets/73db85a33fb1cfd89576321307a73088b60e67d178c1557090005c4a8655be12.jpg)\n\n\n\nCette figure montre les filtres appris dans la première couche du réseau `64c5-64c5-128f` lorsque ses données de substitution proviennent de jeux différents. De haut en bas :\n\n- **Haut** : STL-10.\n- **Milieu** : CIFAR-10.\n- **Bas** : Caltech-101.\n\nLes filtres diffèrent par leurs plages de couleur et leurs textures locales selon le jeu employé.\n\nLes auteurs comparent aussi les sources d'entraînement dans leurs expériences de classification. En général, les patchs du jeu évalué donnent les meilleurs résultats, mais l'écart avec les autres sources reste modéré. C'est un argument plus solide pour le transfert des caractéristiques que la seule inspection des filtres.\n\n## Conclusion\n\nL'article présente une méthode d'apprentissage non supervisé de caractéristiques fondée sur un objectif discriminant, sans étiquettes de catégories d'objets. L'augmentation des données produit des étiquettes de substitution et définit les transformations auxquelles les caractéristiques apprises doivent être invariantes.\n\nLes expériences montrent une nette amélioration de la précision de classification avec les caractéristiques d'Exemplar-CNN et un avantage de cet objectif discriminant sur les objectifs non supervisés antérieurs étudiés dans l'article.\n\n\n> [!TIP]\n> \n> Nombre de travaux pionniers sur l'apprentissage contrastif citent cet article. Avec le recul, on voit bien plusieurs points à améliorer, mais il a beaucoup inspiré les recherches suivantes. Il mérite qu'on s'y arrête.\n","imageSizes":{"/content/papers/assets/52a4c5931d81eeedf2a0857944f10ddc3749d7195e81184efa2a80bc736d062d.jpg":{"width":1080,"height":418},"/content/papers/assets/8beeea477c413bdd28ee69403a980d8c4d22550dd6f0024b27e06d4ed7d8249b.jpg":{"width":1738,"height":440},"/content/papers/assets/7160448ec9abe144de27e04fd75a28fc27b1d49b319e3392af59a0beb687ae0c.jpg":{"width":996,"height":688},"/content/papers/assets/2225aee7d0b3dbc4053b3de583132afea8ec0690f17eea71b8df96bb6671eafe.jpg":{"width":916,"height":664},"/content/papers/assets/d5d7ac3dc0915a68389f73b704ba8ccaa310e27e36dc931d1bfb10d0071b9738.jpg":{"width":1044,"height":596},"/content/papers/assets/ad5a378e1fe37c38f5f5768e23ad6086d329151f76fa94dbbd04655bc8ecae21.jpg":{"width":1536,"height":662},"/content/papers/assets/73db85a33fb1cfd89576321307a73088b60e67d178c1557090005c4a8655be12.jpg":{"width":876,"height":708}}}
