Retour à la bibliothèque
arXiv 2014IEEE TPAMI 2016Apprentissage contrastifNotes de lecture

Exemplar CNN

Chercher des caractéristiques invariantes

Article original

Discriminative Unsupervised Feature Learning with Exemplar Convolutional Neural Networks

Auteurs de l’article

Alexey Dosovitskiy · Philipp Fischer · Jost Tobias Springenberg · Martin Riedmiller · Thomas Brox

Premier dépôt sur arXiv
arXiv:1406.6909
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{contrastivelearningexamplarcnn2014,
  title = {{Discriminative Unsupervised Feature Learning with Exemplar Convolutional Neural Networks}},
  author = {Alexey Dosovitskiy and Philipp Fischer and Jost Tobias Springenberg and Martin Riedmiller and Thomas Brox},
  year = {2014},
  eprint = {1406.6909},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1406.6909}
}
Sur cette page

En lisant d'autres articles, nous avons remarqué que beaucoup reprenaient les idées de celui-ci. Prenons donc un peu de temps pour le lire.

Son principe est simple, mais ses nombreux résultats expérimentaux donnent matière à réflexion.

Définition du problème

L'avantage de l'apprentissage supervisé est aussi son défaut : il lui faut beaucoup de données annotées. Dans certaines applications, ces données sont difficiles à obtenir ou coûtent cher.

Et si l'on souhaite transférer un modèle entre des tâches différentes, par exemple de la classification d'objets à l'appariement de descripteurs, les résultats de l'apprentissage supervisé peuvent être décevants.

Une idée toute simple vient alors à l'esprit : et si l'on se passait d'étiquettes ?

Mais comment entraîner le modèle sans étiquettes ?

Les auteurs répondent : avec une tâche de substitution.

Résolution du problème

Les auteurs proposent Exemplar-CNN, une méthode d'entraînement qui ne requiert aucune annotation humaine.

L'idée centrale est très simple :

  1. Échantillonner des patchs d'image : on extrait dans des images non annotées des patchs de 32×3232 \times 32 pixels. Pour privilégier les régions qui contiennent davantage d'information sur les objets, la probabilité d'échantillonnage est proportionnelle à la moyenne du carré de la norme du gradient de l'image dans chaque patch.
  1. Appliquer des transformations aléatoires aux patchs : translations, changements d'échelle, rotations et ajustements de couleur ou de contraste produisent plusieurs versions d'un même patch. Ces transformations définissent explicitement les invariances que le réseau doit apprendre, par exemple une moindre sensibilité à la rotation ou à la couleur.
  2. Former des classes de substitution et apprendre à les distinguer : chaque patch initial et ses versions transformées sont considérés comme les exemples positifs d'une même classe de substitution.

Répété sur de nombreuses images, ce processus crée autant de classes de substitution. Un CNN apprend alors à distinguer les patchs qui appartiennent à la même classe, malgré leurs transformations, de ceux des autres classes. Il apprend donc à différencier les patchs tout en devenant invariant aux transformations appliquées à chacun d'eux.

Voici les transformations employées dans l'article :

  • Translation : déplacement vertical ou horizontal d'au plus 20 % de la taille du patch.
  • Changement d'échelle : facteur multiplicatif compris entre 0,7 et 1,4.
  • Rotation : angle limité à ±20 degrés.
  • Contraste 1 : la projection de chaque pixel sur les composantes principales de l'ensemble des pixels est multipliée par un facteur entre 0,5 et 2, indépendant pour chaque composante mais commun aux pixels d'un même patch.
  • Contraste 2 :
    • la saturation et la luminosité de la représentation HSV, les composantes S et V, sont élevées à une puissance comprise entre 0,25 et 4 ;
    • ces valeurs sont ensuite multipliées par un facteur de 0,7 à 1,4, puis décalées d'une valeur de −0,1 à 0,1.
  • Couleur : ajout d'un décalage de −0,1 à 0,1 à la teinte, composante H de HSV.

Voici à peu près à quoi ressemblent les données d'entraînement après extraction des patchs, avec STL-10 comme exemple :

Configuration expérimentale

Pour comparer Exemplar-CNN aux méthodes antérieures d'apprentissage non supervisé de caractéristiques, les auteurs réalisent des expériences sur STL-10, CIFAR-10, Caltech-101 et Caltech-256.

Hormis dans l'expérience de transfert entre jeux de données, les patchs servant à former les classes de substitution viennent des images non annotées de STL-10. Pour évaluer la classification, un SVM linéaire est ensuite entraîné avec les données annotées de chaque jeu.

Voici quelques précisions sur le nombre de classes et le traitement des images :

  • Nombre de classes :
    • STL-10 et CIFAR-10 : 10 classes.
    • Caltech-101 : 101 classes.
    • Caltech-256 : 256 classes.
  • Taille des images :
    • CIFAR-10 : redimensionnement de 32×3232 \times 32 à 64×6464 \times 64.
    • Caltech-101 : redimensionnement à 150×150150 \times 150.
    • Caltech-256 : redimensionnement à 256×256256 \times 256.

Les auteurs conçoivent ensuite plusieurs architectures :

  • Petit réseau (64c5-64c5-128f) :
    • deux couches convolutives de 64 filtres chacune ;
    • une couche entièrement connectée de 128 unités ;
    • une couche Softmax en sortie.
  • Réseau moyen (64c5-128c5-256c5-512f) :
    • trois couches convolutives de 64, 128 et 256 filtres ;
    • une couche entièrement connectée de 512 unités.
  • Grand réseau (92c5-256c5-512c5-1024f) :
    • trois couches convolutives de 92, 256 et 512 filtres ;
    • une couche entièrement connectée de 1 024 unités.
  • Convolution et pooling :
    • tous les filtres convolutifs couvrent une région d'entrée de 5×55 \times 5 ;
    • un max-pooling 2×22 \times 2 suit chacune des deux premières couches convolutives.
  • Autres détails :
    • dropout dans la couche entièrement connectée ;
    • implémentation dans Caffe, avec des détails d'entraînement en annexe B.2.

À l'évaluation, le réseau s'applique à des images de taille quelconque et produit des cartes de caractéristiques, agrégées selon le jeu de données :

  • STL-10 et CIFAR-10 : max-pooling sur quatre quadrants, soit quatre valeurs par carte.
  • Caltech-101 et Caltech-256 : pyramide spatiale à trois niveaux, soit 1+4+16=211+4+16=21 valeurs.

La classification finale emploie un SVM linéaire un contre tous.

Discussion

Comparaison avec d'autres méthodes

Le tableau ci-dessus compare Exemplar-CNN à d'autres méthodes d'apprentissage non supervisé de caractéristiques sur plusieurs jeux de données.

La grande version d'Exemplar-CNN obtient le meilleur score parmi les méthodes non supervisées indiquées pour chacun des jeux. Sur STL-10, ses 74,2 % dépassent même les 70,1 % de la méthode supervisée figurant au tableau ! Les résultats supervisés restent supérieurs sur les autres jeux, et les conditions d'entraînement des deux familles de méthodes diffèrent.

Ablation : nombre de classes de substitution

Les auteurs examinent d'abord l'effet du nombre de classes de substitution.

Ils font varier leur nombre NN de 50 à 32 000 et observent la précision de classification.

Sur STL-10, celle-ci augmente jusqu'à environ 4 000 à 8 000 classes, puis se stabilise ou diminue, tandis que l'erreur de validation de la classification des classes de substitution continue de croître. Les auteurs pensent qu'avec trop de classes, il devient plus difficile de distinguer des exemples similaires ou répétés, ce qui peut nuire à l'utilité des caractéristiques pour la classification.

Ablation : nombre d'échantillons

Vient ensuite l'effet du nombre KK d'échantillons par classe de substitution.

Les auteurs font varier KK de 1 à 300 et observent la précision de classification.

Sur STL-10, la précision augmente avec le nombre d'échantillons par classe, puis se stabilise vers 100. Selon les auteurs, cela suffit à approcher l'objectif en espérance de leur équation (3) ; dans ces expériences, ajouter encore des échantillons change peu le résultat.

Ablation : types d'augmentation d'image

Les auteurs étudient ensuite l'effet des différents types d'augmentation d'image.

Ils conservent les patchs « germes » initiaux et modifient les transformations appliquées aux données de substitution : échelle, rotation, translation, couleur ou contraste.

Les valeurs négatives du graphique représentent la différence de précision par rapport à l'emploi de toutes les transformations lorsqu'on en retire une catégorie. Retirer la translation, la couleur ou le contraste fait généralement davantage baisser la précision ; l'effet de l'échelle et de la rotation est plus faible. La sensibilité à chaque transformation varie toutefois selon le jeu de données.

Ablation : configuration du réseau

Ce tableau montre les performances d'Exemplar-CNN selon plusieurs configurations et jeux de données.

Certaines configurations plus larges ou plus profondes améliorent la précision, mais agrandir le réseau ne suffit pas toujours : le modèle à quatre couches convolutives 64c5-64c5-64c5-64c5-128f fait moins bien que le modèle à trois couches 64c5-64c5-64c5-128f. À architecture égale, passer de 8 000 à 16 000 classes de substitution n'a pas non plus le même effet dans toutes les colonnes de test.

Visualisation des filtres

Cette figure montre les filtres appris dans la première couche du réseau 64c5-64c5-128f lorsque ses données de substitution proviennent de jeux différents. De haut en bas :

  • Haut : STL-10.
  • Milieu : CIFAR-10.
  • Bas : Caltech-101.

Les filtres diffèrent par leurs plages de couleur et leurs textures locales selon le jeu employé.

Les auteurs comparent aussi les sources d'entraînement dans leurs expériences de classification. En général, les patchs du jeu évalué donnent les meilleurs résultats, mais l'écart avec les autres sources reste modéré. C'est un argument plus solide pour le transfert des caractéristiques que la seule inspection des filtres.

Conclusion

L'article présente une méthode d'apprentissage non supervisé de caractéristiques fondée sur un objectif discriminant, sans étiquettes de catégories d'objets. L'augmentation des données produit des étiquettes de substitution et définit les transformations auxquelles les caractéristiques apprises doivent être invariantes.

Les expériences montrent une nette amélioration de la précision de classification avec les caractéristiques d'Exemplar-CNN et un avantage de cet objectif discriminant sur les objectifs non supervisés antérieurs étudiés dans l'article.