Learning Transferable Architectures for Scalable Image Recognition
- Publication
- CVPR 2018Conférence
- Premier dépôt sur arXiv
- arXiv:1707.07012
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{classiccnnsnasnet2017,
title = {{Learning Transferable Architectures for Scalable Image Recognition}},
author = {Barret Zoph and Vijay Vasudevan and Jonathon Shlens and Quoc V. Le},
year = {2017},
eprint = {1707.07012},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1707.07012}
}
Quand on a un marteau, tout ressemble à un clou.
*
Depuis que les réseaux de neurones profonds sont devenus populaires, construire une architecture efficace est un enjeu important.
Pour y répondre, les chercheurs ont proposé de nombreuses méthodes de recherche automatique d'architectures de réseaux (Neural Architecture Search, NAS).
Parmi les plus actifs se trouve l'équipe de Google : on la voit appliquer la NAS à toutes sortes de problèmes.
Définition du problème
Depuis la popularisation d'AlexNet, différentes architectures de réseau se sont multipliées au fil des années.
Pourtant, leur conception repose souvent sur l'expérience et l'intuition, plutôt que sur une base théorique rigoureuse.
Cela entraîne plusieurs difficultés :
- On ne sait pas quelles architectures sont les meilleures.
- Concevoir une architecture exige beaucoup de connaissances spécialisées et d'expérience.
- Cette conception prend généralement beaucoup de temps et de ressources.
Laissons ici de côté la question de la théorie. L'article propose une méthode de recherche automatique d'architectures qui peut nous aider à résoudre une « partie » de ces problèmes.
Résolution du problème
Architecture transférable
À ce stade, les articles poursuivent tous le même objectif : obtenir les meilleures performances sur ImageNet.
Mais ImageNet est trop grand ; chercher directement une architecture adaptée sur ce jeu de données demanderait d'énormes ressources.
Cet article propose donc de chercher d'abord une architecture sur CIFAR-10, puis de la transférer sur ImageNet.
Structure de base
Les auteurs proposent deux structures de base pour construire le réseau :
- Normal Cell : son rôle principal est de conserver les dimensions, c'est-à-dire la hauteur et la largeur, de la carte de caractéristiques en entrée. Ce choix permet de préserver l'information spatiale pendant l'extraction des caractéristiques et facilite sa transmission dans les réseaux profonds.
- Reduction Cell : son rôle principal est de réduire les dimensions spatiales de la carte de caractéristiques, en divisant concrètement sa hauteur et sa largeur par deux. Un pas de 2 réalise cette réduction, diminuant le calcul et augmentant la capacité d'abstraction du modèle.
Même si les Reduction et Normal Cells pourraient avoir la même architecture, l'expérience montre qu'il est utile d'apprendre deux architectures distinctes.
En outre, chaque fois que la dimension spatiale diminue, les auteurs doublent le nombre de filtres afin de compenser la perte d'information et de conserver sa densité.
Cette conception s'inspire d'Inception et de ResNet, où la profondeur du réseau et le nombre de filtres s'adaptent aux besoins de l'application.
Processus de recherche
Dans l'espace de recherche, chaque cellule convolutive reçoit deux états cachés initiaux, et , provenant des sorties des deux cellules précédentes ou de l'image d'entrée.
Toute la recherche passe par un RNN : celui-ci prédit la structure de la cellule convolutive et génère de nouveaux états cachés selon cette prédiction.
-
Prédictions du RNN
Le RNN prédit récursivement la structure de la cellule en suivant ces étapes :
- Choisir un état caché : parmi , et les états cachés produits par les blocs précédents.
- Choisir un deuxième état caché : parmi les mêmes possibilités qu'à l'étape 1.
- Choisir une opération : à appliquer à l'état choisi à l'étape 1.
- Choisir une deuxième opération : à appliquer à l'état choisi à l'étape 2.
- Combiner les sorties : choisir comment réunir les résultats des étapes 3 et 4 pour produire un nouvel état caché.
-
Répétition des prédictions et blocs
Le RNN répète ces cinq prédictions B fois, ce qui correspond aux B blocs d'une cellule convolutive.
Dans les expériences, le choix B=5 donne généralement de bons résultats.
À chaque tour, le nouvel état caché rejoint l'ensemble des états existants et devient une entrée possible pour les blocs suivants.
-
Choix des opérations
Le RNN choisit parmi les opérations suivantes, courantes dans la littérature sur les CNN :
- identity
- 1x3 then 3x1 convolution
- 1x7 then 7x1 convolution
- 3x3 dilated convolution
- 3x3 average pooling
- 3x3 max pooling
- 5x5 max pooling
- 7x7 max pooling
- 1x1 convolution
- 3x3 convolution
- 3x3 depthwise separable convolution
- 5x5 depthwise separable convolution
- 7x7 depthwise separable convolution
-
Méthode de combinaison
À l'étape 5, le RNN choisit de combiner les deux états cachés par addition élément par élément ou par concaténation sur la dimension des filtres.
Enfin, la cellule concatène sur la dimension des canaux les états cachés que les blocs suivants n'ont pas utilisés, afin de former sa sortie.
Module DropPath
Dans la littérature antérieure, DropPath sert à prévenir le surapprentissage et à améliorer la capacité du modèle à généraliser.
Dans cet article, les auteurs appliquent DropPath pendant la recherche et constatent que cela ne fonctionne pas.
Ils améliorent donc cette technique et l'appellent ScheduledDropPath : pendant l'entraînement, la probabilité de supprimer un module augmente « linéairement ». Les expériences donnent de bons résultats !
Résultat de la recherche
Les auteurs finissent par trouver sur CIFAR-10 une architecture de réseau efficace, illustrée ci-dessus.
La figure paraît compliquée, mais, en la regardant de près, elle est assez facile à comprendre :
- Les lignes pointillées et pleines indiquent différentes connexions d'entrée ; chaque bloc applique une opération à chacun des deux états cachés choisis, puis combine les sorties. Les états non réutilisés par les blocs suivants sont finalement concaténés pour donner .
- À gauche se trouve la
Normal Cell, qui conserve les dimensions spatiales ; à droite, laReduction Cell, qui les réduit. Le réseau utilise ces deux cellules selon leur position.
Discussion
Résultats sur CIFAR-10
Le tableau montre que le grand modèle NASNet-A, avec l'augmentation des données Cutout, atteint un taux d'erreur de pointe de 2,40 % (moyenne de cinq exécutions), légèrement meilleur que le meilleur résultat précédent, de 2,56 %.
Les auteurs indiquent que leur meilleur essai individuel atteint 2,19 % d'erreur.
Transférer l'architecture sur ImageNet
Seule la structure du réseau est transférée ; le modèle lui-même est réentraîné.
Le tableau montre que, dans plusieurs comparaisons, NASNet atteint une meilleure précision avec moins de calcul et de paramètres. Ces deux coûts ne sont toutefois pas inférieurs dans chaque comparaison.
Avec un seul modèle, le plus grand réseau atteint 82,7 % de précision Top-1 sur ImageNet, soit environ 1,2 point de pourcentage de plus que le meilleur résultat publié auparavant (DPN-131).
Comparaison sur appareils mobiles
Dans les études précédentes, MobileNet et ShuffleNet donnent des résultats de pointe : avec environ 550 millions de multiplications-additions sur des images de 224x224, ils atteignent respectivement 70,6 % et 70,9 % de précision.
L'architecture construite par NASNet dépasse ces modèles à coût de calcul comparable, avec 74,0 % de précision.
Conclusion
Cet article étudie une méthode qui apprend l'architecture d'un modèle directement sur un jeu de données d'intérêt.
En concevant un espace de recherche qui sépare la complexité de l'architecture de la profondeur du réseau, les auteurs apprennent des cellules convolutives extensibles à partir d'une tâche de classification d'images.
Cette méthode améliore l'adaptabilité du modèle : des chercheurs qui ne disposent pas d'assez de puissance de calcul peuvent réutiliser directement les architectures de cellules trouvées par NAS.