Going Deeper with Convolutions
- Publication
- CVPR 2015Conférence
- Premier dépôt sur arXiv
- arXiv:1409.4842
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{classiccnnsinceptionv12014,
title = {{Going Deeper with Convolutions}},
author = {Christian Szegedy and Wei Liu and Yangqing Jia and Pierre Sermanet and Scott Reed and Dragomir Anguelov and Dumitru Erhan and Vincent Vanhoucke and Andrew Rabinovich},
year = {2014},
eprint = {1409.4842},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1409.4842}
}
GoogLeNet adopte l'architecture Inception, inspirée du modèle « Network in Network » et du mème « we need to go deeper » qui circule sur Internet.
Il est rare de voir un article scientifique dire aussi sérieusement que sa motivation vient d'un mème Internet.
Mais puisque les auteurs osent l'écrire, rapportons-le tel quel :
Source de l'image : Know your meme: We need to go deeper
La « profondeur » de l'architecture Inception a deux sens : elle introduit une nouvelle forme d'organisation, le « module Inception », et permet aussi de construire un réseau plus profond.
Le nom GoogLeNet rend hommage au réseau LeNet-5 de Yann LeCun. Il désigne la version précise d'Inception utilisée pour participer au concours ILSVRC14.
Résoudre le problème
Le module Inception
L'idée centrale d'Inception est d'approcher et de couvrir une structure locale clairsemée optimale à l'aide de composants denses déjà disponibles.
Le module utilise des convolutions 1×1, 3×3 et 5×5 pour traiter des caractéristiques à différentes échelles spatiales. Il réunit les filtres de sortie de toutes les branches en un vecteur transmis à l'étape suivante. La limitation à ces tailles de noyau répond à des raisons pratiques, et non à une nécessité absolue.
Puisque le pooling joue un rôle important dans les réseaux convolutifs, chaque module Inception comporte aussi un chemin de pooling parallèle. Sa sortie est réunie à celles des convolutions pour enrichir la représentation des caractéristiques.
Pour éviter une hausse brutale du calcul, Inception emploie des convolutions 1×1 pour réduire la dimension ; accompagnées de ReLU, elles introduisent aussi de la non-linéarité. Cela réduit considérablement les ressources nécessaires, surtout en diminuant le calcul avant les convolutions 3×3 et 5×5.
Quand les modules Inception sont empilés, les auteurs s'attendent à ce que les caractéristiques des couches hautes soient moins concentrées dans l'espace. Ils augmentent donc la proportion de convolutions 3×3 et 5×5 dans ces couches.
Configuration des paramètres
Le tableau ci-dessus présente quelques paramètres importants de GoogLeNet.
Le réseau GoogLeNet a un champ réceptif de . Il traite des images RGB auxquelles on soustrait la moyenne. Les colonnes « #3×3 reduce » et « #5×5 reduce » indiquent le nombre de filtres 1×1 employés avant les convolutions 3×3 et 5×5 ; « pool proj » indique le nombre de filtres 1×1 de la projection après le max pooling intégré.
GoogLeNet compte 22 couches si l'on ne considère que celles dotées de paramètres, et 27 en incluant le pooling. Le réseau comprend environ 100 modules de construction indépendants, selon l'infrastructure d'apprentissage automatique utilisée. Un average pooling précède le classifieur ; une couche linéaire supplémentaire est employée dans l'implémentation afin d'adapter plus facilement le réseau à d'autres ensembles d'étiquettes.
Supprimer les couches entièrement connectées au profit d'un average pooling améliore la précision top-1 d'environ 0,6 %, mais le Dropout reste nécessaire après leur suppression. Le classifieur principal a un taux d'abandon de 40 % ; les classifieurs auxiliaires situés plus bas utilisent 70 %.
Architecture du modèle
Avec un réseau aussi profond, il faut s'assurer que le gradient parvient efficacement à toutes les couches. Les auteurs ajoutent pour cela des classifieurs auxiliaires aux sorties des modules Inception (4a) et (4d).
Chaque classifieur auxiliaire comprend un average pooling 5×5, une convolution 1×1 à 128 filtres, une couche entièrement connectée de 1024 unités, un Dropout à 70 % et une couche linéaire. À l'entraînement, ces classifieurs renforcent le signal de gradient en retour et améliorent la capacité de discrimination des caractéristiques des couches basses ; leur perte est ajoutée à la perte totale avec un poids de 0,3. À l'inférence, les réseaux auxiliaires sont retirés.
Discussion
Résultats à l'ILSVRC 2014
L'épreuve ILSVRC 2014 consiste à classer chaque image dans l'une des 1000 catégories feuilles de la hiérarchie ImageNet.
Le jeu d'entraînement compte environ 1,2 million d'images, celui de validation 50 000 et celui de test 100 000. Chaque image possède une véritable étiquette ; l'évaluation emploie la précision top-1 et le taux d'erreur top-5.
Pour participer, les auteurs n'utilisent aucune donnée d'entraînement extérieure et se limitent aux données fournies par le concours. Au test, ils ajoutent aussi quelques techniques pour améliorer les performances :
- Ils entraînent indépendamment sept versions de GoogLeNet et combinent leurs prédictions.
- Ils moyennent les résultats de plusieurs recadrages et de tous les classifieurs indépendants pour obtenir la prédiction finale.
La soumission finale obtient un taux d'erreur top-5 de 6,67 % sur la validation et sur le test, et se classe première.
Conclusion
GoogLeNet montre l'importance de l'équilibre entre ressources de calcul et performances obtenu grâce à l'architecture Inception. Il illustre aussi le potentiel des architectures clairsemées et ouvre une voie vers la conception automatisée de structures neuronales encore plus clairsemées et plus fines.
La capacité d'extension de cette méthode en fait une étape importante de la recherche moderne en apprentissage profond. L'équilibre entre efficacité et performances fournit une piste utile pour les recherches et applications futures.
C'est le premier article de la série Inception. Il y aura ensuite Inception-V2, V3, V4 et d'autres, chacun avec ses améliorations ; nous prendrons le temps de les lire à l'occasion.