EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
- Publication
- ICML 2019Conférence
- Premier dépôt sur arXiv
- arXiv:1905.11946
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{classiccnnsefficientnet2019,
title = {{EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks}},
author = {Mingxing Tan and Quoc V. Le},
year = {2019},
eprint = {1905.11946},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1905.11946}
}
Il existe trois façons courantes d'améliorer les performances d'un réseau convolutif :
- Un réseau plus profond : augmenter sa profondeur, comme dans ResNet.
- Un réseau plus large : augmenter sa largeur, comme dans WideResNet.
- Une résolution plus élevée : augmenter la résolution de l'image en entrée.
Aujourd'hui j'en ajoute un peu, vous en ajoutez un peu aussi ; la précision monte à chaque fois et tout le monde grimpe joyeusement au classement. Que demander de plus ?
Définition du problème
Les auteurs de cet article disent : ce n'est pas ainsi qu'il faut faire, nous devrions considérer le problème dans son ensemble !
Ils proposent donc la mise à l'échelle composée (Compound Scaling).
Résolution du problème
Deux observations
Dans cet article, les auteurs formulent deux observations importantes sur lesquelles repose leur méthode de mise à l'échelle composée.
-
Première observation : agrandir n'importe quelle dimension améliore la précision, mais les gains s'épuisent rapidement quand le modèle grandit.
Quand nous augmentons la profondeur, la largeur ou la résolution d'un réseau convolutif, sa précision progresse généralement. Mais lorsqu'il devient très profond, très large ou que sa résolution est très élevée, les gains diminuent progressivement et peuvent même plafonner. Agrandir une seule dimension ne peut donc pas améliorer indéfiniment les performances : on finit par rencontrer une limite.
-
Deuxième observation : il faut équilibrer largeur, profondeur et résolution lors de la mise à l'échelle.
Pour rechercher une meilleure précision et une meilleure efficacité sous une contrainte de ressources, il faut considérer ensemble la largeur, la profondeur et la résolution, et maintenir un équilibre entre elles. Modifier une seule dimension est simple, mais ses effets sont limités. Faire grandir les trois de façon coordonnée peut mieux utiliser les ressources et obtenir une meilleure précision.
Mise à l'échelle composée
Reformulons le problème de mise à l'échelle du modèle.
Chaque couche d'un réseau convolutif peut être définie par une fonction .
- est l'opérateur, le tenseur de sortie et le tenseur d'entrée.
Le réseau convolutif entier peut être représenté par une composition de couches : .
En pratique, les couches d'un réseau convolutif sont généralement réparties en plusieurs étapes, dont chacune répète une même architecture.
Nous pouvons donc définir le réseau ainsi :
Ici, signifie que, à l'étape , la couche est répétée fois.
La mise à l'échelle vise à maximiser la précision du modèle sous une contrainte de ressources. Nous souhaitons conserver l'architecture de base et optimiser le modèle en ajustant sa profondeur (), sa largeur () et sa résolution ().
On peut écrire ce problème d'optimisation comme suit :
Sous les contraintes :
Les auteurs proposent d'utiliser un coefficient commun pour augmenter de façon coordonnée profondeur, largeur et résolution :
Ils imposent la contrainte . Les constantes sont déterminées par une recherche limitée, tandis que est le coefficient choisi par l'utilisateur pour contrôler les ressources de la mise à l'échelle.
Cette méthode équilibre les trois dimensions tout en augmentant modérément le coût de calcul (FLOPs), afin d'obtenir une meilleure précision dans un budget donné.
Architecture du modèle de base
Pour développer un bon réseau de référence, les auteurs empruntent une recherche d'architecture neuronale à plusieurs objectifs (Multi-Objective NAS), optimisant la précision et les FLOPs (nombre d'opérations à virgule flottante).
Ils utilisent comme objectif.
- et désignent respectivement, pour le modèle , la précision et les .
- est le nombre cible de .
- est l'hyperparamètre qui règle le compromis entre précision et .
La recherche produit finalement EfficientNet-B0. Son architecture ressemble à celle de MnasNet, mais elle est un peu plus grande, car son objectif est de 400 M .
Le tableau suivant présente l'architecture d'EfficientNet-B0 :
Le bloc de base d'EfficientNet-B0 est la convolution mobile à goulot inversé (Mobile Inverted Bottleneck MBConv), complétée par un mécanisme squeeze-and-excitation.
Architecture des modèles plus grands
À partir d'EfficientNet-B0, les auteurs appliquent la mise à l'échelle composée en deux étapes :
-
Étape 1 : ils fixent d'abord , ce qui suppose deux fois plus de ressources, puis effectuent une petite recherche sur grille fondée sur les équations 2 et 3 pour trouver les meilleures valeurs de . Pour EfficientNet-B0, elles sont , et satisfont .
-
Étape 2 : ils fixent ensuite et font varier pour agrandir le réseau de base et obtenir EfficientNet-B1 à B7.
On pourrait rechercher directement sur chaque grand modèle et peut-être obtenir de meilleures performances, mais cette recherche serait très coûteuse. En ne les cherchant qu'une fois sur le petit réseau de base (étape 1), puis en réutilisant les mêmes coefficients pour les autres modèles (étape 2), les auteurs évitent cette dépense.
Discussion
Importance de la mise à l'échelle composée
Pour mieux comprendre pourquoi la méthode composée fonctionne mieux que les autres, les auteurs comparent dans la figure ci-dessus les cartes d'activation de classe (CAM, Class Activation Map) de modèles agrandis de différentes façons.
Tous ces modèles partent du même réseau de base, EfficientNet-B0. Les deux images d'exemple montrent les régions auxquelles chaque modèle prête attention :
- Modèles agrandis sur une seule dimension : dans ces deux exemples, certaines zones d'attention omettent des détails des objets ou ne les couvrent pas entièrement.
- Modèle à mise à l'échelle composée : dans ces exemples, il tend à couvrir davantage de détails pertinents des objets.
Les auteurs examinent aussi les performances de plusieurs façons d'agrandir le réseau :
-
Mise à l'échelle d'une seule dimension :
- Profondeur : augmenter le nombre de couches.
- Largeur : augmenter le nombre de canaux par couche.
- Résolution : augmenter la résolution de l'image en entrée.
-
Mise à l'échelle composée :
- Combiner la croissance de la profondeur, de la largeur et de la résolution au moyen des paramètres proposés ici.
La figure suivante donne les résultats. Toutes les méthodes améliorent la précision, mais, dans cette expérience, la méthode composée dépasse celles à une seule dimension de 2,5 points de pourcentage au maximum. À calcul comparable, elle utilise donc mieux les ressources et améliore les performances du modèle.
Résultats sur ImageNet
Dans cet article, les auteurs utilisent notamment les réglages d'entraînement suivants :
- Optimiseur : RMSProp
- Décroissance des poids :
- Taux d'apprentissage initial : 0,256, multiplié par 0,97 toutes les 2,4 époques
- Fonction d'activation : SiLU
- Augmentation des données : AutoAugment et profondeur stochastique
Comme les grands modèles demandent une régularisation plus forte, les auteurs font croître linéairement le taux de dropout de 0,2 pour EfficientNet-B0 à 0,5 pour EfficientNet-B7.
Le tableau montre que les modèles EfficientNet emploient généralement moins de paramètres et de FLOPs que d'autres réseaux convolutifs de précision comparable. EfficientNet-B7, notamment, atteint 84,3 % de précision Top-1 avec 66 M de paramètres et 37 Md de FLOPs : c'est la même précision que GPipe, mais avec environ huit fois moins de paramètres.
Ces modèles sont plus petits et demandent aussi moins de calcul. Par exemple, EfficientNet-B3 obtient une précision supérieure à celle de ResNeXt101 avec 18 fois moins de FLOPs.
Vitesse d'inférence
Pour vérifier la latence, les auteurs mesurent aussi le temps d'inférence de plusieurs réseaux convolutifs représentatifs sur un véritable CPU.
Le tableau suivant présente la latence moyenne de 20 exécutions :
Dans les conditions de ce test, sur un seul cœur Intel Xeon avec une taille de lot de 1, EfficientNet-B1 et B7 infèrent respectivement plus vite que ResNet-152 et GPipe, les modèles auxquels le tableau les compare.
Courbes paramètres-précision
La figure ci-dessus présente les courbes paramètres-précision et FLOPs-précision de réseaux convolutifs représentatifs. Les modèles EfficientNet atteignent une précision supérieure avec moins de paramètres et de FLOPs, montrant un avantage marqué en efficacité.
Conclusion
La profondeur, la largeur et la résolution sont des facteurs importants pour les performances d'un réseau convolutif.
Dans cet article, les auteurs proposent une mise à l'échelle composée qui coordonne ces trois dimensions et améliore la précision et l'efficacité.
De futures recherches pourraient encore optimiser le choix des paramètres de cette méthode et explorer son application à d'autres types de réseaux de neurones, pour continuer à améliorer l'efficacité et les performances des modèles de deep learning.