Retour à la bibliothèque
arXiv 2019ICML 2019CNN classiquesNotes de lecture

EfficientNet

Une architecture à mise à l'échelle composée

Article original

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

Auteurs de l’article

Mingxing Tan · Quoc V. Le

Publication
ICML 2019Conférence
Premier dépôt sur arXiv
arXiv:1905.11946
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{classiccnnsefficientnet2019,
  title = {{EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks}},
  author = {Mingxing Tan and Quoc V. Le},
  year = {2019},
  eprint = {1905.11946},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1905.11946}
}
Sur cette page

Il existe trois façons courantes d'améliorer les performances d'un réseau convolutif :

  1. Un réseau plus profond : augmenter sa profondeur, comme dans ResNet.
  2. Un réseau plus large : augmenter sa largeur, comme dans WideResNet.
  3. Une résolution plus élevée : augmenter la résolution de l'image en entrée.

Aujourd'hui j'en ajoute un peu, vous en ajoutez un peu aussi ; la précision monte à chaque fois et tout le monde grimpe joyeusement au classement. Que demander de plus ?

Définition du problème

Les auteurs de cet article disent : ce n'est pas ainsi qu'il faut faire, nous devrions considérer le problème dans son ensemble !

Ils proposent donc la mise à l'échelle composée (Compound Scaling).

Résolution du problème

Deux observations

Dans cet article, les auteurs formulent deux observations importantes sur lesquelles repose leur méthode de mise à l'échelle composée.

  • Première observation : agrandir n'importe quelle dimension améliore la précision, mais les gains s'épuisent rapidement quand le modèle grandit.

    Quand nous augmentons la profondeur, la largeur ou la résolution d'un réseau convolutif, sa précision progresse généralement. Mais lorsqu'il devient très profond, très large ou que sa résolution est très élevée, les gains diminuent progressivement et peuvent même plafonner. Agrandir une seule dimension ne peut donc pas améliorer indéfiniment les performances : on finit par rencontrer une limite.

  • Deuxième observation : il faut équilibrer largeur, profondeur et résolution lors de la mise à l'échelle.

    Pour rechercher une meilleure précision et une meilleure efficacité sous une contrainte de ressources, il faut considérer ensemble la largeur, la profondeur et la résolution, et maintenir un équilibre entre elles. Modifier une seule dimension est simple, mais ses effets sont limités. Faire grandir les trois de façon coordonnée peut mieux utiliser les ressources et obtenir une meilleure précision.

Mise à l'échelle composée

Reformulons le problème de mise à l'échelle du modèle.

Chaque couche d'un réseau convolutif peut être définie par une fonction Yi=Fi(Xi)Y_i = F_i(X_i).

  • FiF_i est l'opérateur, YiY_i le tenseur de sortie et XiX_i le tenseur d'entrée.

Le réseau convolutif entier NN peut être représenté par une composition de couches : N=Fk⊙...⊙F2⊙F1(X1)N = F_k \odot ... \odot F_2 \odot F_1(X_1).

En pratique, les couches d'un réseau convolutif sont généralement réparties en plusieurs étapes, dont chacune répète une même architecture.

Nous pouvons donc définir le réseau ainsi :

N=⊙i=1sFiLi(X)N = \odot_{i=1}^s F_i^{L_i}(X)

Ici, FiLiF_i^{L_i} signifie que, à l'étape ii, la couche FiF_i est répétée LiL_i fois.

La mise à l'échelle vise à maximiser la précision du modèle sous une contrainte de ressources. Nous souhaitons conserver l'architecture de base FiF_i et optimiser le modèle en ajustant sa profondeur (dd), sa largeur (ww) et sa résolution (rr).

On peut écrire ce problème d'optimisation comme suit :

  • max⁡d,w,rAccuracy(N(d,w,r))\max_{d,w,r} \text{Accuracy}(N(d, w, r))

Sous les contraintes :

  • Memory(N)≤target memory\text{Memory}(N) \leq \text{target memory}
  • FLOPs(N)≤target flops\text{FLOPs}(N) \leq \text{target flops}

Les auteurs proposent d'utiliser un coefficient commun ϕ\phi pour augmenter de façon coordonnée profondeur, largeur et résolution :

  • depth: d=αϕ\text{depth: } d = \alpha^\phi
  • width: w=βϕ\text{width: } w = \beta^\phi
  • resolution: r=γϕ\text{resolution: } r = \gamma^\phi

Ils imposent la contrainte α⋅β2⋅γ2≈2\alpha \cdot \beta^2 \cdot \gamma^2 \approx 2. Les constantes α,β,γ\alpha, \beta, \gamma sont déterminées par une recherche limitée, tandis que ϕ\phi est le coefficient choisi par l'utilisateur pour contrôler les ressources de la mise à l'échelle.

Cette méthode équilibre les trois dimensions tout en augmentant modérément le coût de calcul (FLOPs), afin d'obtenir une meilleure précision dans un budget donné.

Architecture du modèle de base

Pour développer un bon réseau de référence, les auteurs empruntent une recherche d'architecture neuronale à plusieurs objectifs (Multi-Objective NAS), optimisant la précision et les FLOPs (nombre d'opérations à virgule flottante).

Ils utilisent Acc(m)×(FLOPs(m)T)w\text{Acc}(m) \times \left(\frac{\text{FLOPs}(m)}{T}\right)^w comme objectif.

  • Acc(m)\text{Acc}(m) et FLOPs(m)\text{FLOPs}(m) désignent respectivement, pour le modèle mm, la précision et les FLOPs\text{FLOPs}.
  • TT est le nombre cible de FLOPs\text{FLOPs}.
  • w=−0.07w=-0.07 est l'hyperparamètre qui règle le compromis entre précision et FLOPs\text{FLOPs}.

La recherche produit finalement EfficientNet-B0. Son architecture ressemble à celle de MnasNet, mais elle est un peu plus grande, car son objectif est de 400 M FLOPs\text{FLOPs}.

Le tableau suivant présente l'architecture d'EfficientNet-B0 :

Le bloc de base d'EfficientNet-B0 est la convolution mobile à goulot inversé (Mobile Inverted Bottleneck MBConv), complétée par un mécanisme squeeze-and-excitation.

Architecture des modèles plus grands

À partir d'EfficientNet-B0, les auteurs appliquent la mise à l'échelle composée en deux étapes :

  • Étape 1 : ils fixent d'abord ϕ=1\phi = 1, ce qui suppose deux fois plus de ressources, puis effectuent une petite recherche sur grille fondée sur les équations 2 et 3 pour trouver les meilleures valeurs de α,β,γ\alpha, \beta, \gamma. Pour EfficientNet-B0, elles sont α=1.2,β=1.1,γ=1.15\alpha = 1.2, \beta = 1.1, \gamma = 1.15, et satisfont α⋅β2⋅γ2≈2\alpha \cdot \beta^2 \cdot \gamma^2 \approx 2.

  • Étape 2 : ils fixent ensuite α,β,γ\alpha, \beta, \gamma et font varier ϕ\phi pour agrandir le réseau de base et obtenir EfficientNet-B1 à B7.

On pourrait rechercher directement α,β,γ\alpha, \beta, \gamma sur chaque grand modèle et peut-être obtenir de meilleures performances, mais cette recherche serait très coûteuse. En ne les cherchant qu'une fois sur le petit réseau de base (étape 1), puis en réutilisant les mêmes coefficients pour les autres modèles (étape 2), les auteurs évitent cette dépense.

Discussion

Importance de la mise à l'échelle composée

Pour mieux comprendre pourquoi la méthode composée fonctionne mieux que les autres, les auteurs comparent dans la figure ci-dessus les cartes d'activation de classe (CAM, Class Activation Map) de modèles agrandis de différentes façons.

Tous ces modèles partent du même réseau de base, EfficientNet-B0. Les deux images d'exemple montrent les régions auxquelles chaque modèle prête attention :

  • Modèles agrandis sur une seule dimension : dans ces deux exemples, certaines zones d'attention omettent des détails des objets ou ne les couvrent pas entièrement.
  • Modèle à mise à l'échelle composée : dans ces exemples, il tend à couvrir davantage de détails pertinents des objets.

Les auteurs examinent aussi les performances de plusieurs façons d'agrandir le réseau :

  1. Mise à l'échelle d'une seule dimension :

    • Profondeur : augmenter le nombre de couches.
    • Largeur : augmenter le nombre de canaux par couche.
    • Résolution : augmenter la résolution de l'image en entrée.
  2. Mise à l'échelle composée :

    • Combiner la croissance de la profondeur, de la largeur et de la résolution au moyen des paramètres α,β,γ\alpha, \beta, \gamma proposés ici.

La figure suivante donne les résultats. Toutes les méthodes améliorent la précision, mais, dans cette expérience, la méthode composée dépasse celles à une seule dimension de 2,5 points de pourcentage au maximum. À calcul comparable, elle utilise donc mieux les ressources et améliore les performances du modèle.

Résultats sur ImageNet

Dans cet article, les auteurs utilisent notamment les réglages d'entraînement suivants :

  • Optimiseur : RMSProp
  • Décroissance des poids : 1×10−51 \times 10^{-5}
  • Taux d'apprentissage initial : 0,256, multiplié par 0,97 toutes les 2,4 époques
  • Fonction d'activation : SiLU
  • Augmentation des données : AutoAugment et profondeur stochastique

Comme les grands modèles demandent une régularisation plus forte, les auteurs font croître linéairement le taux de dropout de 0,2 pour EfficientNet-B0 à 0,5 pour EfficientNet-B7.

Le tableau montre que les modèles EfficientNet emploient généralement moins de paramètres et de FLOPs que d'autres réseaux convolutifs de précision comparable. EfficientNet-B7, notamment, atteint 84,3 % de précision Top-1 avec 66 M de paramètres et 37 Md de FLOPs : c'est la même précision que GPipe, mais avec environ huit fois moins de paramètres.

Ces modèles sont plus petits et demandent aussi moins de calcul. Par exemple, EfficientNet-B3 obtient une précision supérieure à celle de ResNeXt101 avec 18 fois moins de FLOPs.

Vitesse d'inférence

Pour vérifier la latence, les auteurs mesurent aussi le temps d'inférence de plusieurs réseaux convolutifs représentatifs sur un véritable CPU.

Le tableau suivant présente la latence moyenne de 20 exécutions :

Dans les conditions de ce test, sur un seul cœur Intel Xeon avec une taille de lot de 1, EfficientNet-B1 et B7 infèrent respectivement plus vite que ResNet-152 et GPipe, les modèles auxquels le tableau les compare.

Courbes paramètres-précision

La figure ci-dessus présente les courbes paramètres-précision et FLOPs-précision de réseaux convolutifs représentatifs. Les modèles EfficientNet atteignent une précision supérieure avec moins de paramètres et de FLOPs, montrant un avantage marqué en efficacité.

Conclusion

La profondeur, la largeur et la résolution sont des facteurs importants pour les performances d'un réseau convolutif.

Dans cet article, les auteurs proposent une mise à l'échelle composée qui coordonne ces trois dimensions et améliore la précision et l'efficacité.

De futures recherches pourraient encore optimiser le choix des paramètres de cette méthode et explorer son application à d'autres types de réseaux de neurones, pour continuer à améliorer l'efficacité et les performances des modèles de deep learning.