Retour à la bibliothèque
arXiv 2021ICML 2021CNN classiquesNotes de lecture

EfficientNet-V2

La lenteur de la convolution depthwise

Article original

EfficientNetV2: Smaller Models and Faster Training

Auteurs de l’article

Mingxing Tan · Quoc V. Le

Publication
ICML 2021Conférence
Premier dépôt sur arXiv
arXiv:2104.00298
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{classiccnnsefficientnetv22021,
  title = {{EfficientNetV2: Smaller Models and Faster Training}},
  author = {Mingxing Tan and Quoc V. Le},
  year = {2021},
  eprint = {2104.00298},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2104.00298}
}
Sur cette page

Après avoir proposé la première génération d'EfficientNet, ses auteurs ont estimé qu'il restait une marge de progression.

Ils ont donc proposé EfficientNetV2, un modèle plus petit et plus rapide, tout en conservant son efficacité.

Définition du problème

Au cours du développement d'EfficientNet, les auteurs ont relevé plusieurs problèmes :

  1. L'utilisation de très grandes images, par exemple de 800x800 pixels, ralentit fortement l'entraînement.
  2. Placer des convolutions depthwise dans les premières couches du réseau ralentit l'entraînement.
  3. Augmenter uniformément le nombre de canaux à chaque étape, selon les indications laissées par ResNet, ne donne pas le meilleur résultat.

Dans une étude antérieure menée chez Google, ils ont aussi constaté que l'entraînement avec des convolutions depthwise était beaucoup plus lent qu'avec des convolutions classiques.

Une fois le problème trouvé, il faut le corriger !

Résolution du problème

Architecture du modèle

La convolution depthwise utilise moins de paramètres et de FLOPs qu'une convolution classique, mais elle exploite souvent mal les accélérateurs modernes.

Les auteurs ajoutent donc Fused-MBConv à l'espace de recherche, afin de remplacer le bloc MBConv d'origine dans certaines étapes du réseau.

Comme le montre la figure, une convolution classique 3×3 remplace la convolution d'expansion 1×1 et la convolution depthwise 3×3 d'origine.

Apprentissage progressif

Plusieurs travaux précédents faisaient varier la taille des images pendant l'entraînement, mais cela entraînait généralement une baisse de précision.

Les auteurs supposent que cette baisse vient d'une régularisation déséquilibrée :

  • Quand la taille des images change pendant l'entraînement, nous devrions aussi ajuster l'intensité de la régularisation, au lieu de la laisser fixe comme dans les travaux précédents.

Il est d'ailleurs courant qu'un grand modèle ait besoin d'une régularisation plus forte pour éviter le surapprentissage : EfficientNet-B7, par exemple, emploie davantage de dropout et une augmentation des données plus forte que B0.

Selon les auteurs, même pour un réseau identique, une image plus petite réduit la capacité effective du réseau et demande donc une régularisation plus faible. Inversement, une image plus grande augmente le calcul et la capacité effective, ce qui favorise le surapprentissage.

Pour vérifier cette idée, les auteurs ont mené l'expérience suivante sur ImageNet.

Le tableau montre qu'avec une taille d'entrée de 128, une régularisation plus faible donne de meilleurs résultats ; avec une taille de 300, une régularisation plus forte fonctionne mieux.

Ces résultats appuient leur hypothèse. Les auteurs ajustent donc par étapes l'intensité de la régularisation et la taille des images pendant l'entraînement, améliorant ainsi l'apprentissage progressif utilisé auparavant.

Relancer la recherche d'architecture

Après avoir modifié les blocs de base, les auteurs relancent une NAS (recherche d'architecture neuronale).

L'espace de recherche comprend MBConv et Fused-MBConv, des noyaux 3×3 et 5×5 ainsi que différents facteurs d'expansion. L'objectif tient compte à la fois de la précision, du temps par étape d'entraînement et du nombre de paramètres.

À ce stade, les auteurs constatent que l'entraînement d'EfficientNet-V1 agrandit fortement les images, ce qui augmente la consommation de mémoire et ralentit l'entraînement. Ils modifient donc la règle de mise à l'échelle et limitent la taille maximale des images à l'inférence à 480 pixels.

Discussion

Où placer Fused-MBConv ?

L'expérience montre que l'emplacement de Fused-MBConv compte aussi.

Le tableau indique que remplacer tous les blocs par Fused-MBConv augmente nettement les paramètres et les FLOPs, tout en ralentissant l'exécution.

Le placer dans les étapes 1 à 3 augmente les FLOPs, mais améliore malgré tout la vitesse et les performances du modèle.

Résultat de la recherche d'architecture

Par rapport à la première génération, la seconde présente plusieurs différences principales :

  1. Elle utilise Fused-MBConv dans les premières couches.
  2. EfficientNet-V2 privilégie des facteurs d'expansion plus petits pour MBConv.
  3. EfficientNet-V2 privilégie des noyaux 3x3 plus petits, mais ajoute des couches pour compenser la perte de champ réceptif.
  4. EfficientNet-V2 supprime la dernière étape de la première génération, dont le pas était de 1.

Accélérer l'entraînement

Les auteurs comparent la vitesse d'entraînement d'EfficientNet-V2 à celle d'autres modèles.

Le graphique montre qu'EfficientNet-V2 s'entraîne beaucoup plus vite que les autres modèles comparés.

Résultats sur ImageNet

Les modèles EfficientNetV2 surpassent nettement les ConvNets et les Transformers précédents en vitesse et en précision.

EfficientNetV2-M, en particulier, atteint une précision proche de celle d'EfficientNet-B7 ; avec les mêmes 32 cœurs TPU, son temps d'entraînement est réduit à environ un onzième.

En précision et en vitesse d'inférence, les modèles EfficientNetV2 surpassent aussi nettement les modèles récents RegNet et ResNeSt.

Bien que les Vision Transformers obtiennent de bons résultats sur ImageNet, EfficientNetV2 conserve un avantage en précision et en efficacité d'entraînement grâce à une meilleure méthode d'entraînement et à une conception adaptée du ConvNet. EfficientNetV2-L atteint notamment 85,7 % de précision top-1 et dépasse ViT-L/16 (21k), préentraîné sur le plus grand jeu de données ImageNet21k.

Les modèles EfficientNetV2 obtiennent également de bons résultats à l'inférence, puisque la vitesse d'entraînement est généralement liée à celle de l'inférence.

Par rapport à ViT-L/16 (21k), EfficientNetV2-L (21k) gagne 1,5 point de pourcentage en précision top-1 (85,3 % contre 86,8 %), avec 2,5 fois moins de paramètres et 3,6 fois moins de FLOPs. Avec les mêmes 32 cœurs TPU, les temps d'entraînement sont d'environ 26 et 172 heures ; sur V100, avec une taille de lot de 16, les latences d'inférence sont d'environ 98 et 195 millisecondes.

Enfin, voici les observations essentielles des auteurs :

  • À un niveau élevé de précision, augmenter la taille des données est plus efficace que simplement augmenter celle du modèle. Au-delà de 85 % de précision top-1, agrandir encore le modèle améliore difficilement la précision. Un préentraînement supplémentaire sur ImageNet21k peut toutefois l'améliorer nettement.
  • Le préentraînement sur ImageNet21k est très efficace. Bien que ce jeu de données soit dix fois plus grand, le préentraînement d'EfficientNetV2 s'achève en moins de deux jours avec 32 cœurs TPU, beaucoup plus vite que les quelques semaines nécessaires à ViT.

Pour les recherches à venir, les auteurs recommandent le jeu de données public ImageNet21k pour préentraîner de grands modèles.

Conclusion

Pour les ingénieurs comme nous, qui construisons souvent des modèles, cet article apporte deux idées :

  • Dans une architecture convolutive, utiliser Fused-MBConv dans les trois premières étapes peut améliorer les performances du modèle.
  • Pendant l'entraînement, adapter l'intensité de la régularisation aux changements de taille des images peut améliorer la précision du modèle.

Ces méthodes peuvent nous aider à résoudre plus efficacement les problèmes rencontrés sur le terrain lors de l'entraînement des modèles.