Retour à la bibliothèque
arXiv 2017Modèles légersNotes de lecture

MobileNet-V1

Celui qui a popularisé la convolution séparable en profondeur

Article original

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

Auteurs de l’article

Andrew G. Howard · Menglong Zhu · Bo Chen …

Afficher les 8 auteurs

Andrew G. Howard · Menglong Zhu · Bo Chen · Dmitry Kalenichenko · Weijun Wang · Tobias Weyand · Marco Andreetto · Hartwig Adam

Publication
Lieu de publication non encore vérifié
Premier dépôt sur arXiv
arXiv:1704.04861
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{lightweightmobilenetv12017,
  title = {{MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications}},
  author = {Andrew G. Howard and Menglong Zhu and Bo Chen and Dmitry Kalenichenko and Weijun Wang and Tobias Weyand and Marco Andreetto and Hartwig Adam},
  year = {2017},
  eprint = {1704.04861},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1704.04861}
}
Sur cette page

La convolution séparable en profondeur est une structure de réseau convolutif qui décompose une convolution classique en deux couches distinctes : une convolution en profondeur et une convolution ponctuelle.

Cette structure réduit le nombre de paramètres et la quantité de calcul. Le modèle devient ainsi plus léger, ce qui est utile sur les appareils mobiles et dans d'autres environnements aux ressources limitées.

Même si l'article parle presque entièrement de cette convolution, ses auteurs ne l'ont pas inventée :

Les auteurs de MobileNets précisent que leur apport consiste surtout à appliquer systématiquement cette structure aux réseaux convolutifs et à obtenir de bons résultats sur ImageNet.

C'est le désormais célèbre MobileNet-V1.

Définir le problème

Depuis quelques années, les réseaux de neurones petits et efficaces suscitent un intérêt croissant.

Mais beaucoup d'articles sur les petits réseaux « ne considèrent que leur taille, sans se préoccuper de leur efficacité ».

Un réseau à la fois petit et rapide, voilà manifestement ce qu'il nous faut.

Résoudre le problème

Convolution séparable en profondeur

Une convolution classique filtre et combine les cartes de caractéristiques en entrée au moyen de filtres couvrant plusieurs canaux, afin d'en produire de nouvelles. Chaque canal de sortie prend ainsi en compte tous les canaux d'entrée, ce qui coûte cher. La convolution séparable en profondeur scinde ce travail en deux étapes : une convolution en profondeur applique d'abord un filtre propre à chaque canal d'entrée, puis une convolution ponctuelle combine les canaux obtenus.

La convolution en profondeur conserve le nombre de canaux et ne réalise qu'un filtrage spatial séparé sur chacun. Avec M canaux d'entrée, elle emploie donc M filtres. La convolution ponctuelle utilise ensuite des filtres 1×1 pour combiner linéairement ces canaux filtrés et produire les canaux de sortie. Cette décomposition réduit sensiblement le calcul.

Pour la convolution en profondeur, le coût est deDK×DK×M×DF×DFDK \times DK \times M \times DF \times DF ; DKDK désigne la dimension spatiale du filtre, DFDF celle de la carte de caractéristiques et MM le nombre de canaux d'entrée. Nous reprenons ici l'hypothèse de l'article selon laquelle les tailles spatiales d'entrée et de sortie sont identiques.

Pour la convolution ponctuelle, le coût est deM×N×DF×DFM \times N \times DF \times DF, où NN est le nombre de canaux de sortie.

La somme de ces deux coûts reste bien inférieure à celui de la convolution classique, DK×DK×M×N×DF×DFDK \times DK \times M \times N \times DF \times DF.

La convolution séparable en profondeur réduit donc fortement les calculs et les paramètres tout en conservant une précision relativement élevée. Elle convient aux applications exécutées sur des appareils aux ressources de calcul limitées.

Architecture du réseau

D'après l'article, seule la première couche 3x3 de MobileNet-V1 est une convolution classique ; le reste de l'architecture est construit par empilement de convolutions séparables en profondeur.

The MobileNet structure is built on depthwise separable convolutions as mentioned in the previous section except for the first layer which is a full convolution.

L'architecture complète apparaît dans le tableau suivant :

Choix d'entraînement

Les auteurs de MobileNet-V1 utilisent plusieurs choix pour améliorer l'entraînement :

  • Moins de régularisation et d'augmentation des données, car les petits modèles ont moins de problèmes de surapprentissage.
  • Peu ou pas de décroissance des poids (régularisation L2) sur les filtres des convolutions en profondeur.
  • RMSprop comme optimiseur.
  • Une descente de gradient asynchrone semblable à celle d'Inception-V3.

Discussion

Dans les expériences, l'architecture décrite plus haut sert de référence. Les auteurs introduisent aussi deux hyperparamètres constants :

  • Multiplicateur de largeur α\alpha : il règle la largeur du réseau, c'est-à-dire le nombre de canaux d'entrée et de sortie de chaque couche.
  • Multiplicateur de résolution ρ\rho : il règle la résolution de l'image d'entrée et réduit ainsi la taille spatiale des cartes de caractéristiques suivantes.

Performance de la convolution séparable en profondeur

Par rapport à une version construite avec des convolutions classiques, la précision sur ImageNet passe de 71,7 % à 70,6 % avec des convolutions séparables en profondeur, soit 1,1 point de pourcentage de moins ; le nombre de multiplications-additions et celui des paramètres baissent fortement.

Vaut-il mieux réduire la profondeur ou la largeur ?

À coûts de calcul proches dans le tableau, le modèle de largeur 0,75× atteint 68,4 % de précision, contre 65,3 % pour la version moins profonde où cinq couches ont été retirées : l'écart est de 3,1 points de pourcentage.

Dans cette comparaison, réduire la largeur préserve donc mieux la précision que supprimer ces cinq couches lorsque le calcul est limité.

Comparaison avec d'autres modèles

Les auteurs comparent le MobileNet complet aux modèles originaux GoogLeNet et VGG16.

MobileNet atteint presque la même précision que VGG16 tout en étant 32 fois plus petit et en demandant 27 fois moins de calcul. Il est aussi plus précis que GoogLeNet, avec moins de paramètres et plus de 2,5 fois moins de calcul.

À tailles comparables, 0.50 MobileNet-160 demande environ 22 fois moins de multiplications-additions que SqueezeNet et obtient une précision ImageNet supérieure de 2,7 points de pourcentage.

Conclusion

MobileNet-V1 a fait connaître largement la convolution séparable en profondeur. En conservant une précision relativement élevée, cette structure réduit fortement la taille du modèle et ses besoins de calcul ; elle aide ainsi à exécuter des modèles profonds dans des environnements aux ressources limitées.

L'article propose une solution efficace pour déployer des modèles d'apprentissage profond avec peu de ressources. Son principe a inspiré d'autres architectures légères et contribué à leur usage sur les appareils mobiles et en informatique de périphérie.