Retour à la bibliothèque
arXiv 2019ICCV 2019Modèles légersNotes de lecture

MobileNet-V3

Rechercher une architecture adaptée

Article original

Searching for MobileNetV3

Auteurs de l’article

Andrew Howard · Mark Sandler · Grace Chu …

Afficher les 12 auteurs

Andrew Howard · Mark Sandler · Grace Chu · Liang-Chieh Chen · Bo Chen · Mingxing Tan · Weijun Wang · Yukun Zhu · Ruoming Pang · Vijay Vasudevan · Quoc V. Le · Hartwig Adam

Publication
ICCV 2019Conférence
Premier dépôt sur arXiv
arXiv:1905.02244
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{lightweightmobilenetv32019,
  title = {{Searching for MobileNetV3}},
  author = {Andrew Howard and Mark Sandler and Grace Chu and Liang-Chieh Chen and Bo Chen and Mingxing Tan and Weijun Wang and Yukun Zhu and Ruoming Pang and Vijay Vasudevan and Quoc V. Le and Hartwig Adam},
  year = {2019},
  eprint = {1905.02244},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1905.02244}
}
Sur cette page

L'autre jour, en lisant SENet, j'ai presque cru que ses auteurs allaient déjà annoncer MobileNet-V3 !

Dommage : ils s'arrêtent juste avant, avec un petit passage dans leur article.

L'équipe de Google voulait manifestement poursuivre MobileNet. La voici donc partie à la recherche de MobileNet-V3.

Définir le problème

Il n'y a pas vraiment de mystère.

Les auteurs veulent trouver un meilleur MobileNet.

Ils envisagent deux pistes :

  1. La recherche d'architecture de réseau : le NAS (neural architecture search).
  2. L'algorithme NetAdapt : il sert à adapter le réseau au processeur du téléphone.

Résoudre le problème

Bloc MobileNet-V2

Bloc MobileNet-V3

En comparant les deux schémas, voyez-vous ce que MobileNet-V3 change ?

Une différence est l'ajout d'un module Squeeze-and-Excitation après la convolution en profondeur, afin de pondérer les canaux dans la représentation élargie.

Environ un an auparavant, MnasNet avait déjà ajouté Squeeze-and-Excitation à un bloc issu de MobileNet-V2.

Dans MobileNet-V3, la porte de ce module remplace le Sigmoid, coûteux à calculer efficacement sur téléphone, par un Hard-Sigmoid. Certaines convolutions emploient aussi Hard-Swish, mais toutes les couches n'utilisent pas ces deux fonctions.

Recherche d'architecture de réseau

Le bloc est prêt. Reste à savoir comment l'empiler, non ?

Cette étape reprend la méthode de MnasNet, avec un contrôleur fondé sur un RNN pour rechercher l'architecture. Le grand modèle part directement de MnasNet-A1 ; pour le petit, les auteurs modifient le poids de la récompense de latence (−0.07-0.07 devient −0.15-0.15) et relancent la recherche de l'architecture initiale.

Ils utilisent ensuite NetAdapt pour ajuster le nombre de canaux couche par couche, avant d'autres améliorations manuelles. La figure suivante vient de l'article original de NetAdapt : ses chiffres de latence et d'énergie ne sont pas des résultats expérimentaux de MobileNet-V3.

Modification de la fin du réseau

Les modèles fondés sur le goulot inversé de MobileNetV2 utilisent une convolution 1x1 en fin de réseau pour développer les caractéristiques dans un espace plus large : c'est la partie à 1280 dimensions nommée Original Last Stage sur le schéma.

Cette couche enrichit les caractéristiques utiles à la prédiction, mais coûte de la latence.

Pour réduire ce coût sans perdre cette richesse, les auteurs déplacent cette couche après le pooling moyen global, comme dans Efficient Last Stage.

Le calcul se faisait auparavant sur une carte de résolution 7x7 ; après le déplacement, il se fait sur 1x1. Les auteurs retirent aussi une projection et une convolution en profondeur devenues inutiles dans le bloc précédent. Dans l'article, ces changements en fin de réseau économisent environ 30 millions de multiplications-additions et 7 ms de latence, avec une précision presque inchangée.

Réduction des premiers filtres

Les auteurs remarquent que les premiers filtres forment souvent des paires en miroir. Ils essaient donc de réduire le nombre de canaux de cette couche.

Ils passent de 32 à 16 filtres initiaux et choisissent l'activation hard-swish. Dans leur essai, la précision reste stable, la latence baisse d'environ 2 ms et le calcul d'environ 10 millions de multiplications-additions.

Fonctions d'activation non linéaires

L'article emploie largement les activations hard-swish et hard-sigmoid.

Voyons rapidement leurs différences :

  1. ReLU (Rectified Linear Unit)

    • Définition : f(x)=max⁡(0,x)f(x) = \max(0, x)
    • Propriété : si xx est positif, la sortie est xx ; si xx est négatif, elle vaut zéro.
    • Usage : sa simplicité et l'absence de saturation du côté positif rendent ReLU courant dans les réseaux profonds.
  2. Swish

    • Définition : f(x)=x⋅σ(x)f(x) = x \cdot \sigma(x), où σ(x)\sigma(x) est la fonction Sigmoid σ(x)=11+e−x\sigma(x) = \frac{1}{1 + e^{-x}}.
    • Propriété : Swish est une activation à auto-porte qui mêle comportements linéaire et non linéaire.
    • Usage : dans certaines tâches, Swish obtient de meilleurs résultats que ReLU et d'autres activations.
  3. Hard-Swish

    • Définition : f(x)=x⋅relu6(x+3)/6f(x) = x \cdot \text{relu6}(x+3)/6, avec relu6(x)=min⁡(max⁡(0,x),6)\text{relu6}(x) = \min(\max(0,x), 6).
    • Propriété : Hard-Swish est une approximation par morceaux de Swish ; l'article emploie une implémentation optimisée pour réduire la latence sur téléphone.
    • Usage : elle convient aux réseaux destinés aux appareils mobiles ou à d'autres environnements où le calcul est limité.
  4. Sigmoid

    • Définition : f(x)=11+e−xf(x) = \frac{1}{1 + e^{-x}}
    • Propriété : la sortie est comprise entre 0 et 1, ce qui permet de ramener les valeurs dans une plage bornée.
    • Usage : grâce à son interprétation probabiliste, elle sert souvent en sortie des classifieurs binaires.
  5. Hard-Sigmoid

    • Définition : f(x)=relu6(x+3)/6f(x) = \text{relu6}(x+3)/6
    • Propriété : cette approximation simplifiée de Sigmoid se calcule plus efficacement sur la plateforme visée.
    • Usage : elle joue un rôle proche de Sigmoid dans les modèles qui demandent un calcul efficace.

Architecture du grand modèle

Après cette préparation, la recherche d'architecture, l'ajustement couche par couche et les modifications manuelles aboutissent à MobileNetV3-Large.

Le tableau se lit presque comme celui de MobileNet-V2. Voici les nouvelles indications :

  • SE : indique si le bloc utilise un module Squeeze-and-Excitation.
  • NL : colonne de la fonction d'activation non linéaire, qui prend la valeur HS ou RE.
  • HS : valeur de NL signifiant hard-swish.
  • RE : valeur de NL signifiant ReLU.
  • NBN : absence de Batch Normalization.

Architecture du petit modèle

Pour le petit modèle, les auteurs relancent la recherche de l'architecture initiale, puis appliquent le même processus d'ajustement pour obtenir MobileNetV3-Small.

Discussion

Résultats ImageNet

L'axe horizontal indique la latence sur un seul grand cœur du Pixel 1 ; l'axe vertical, la précision top-1 sur ImageNet. Pour les réglages et la plage de latence montrés, les variantes Large et Small de MobileNetV3 offrent un meilleur compromis que les points MnasNet, ProxylessNAS et MobileNetV2 du graphique. Chaque point correspond à une configuration de largeur distincte.

Évaluation sur appareils mobiles

Les auteurs indiquent dans ce tableau les performances en virgule flottante sur plusieurs téléphones Pixel.

P-1, P-2 et P-3 désignent les Pixel 1, 2 et 3. Les trois colonnes donnent la latence d'inférence en millisecondes, mesurée pour les modèles en virgule flottante sur un seul grand cœur avec un batch de taille 1 : plus la valeur est faible, plus c'est rapide. Ainsi V3-Large 1.0 atteint 51 ms et 75,2 % de top-1 sur Pixel 1, contre 64 ms et 72,0 % pour V2 1.0.

Historique des optimisations

La figure retrace le compromis entre précision et latence obtenu par les auteurs.

En partant de MnasNet, l'ajout de SE et de h-swish augmente la précision ; NetAdapt et la simplification de la fin du réseau déplacent surtout les points vers une latence moindre. Chaque modification n'améliore pas simultanément précision et vitesse.

Conclusion

Le marché des appareils mobiles est vaste, mais leur capacité de calcul reste limitée. Il faut donc des modèles davantage adaptés à leurs contraintes.

L'article montre comment la recherche d'architecture et l'algorithme NetAdapt améliorent les performances mesurées sur les téléphones Pixel.

À l'avenir, peut-être pourra-t-on étendre cette démarche à une architecture commune pour les téléphones Pixel, Apple et Samsung.

Pour les utilisateurs comme pour nous, développeurs de modèles, c'est une bonne nouvelle.