MobileOne: An Improved One millisecond Mobile Backbone
- Publication
- CVPR 2023Conférence
- Premier dépôt sur arXiv
- arXiv:2206.04040
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{reparameterizationmobileone2022,
title = {{MobileOne: An Improved One millisecond Mobile Backbone}},
author = {Pavan Kumar Anasosalu Vasu and James Gabriel and Jeff Zhu and Oncel Tuzel and Anurag Ranjan},
year = {2022},
eprint = {2206.04040},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2206.04040}
}
La reparamétrisation a commencé à attirer l'attention après la présentation de RepVGG, vers 2021.
Les chercheurs se sont alors demandé comment trouver, dans l'architecture des modèles, des structures adaptées à cette transformation afin d'en améliorer les performances.
Définir le problème
Forts de l'expérience de RepVGG, les auteurs veulent eux aussi essayer la reparamétrisation. Ils conçoivent un autre bloc adapté à cette transformation, puis déploient et évaluent le réseau neuronal avec CoreML sur un iPhone 12.
Comme RepVGG, MobileOne emploie à l'entraînement un modèle linéaire surparamétré, reparamétrise cette structure linéaire à l'inférence et relâche dynamiquement la régularisation pendant l'entraînement.
Résoudre le problème
Goulot d’étranglement : activations
Pour mesurer l'effet de la fonction d'activation sur la latence, les auteurs construisent un réseau convolutif de 30 couches et le testent sur iPhone 12 avec différentes fonctions.
Le tableau montre que, même si seule la fonction d'activation change, les temps d'exécution diffèrent beaucoup.
Ces écarts viennent surtout des fonctions d'activation introduites récemment. Elles améliorent sensiblement la précision des modèles aux FLOPs très faibles, comme MicroNet, mais peuvent coûter cher en latence.
Les auteurs emploient donc surtout ReLU dans MobileOne pour limiter ce coût ; dans le tableau de configuration, les deux derniers étages de S4 utilisent néanmoins SE-ReLU.
Goulot d’étranglement : architecture
Considérons ensuite deux éléments courants des architectures : les connexions de saut et le module Squeeze-Excite.
Le coût d'accès à la mémoire et le parallélisme sont deux facteurs majeurs de la vitesse d'exécution. Dans un réseau à plusieurs branches, il faut conserver les activations de chacune pour calculer le tenseur suivant, ce qui augmente les accès à la mémoire. Réduire le nombre de branches peut éviter ce goulot. Les blocs qui imposent une synchronisation, comme le pooling global de Squeeze-Excite, allongent aussi le temps total.
Pour rendre visibles ces coûts de mémoire et de synchronisation, les auteurs ajoutent séparément Squeeze-Excite et des connexions de saut au même réseau convolutif de 30 couches. Les latences du tableau sont respectivement 1,53, 2,10 et 2,62 millisecondes : il ne s'agit pas de supprimer successivement des modules déjà présents.
MobileOne adopte donc une architecture sans branches à l'inférence, qui réduit le coût d'accès à la mémoire. Seule la plus grande variante conserve Squeeze-Excite pour améliorer sa précision.
Architecture du modèle
Comme RepVGG, les blocs MobileOne comportent des branches fusionnables pendant l'entraînement. La différence est que MobileOne applique ce principe aux blocs de convolution séparable en profondeur de type MobileNet-V1.
Comme le montre la figure, la reparamétrisation porte ici sur une convolution séparable en profondeur : d'abord une convolution en profondeur 3x3, puis une convolution ponctuelle 1x1. Les auteurs ajoutent ensuite des connexions de saut reparamétrables avec batchnorm, ainsi que des branches qui dupliquent cette structure.
À l'inférence, MobileOne n'a plus de branches : la reparamétrisation les supprime. Pour une couche convolutive de noyau de taille K, de canaux d'entrée et de canaux de sortie, la matrice des poids est et le biais est . BatchNorm enregistre la moyenne , l'écart type , l'échelle et le biais .
Après avoir replié BatchNorm dans les poids de chaque branche, les poids et le biais de la convolution à l'inférence se calculent ainsi : les poids sont la somme de tous les , soit ; de même, le biais est la somme des , soit , où est le nombre de branches.
Configurations
Des travaux récents améliorent les performances en ajustant la largeur, la profondeur et la résolution du modèle. Le tableau présente les cinq configurations S0 à S4, avec pour chaque étage le multiplicateur de largeur et le nombre de branches d'entraînement .
La mise à l'échelle en profondeur de MobileOne ressemble à celle de MobileNet-V2 : les premiers étages sont moins profonds quand la résolution d'entrée est élevée, car ils sont beaucoup plus lents que les étages suivants.
Comme MobileOne n'a pas de branches multiples à l'inférence, il évite les déplacements de données qu'elles entraînent. Il peut ainsi augmenter le nombre de paramètres sans coût de latence notable, ce qui constitue un avantage face à des architectures concurrentes à plusieurs branches comme MobileNet-V2 et EfficientNets.
Discussion
Résultats sur ImageNet
Les auteurs évaluent MobileOne sur ImageNet, qui compte 1,28 million d'images d'entraînement et 50 000 images de validation réparties en 1 000 classes.
Toutes les variantes MobileOne sont entraînées depuis le début avec PyTorch sur une machine équipée de huit GPU NVIDIA ; les autres modèles du tableau ne suivent pas nécessairement la même configuration. L'entraînement utilise SGD avec momentum pendant 300 époques, avec un lot effectif de 256. Pour améliorer les performances, les auteurs appliquent un lissage des étiquettes de facteur 0,1 et une perte d'entropie croisée.
Le taux d'apprentissage initial est de 0,1, avec une décroissance cosinus ; le coefficient de décroissance des poids passe progressivement de à .
Les grandes variantes S2, S3 et S4 sont entraînées avec AutoAugment. Les petites variantes S0 et S1 utilisent une augmentation standard, comme le recadrage aléatoire et la symétrie horizontale.
Toutes les variantes sont entraînées avec une moyenne mobile exponentielle des poids, de coefficient 0,9995.
Au test, les variantes MobileOne reçoivent des images de 224 × 224. Le tableau compare les modèles sans distillation et indique leurs nombres de paramètres et leurs latences ; il inclut aussi des modèles de référence de plus de 20 millions de paramètres. Les FLOPs sont comptés avec fvcore.
Parmi les variantes Transformer du tableau, la plus faible latence sur appareil mobile est de 4,70 millisecondes.
Le corps de l'article cite aussi un résultat MobileFormer : 79,3 % en top-1 pour 70,76 millisecondes, contre 79,4 % et 1,86 milliseconde pour MobileOne-S4, soit un facteur d'environ 38 en vitesse. Ces chiffres MobileFormer ne figurent pas parmi les modèles du tableau. MobileOne-S3 dépasse EfficientNet-B0 de 1 % en précision top-1 et va 11 % plus vite sur appareil mobile.
Les colonnes CPU et GPU du tableau donnent également des comparaisons de latence. MobileOne-S3 y est, par exemple, plus rapide qu'EfficientNet-B0 dans les deux cas, sans que cela permette de conclure que tous les modèles concurrents sont plus lents.
Conclusion
Cette étude analyse les goulots d'efficacité des composants utilisés dans les CNN modernes à hautes performances. Elle montre aussi que des structures reparamétrables peuvent atténuer des difficultés d'optimisation.
Grâce à ces structures, la stratégie de mise à l'échelle de MobileOne atteint des performances de pointe tout en restant efficace sur les appareils mobiles et les CPU de bureau.
Les résultats améliorent non seulement la précision et la capacité de généralisation du modèle, mais réduisent aussi sensiblement la latence. Ils constituent une référence utile pour de futures recherches et applications.