Retour à la bibliothèque
arXiv 2021CVPR 2022Modèles légersNotes de lecture

Mobile-Former

Un pont dans les deux sens

Article original

Mobile-Former: Bridging MobileNet and Transformer

Auteurs de l’article

Yinpeng Chen · Xiyang Dai · Dongdong Chen …

Afficher les 7 auteurs

Yinpeng Chen · Xiyang Dai · Dongdong Chen · Mengchen Liu · Xiaoyi Dong · Lu Yuan · Zicheng Liu

Publication
CVPR 2022Conférence
Premier dépôt sur arXiv
arXiv:2108.05895
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{lightweightmobileformer2021,
  title = {{Mobile-Former: Bridging MobileNet and Transformer}},
  author = {Yinpeng Chen and Xiyang Dai and Dongdong Chen and Mengchen Liu and Xiaoyi Dong and Lu Yuan and Zicheng Liu},
  year = {2021},
  eprint = {2108.05895},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2108.05895}
}
Sur cette page

Pour faire fonctionner ViT sur les appareils mobiles, les chercheurs ont vraiment tout essayé.

Définir le problème

Ce n'est pas impossible à faire tourner, mais c'est lent.

L'architecture ViT est encore peu prise en charge sur les téléphones, ce qui complique l'utilisation des accélérations matérielles.

Les auteurs de cet article se sont dit :

  • Et si on ajoutait « juste un peu » de Transformer à MobileNet ?

Résoudre le problème

Architecture du modèle

Les auteurs proposent une architecture avec un pont bidirectionnel, qui relie MobileNet et Transformer en deux branches parallèles.

La figure suivante détaille le processus. Parcourons-le étape par étape :

  1. Bloc bleu : l'image d'entrée traverse l'extracteur de caractéristiques de MobileNet et produit une carte de caractéristiques.
  2. Bloc jaune : la branche Transformer part de tokens apprenables et lit les caractéristiques visuelles du bloc bleu par attention croisée.
    • À cette étape, les auteurs préparent un petit ensemble de tokens apprenables, au plus six dans les modèles principaux.
    • Ces tokens servent de requêtes ; la carte de caractéristiques fournit les clés et les valeurs.
  3. Bloc vert : après la Cross-Att, on calcule la Self-Att.
  4. Bloc rouge : la carte de caractéristiques de la première étape sert de requête, les tokens de la troisième fournissent clés et valeurs ; l'attention croisée renvoie ainsi l'information globale vers la carte.
  5. Enfin, la sortie de la quatrième étape entre dans le bloc MobileNet suivant, tandis que la sortie de la troisième entre dans le bloc Transformer suivant.

Dans l'attention croisée du pont bidirectionnel, les auteurs suppriment les projections linéaires du côté Mobile pour réduire le calcul : dans Mobile→Former, ils ne projettent pas les clés et valeurs issues de la carte ; dans Mobile←Former, ils ne projettent pas les requêtes issues de cette carte. Les projections du côté Former restent présentes.

Parmi les autres détails, le FFN utilise un taux d'expansion de 2 plutôt que 4 ; Dynamic ReLU reçoit le résultat du bloc vert, notamment son premier token global, au lieu des caractéristiques obtenues par pooling moyen puis MLP ; et la normalisation suit une disposition Post-LN. Nous n'entrerons pas davantage dans ces détails.

Paramètres de l'architecture

Comme le montre le tableau, en partant de MobileNet-V3, les auteurs placent des blocs Mobile-Former aux étapes 2 à 5 ; la première étape conserve un goulot d'étranglement léger.

Discussion

Performances sur ImageNet

Les auteurs évaluent la classification d'images sur ImageNet. Ce jeu comporte 1 000 classes, 1 281 167 images d'entraînement et 50 000 images de validation.

Les modèles Mobile-Former de classification sont entraînés sur des images 224×224. Ils partent de zéro, utilisent l'optimiseur AdamW pendant 450 époques et suivent une décroissance cosinus du taux d'apprentissage. Les lots comptent 1 024 images. L'augmentation de données comprend Mixup, AutoAugment et Random Erasing. Taux d'apprentissage initial, weight decay et dropout varient selon la taille du modèle.

Le tableau compare Mobile-Former à des CNN efficaces classiques : MobileNetV3, EfficientNet, ShuffleNetV2 et sa variante WeightNet. La comparaison couvre 26M à 508M FLOP et se répartit en sept groupes.

Dans la plupart des groupes, Mobile-Former dépasse les CNN efficaces avec moins de calculs (FLOP). Seul le groupe autour de 150M FLOP fait exception : Mobile-Former utilise un peu plus de FLOP que ShuffleNet/WeightNet, mais obtient une précision Top-1 nettement meilleure (75,2 % contre 69,1 % / 72,4 %).


Les auteurs comparent ensuite Mobile-Former aux autres Transformer visuels du tableau : DeiT, T2T-ViT, PVT, ConViT, CoaT, ViTC et Swin.

Toutes les variantes du tableau utilisent des images 224×224 et ne sont pas entraînées avec la distillation par un enseignant. Mobile-Former-294M atteint 77,9 % et Mobile-Former-508M 79,3 % ; dans leurs groupes respectifs, ils obtiennent une meilleure précision avec moins de calculs. Les auteurs l'expliquent par les interactions globales modélisées avec peu de tokens et par l'extraction de caractéristiques locales par MobileNet.

Mobile-Former, entraîné 450 époques sans distillation, dépasse même LeViT, entraîné 1 000 époques avec distillation : 77,9 % contre 76,6 % de précision, avec 294M contre 305M FLOP.


Sur cette figure, les auteurs comparent encore Mobile-Former à d'autres CNN, comme GhostNet, et à des variantes de Transformer visuels, comme Swin et DeiT.

Les FLOP de Swin et DeiT s'étendent de 100M à 2G grâce à une réduction soignée de la largeur et de la profondeur des réseaux. Mobile-Former dépasse nettement ces variantes de CNN et de ViT, illustrant l'intérêt d'associer MobileNet et Transformer en parallèle. Les Transformer visuels sont pourtant moins compétitifs que les CNN efficaces à faible budget de FLOP ; cette étude montre qu'avec une architecture adaptée, ils peuvent aussi jouer un rôle dans cette plage de calcul.

Études d'ablation

Alors, quelles parties de Mobile-Former influencent le plus les performances ?

Les auteurs utilisent Mobile-Former-294M entraîné pendant 300 époques pour ablater ses différents composants.

Le tableau montre qu'ajouter Former et les deux ponts Mobile→Former et Mobile←Former au MobileNet de base augmente le coût de calcul d'environ 12 %, tandis que la précision Top-1 progresse de 2,6 points de pourcentage par rapport à Mobile seul.

Dans le sous-module Mobile, Dynamic ReLU apporte encore 1,0 point de pourcentage en Top-1. Ses paramètres sont produits à partir du premier token global, ce qui appuie l'utilité de la conception parallèle de Mobile-Former dans cette ablation.


Le tableau ci-dessus présente les résultats ImageNet du Former avec différents nombres de tokens globaux, chacun de dimension 192.

Il est intéressant de voir qu'un seul token global donne déjà un bon résultat : 77,1 % en Top-1. Avec trois et six tokens, la précision gagne respectivement 0,5 et 0,7 point ; avec neuf, elle redescend légèrement à 77,7 %. Cette compacité des tokens globaux est un facteur essentiel de l'efficacité de Mobile-Former.

Conclusion

En plaçant MobileNet et Transformer en parallèle, Mobile-Former construit un modèle visuel efficace.

Les auteurs notent aussi que, dans leur comparaison de latence en annexe, Mobile-Former devient plus rapide que MobileNetV3 pour les grandes images, mais plus lent pour les petites. Ces mesures ont été faites sur un processeur Intel Xeon à un seul thread et un lot d'une image. Ce point mérite une étude plus poussée.