{"notes":[{"id":"lightweight/mobilevit","category":"lightweight","legacyPath":"lightweight/2110-mobilevit","legacySlug":"2110-mobilevit","legacyPaths":[],"title":"MobileViT","subtitle":"Repenser la convolution","author":"Z. Yuan","paperDate":"2021-10-05","publishedOn":"2024-09-04","paperTitle":"MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer","paperUrl":"https://arxiv.org/abs/2110.02178","bibliography":{"title":"MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer","authors":["Sachin Mehta","Mohammad Rastegari"],"url":"https://arxiv.org/abs/2110.02178","pdfUrl":"https://arxiv.org/pdf/2110.02178","codeUrl":null,"preprint":{"id":"2110.02178","submittedOn":"2021-10-05","url":"https://arxiv.org/abs/2110.02178"},"publication":{"venue":"ICLR","year":2022,"kind":"conference","url":"https://arxiv.org/abs/2110.02178"},"citation":"@misc{lightweightmobilevit2021,\n  title = {{MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer}},\n  author = {Sachin Mehta and Mohammad Rastegari},\n  year = {2021},\n  eprint = {2110.02178},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2110.02178}\n}\n","citationPath":"/content/papers/citations/lightweight/mobilevit.f81f40aca27f.bib"},"thumbnail":{"src":"/content/papers/assets/4b04c873571d684cc92c774de290e347e8cd46c3dda6d9e3faa2028258cbbb20.jpg","width":1686,"height":400},"locale":"fr","path":"/content/papers/fr/lightweight/mobilevit.c4300a80e1c2.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"rappel-sur-la-convolution","text":"Rappel sur la convolution","depth":3},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"configuration-expérimentale","text":"Configuration expérimentale","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"résultats-sur-imagenet","text":"Résultats sur ImageNet","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"lightweight/mobile-former","relation":"comparison","topic":"Combiner convolutions légères et attention"},{"id":"reparameterization/fastvit","relation":"comparison","topic":"Combiner convolutions légères et attention"}]},{"id":"lightweight/mobile-former","category":"lightweight","legacyPath":"lightweight/2108-mobile-former","legacySlug":"2108-mobile-former","legacyPaths":[],"title":"Mobile-Former","subtitle":"Un pont dans les deux sens","author":"Z. Yuan","paperDate":"2021-08-12","publishedOn":"2024-09-03","paperTitle":"Mobile-Former: Bridging MobileNet and Transformer","paperUrl":"https://arxiv.org/abs/2108.05895","bibliography":{"title":"Mobile-Former: Bridging MobileNet and Transformer","authors":["Yinpeng Chen","Xiyang Dai","Dongdong Chen","Mengchen Liu","Xiaoyi Dong","Lu Yuan","Zicheng Liu"],"url":"https://arxiv.org/abs/2108.05895","pdfUrl":"https://arxiv.org/pdf/2108.05895","codeUrl":null,"preprint":{"id":"2108.05895","submittedOn":"2021-08-12","url":"https://arxiv.org/abs/2108.05895"},"publication":{"venue":"CVPR","year":2022,"kind":"conference","url":"https://arxiv.org/abs/2108.05895"},"citation":"@misc{lightweightmobileformer2021,\n  title = {{Mobile-Former: Bridging MobileNet and Transformer}},\n  author = {Yinpeng Chen and Xiyang Dai and Dongdong Chen and Mengchen Liu and Xiaoyi Dong and Lu Yuan and Zicheng Liu},\n  year = {2021},\n  eprint = {2108.05895},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2108.05895}\n}\n","citationPath":"/content/papers/citations/lightweight/mobile-former.e0fa77029109.bib"},"thumbnail":{"src":"/content/papers/assets/0e6780b6892b71f46efb8e71a58ef01488f230f81775b453e08e9471354e9a3e.jpg","width":1224,"height":1068},"locale":"fr","path":"/content/papers/fr/lightweight/mobile-former.6beb74879b68.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"paramètres-de-larchitecture","text":"Paramètres de l'architecture","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"performances-sur-imagenet","text":"Performances sur ImageNet","depth":3},{"id":"études-dablation","text":"Études d'ablation","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"lightweight/mobilevit","relation":"comparison","topic":"Combiner convolutions légères et attention"},{"id":"reparameterization/fastvit","relation":"comparison","topic":"Combiner convolutions légères et attention"}]},{"id":"reparameterization/fastvit","category":"reparameterization","legacyPath":"reparameterization/2303-fastvit","legacySlug":"2303-fastvit","legacyPaths":[],"title":"FastViT","subtitle":"Un essai de reparamétrisation de ViT","author":"Z. Yuan","paperDate":"2023-03-24","publishedOn":"2024-07-16","paperTitle":"FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization","paperUrl":"https://arxiv.org/abs/2303.14189","bibliography":{"title":"FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization","authors":["Pavan Kumar Anasosalu Vasu","James Gabriel","Jeff Zhu","Oncel Tuzel","Anurag Ranjan"],"url":"https://arxiv.org/abs/2303.14189","pdfUrl":"https://arxiv.org/pdf/2303.14189","codeUrl":null,"preprint":{"id":"2303.14189","submittedOn":"2023-03-24","url":"https://arxiv.org/abs/2303.14189"},"publication":{"venue":"ICCV","year":2023,"kind":"conference","url":"https://arxiv.org/abs/2303.14189"},"citation":"@misc{reparameterizationfastvit2023,\n  title = {{FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization}},\n  author = {Pavan Kumar Anasosalu Vasu and James Gabriel and Jeff Zhu and Oncel Tuzel and Anurag Ranjan},\n  year = {2023},\n  eprint = {2303.14189},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2303.14189}\n}\n","citationPath":"/content/papers/citations/reparameterization/fastvit.0b2741f99b2b.bib"},"thumbnail":{"src":"/content/papers/assets/095c905b22b0b0e80a3fdb19b68680885648cdd70aa6ff754434e08a3a1aa78a.jpg","width":1618,"height":1038},"locale":"fr","path":"/content/papers/fr/reparameterization/fastvit.c1deba25fd52.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"configurations-du-modèle","text":"Configurations du modèle","depth":3},{"id":"entraînement-et-évaluation","text":"Entraînement et évaluation","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"performances-sur-imagenet","text":"Performances sur ImageNet","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"lightweight/mobilevit","relation":"comparison","topic":"Combiner convolutions légères et attention"},{"id":"lightweight/mobile-former","relation":"comparison","topic":"Combiner convolutions légères et attention"},{"id":"reparameterization/repvit","relation":"comparison","topic":"Architectures visuelles rapides à déployer"}]}],"text":"Environ un mois après la présentation de **Mobile-Former** par Microsoft,\n\nApple propose à son tour une réponse au même problème : **MobileViT**.\n\n## Définir le problème\n\nLe problème de fond reste la faible efficacité de ViT sur les appareils mobiles.\n\nÀ la différence de Mobile-Former et de ses connexions parallèles, MobileViT conserve les convolutions locales et utilise l'auto-attention sur les caractéristiques dépliées pour échanger de l'information entre régions. Il cherche ainsi à réunir le détail local et un champ de vision global.\n\nPour comprendre l'article, commençons par revoir la convolution.\n\n## Résoudre le problème\n\n### Rappel sur la convolution\n\nPour effectuer une convolution par multiplication matricielle, on peut la décomposer en trois étapes : « **unfold** », multiplication et « **fold** ». C'est une manière d'aborder le modèle.\n\n- **1. Opération unfold**\n\n  L'opération unfold, appelée aussi « im2col », déroule le tenseur d'entrée, par exemple une image, dans une forme adaptée à la multiplication matricielle.\n\n  Prenons un exemple : une entrée $3 \\times 3$, notée $X$, contient les valeurs suivantes :\n\n  $$\n  X = \\left[\\begin{matrix}\n  1 & 2 & 3 \\\\\n  4 & 5 & 6 \\\\\n  7 & 8 & 9\n  \\end{matrix}\n  \\right]\n  $$\n\n  Et un filtre de convolution $2 \\times 2$, noté $K$, vaut :\n\n  $$\n  K = \\left[\\begin{matrix}\n  1 & 0 \\\\\n  0 & -1\n  \\end{matrix} \\right]\n  $$\n\n  Dans une convolution classique, le filtre glisse sur l'entrée pour calculer les valeurs une à une. Ici, unfold convertit ce parcours en multiplication matricielle. Avec une fenêtre glissante $2 \\times 2$, nous extrayons de $X$ les quatre zones $2\\times 2$ suivantes :\n\n  $$\n  \\left[\\begin{matrix}\n  1 & 2 \\\\\n  4 & 5\n  \\end{matrix}\\right],\n   \\left[\\begin{matrix}\n  2 & 3 \\\\\n  5 & 6\n  \\end{matrix}\\right],\n  \\left[\\begin{matrix}\n  4 & 5 \\\\\n  7 & 8\n  \\end{matrix}\\right],\n  \\left[\\begin{matrix}\n  5 & 6 \\\\\n  8 & 9\n  \\end{matrix}\\right]\n  $$\n\n  Déroulons ensuite ces fenêtres en vecteurs lignes pour former une matrice :\n\n  $$\n  X_{\\text{unfold}} = \\left[\\begin{matrix}\n  1 & 2 & 4 & 5 \\\\\n  2 & 3 & 5 & 6 \\\\\n  4 & 5 & 7 & 8 \\\\\n  5 & 6 & 8 & 9\n  \\end{matrix}\\right]\n  $$\n\n- **2. Multiplication matricielle**\n\n  Nous pouvons multiplier la matrice dépliée $X_{\\text{unfold}}$ par le vecteur ligne formé à partir du filtre $K$, autrement dit la mise à plat de $K$ :\n\n  $$\n  K_{\\text{flat}} = \\left[\\begin{matrix} 1 & 0 & 0 & -1 \\end{matrix}\\right]\n  $$\n\n  $$\n  Y_{\\text{flat}} = X_{\\text{unfold}} \\times K_{\\text{flat}}^T\n  $$\n\n  $K_{\\text{flat}}$ est un vecteur de taille $1 \\times 4$ et $X_{\\text{unfold}}$ une matrice $4 \\times 4$ ; leur produit donne un vecteur de sortie $4 \\times 1$ :\n\n  $$\n  Y_{\\text{flat}} = \\left[\\begin{matrix}\n  1 \\cdot 1 + 2 \\cdot 0 + 4 \\cdot 0 + 5 \\cdot (-1) \\\\\n  2 \\cdot 1 + 3 \\cdot 0 + 5 \\cdot 0 + 6 \\cdot (-1) \\\\\n  4 \\cdot 1 + 5 \\cdot 0 + 7 \\cdot 0 + 8 \\cdot (-1) \\\\\n  5 \\cdot 1 + 6 \\cdot 0 + 8 \\cdot 0 + 9 \\cdot (-1)\n  \\end{matrix}\\right]\n  =\n  \\left[\\begin{matrix}\n  -4 \\\\\n  -4 \\\\\n  -4 \\\\\n  -4\n  \\end{matrix}\\right]\n  $$\n\n- **3. Opération fold**\n\n  L'étape « fold » replace les résultats de la multiplication dans la forme de sortie. Ici, elle transforme le vecteur obtenu en une matrice $2 \\times 2$ :\n\n  $$\n  Y = \\left[\\begin{matrix}\n  -4 & -4 \\\\\n  -4 & -4\n  \\end{matrix}\\right]\n  $$\n\nUnfold, multiplication et fold permettent donc de comprendre le calcul de cette convolution. Les fenêtres glissantes de l'exemple se chevauchent ; le bloc MobileViT, lui, déplie ensuite de petits patches sans chevauchement. Ce ne sont pas exactement les mêmes opérations.\n\n### Architecture du modèle\n\n![model arch](/content/papers/assets/4b04c873571d684cc92c774de290e347e8cd46c3dda6d9e3faa2028258cbbb20.jpg)\n\nAprès ce rappel, nous pouvons enfin regarder l'architecture de l'article.\n\nLe schéma semblait compliqué au départ. Maintenant, cela devient bien plus simple.\n\nLe bloc MobileViT commence par une convolution $n \\times n$ qui extrait l'information locale, puis une convolution $1 \\times 1$ qui projette les canaux : les convolutions du schéma ne disparaissent pas. Le bloc déplie ensuite la carte de caractéristiques en patches $h \\times w$ sans chevauchement. Le Transformer applique l'auto-attention **entre patches, aux pixels qui occupent la même position dans chacun d'eux**, puis l'étape fold restaure la disposition spatiale. Comme les convolutions précédentes ont déjà mêlé les pixels voisins, chaque position en sortie peut ainsi accéder indirectement à l'information de toute l'image. C'est en ce sens que les auteurs décrivent le Transformer comme une forme de traitement convolutif.\n\nAprès fold, une convolution $1 \\times 1$ projette de nouveau les canaux. Le résultat est concaténé à l'entrée d'origine, puis une convolution $n \\times n$ fusionne les caractéristiques.\n\nL'auto-attention a évidemment un coût. Les auteurs ne placent donc le bloc MobileViT que dans quelques étages, comme le montre la figure :\n\n![model arch](/content/papers/assets/e4de61274930a2a312edd9874ec2d4736400e12be0977325e862abe68d54026f.jpg)\n\nDans les trois derniers étages, les blocs MobileViT alternent avec les blocs MobileNetV2, notés MV2 ; ces derniers assurent surtout la réduction de résolution. Le réseau garde ainsi le traitement local des convolutions, donne aux caractéristiques profondes un accès à l'information globale et conserve peu de paramètres.\n\n### Configuration expérimentale\n\nLes auteurs entraînent MobileViT depuis zéro sur ImageNet-1k.\n\nLe jeu de données contient 1,28 million d'images d'entraînement et 50 000 images de validation. L'entraînement sous PyTorch dure 300 époques sur huit GPU NVIDIA. Il utilise AdamW, une entropie croisée avec lissage des étiquettes à 0,1, un batch effectif de 1 024 images et un échantillonneur multi-échelle.\n\nLe taux d'apprentissage augmente de 0,0002 à 0,002 pendant les 3 000 premières itérations, puis redescend à 0,0002 selon un calendrier cosinus. La décroissance des poids L2 est fixée à 0,01. Les augmentations comprennent des recadrages à taille aléatoire et des retournements horizontaux. Les résultats sont évalués par exactitude top-1 sur un seul recadrage et l'inférence utilise la moyenne mobile exponentielle des poids.\n\n\n> [!TIP]\n> \n> L'échantillonneur multi-échelle est une astuce d'entraînement proposée dans l'article. Dans ses expériences, il ajoute environ 0,5 point de pourcentage à la précision finale. Ce n'est toutefois pas la contribution principale ; le lecteur intéressé trouvera les détails dans l'article.\n\n\n## Discussion\n\n### Résultats sur ImageNet\n\n![imagenet](/content/papers/assets/3107c46c05675453bc6157b5d9f713c488bde2a72de5ff7d1491e6f6f1e57861.jpg)\n\n- **MobileViT face aux CNN légers** :\n\n  - À différentes tailles de réseau, MobileViT dépasse plusieurs CNN légers : MobileNetv1, MobileNetv2, ShuffleNetv2, ESPNetv2 et MobileNetv3.\n  - Pour environ 2,5 millions de paramètres, sur la validation ImageNet-1k, il obtient par exemple :\n    - 5,0 points de pourcentage de plus que MobileNetv2 ;\n    - 5,4 points de plus que ShuffleNetv2 ;\n    - 7,4 points de plus que MobileNetv3.\n\n- **MobileViT face aux CNN plus lourds** :\n\n  - Il dépasse aussi des modèles comme ResNet, DenseNet, ResNet-SE et EfficientNet.\n  - Ainsi, MobileViT-S (5,6 millions de paramètres, 78,4 %) dépasse EfficientNet-B0 (5,3 millions, 76,3 %) de 2,1 points de pourcentage en top-1.\n\n---\n\n![imagenet](/content/papers/assets/184332ce2c2b1cbbb2057f4e2800112dcfa35411b752271301b33527a6277595.jpg)\n\nSur la figure, `Advanced` en rouge désigne les augmentations avancées et `Basic` en vert les augmentations de base. Les techniques avancées comprennent notamment Mixup, CutMix et RandAugment.\n\n- **Comparaison avec des variantes de ViT** :\n\n  - MobileViT est comparé à des variantes de ViT entraînées depuis zéro : DeIT, T2T, PVT, CAIT, DeepViT, CeiT, CrossViT, LocalViT, PiT, ConViT, ViL, BotNet et Mobile-former.\n  - La plupart de ces variantes utilisent des augmentations avancées sur la figure ; MobileViT ne recourt qu'aux augmentations de base et obtient tout de même de meilleurs résultats dans certaines comparaisons.\n    - Par exemple, MobileViT-XS (2,3 millions de paramètres, 74,8 %) face à DeiT (5,7 millions, 72,2 %) avec augmentations avancées : ses paramètres représentent environ $1/2.5$ de ceux de DeiT et sa précision top-1 est supérieure de 2,6 points de pourcentage.\n\nDans les conditions d'entraînement et les comparaisons de l'article, MobileViT présente donc un avantage comparable à celui des CNN : des augmentations simples peuvent suffire à obtenir un résultat compétitif. Le modèle peut aussi servir de réseau de base pour la détection ou la segmentation.\n\n\n> [!TIP]\n> \n> Les chiffres MobileNet cités dans cet article datent d'avant les recettes d'entraînement plus modernes. Pour des résultats plus récents, le lecteur peut consulter la note sur MobileNet-V4.\n> \n> - [**[24.04] MobileNet-V4 : cinq ans plus tard**](/blog/papers/lightweight/mobilenet-v4)\n\n\n## Conclusion\n\n![conclusion](/content/papers/assets/d8e363c81324f62761414e946c39e7af54c853ca6cc278bb4722213ac8c4a581.jpg)\n\nMobileViT dépasse plusieurs CNN légers et plus lourds sur ImageNet-1k, mais sa vitesse d'inférence sur appareil mobile reste à examiner.\n\nÀ la fin de l'article, les auteurs signalent que, pour les modèles et appareils comparés, certaines architectures fondées sur ViT peuvent être presque un ordre de grandeur plus lentes que les CNN. Réduire seulement les FLOPs ou les paramètres ne suffit pas à résoudre cet écart.\n\nIls avancent principalement deux explications :\n\n1. Sur GPU, les Transformers bénéficient de noyaux CUDA spécialisés, directement utilisables par ViT, qui améliorent le passage à l'échelle et l'efficacité.\n2. Les CNN bénéficient de nombreuses optimisations propres aux appareils, comme la fusion de la normalisation par lot avec les convolutions. Elles réduisent la latence et les accès mémoire.\n\nSur les appareils étudiés, l'inférence mobile des modèles liés à ViT conserve donc des difficultés. Espérons que les optimisations matérielles et logicielles à venir les atténueront.\n","imageSizes":{"/content/papers/assets/4b04c873571d684cc92c774de290e347e8cd46c3dda6d9e3faa2028258cbbb20.jpg":{"width":1686,"height":400},"/content/papers/assets/e4de61274930a2a312edd9874ec2d4736400e12be0977325e862abe68d54026f.jpg":{"width":1224,"height":796},"/content/papers/assets/3107c46c05675453bc6157b5d9f713c488bde2a72de5ff7d1491e6f6f1e57861.jpg":{"width":1494,"height":544},"/content/papers/assets/184332ce2c2b1cbbb2057f4e2800112dcfa35411b752271301b33527a6277595.jpg":{"width":1486,"height":654},"/content/papers/assets/d8e363c81324f62761414e946c39e7af54c853ca6cc278bb4722213ac8c4a581.jpg":{"width":1384,"height":414}}}
