{"notes":[{"id":"classic-cnns/convnets-match-vits","category":"classic-cnns","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"ConvNets Match ViTs","subtitle":"Une amère leçon","author":"Z. Yuan","paperDate":"2023-10-25","publishedOn":"2025-11-17","paperTitle":"ConvNets Match Vision Transformers at Scale","paperUrl":"https://arxiv.org/abs/2310.16764","bibliography":{"title":"ConvNets Match Vision Transformers at Scale","authors":["Samuel L. Smith","Andrew Brock","Leonard Berrada","Soham De"],"url":"https://arxiv.org/abs/2310.16764","pdfUrl":"https://arxiv.org/pdf/2310.16764v1","codeUrl":null,"preprint":{"id":"2310.16764","submittedOn":"2023-10-25","url":"https://arxiv.org/abs/2310.16764"},"publication":null,"citation":"@misc{classiccnnsconvnetsmatchvits2023,\n  title = {{ConvNets Match Vision Transformers at Scale}},\n  author = {Samuel L. Smith and Andrew Brock and Leonard Berrada and Soham De},\n  year = {2023},\n  eprint = {2310.16764},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2310.16764}\n}\n","citationPath":"/content/papers/citations/classic-cnns/convnets-match-vits.0657c1e27561.bib"},"thumbnail":{"src":"/content/papers/assets/3e69462cce7a0dbd3fc43590ac1f01d23631b4677d04be8bdeae74e6b987e620.png","width":1830,"height":828},"locale":"fr","path":"/content/papers/fr/classic-cnns/convnets-match-vits.eeea0c697b1a.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"protocole-expérimental","text":"Protocole expérimental","depth":3},{"id":"lois-déchelle-de-la-perte-de-préentraînement","text":"Lois d'échelle de la perte de préentraînement","depth":3},{"id":"taux-dapprentissage","text":"Taux d'apprentissage","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"ajustement-sur-imagenet","text":"Ajustement sur ImageNet","depth":3},{"id":"la-perte-la-plus-basse-ne-donne-pas-toujours-le-meilleur-ajustement","text":"La perte la plus basse ne donne pas toujours le meilleur ajustement","depth":3},{"id":"portée-de-la-comparaison","text":"Portée de la comparaison","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/vit","relation":"referenced","topic":""},{"id":"classic-cnns/nfnet","relation":"referenced","topic":""},{"id":"transformers/scaling_laws","relation":"referenced","topic":""}]},{"id":"vision-transformers/vit","category":"vision-transformers","legacyPath":"vision-transformers/2010-vit","legacySlug":"2010-vit","legacyPaths":[],"title":"ViT","subtitle":"À la conquête d'un nouveau monde","author":"Z. Yuan","paperDate":"2020-10-22","publishedOn":"2024-07-01","paperTitle":"An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale","paperUrl":"https://arxiv.org/abs/2010.11929","bibliography":{"title":"An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale","authors":["Alexey Dosovitskiy","Lucas Beyer","Alexander Kolesnikov","Dirk Weissenborn","Xiaohua Zhai","Thomas Unterthiner","Mostafa Dehghani","Matthias Minderer","Georg Heigold","Sylvain Gelly","Jakob Uszkoreit","Neil Houlsby"],"url":"https://arxiv.org/abs/2010.11929","pdfUrl":"https://arxiv.org/pdf/2010.11929","codeUrl":null,"preprint":{"id":"2010.11929","submittedOn":"2020-10-22","url":"https://arxiv.org/abs/2010.11929"},"publication":{"venue":"ICLR","year":2021,"kind":"conference","url":"https://openreview.net/pdf?id=YicbFdNTTy"},"citation":"@misc{visiontransformersvit2020,\n  title = {{An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale}},\n  author = {Alexey Dosovitskiy and Lucas Beyer and Alexander Kolesnikov and Dirk Weissenborn and Xiaohua Zhai and Thomas Unterthiner and Mostafa Dehghani and Matthias Minderer and Georg Heigold and Sylvain Gelly and Jakob Uszkoreit and Neil Houlsby},\n  year = {2020},\n  eprint = {2010.11929},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2010.11929}\n}\n","citationPath":"/content/papers/citations/vision-transformers/vit.8a478b78ec38.bib"},"thumbnail":{"src":"/content/papers/assets/82fb5d2f7ce623daf8d9ce146f096d22f2fb17d2532c5c4d613206f0424904aa.jpg","width":1472,"height":772},"locale":"fr","path":"/content/papers/fr/vision-transformers/vit.e2bd5e3839b7.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"patchify","text":"Patchify","depth":3},{"id":"et-après-","text":"Et après ?","depth":3},{"id":"moins-de-biais-inductifs-propres-aux-images","text":"Moins de biais inductifs propres aux images","depth":3},{"id":"effet-de-la-taille-des-données-de-préentraînement","text":"Effet de la taille des données de préentraînement","depth":3},{"id":"peut-on-aller-encore-plus-loin-","text":"Peut-on aller encore plus loin ?","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"que-voit-vit-","text":"Que voit ViT ?","depth":3},{"id":"prédire-avec-cls-ou-avec-gap-","text":"Prédire avec [CLS] ou avec GAP ?","depth":3},{"id":"entraînement-auto-supervisé","text":"Entraînement auto-supervisé","depth":3},{"id":"autres-points-à-retenir","text":"Autres points à retenir","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/deit","relation":"next","topic":"Apprendre des représentations visuelles avec les Transformers"},{"id":"vision-transformers/pvt","relation":"comparison","topic":"Transformers visuels multi-échelles"},{"id":"vision-transformers/swin-transformer","relation":"comparison","topic":"Transformers visuels multi-échelles"}]},{"id":"classic-cnns/nfnet","category":"classic-cnns","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"NFNet","subtitle":"La vie sans BN","author":"Z. Yuan","paperDate":"2021-02-11","publishedOn":"2025-01-21","world":"external/nfnet","paperTitle":"High-Performance Large-Scale Image Recognition Without Normalization","paperUrl":"https://arxiv.org/abs/2102.06171","bibliography":{"title":"High-Performance Large-Scale Image Recognition Without Normalization","authors":["Andrew Brock","Soham De","Samuel L. Smith","Karen Simonyan"],"url":"https://arxiv.org/abs/2102.06171","pdfUrl":"https://arxiv.org/pdf/2102.06171v1","codeUrl":null,"preprint":{"id":"2102.06171","submittedOn":"2021-02-11","url":"https://arxiv.org/abs/2102.06171"},"publication":{"venue":"ICML","year":2021,"kind":"conference","url":"https://proceedings.mlr.press/v139/brock21a.html"},"citation":"@misc{classiccnnsnfnet2021,\n  title = {{High-Performance Large-Scale Image Recognition Without Normalization}},\n  author = {Andrew Brock and Soham De and Samuel L. Smith and Karen Simonyan},\n  year = {2021},\n  eprint = {2102.06171},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2102.06171}\n}\n","citationPath":"/content/papers/citations/classic-cnns/nfnet.91baba59df96.bib"},"thumbnail":{"src":"/content/papers/assets/7552bff30433f4f33bec5edb2421acd94d61d452888dde6df17557778e8fb1c6.png","width":1004,"height":783},"locale":"fr","path":"/content/papers/fr/classic-cnns/nfnet.37f58fe74219.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"ce-que-batchnorm-apporte-vraiment","text":"Ce que BatchNorm apporte vraiment","depth":3},{"id":"à-quoi-ressemble-le-décalage-de-la-moyenne","text":"À quoi ressemble le décalage de la moyenne","depth":3},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"compléter-dabord-nf-resnet","text":"Compléter d'abord NF-ResNet","depth":3},{"id":"écrêtage-adaptatif-du-gradient","text":"Écrêtage adaptatif du gradient","depth":3},{"id":"larchitecture-nfnet","text":"L'architecture NFNet","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"lapport-de-chaque-modification","text":"L'apport de chaque modification","depth":3},{"id":"retirer-la-bn-rend-il-vraiment-plus-rapide","text":"Retirer la BN rend-il vraiment plus rapide ?","depth":3},{"id":"face-aux-autres-modèles","text":"Face aux autres modèles","depth":3},{"id":"préentraîner-puis-affiner","text":"Préentraîner, puis affiner","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"normalization/batchnorm","relation":"referenced","topic":""}]},{"id":"transformers/scaling_laws","category":"transformers","legacyPath":"transformers/2001-scaling_laws","legacySlug":"2001-scaling_laws","legacyPaths":[],"title":"Scaling Laws","subtitle":"Les lois de changement d'échelle des modèles","author":"Z. Yuan","paperDate":"2020-01-23","publishedOn":"2024-05-24","paperTitle":"Scaling Laws for Neural Language Models","paperUrl":"https://arxiv.org/abs/2001.08361","bibliography":{"title":"Scaling Laws for Neural Language Models","authors":["Jared Kaplan","Sam McCandlish","Tom Henighan","Tom B. Brown","Benjamin Chess","Rewon Child","Scott Gray","Alec Radford","Jeffrey Wu","Dario Amodei"],"url":"https://arxiv.org/abs/2001.08361","pdfUrl":"https://arxiv.org/pdf/2001.08361","codeUrl":null,"preprint":{"id":"2001.08361","submittedOn":"2020-01-23","url":"https://arxiv.org/abs/2001.08361"},"publication":null,"citation":"@misc{transformersscalinglaws2020,\n  title = {{Scaling Laws for Neural Language Models}},\n  author = {Jared Kaplan and Sam McCandlish and Tom Henighan and Tom B. Brown and Benjamin Chess and Rewon Child and Scott Gray and Alec Radford and Jeffrey Wu and Dario Amodei},\n  year = {2020},\n  eprint = {2001.08361},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2001.08361}\n}\n","citationPath":"/content/papers/citations/transformers/scaling_laws.a1ab0069ac66.bib"},"thumbnail":{"src":"/content/papers/assets/1a680a937f0c09dd160f2661fc04c4598f9bec153e122a7b92c264ef213558c1.jpg","width":1696,"height":544},"locale":"fr","path":"/content/papers/fr/transformers/scaling_laws.4abfe369179c.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"entraînement","text":"Entraînement","depth":3},{"id":"jeu-de-données","text":"Jeu de données","depth":3},{"id":"variables-étudiées","text":"Variables étudiées","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"la-taille-avant-tout","text":"La taille avant tout","depth":3},{"id":"lois-de-puissance","text":"Lois de puissance","depth":3},{"id":"le-surapprentissage-en-général","text":"Le surapprentissage en général","depth":3},{"id":"résultats-de-test-et-textes-dautres-distributions","text":"Résultats de test et textes d'autres distributions","depth":3},{"id":"efficacité-en-échantillons","text":"Efficacité en échantillons","depth":3},{"id":"la-convergence-peut-coûter-trop-cher","text":"La convergence peut coûter trop cher","depth":3},{"id":"taille-optimale-du-lot","text":"Taille optimale du lot","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/gpt_3","relation":"background","topic":"Taille du modèle et volume de données"},{"id":"transformers/chinchilla","relation":"next","topic":"Taille du modèle et volume de données"}]}],"text":"« Les réseaux convolutifs fonctionnent bien sur des jeux de données petits ou moyens, mais à l'échelle du Web, ils ne suivent plus les Vision Transformers. »\n\nL'article commence par cette affirmation, à laquelle beaucoup de chercheurs adhèrent selon les auteurs. Les ViT dépassent le milliard de paramètres et sont préentraînés sur des milliards d'images. Côté convolution, très peu de modèles ont été entraînés à une échelle comparable.\n\n\n> [!TIP]\n> \n> Pour voir comment ViT découpe une image en patches avant de les envoyer dans un Transformer :\n> \n> - **[[20.10] ViT : À la conquête d'un nouveau monde](/blog/papers/vision-transformers/vit)**\n\n\nCe travail de Google DeepMind est signé Samuel L. Smith, Andrew Brock, Leonard Berrada et Soham De. Andrew Brock est le premier auteur de NFNet. Le texte principal ne fait que quatre pages, et les auteurs le qualifient eux-mêmes de note dans les remerciements. Une seule question : à budget de préentraînement comparable, le ViT reste-t-il meilleur que le réseau convolutif ?\n\n## Définir le problème\n\nLes auteurs trouvent en réalité peu de preuves solides à l'appui de cette idée.\n\nD'abord, de nombreux articles sur les ViT les comparent au ResNet original : une nouvelle recette face à une ancienne référence.\n\nEnsuite, l'écart de calcul est énorme. Les meilleurs ViT ont consommé plus de 500 000 heures-cœur TPU-v3 pour leur préentraînement, bien au-delà des budgets jamais consacrés aux réseaux convolutifs.\n\nLes auteurs conservent donc l'architecture et la procédure d'entraînement de NFNet, en ne réglant que des hyperparamètres simples comme le taux d'apprentissage et le nombre d'epochs, puis le portent à la même échelle. NFNet est un réseau purement convolutif de 2021, contemporain des premiers articles sur les ViT. Les auteurs le décrivent comme le dernier réseau convolutif à avoir établi un nouveau meilleur résultat sur ImageNet.\n\n\n> [!TIP]\n> \n> NFNet retire BatchNorm et s'appuie sur l'écrêtage adaptatif des gradients pour entraîner de grands batchs :\n> \n> - **[[21.02] NFNet : La vie sans BN](/blog/papers/classic-cnns/nfnet)**\n\n\n## Résoudre le problème\n\n### Protocole expérimental\n\nLe préentraînement utilise JFT-4B : environ 4 milliards d'images étiquetées, réparties en 30 000 classes. Les images quasi identiques à celles des ensembles d'entraînement et de validation d'ImageNet sont retirées au préalable. Ce jeu de données est privé.\n\nLes modèles reprennent différentes profondeurs et largeurs de la famille NFNet. F1 est deux fois plus profond que F0, F3 deux fois plus profond que F1, et F7 deux fois plus profond que F3. F3+ et F7+ augmentent la largeur sans changer la profondeur.\n\nChaque modèle est entraîné plusieurs fois entre 0.25 et 8 epochs, avec décroissance cosinus du taux d'apprentissage. L'optimiseur est SGD avec momentum et l'écrêtage adaptatif des gradients (AGC) de NFNet, pour un batch de 4096 et une résolution de 224×224.\n\nLe calcul est compté en heures-cœur TPU-v4, de 0.4k à 110k. Un cœur TPU-v4 a environ deux fois la puissance théorique d'un cœur TPU-v3, pour une mémoire voisine. Il faut donc convertir les chiffres TPU-v3 des articles sur les ViT ; nous y reviendrons.\n\n### Lois d'échelle de la perte de préentraînement\n\n[![Figure 2 de l'article : graphique logarithmique sur les deux axes. L'axe horizontal représente le préentraînement en heures-cœur TPU-v4, d'environ 10³ à 10⁵ ; l'axe vertical donne la perte de validation sur la partie réservée de JFT-4B, d'environ 2.4 à 3.0. Six courbes représentent F0, F1, F3, F3+, F7 et F7+, les points correspondant à différents nombres d'epochs. Les courbes suivent globalement une même droite descendante ; celle de F7+ est un peu irrégulière au milieu.](/content/papers/assets/2fa2168f7bc3a058a806eeda379d056c232c85461c0928339b15af2ecdd2da7b.png)](/content/papers/assets/2fa2168f7bc3a058a806eeda379d056c232c85461c0928339b15af2ecdd2da7b.png)\n\n*Figure 2 de Smith et al., extraite de la [**page 3 du PDF**](https://arxiv.org/pdf/2310.16764v1#page=3). La légende originale est omise.*\n\nChaque courbe correspond à un modèle, et ses points à différents nombres d'epochs. Les deux axes sont logarithmiques. L'enveloppe inférieure des courbes forme à peu près une droite : la perte de validation suit donc une loi de puissance en fonction du calcul. Les lois d'échelle des modèles de langage ont cette forme, et NFNet aussi.\n\nPour chaque budget, un modèle et un nombre d'epochs minimisent la perte. Les auteurs constatent qu'ils augmentent ensemble : la règle empirique consiste à faire croître la taille du modèle et le nombre d'epochs au même rythme, comme dans les conclusions de Chinchilla pour le langage. Au-delà d'environ 5k heures-cœur TPU-v4, le nombre optimal d'epochs dépasse 1.\n\nLa courbe de F7+ est moins régulière. Selon les auteurs, lors d'une interruption puis d'une reprise, le chargement des données ne garantit pas que chaque image soit vue exactement une fois par epoch. Après plusieurs reprises, certains exemples sont donc moins vus.\n\n\n> [!TIP]\n> \n> Pour les lois d'échelle des modèles de langage et Chinchilla :\n> \n> - **[[20.01] Scaling Laws : Les lois de changement d'échelle des modèles](/blog/papers/transformers/scaling_laws)**\n> - **[[22.03] Chinchilla : Le regard du chinchilla](/blog/papers/transformers/chinchilla)**\n\n\n### Taux d'apprentissage\n\n[![Figure 3 de l'article : l'axe horizontal donne les epochs d'entraînement, de 0.25 à 8 en échelle logarithmique, et l'axe vertical le taux d'apprentissage optimal, de 0.4 à 1.6. F0, F3 et F7+ restent tous à 1.6 entre 0.25 et 1 epoch. La ligne en pointillés de F7+ descend à 0.8 à 2 epochs et à 0.4 à 4 epochs. F3 est à 0.8 pour 2 à 4 epochs, puis à 0.4 à 8 epochs. F0 reste à 1.6 jusqu'à 4 epochs et ne descend à 0.8 qu'à 8 epochs.](/content/papers/assets/554306115d516021efec1a96e4e6c57bb4da8ff8846a0b351408df22429c19a4.png)](/content/papers/assets/554306115d516021efec1a96e4e6c57bb4da8ff8846a0b351408df22429c19a4.png)\n\n*Figure 3 de Smith et al., extraite de la [**page 3 du PDF**](https://arxiv.org/pdf/2310.16764v1#page=3). La légende originale est omise.*\n\nLa recherche du taux d'apprentissage utilise une grille logarithmique par facteurs de 2. Jusqu'à 1 epoch, les trois modèles préfèrent 1.6. Quand le nombre d'epochs augmente, le taux optimal baisse, d'autant plus tôt que le modèle est grand.\n\nL'intérêt pratique est là. Les auteurs expliquent que cette baisse lente et monotone avec la taille du modèle et la durée d'entraînement permet généralement de trouver le taux optimal en environ deux essais.\n\n## Discussion\n\n### Ajustement sur ImageNet\n\nLes modèles préentraînés sont ajustés sur ImageNet pendant 50 epochs avec SAM, stochastic depth et dropout. La résolution est de 384×384 à l'entraînement et de 480×480 à l'évaluation.\n\n[![Figure 1 de l'article : graphique logarithmique sur les deux axes. L'axe horizontal représente les heures-cœur TPU-v4 de préentraînement, d'environ 10³ à 10⁵ ; l'axe vertical donne le taux d'erreur top-1 sur ImageNet, d'environ 9.5% à 14%. Les cinq courbes F1, F3, F3+, F7 et F7+ descendent vers la droite. En bas à droite, les points bruns représentent F7+ avec repeated augmentation ; les étoiles rose, grise et jaune sont respectivement ViT-g/14, ViT-G/14 et SoViT-400m/14. L'extrémité de F7+ est à leur hauteur.](/content/papers/assets/3e69462cce7a0dbd3fc43590ac1f01d23631b4677d04be8bdeae74e6b987e620.png)](/content/papers/assets/3e69462cce7a0dbd3fc43590ac1f01d23631b4677d04be8bdeae74e6b987e620.png)\n\n*Figure 1 de Smith et al., extraite de la [**page 2 du PDF**](https://arxiv.org/pdf/2310.16764v1#page=2). La légende originale est omise.*\n\nL'axe vertical donne l'erreur : plus bas est meilleur. Pour tous les modèles, accroître le calcul de préentraînement réduit l'erreur après ajustement.\n\nLes points en bas à droite sont déterminants. Le plus grand F7+ est préentraîné pendant 8 epochs, pour environ 110k heures-cœur TPU-v4 de préentraînement et 1.6k d'ajustement, et atteint 90.3% top-1 sur ImageNet. Avec repeated augmentation à l'ajustement, il atteint 90.4%. À titre de comparaison, le meilleur NFNet sans données supplémentaires plafonnait auparavant à 86.8%.\n\nRegardons maintenant les ViT. Les auteurs mesurent leur vitesse d'entraînement sur TPU-v4 avec le code des auteurs de ViT, puis convertissent les coûts TPU-v3 publiés :\n\n| Modèle | ImageNet top-1 | Préentraînement rapporté | Équivalent TPU-v4 |\n| --- | ---: | --- | ---: |\n| ViT-g/14 | 90.2% | 210k heures-cœur TPU-v3 | Environ 120k |\n| ViT-G/14 | 90.45% | Plus de 500k heures-cœur TPU-v3 | Environ 280k |\n| SoViT-400m/14 | 90.3% | 230k heures-cœur TPU-v3 | Environ 130k |\n| NFNet-F7+ | 90.3% | — | Environ 110k |\n| NFNet-F7+ (avec RA) | 90.4% | — | Environ 110k |\n\n*Tableau : synthèse du texte de la page 3 de l'article. Les ViT utilisent JFT-3B pour le préentraînement, NFNet utilise JFT-4B.*\n\nÀ calcul comparable, la précision est comparable. ViT-G/14 gagne 0.05 point en consommant deux fois et demie le calcul de F7+.\n\n### La perte la plus basse ne donne pas toujours le meilleur ajustement\n\nAutre observation : à calcul de préentraînement fixé, le modèle dont la perte de validation JFT-4B est minimale n'est pas toujours le meilleur sur ImageNet après ajustement. Celui-ci favorise un modèle un peu plus grand et un nombre d'epochs un peu plus faible ; parfois, un taux d'apprentissage de préentraînement légèrement supérieur aide aussi. Les auteurs avancent qu'une capacité accrue facilite l'adaptation aux nouvelles tâches.\n\nC'est un point à garder en tête pour choisir un modèle à partir des lois d'échelle. Elles prédisent la perte de préentraînement ; l'optimum de la tâche finale se situe un peu à côté.\n\n### Portée de la comparaison\n\nPlusieurs conditions encadrent ces résultats.\n\nLa précision et le calcul des ViT proviennent des articles d'origine, sans réentraînement dans une procédure commune. Les coûts sont estimés à partir de mesures, tandis que NFNet a été optimisé pour TPU-v4 ; les auteurs reconnaissent ses performances plus faibles sur d'autres matériels. La seule tâche comparée est l'ajustement pour la classification ImageNet, sans détection, segmentation ni multimodalité. JFT-4B est privé, et ni code ni poids ne sont fournis : une équipe extérieure ne peut pas reproduire l'expérience.\n\nLes auteurs restent mesurés. Selon eux, une comparaison équitable ne fournit aucune preuve forte d'une supériorité des ViT préentraînés sur les réseaux convolutifs préentraînés. Ils reconnaissent aussi des avantages pratiques des ViT dans certains contextes, notamment la réutilisation des mêmes composants entre modalités.\n\n## Conclusion\n\nDès la première phrase de leur discussion, les auteurs rattachent ce résultat à « l'amère leçon » de Rich Sutton. Avec une conception raisonnable, c'est-à-dire assez expressive et assurant un passage stable des gradients, le calcul et les données d'entraînement déterminent l'essentiel des performances.\n\nSans aucune modification d'architecture, NFNet rejoint les ViT dès qu'il reçoit un budget comparable. Après plusieurs années de débats sur les architectures, cette note invite à aligner d'abord les budgets.\n\nPour la plupart des équipes, la leçon est encore plus amère : JFT-4B reste chez Google, et 110k heures-cœur TPU-v4 dépassent le budget accessible à un laboratoire ordinaire.\n","imageSizes":{"/content/papers/assets/2fa2168f7bc3a058a806eeda379d056c232c85461c0928339b15af2ecdd2da7b.png":{"width":942,"height":636},"/content/papers/assets/554306115d516021efec1a96e4e6c57bb4da8ff8846a0b351408df22429c19a4.png":{"width":954,"height":636},"/content/papers/assets/3e69462cce7a0dbd3fc43590ac1f01d23631b4677d04be8bdeae74e6b987e620.png":{"width":1830,"height":828}}}