A ConvNet for the 2020s
- Publication
- CVPR 2022Conférence
- Premier dépôt sur arXiv
- arXiv:2201.03545
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{classiccnnsconvnext2022,
title = {{A ConvNet for the 2020s}},
author = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
year = {2022},
eprint = {2201.03545},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2201.03545}
}
Les années 2010 ont apporté des avancées considérables au deep learning, avec des effets profonds dans de nombreux domaines.
Cette évolution a été portée par le renouveau des réseaux de neurones, en particulier des réseaux convolutifs (ConvNet).
En dix ans, la reconnaissance visuelle est passée de la conception de caractéristiques à la main à celle d'architectures convolutives.
L'idée des ConvNets remonte aux années 1980, mais c'est en 2012, avec AlexNet, que nous avons réellement vu leur potentiel pour apprendre des caractéristiques visuelles. Ce fut le « moment ImageNet » qui ouvrit une nouvelle époque pour la vision par ordinateur.
Le domaine a ensuite progressé rapidement, avec notamment :
- [14.09] VGG
- [14.09] GoogLeNet
- [15.12] ResNet
- [16.08] DenseNet
- [17.04] MobileNet
- [19.05] EfficientNet
- [20.03] RegNet
Ces études marquantes ont souligné l'efficacité et la capacité à changer d'échelle, et ont popularisé de nombreux principes de conception pratiques.
Mais tout cela s'est brusquement arrêté avec l'arrivée de ViT.
Définition du problème
L'apparition du Vision Transformer (ViT) a bouleversé la conception des réseaux. Hormis la première couche qui découpe l'image en patches, il n'introduit pas de biais inductif particulier aux images et modifie très peu le Transformer initialement conçu pour le langage.
L'un des grands atouts de ViT est sa capacité à grandir : avec un modèle et un jeu de données plus grands, il dépasse nettement un ResNet standard.
Pour réduire cet écart de performance, les Transformers hiérarchiques ont adopté des stratégies hybrides. La « fenêtre glissante », par exemple, réintroduit une attention locale qui les rapproche du comportement des ConvNets.
Swin Transformer est une étape importante : il a montré pour la première fois qu'un Transformer pouvait servir de backbone visuel général et obtenir des résultats de pointe sur d'autres tâches de vision que la classification.
Son succès et son adoption rapide montrent aussi combien la convolution reste difficile à remplacer dans son essence.
À regarder ces progrès, beaucoup d'améliorations des Transformers visuels semblent en réalité retrouver les avantages de la convolution.
Mais cela a un coût : l'attention par fenêtres glissantes peut être chère à implémenter. Le décalage cyclique et d'autres techniques améliorent l'efficacité, tout en compliquant le système.
Ironiquement, les ConvNets possèdent déjà beaucoup de ces qualités, même sous une forme simple.
S'ils ont perdu de leur élan, c'est seulement parce que les Transformers les ont dépassés sur plusieurs tâches visuelles.
Les auteurs pensent que cela ne devrait pas être une fatalité.
Résolution du problème
Repenser l'architecture du réseau
Pour simplifier la comparaison, les auteurs partent de ResNet-50 et prennent comme référence un Swin Transformer d'une taille proche.
Introduire des méthodes d'entraînement modernes
ViT a apporté une nouvelle architecture, mais aussi beaucoup de méthodes d'entraînement modernes. Les auteurs commencent donc par appliquer la recette de ViT à un ConvNet sans changer son architecture.
-
Passer de 90 à 300 époques d'entraînement.
-
Utiliser l'optimiseur AdamW.
-
Utiliser des méthodes d'augmentation d'images :
-
Utiliser les méthodes de régularisation suivantes :
Conception générale
Deux choix de conception sont étudiés ici :
-
Répartition du calcul entre étapes
Dans ResNet, la répartition du calcul entre les étapes repose surtout sur l'expérience.
Par exemple, sa quatrième étape cherche à rester compatible avec les tâches suivantes, comme la détection d'objets dont la tête agit sur une carte de 14×14.
Swin-T suit un principe semblable, avec une répartition légèrement différente de 1:1:3:1. Pour de plus grands Swin Transformers, elle devient 1:1:9:1.
Pour garder des FLOPs proches de Swin-T, les auteurs changent le nombre de blocs de ResNet-50, de (3, 4, 6, 3) à (3, 3, 9, 3).
Tous les modèles suivants conservent cette répartition.
-
Conception du stem
Dans un réseau convolutif, le stem est la couche initiale qui reçoit l'entrée.
Elle sert généralement au sous-échantillonnage pour réduire rapidement la taille spatiale.
Dans ViT, le stem découpe l'image en patches au moyen d'une grande convolution 16×16.
Dans Swin-T, il s'agit d'une convolution 4x4 de pas 4.
Les auteurs choisissent ici la même solution que Swin-T : un stem convolutif 4×4 sans chevauchement pour ResNet-50.
À la manière de ResNeXt
Les auteurs s'inspirent ensuite de ResNeXt, qui offre un meilleur compromis FLOPs/précision que le ResNet ordinaire.
L'idée centrale de ResNeXt est la convolution groupée : les filtres sont divisés en différents groupes.
Sa règle est d'« utiliser davantage de groupes et d'élargir le réseau » ; la convolution 3×3 est donc groupée.
Dans cet article, les auteurs vont jusqu'à la convolution depthwise, un cas particulier où il y a autant de groupes que de canaux.
Elle ressemble à l'opération de somme pondérée de l'auto-attention : chaque canal est traité séparément et seule l'information spatiale est mélangée.
La convolution depthwise réduit efficacement les FLOPs, mais les auteurs s'attendent à une baisse de précision.
Sur la figure, les FLOPs descendent alors à 2,4 G et la précision Top-1 passe de 79,5 % à 78,3 %.
Suivant la stratégie de ResNeXt, les auteurs élargissent ensuite le réseau pour atteindre le nombre de canaux de Swin-T, de 64 à 96.
Goulot inversé
Chaque bloc Transformer contient une structure de goulot inversé, généralement avec un facteur d'expansion de 4.
MobileNetV2 a ensuite popularisé ce concept, avec une convolution depthwise 3x3 après l'expansion.
Dans la figure, (a) est le bloc ResNeXt de base ; (b) suit la conception du goulot inversé de MobileNetV2 ; (c) déplace la convolution depthwise 3x3 vers l'avant, pour préparer l'étude des grands noyaux dans la section suivante.
Convolutions à grand noyau
L'auto-attention non locale de ViT est importante parce qu'elle donne au réseau un champ réceptif global à chaque couche.
C'est différent du ConvNet classique, avec ses petits noyaux, par exemple 3×3 popularisé par VGGNet.
Pour étudier les grands noyaux, les auteurs déplacent la convolution depthwise vers le début du bloc, un peu comme les Transformers placent MHSA avant le MLP.
Ce seul déplacement réduit les FLOPs, mais la précision baisse provisoirement de 80,6 % à 79,9 %.
Après cette modification, ils essaient des noyaux de différentes tailles, de 3×3 à 11×11 :
- 3x3 : 79,9 %
- 7x7 : 80,6 %
Avec un noyau 7×7, la précision passe de 79,9 % à 80,6 %, pour des FLOPs à peu près inchangés.
Dans le modèle ResNet-200, des noyaux plus grands que 7×7 n'apportent pas de gain supplémentaire : les performances semblent plafonner à cette taille.
Conception détaillée
-
Remplacer ReLU par GELU
ReLU est depuis longtemps l'activation préférée des ConvNets grâce à sa simplicité et à son faible coût.
GELU, une variante plus lisse, est devenue populaire dans des Transformers avancés comme BERT de Google et GPT-2 d'OpenAI.
Les auteurs remplacent ReLU par GELU dans leur ConvNet, mais la précision reste inchangée.
-
Réduire le nombre d'activations
Dans les Transformers, notamment leurs blocs MLP, on utilise généralement une seule fonction d'activation.
Dans un bloc ResNet, une activation suit en revanche chaque convolution, y compris les petites convolutions 1×1.
Les auteurs retirent toutes les activations GELU du bloc résiduel, sauf celle qui reste entre les deux convolutions 1×1, dans l'esprit d'un bloc Transformer.
Cette modification fait gagner 0,7 point de précision, de 80,6 % à 81,3 %, près du niveau de Swin-T.
-
Réduire le nombre de normalisations
Les Transformers emploient généralement moins de couches de normalisation, alors que les ConvNets mettent souvent Batch Normalization après chaque convolution.
Les auteurs retirent donc deux couches BN et ne gardent qu'une normalisation avant la convolution 1x1.
-
Remplacer BatchNorm par LayerNorm
Les Transformers utilisent la Layer Normalization, plus simple, avec de bons résultats dans plusieurs applications.
Remplacer directement BN par LN dans le ResNet initial donnait de mauvais résultats.
Après toutes les modifications de l'architecture et de l'entraînement, les auteurs reviennent sur ce remplacement et constatent que le ConvNet s'entraîne sans difficulté avec LN.
-
Couches de sous-échantillonnage
Dans ResNet, la réduction spatiale intervient au début de chaque étape, avec une convolution 3×3 de pas 2 dans le bloc résiduel et une convolution 1×1 de pas 2 dans le raccourci.
Swin Transformer ajoute plutôt une couche de réduction indépendante entre les étapes. Les auteurs essaient eux aussi une convolution 2×2 de pas 2 séparée, mais un remplacement direct fait diverger l'entraînement.
Ils constatent qu'une normalisation aux endroits où la résolution change aide à stabiliser l'entraînement.
Ils ajoutent donc plusieurs LayerNorm comme dans Swin Transformer : avant chaque couche de réduction, après le stem et après le pooling moyen global final.
Leur modèle final utilise cette couche de réduction indépendante. Ils le nomment ConvNeXt.
Discussion
Configurations des modèles
Ces modèles sont des versions « modernisées » de ResNet. Leurs variantes diffèrent surtout par le nombre de canaux (C) et le nombre de blocs (B) à chaque étape.
Voici leur configuration :
-
ConvNeXt-T (Tiny) :
- Canaux C = (96, 192, 384, 768)
- Blocs B = (3, 3, 9, 3)
-
ConvNeXt-S (Small) :
- Canaux C = (96, 192, 384, 768)
- Blocs B = (3, 3, 27, 3)
-
ConvNeXt-B (Base) :
- Canaux C = (128, 256, 512, 1024)
- Blocs B = (3, 3, 27, 3)
-
ConvNeXt-L (Large) :
- Canaux C = (192, 384, 768, 1536)
- Blocs B = (3, 3, 27, 3)
-
ConvNeXt-XL (Extra Large) :
- Canaux C = (256, 512, 1024, 2048)
- Blocs B = (3, 3, 27, 3)
Le nombre de canaux double à chaque nouvelle étape, dans la continuité de la conception de ResNet et de Swin Transformer.
Cette hiérarchie permet de choisir une taille de modèle plus souple selon la taille et la difficulté des données, tout en recherchant de bonnes performances et une bonne efficacité.
Résultats sur ImageNet
Les 82,0 % de la feuille de route précédente sont la moyenne de trois graines aléatoires dans l'ablation de taille ResNet-50 ; le tableau ci-dessous donne 82,1 % pour le ConvNeXt-T final.
-
Comparaison sur ImageNet-1K :
- Face aux ConvNets de référence : ConvNeXt rivalise en précision et en débit d'inférence avec des modèles solides comme RegNet et EfficientNet.
- Face aux Swin Transformers : à complexité comparable, ConvNeXt obtient généralement de meilleures performances ; ConvNeXt-T dépasse par exemple Swin-T de 0,8 point dans le tableau. Il affiche aussi un débit plus élevé sans modules propres aux Transformers tels que les fenêtres décalées et le biais de position relative.
- Exemple d'un modèle précis : quand la résolution passe de 224² à 384², ConvNeXt-B prend un avantage plus marqué sur Swin-B en FLOPs et en débit. À 384², il dépasse sa précision Top-1 de 0,6 point (85,1 % contre 84,5 %) et son débit d'inférence sur V100 de 12,5 %.
-
Comparaison sur ImageNet-22K :
- Effet du préentraînement à grande échelle : on considère souvent les Transformers visuels avantagés par de grandes données. Ces expériences montrent qu'un ConvNet bien conçu comme ConvNeXt peut faire aussi bien ou mieux qu'un Swin Transformer de taille comparable après ce préentraînement, avec un débit légèrement supérieur.
- ConvNeXt-XL : préentraîné sur ImageNet-22K, ajusté sur ImageNet-1K puis évalué à 384², il atteint 87,8 % de précision Top-1, ce qui montre que l'architecture peut changer d'échelle.
-
Atouts de l'architecture ConvNeXt :
- Sur ImageNet-1K, EfficientNetV2-L obtient la meilleure performance avec sa procédure d'entraînement progressif.
- Après préentraînement sur ImageNet-22K, ConvNeXt-XL dépasse EfficientNetV2-XL dans le tableau (87,8 % contre 87,3 %), mais utilise aussi davantage de paramètres et de FLOPs ; il faut inclure ce coût dans la lecture.
Conclusion
Dans les années 2020, avec la montée des Transformers visuels hiérarchiques comme Swin, les ConvNets classiques semblent parfois devenir un choix inférieur.
Pourtant, ConvNeXt montre qu'une structure convolutive simple et efficace peut encore rivaliser avec les meilleurs Transformers visuels sur plusieurs références de vision par ordinateur.
La bataille ne fait que commencer !