Make RepVGG Greater Again: A Quantization-Aware Approach
- Publication
- AAAI 2024Conférence
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@inproceedings{reparameterizationqarepvgg2024,
title = {{Make RepVGG Greater Again: A Quantization-Aware Approach}},
author = {Xiangxiang Chu and Liang Li and Bo Zhang},
year = {2024},
booktitle = {AAAI},
url = {https://doi.org/10.1609/aaai.v38i10.29045},
doi = {10.1609/aaai.v38i10.29045}
}
À l'entraînement, RepVGG utilise un réseau surparamétré à plusieurs branches ; à l'inférence, il fusionne ces branches en une seule. C'est la « reparamétrisation ».
Définir le problème
Cette conception par « reparamétrisation » est largement employée comme composant de base, tant pour les tâches visuelles de bas niveau que de haut niveau.
Des méthodes récentes de détection d'objets comme YOLOv6 et YOLOv7 reposent sur ce type de composant.
Mais...
RepVGG ne se quantifie pas !
La quantification est une méthode efficace de compression des modèles : elle projette les poids du réseau et les données d'entrée vers une précision plus faible, généralement INT8, pour accélérer le calcul. L'efficacité de calcul peut s'en trouver fortement améliorée.
- La quantification après entraînement (PTQ) est la solution la plus courante, puisqu'elle n'exige que quelques lots d'images pour calibrer ses paramètres et aucun entraînement supplémentaire.
- L'entraînement conscient de la quantification (QAT) vise à améliorer la précision quantifiée. Comme il impose généralement de modifier le code d'entraînement et ajoute des coûts, on le réserve souvent aux cas où l'on possède ce code et où la PTQ ne donne pas de résultats satisfaisants.
Il n'y a pas de gain sans compromis : quelle que soit la méthode, la quantification s'accompagne généralement d'une perte de précision. On peut l'accepter pour le déploiement tant que les performances n'en souffrent « pas trop ».
- Mais après quantification de RepVGG, la précision chute de 20 % !
Autant dire que cela n'a aucune utilité pratique !
D'abord, pourquoi ?
Les auteurs évaluent d'abord plusieurs modèles RepVGG à l'aide du code officiel. Comme le montre le tableau ci-dessus, après une PTQ standard, la précision top-1 de RepVGG-A0 sur la validation ImageNet passe de 72,4 % à 52,2 %, soit une chute de 20,2 points !
La quantification d'un tenseur s'écrit généralement :
arrondit une valeur flottante à l'entier le plus proche et ramène les valeurs qui dépassent les bornes dans le domaine de quantification. est un facteur d'échelle qui projette le tenseur dans une plage donnée, définie par :
et sont les deux bornes choisies pour représenter au mieux la distribution des valeurs de . La variance de l'erreur de quantification vaut . La question devient donc : comment réduire l'écart entre et ?
En pratique, on peut choisir ces bornes de plusieurs façons. On prend parfois simplement le maximum et le minimum, notamment pour les poids. Dans d'autres cas, on optimise la MSE ou l'entropie de l'erreur de quantification, souvent pour les activations. La qualité du choix dépend de nombreux facteurs, comme la variance du tenseur ou la présence de valeurs aberrantes.
Dans un réseau neuronal, deux éléments doivent surtout être quantifiés et peuvent faire baisser la précision : les poids et les activations. Celles-ci servent aussi d'entrée à la couche suivante, si bien que leurs erreurs s'accumulent de couche en couche. Une bonne quantification demande donc principalement deux conditions :
- : la distribution des poids est favorable à la quantification et sa plage reste raisonnable ;
- : celle des activations, c'est-à-dire la réponse du modèle aux caractéristiques d'entrée, l'est aussi.
De façon empirique, nous qualifions de favorables à la quantification les distributions de poids ou d'activations à faible variance et comportant peu de valeurs aberrantes. Si l'une des deux conditions manque, la quantification fonctionne mal.
Les auteurs montrent ensuite la distribution des poids de RepVGG-A0 :
Cette figure présente la distribution et l'écart-type des poids de chaque couche.
Les poids se répartissent de façon régulière autour de zéro, sans valeurs aberrantes marquées : la condition C1 paraît satisfaite. Les auteurs vérifient donc si C2 est en cause, autrement dit si les activations dégradent fortement la quantification. Malheureusement, ces activations dépendent de l'entrée et des poids appris.
Ils évitent donc de supposer quoi que ce soit sur la distribution des poids ou des activations et analysent l'écart de chaque branche.
La régularisation amplifie la variance des activations
Avant d'aller plus loin, présentons les opérations d'un bloc RepVGG typique.
Les auteurs reprennent les notations de RepVGG pour faciliter la lecture.
Le noyau d'une convolution est noté , où et sont les nombres de canaux d'entrée et de sortie. Dans RepVGG, . Pour la BN qui suit la convolution , , , et désignent la moyenne, l'écart-type, le facteur d'échelle et le biais. La BN de la branche identité utilise , , et .
Soient et l'entrée et la sortie, et l'opération de convolution.
On note , et les sorties des branches identité, et .
Sans perte de généralité, supposons , et .
La sortie s'écrit alors :
La BN de la branche peut ensuite s'écrire :
Ici, est une multiplication élément par élément ; est un petit nombre, par défaut , qui assure la stabilité numérique. La BN modifie donc les statistiques de son entrée, notamment sa moyenne et sa variance.
Dans cette formule, un changement de n'influe pas sur l'erreur de quantification, tandis qu'un changement de variance touche directement la précision quantifiée. En termes de probabilités, pour une variable aléatoire et un scalaire , la variance de , soit , vaut .
Si , alors :
La valeur de détermine si la variance de augmente ou diminue et peut ainsi détériorer ou améliorer la quantification.
Sur cette base, les auteurs examinent de plus près RepVGG.
Un composant essentiel, mais facile à manquer, est sa décroissance des poids « personnalisée ». Elle améliore la précision et favorise la quantification en régularisant les poids des différentes branches comme ceux de leur convolution fusionnée équivalente, ce qui peut rendre ces poids favorables à la quantification. Cette perte s'écrit essentiellement :
Pour réduire cette perte, l'optimiseur est incité à accroître son dénominateur, ce qui amplifie la variance des activations et gêne leur quantification. En somme, le personnalisé favorise des poids faciles à quantifier, au prix d'activations plus difficiles à quantifier.
Une manière simple de résoudre cette amplification de la variance consiste à retirer le dénominateur de la formule :
Le tableau suivant donne les résultats :
Sans ce dénominateur, la précision FP32 n'est plus que de 71,5 %, soit 0,7 point de moins que la référence. Mais, surprise, la précision après quantification monte fortement à 61,2 %.
Cette méthode nécessite toutefois encore une conversion équivalente peu commode. Une autre option est d'appliquer directement la régularisation ordinaire. En plus d'être plus simple, ce donne des résultats légèrement meilleurs que la formule précédente.
Les auteurs choisissent donc cette solution comme implémentation par défaut (M1).
Des poids aberrants incontrôlables
La précision FP32 baisse de 0,5 point par rapport à la référence, mais la précision INT8 augmente de 11,3 points. Pourtant, même sans régularisation explicitement destinée à amplifier la variance des activations, cette conception ne suffit toujours pas en pratique. Les auteurs examinent alors directement la distribution des poids.
Les poids fusionnés s'écrivent d'abord :
Ici, adapte la forme au noyau convolutionnel .
Dans cette architecture, et sont appris, tandis que est une matrice identité fixe, sans décroissance pendant l'entraînement. Les facteurs et dépendent respectivement des sorties des branches convolutionnelles et .
En revanche, dépend directement de la sortie de la couche précédente. La branche identité est particulière, car ses activations traversent une ReLU avant d'entrer dans la BatchNorm.
Le risque est grand : si un canal ne s'active jamais et ne contient que des zéros, son devient très petit et produit un facteur extrême . Ce cas est fréquent dans les réseaux qui utilisent beaucoup de ReLU.
Un tel facteur peut alors dominer la distribution du noyau convolutionnel fusionné et nuire fortement à sa quantification.
La mauvaise quantification s'explique ainsi par une violation de C1, source d'erreurs irrécupérables.
Les auteurs présentent ensuite les facteurs des trois branches dans la figure suivante.
Aux couches 5 et 6, les maxima de pour la branche identité atteignent respectivement 692,1107 et 1477,3732.
Ils répètent l'expérience trois fois et retrouvent chaque fois ce phénomène.
Résoudre le problème
En partant de la perte ordinaire (M1), les auteurs modifient la structure de reparamétrisation pour résoudre ces problèmes.
La conception finale retire les BN des branches identité et , puis en ajoute une après l'addition des trois branches. Les auteurs commencent par retirer uniquement la BN de la branche identité (M2), afin d'éliminer les poids aberrants incontrôlables et de satisfaire C1.
Ils appellent S2 la combinaison de M1 et M2 ; ses résultats figurent à la troisième ligne du tableau suivant.
L'analyse de l'erreur de quantification des poids confirme que cette version satisfait C1. Sa précision FP32 descend à 70,7 % et sa précision INT8 n'est que de 62,5 % : elle reste inutilisable. Les auteurs vérifient donc si C2 est violée. Si les branches et ont la même moyenne, leur somme peut facilement amplifier la variance.
C'est un cas fréquent dans RepVGG, qui utilise ReLU comme activation. Si la plupart des entrées sont négatives, on obtient d'un côté des neurones « morts », ce qui est nuisible. Si toutes les entrées sont positives, on perd de l'autre la non-linéarité, ce qui n'est pas souhaitable non plus. Empiriquement, de nombreux CNN modernes performants présentent une moyenne proche de zéro avant ReLU.
En adoptant cette hypothèse, on obtient :
Si les branches et ont la même moyenne, alors :
Comme , l'addition des trois branches tend à amplifier la variance, comme le montre la figure suivante. La conception initiale de RepVGG rencontre malheureusement ce problème.
Plusieurs solutions simples permettent de mieux contrôler la variance, comme l'indique le tableau suivant :
Les auteurs retirent la BN de la branche (M3), car cette solution obtient la meilleure précision INT8 dans cette comparaison. L'ensemble M1 + M2 + M3 est nommé S3. Il atteint sur ImageNet 70,1 % de top-1 en FP32 et 69,5 % en INT8, améliorant fortement la quantification.
Sa précision FP32 reste pourtant trop faible.
Les auteurs estiment que la somme des trois branches modifie la distribution statistique. Ils ajoutent donc une normalisation par lot supplémentaire après l'addition (M4) pour stabiliser l'entraînement et nomment S4 la combinaison de M1 à M4.
Cette BN finale n'empêche pas la fusion dans un noyau équivalent pour le déploiement. Elle porte la précision FP32 de leur modèle A0 sur ImageNet de 70,1 % à 72,2 %, et sa précision INT8 à 70,4 %.
En résumé, ces quatre changements, M1 à M4, forment QARepVGG. Sa précision FP32 est comparable à celle de RepVGG, tandis que sa performance INT8 lui est nettement supérieure.
Discussion
Performances sur ImageNet
Les résultats montrent que la précision INT8 de RepVGG est beaucoup plus faible que sa précision FP32.
Par exemple, le top-1 de RepVGG-B0 s'effondre de 75,1 % à 40,2 %. À l'inverse, dans le tableau, l'écart entre FP32 et INT8 de tous les modèles QARepVGG reste inférieur à deux points de pourcentage. Les variantes RepVGG à convolutions groupées souffrent particulièrement : après PTQ, RepVGG-B2g4 passe de 78,5 % à 13,7 %, une chute de 64,8 points. QARepVGG-B2g4, lui, ne perd que 0,7 point, ce qui suggère une quantification plus stable pour ces configurations.
RepOpt-VGG emploie une reparamétrisation des gradients et sa précision quantifiée dépend fortement de la recherche d'échelle. Comme seuls certains modèles préentraînés sont disponibles, les auteurs réentraînent RepOpt-VGG-A0/B0 pour la comparaison.
RepOpt-VGG-A0 atteint 70,3 % en FP32 sur ImageNet, soit 2,1 points de moins que le résultat officiel de RepVGG-A0. Même si sa quantification est meilleure que celle de RepVGG initial, sa précision PTQ dans le tableau reste inférieure à celle du QARepVGG correspondant. La méthode des auteurs évite aussi les 240 époques supplémentaires sur CIFAR-100 consacrées à la recherche d'échelle de RepOpt-VGG.
Enfin, les auteurs comparent les deux modèles avec le QAT de la boîte à outils de quantification NVIDIA. Avec QAT, QARepVGG obtient, pour les trois configurations du tableau, une précision INT8 supérieure de 1,0 à 5,6 points à celle de RepVGG + QAT. Cette phase de QAT dure dix époques, dont les trois premières de préchauffage, avec un taux d'apprentissage initial de 0,01.
Conclusion
Par une analyse théorique et quantitative, cette étude examine en détail les raisons de l'échec de RepVGG, célèbre architecture reparamétrée, lors de sa quantification. Les auteurs observent que des défauts de structure amplifient les erreurs de quantification, qui s'accumulent et dégradent les résultats. Ils conçoivent donc QARepVGG, dont les distributions de poids et d'activations sont plus favorables à la quantification.
QARepVGG préserve les bonnes performances FP32 de RepVGG tout en simplifiant fortement la quantification pour le déploiement. Cette étude souligne l'intérêt d'intégrer les contraintes de quantification dès la conception de l'architecture afin d'améliorer les performances globales du modèle. QARepVGG offre ainsi une référence utile aux futures conceptions.