Retour à la bibliothèque
arXiv 2021CVPR 2021ReparamétrisationNotes de lecture

DBB

Six disciples

Article original

Diverse Branch Block: Building a Convolution as an Inception-like Unit

Auteurs de l’article

Xiaohan Ding · Xiangyu Zhang · Jungong Han · Guiguang Ding

Publication
CVPR 2021Conférence
Premier dépôt sur arXiv
arXiv:2103.13425
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{reparameterizationdbb2021,
  title = {{Diverse Branch Block: Building a Convolution as an Inception-like Unit}},
  author = {Xiaohan Ding and Xiangyu Zhang and Jungong Han and Guiguang Ding},
  year = {2021},
  eprint = {2103.13425},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2103.13425}
}
Sur cette page

J'ai lu cet article il y a quelque temps, mais je n'avais jamais trouvé le temps de mettre mes notes en ordre.

Parlons-en donc aujourd'hui.

Définir le problème

Vous vous souvenez de RepVGG ?

Petit rappel : la « reparamétrisation » (re-parameterization) consiste à utiliser, pendant l'entraînement, une structure plus complexe ou plusieurs branches pour apprendre des représentations variées, puis à réunir leurs paramètres dans un modèle simplifié. À l'inférence, on conserve ainsi une efficacité proche de celle d'une « convolution à chemin unique ».

RepVGG illustre bien ce principe, résumé par le schéma suivant :

On ajoute à l'entraînement des convolutions 1×1, une branche identité et d'autres éléments, puis on « condense » le tout en une simple couche de convolution 3×3 : la structure d'inférence reste aussi légère et efficace qu'un VGG classique.

Après RepVGG, vous vous demanderez peut-être si l'on ne pourrait pas diversifier encore davantage ces branches.

Les auteurs de cet article se posent la même question : peut-être existe-t-il d'autres conceptions qui permettraient au modèle d'apprendre des caractéristiques plus variées à l'entraînement.

  • Après tout, si l'on peut fusionner les branches en une seule à l'inférence, toutes les pistes sont bonnes à étudier !

Dans cet esprit, ils proposent finalement « six » solutions.

Résoudre le problème

Premier type : Conv-BN

Une couche convolutionnelle est souvent suivie d'une normalisation par lot (BN), soit « conv → BN ».

À l'inférence, la BN utilise des statistiques figées. On peut la voir comme une « transformation affine appliquée à chaque canal de sortie » : on soustrait la moyenne μj\mu_j du canal, on divise par son écart-type σj\sigma_j, puis on multiplie par le coefficient appris γj\gamma_j et on ajoute le biais βj\beta_j.

Dans le cadre de l'article, où la convolution n'a pas son propre biais, l'homogénéité et l'additivité permettent de fusionner la BN avec la convolution précédente pour obtenir un nouveau noyau et un nouveau biais :

Fj′  ←  γjσj Fj,bj′  ←  − μj γjσj  +  βj.F'_j \;\leftarrow\; \frac{\gamma_j}{\sigma_j} \, F_j,\quad b'_j \;\leftarrow\; -\,\frac{\mu_j \,\gamma_j}{\sigma_j} \;+\; \beta_j.

À l'inférence, on utilise donc directement le nouveau noyau Fj′F'_j et le nouveau biais bj′b'_j, sans calculer séparément « convolution + BN ».

Deuxième type : Branch Add

Additionner des branches consiste à additionner la sortie de deux convolutions de même configuration, par exemple de même taille de noyau et avec le même nombre de canaux.

Par additivité, après avoir appliqué le « premier type » à chacune, si leurs noyaux sont F(1),F(2)F^{(1)}, F^{(2)} et leurs biais b(1),b(2)b^{(1)}, b^{(2)}, on obtient :

F(0)  ←  F(1)+F(2),b(0)  ←  b(1)+b(2)F^{(0)} \;\leftarrow\; F^{(1)} + F^{(2)},\quad b^{(0)} \;\leftarrow\; b^{(1)} + b^{(2)}

Les branches doivent donc partager la même entrée, le même stride, le même padding et les autres paramètres pertinents ; aucune activation non linéaire encore non fusionnée ne doit se trouver dans ces branches si l'on veut les additionner dans un seul noyau.

Troisième type : Sequential Conv

On peut aussi réunir une suite de couches telle que « conv 1 × 1 → BN → conv K × K → BN » en une convolution K × K équivalente :

  1. Fusionner d'abord la première conv 1 × 1 et sa BN en une convolution 1 × 1 équivalente, de paramètres F(1),b(1)F^{(1)}, b^{(1)}.
  2. Fusionner ensuite la conv K × K et sa BN en une autre convolution K × K équivalente, de paramètres F(2),b(2)F^{(2)}, b^{(2)}.
  3. Enfin, composer les deux couches.

Si la première conv 1 × 1 utilise un stride de 1, elle ne fait que combiner linéairement les canaux. On peut alors composer les noyaux des deux couches pour former un seul noyau K × K. Le biais de la première couche, après son passage par la seconde convolution, doit aussi être pondéré par le noyau de cette dernière puis incorporé au nouveau biais.

On obtient ainsi une nouvelle convolution K × K, F(0),b(0)F^{(0)}, b^{(0)}, équivalente à la séquence initiale.

Quatrième type : Depth Concat

Les structures de type Inception concatènent souvent, sur la dimension des canaux, les sorties de plusieurs branches.

Si chacune de ces branches n'est qu'« une convolution » et si leurs positions spatiales sont alignées, il suffit de concaténer leurs noyaux sur la dimension de sortie :

F(0)  ←  CONCAT(F(1),F(2)),b(0)  ←  CONCAT(b(1),b(2)).F^{(0)} \;\leftarrow\; \mathrm{CONCAT}\bigl(F^{(1)}, F^{(2)}\bigr), \quad b^{(0)} \;\leftarrow\; \mathrm{CONCAT}\bigl(b^{(1)}, b^{(2)}\bigr).

Tous les canaux de sortie initiaux se retrouvent alors dans une même grande convolution. La méthode s'étend aux convolutions groupées, en adaptant la séparation et la réunion des canaux.

Cinquième type : Average Pooling

Une moyenne glissante peut être considérée comme une convolution particulière.

Un noyau de pooling de taille K×KK \times K est équivalent à un noyau convolutionnel de même taille, dont chaque position vaut 1/K21/K^2 pour la paire de canaux d'entrée et de sortie correspondants, et 0 pour les autres canaux :

Fd,c,:,:={1/K2,if d=c,0,otherwise.F_{d,c,:,:} = \begin{cases} 1/K^2, & \text{if } d=c,\\ 0, & \text{otherwise}. \end{cases}

Cette équivalence exige un padding identique pour le pooling et la convolution, avec un dénominateur fixe K2K^2. À stride = 1, on lisse seulement l'image ; à stride > 1, on la sous-échantillonne.

Si une branche comporte un pooling moyen, on peut donc le convertir en un noyau convolutionnel à paramètres fixes, puis le fusionner avec les autres branches grâce aux transformations précédentes, notamment l'additivité.

Sixième type : Multi-scale Conv

Des noyaux convolutionnels de tailles différentes dans un réseau, comme 1×11 \times 1, 1×K1 \times K, K×1K \times 1 ou kh×kwk_h \times k_w, peuvent être vus comme des parties non nulles d'un noyau plus grand de taille K×KK \times K, les autres positions étant remplies de zéros (zero-padding).

Ainsi, tous les noyaux dont la taille ne dépasse pas K×KK \times K peuvent être « étendus » aux dimensions d'un noyau K×KK \times K, alignés puis fusionnés par addition.

Paramètres des expériences

Le tableau ci-dessus résume les configurations expérimentales.

Sur CIFAR-10/100, les auteurs utilisent l'augmentation de données classique : bordure étendue à 40×40, recadrage aléatoire et retournement horizontal. Pour vérifier rapidement l'idée, ils choisissent VGG-16 et, suivant ACNet, remplacent les deux couches FC originales par un pooling global moyen suivi d'une couche FC de 512 neurones. Chaque couche convolutionnelle de VGG reçoit une BN pour assurer une comparaison équitable.

ImageNet-1K comprend 1,28 million d'images d'entraînement et 50 000 de validation. Les petits modèles, AlexNet et MobileNet, utilisent les augmentations classiques (recadrage aléatoire et retournement) ; ResNet-18/50 ajoute des variations de couleur et d'éclairage. Comme dans ACNet, leur AlexNet n'utilise pas de normalisation de réponse locale (LRN) et ajoute une BN après chaque convolution. Pour CIFAR comme pour ImageNet, le taux d'apprentissage suit une décroissance cosinus à partir de 0,1.

La détection sur COCO emploie CenterNet, entraîné pendant 126 000 itérations, avec un taux initial de 0,02 réduit d'un facteur 0,1 aux itérations 81 000 et 108 000. La segmentation sémantique sur Cityscapes reprend les réglages officiels de PSPNet : taux d'apprentissage poly, base de 0,01 et exposant de 0,9, pendant 200 époques.

Dans toutes les architectures, les auteurs remplacent les convolutions K×K (1 < K < 7) et la BN suivante par des DBB, formant des DBB-Net. Les noyaux plus grands, comme les 7×7 et 11×11 de ResNet et d'AlexNet, ne figurent pas dans l'expérience, car ils sont moins fréquents dans la conception des modèles. Tous sont entraînés avec les mêmes réglages puis convertis à leur structure d'origine pour les tests. Toutes les expériences sont réalisées sous PyTorch.

Discussion

Comparaison avec d'autres méthodes

Comme le montre le tableau ci-dessus, l'ajout de DBB-Net apporte des gains nets et réguliers sur CIFAR et ImageNet :

  • VGG-16 gagne respectivement 0,67 et 1,67 point de pourcentage sur CIFAR-10 et CIFAR-100 ;
  • AlexNet gagne 1,96 point sur ImageNet ;
  • MobileNet gagne 0,99 point ;
  • ResNet-18/50 gagnent respectivement 1,45 et 0,57 point.

ACNet est, en théorie, un cas particulier de DBB. Dans les expériences, DBB fait mieux qu'ACNet : fusionner des chemins de complexités différentes, à la manière d'Inception, pourrait être plus bénéfique que de s'appuyer seulement sur l'agrégation de caractéristiques produite par des convolutions multiscalaires.

Expériences d'ablation

Les auteurs réalisent plusieurs ablations sur ResNet-18 pour tester l'importance de la diversité des branches (diverse connections) et de la non-linéarité à l'entraînement.

Retirer n'importe quelle branche du DBB complet réduit les performances : chacune contribue donc dans ces expériences. Même trois branches suffisent toutefois à dépasser 70 % de précision, confirmant l'intérêt de cette diversité. Si les ressources sont limitées, on peut conserver la convolution K×K originale et ajouter des branches 1×1 et 1×1−AVG pour construire un DBB plus léger : sa précision baisse légèrement, mais l'entraînement devient plus efficace.

Comparé à des blocs de branches répétées (duplicate blocks) en même nombre, DBB reste supérieur. Par exemple, la combinaison K×K + 1×1 atteint 70,15 %, contre 69,81 % pour deux branches K×K. Dans cette comparaison, associer un composant plus faible à un plus fort apporte donc davantage que deux composants forts identiques.

De même, le DBB K×K + 1×1 + 1×1−AVG obtient 70,40 %, contre 70,29 % pour trois branches K×K, alors que ces dernières ont 2,3 fois plus de paramètres à l'entraînement. La diversité des connexions compte donc davantage, dans cette expérience, que la simple augmentation du nombre de paramètres.

Pour vérifier que les gains ne viennent pas seulement d'une initialisation différente, les auteurs créent une référence « baseline + init » : ils initialisent au hasard un DBB-Net complet, le fusionnent aussitôt en ResNet-18 ordinaire, puis l'entraînent avec les mêmes réglages. Sa précision finale, 69,67 %, est proche des 69,54 % du modèle de référence initialisé classiquement ; l'initialisation n'est donc pas la cause principale dans cet essai.

Enfin, les auteurs étudient l'effet de la BN sur la non-linéarité pendant l'entraînement.

Lorsque la BN est placée après l'addition de toutes les branches, seules des opérations linéaires précèdent cette addition et les gains de performance diminuent fortement. Par exemple, le DBB K×K + 1×1 atteint alors seulement 69,83 %, contre 70,15 % dans sa forme initiale. Même sans BN propre à chaque branche, la diversité des branches améliore encore les performances dans cette comparaison ; les BN internes renforcent néanmoins la capacité d'apprentissage.

Les expériences mesurent aussi les vitesses d'entraînement et de test : sur huit 1080Ti, le DBB complet passe de 4,44 à 4,06 lots par seconde à l'entraînement ; sur une seule carte, avant fusion, la vitesse de test passe de 19,24 à 4,11 lots par seconde. Après fusion, tous les modèles ont la même structure d'inférence : on ne doit pas confondre les vitesses mesurées pendant l'entraînement avec celles du déploiement.

Conclusion

Cette étude propose un nouveau module de construction des réseaux convolutionnels : DBB (Diverse Branch Block), qui fusionne des branches variées en une seule convolution.

Les expériences montrent que DBB améliore efficacement les architectures existantes sans accroître le coût d'inférence. La diversité des connexions et la non-linéarité pendant l'entraînement sont les clés de son avantage sur une convolution ordinaire. Ces travaux ouvrent une autre voie pour la conception des réseaux et illustrent une manière plus souple et plus efficace de calculer les convolutions.