Retour à la bibliothèque
arXiv 2019CVPR Workshops 2020CNN classiquesNotes de lecture

CSPNet

Un module moitié-moitié-moitié

Article original

CSPNet: A New Backbone that can Enhance Learning Capability of CNN

Auteurs de l’article

Chien-Yao Wang · Hong-Yuan Mark Liao · I-Hau Yeh · Yueh-Hua Wu · Ping-Yang Chen · Jun-Wei Hsieh

Publication
CVPR Workshops 2020Atelier (workshop)
Premier dépôt sur arXiv
arXiv:1911.11929
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{classiccnnscspnet2019,
  title = {{CSPNet: A New Backbone that can Enhance Learning Capability of CNN}},
  author = {Chien-Yao Wang and Hong-Yuan Mark Liao and I-Hau Yeh and Yueh-Hua Wu and Ping-Yang Chen and Jun-Wei Hsieh},
  year = {2019},
  eprint = {1911.11929},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1911.11929}
}
Sur cette page

CSPNet est l'abréviation de « Cross Stage Partial Network ».

Cet article a été largement appliqué dans l'industrie. Le paquet Timm comporte aussi plusieurs implémentations associées, par exemple cspdarknet53, cspresnet50 et cspresnext50.

Définition du problème

En analysant les architectures de réseaux existantes, les auteurs s'intéressent aux propriétés de DenseNet, mais relèvent aussi plusieurs points à améliorer :

  1. Goulots de calcul :

    Un goulot apparaît quand les ressources d'une partie du calcul, telles que les unités de traitement, la mémoire ou le transfert des données, ne sont pas utilisées efficacement et limitent les performances de l'ensemble. Certaines unités restent inactives pendant que d'autres sont trop sollicitées.

    Dans un CNN, les couches remplissent des tâches différentes. Si l'une demande beaucoup plus de calcul que les autres, certaines unités peuvent être très occupées tandis que d'autres attendent.

  2. Forte utilisation de mémoire

    DenseNet, proposé peu auparavant, améliore la capacité d'apprentissage mais augmente aussi l'utilisation de mémoire. Ses nombreuses concaténations demandent de recopier des données à chaque fois ; des architectures apparues ensuite, comme PeleeNet et VoVNet, rencontrent également ce problème.

Résolution du problème

Architecture du modèle

La partie supérieure de la figure montre la conception DenseNet d'origine. En gros, elle procède ainsi :

  1. Faire passer l'entrée x dans une convolution pour obtenir y1.
  2. Concaténer y1 et x pour obtenir y2.
  3. Faire passer y2 dans une convolution pour obtenir y3.
  4. Concaténer y3 et x pour obtenir y4.
  5. Répéter ces étapes.

Dans DenseNet, de nombreuses couches partagent la même information de gradient, ce qui leur fait réapprendre les mêmes gradients et nuit à l'apprentissage.


Pour réduire l'utilisation de mémoire, les auteurs changent une chose : « ne pas utiliser toutes les cartes de caractéristiques ».

En (b), les canaux d'entrée sont séparés en deux parties. L'une traverse le dense block et une première transition ; l'autre contourne le dense block. Les deux voies sont ensuite concaténées et passent par une deuxième transition.

Cette modification produit plusieurs différences :

  1. Davantage de chemins de gradient : grâce à la séparation, leur nombre peut doubler tandis que les copies des cartes diminuent.
  2. Calcul mieux réparti par couche : pour réduire les goulots, seule la moitié des canaux entre dans une partie du dense block.
  3. Moins de transferts mémoire : selon l'estimation CIO utilisée dans l'article, la séparation partielle peut économiser jusqu'à environ la moitié du trafic mémoire.

Dans l'ensemble, le modèle conserve la réutilisation des caractéristiques de DenseNet tout en interrompant une partie des trajets de gradient redondants, afin d'améliorer l'apprentissage.

Couche de transition

Séparer les cartes est facile, mais comment les réunir ensuite ?

Les auteurs proposent deux stratégies de fusion :

  1. Fusion First : en (c), concaténer d'abord les deux parties puis appliquer la transition. Cette stratégie réutilise beaucoup d'information de gradient.
  2. Fusion Last : en (d), appliquer d'abord la transition à la sortie du dense block, puis concaténer avec les cartes qui l'ont contourné ; les informations de gradient des deux voies se répètent moins.

Le CSPDenseNet complet de (b) applique encore une transition après la concaténation.

Voici les résultats des deux stratégies :

  1. Fusion First : face à PeleeNet, le calcul diminue nettement, mais la précision Top-1 baisse de 1,5 point de pourcentage.
  2. Fusion Last : le calcul diminue fortement et la précision Top-1 ne baisse que de 0,1 point.

La comparaison est parlante : les auteurs choisissent donc Fusion Last.

Exact Fusion Model

Après l'explication du module CSP, nous avons en fait couvert l'essentiel de l'article.

La dernière partie concerne l'amélioration apportée à FPN.


En (c), la figure montre l'architecture EFM proposée par les auteurs, qui rappelle un peu PANet. EFM part de la pyramide de YOLOv3 et fusionne les caractéristiques des échelles voisines selon la taille des ancres.

Enfin, pour diminuer le coût de la concaténation des cartes, les auteurs les compressent avec l'opération Maxout.

Discussion

Efficacité de l'architecture CSP

Il faut d'abord vérifier si CSP fonctionne vraiment.

Les auteurs prennent un backbone proposé auparavant, PeleeNet, le transforment avec CSP et réalisent plusieurs expériences.

Dans le tableau, γ\gamma règle la proportion des cartes séparées par CSP. À γ=0.5\gamma = 0.5, les cartes sont divisées en deux moitiés ; de même, à γ=0.25\gamma = 0.25, le calcul diminue moins, tandis qu'à γ=0.75\gamma = 0.75, il diminue davantage mais les performances baissent aussi.

Avec seulement CSP (Fusion First), à γ=0.25\gamma = 0.25, le modèle dépasse légèrement SPeleeNet et PeleeNeXt. Une transition partielle limite l'apprentissage d'information redondante et donne de bons résultats. Par exemple, quand le calcul baisse de 21 %, la précision Top-1 ne recule que de 0,1 point.

À γ=0.25\gamma = 0.25, le calcul baisse de 11 % tandis que la précision Top-1 augmente de 0,1 point, ce qui montre un bon équilibre entre efficacité et précision pour cette transition partielle.

Face à PeleeNet, CSPPeleeNet à γ=0.5\gamma = 0.5 réduit le calcul de 13 % et gagne 0,2 point de précision Top-1. En passant à γ=0.25\gamma = 0.25, il réduit le calcul de 3 % et gagne 0,8 point.

Efficacité de l'architecture EFM

Les auteurs évaluent EFM par ablation sur MS COCO ; les résultats figurent ci-dessus.

EFM perd 2 images par seconde par rapport à GFM, mais gagne respectivement 2,1 et 2,4 points en AP et en AP50AP_{50}. Comparé à l'augmentation du champ de vision par SPP, le mécanisme d'attention SAM offre un meilleur débit et une meilleure AP ; les auteurs choisissent donc EFM(SAM) comme architecture finale.

Performances sur ImageNet

Pour les modèles fondés sur ResNet, ResNeXt, PeleeNet ou DenseNet, les expériences montrent qu'ajouter CSP réduit le calcul d'au moins 10 % tout en maintenant ou améliorant la précision Top-1.

L'effet est particulièrement intéressant sur les modèles légers :

  • CSPResNet-10 gagne 1,8 point de précision Top-1 face à ResNet-10.
  • CSPPeleeNet et CSPDenseNet-201-Elastic réduisent respectivement le calcul de 13 % et 19 %, avec une précision légèrement meilleure ou inchangée.
  • CSPResNeXt-50 réduit le calcul de 22 % et atteint 77,9 % de précision Top-1.

Performances sur MS COCO

Parmi les détecteurs à 30∼100 images par seconde, CSPResNeXt50 avec PANet (SPP) obtient les meilleurs résultats : 38,4 % d'APAP, 60,6 % d'AP50AP_{50} et 41,6 % d'AP75AP_{75}.

Parmi les détecteurs à 100∼200 images par seconde, CSPPeleeNet avec EFM (SAM) dépasse PeleeNet d'environ 12,1 points d'AP50AP_{50} à environ 109 contre 106 images/s. À environ 129 images/s, son AP50AP_{50} dépasse celui de CenterNet (ResNet18), à la même vitesse, de 4,1 points.

Parmi les détecteurs très rapides, tels que ThunderNet, YOLOv3-tiny et YOLOv3-tiny-PRN, CSPDenseNetb Reference avec PRN atteint 400 images/s sur GTX 1080 Ti. Il dépasse ThunderNet avec SNet49 de 133 images/s et de 0,5 point en AP50AP_{50}.

Vitesse d'inférence

Les auteurs mesurent enfin la vitesse d'inférence de CSPNet sur différents matériels : NVIDIA Jetson TX2 et Intel Core i9-9900K. Le module OpenCV DNN sert à mesurer l'inférence sur CPU. Aucune compression ni quantification n'est utilisée, afin de conserver une comparaison équitable.

Dans le tableau, l'AP50AP_{50} de CSPDenseNetb Ref-PRN dépasse celui de SNet49-ThunderNet, YOLOv3-tiny et YOLOv3-tiny-PRN ; son débit CPU est supérieur de 55, 48 et 31 images/s, respectivement.

EFM donne aussi de bons résultats sur GPU mobile. Lorsqu'il produit une pyramide de caractéristiques, il réduit nettement les besoins en mémoire, ce qui compte pour les appareils dont la bande passante est limitée. Dans le tableau, CSPPeleeNet Ref-EFM (SAM) est plus rapide que YOLOv3-tiny sur GPU mobile et gagne 11,5 points d'AP50AP_{50}.

Conclusion

Grâce à sa fusion de caractéristiques et à la séparation des trajets de gradient, CSPNet améliore l'efficacité de calcul de plusieurs architectures et montre un avantage marqué sur les appareils de périphérie.

Son architecture est certes plus complexe, mais elle peut réduire le calcul et le trafic mémoire tout en maintenant une bonne précision ; elle constitue donc une option solide pour la détection d'objets et d'autres tâches en temps réel.

Plutôt qu'un backbone à lui seul, elle ressemble à un module que l'on peut insérer ailleurs. La prochaine fois que vous construirez un modèle, essayez d'y ajouter une structure CSP : le résultat pourrait vous surprendre.