CSPNet: A New Backbone that can Enhance Learning Capability of CNN
- Publication
- CVPR Workshops 2020Atelier (workshop)
- Premier dépôt sur arXiv
- arXiv:1911.11929
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{classiccnnscspnet2019,
title = {{CSPNet: A New Backbone that can Enhance Learning Capability of CNN}},
author = {Chien-Yao Wang and Hong-Yuan Mark Liao and I-Hau Yeh and Yueh-Hua Wu and Ping-Yang Chen and Jun-Wei Hsieh},
year = {2019},
eprint = {1911.11929},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1911.11929}
}
CSPNet est l'abréviation de « Cross Stage Partial Network ».
Cet article a été largement appliqué dans l'industrie. Le paquet Timm comporte aussi plusieurs implémentations associées, par exemple cspdarknet53, cspresnet50 et cspresnext50.
Définition du problème
En analysant les architectures de réseaux existantes, les auteurs s'intéressent aux propriétés de DenseNet, mais relèvent aussi plusieurs points à améliorer :
-
Goulots de calcul :
Un goulot apparaît quand les ressources d'une partie du calcul, telles que les unités de traitement, la mémoire ou le transfert des données, ne sont pas utilisées efficacement et limitent les performances de l'ensemble. Certaines unités restent inactives pendant que d'autres sont trop sollicitées.
Dans un CNN, les couches remplissent des tâches différentes. Si l'une demande beaucoup plus de calcul que les autres, certaines unités peuvent être très occupées tandis que d'autres attendent.
-
Forte utilisation de mémoire
DenseNet, proposé peu auparavant, améliore la capacité d'apprentissage mais augmente aussi l'utilisation de mémoire. Ses nombreuses concaténations demandent de recopier des données à chaque fois ; des architectures apparues ensuite, comme PeleeNet et VoVNet, rencontrent également ce problème.
Résolution du problème
Architecture du modèle
La partie supérieure de la figure montre la conception DenseNet d'origine. En gros, elle procède ainsi :
- Faire passer l'entrée
xdans une convolution pour obteniry1. - Concaténer
y1etxpour obteniry2. - Faire passer
y2dans une convolution pour obteniry3. - Concaténer
y3etxpour obteniry4. - Répéter ces étapes.
Dans DenseNet, de nombreuses couches partagent la même information de gradient, ce qui leur fait réapprendre les mêmes gradients et nuit à l'apprentissage.
Pour réduire l'utilisation de mémoire, les auteurs changent une chose : « ne pas utiliser toutes les cartes de caractéristiques ».
En (b), les canaux d'entrée sont séparés en deux parties. L'une traverse le dense block et une première transition ; l'autre contourne le dense block. Les deux voies sont ensuite concaténées et passent par une deuxième transition.
Cette modification produit plusieurs différences :
- Davantage de chemins de gradient : grâce à la séparation, leur nombre peut doubler tandis que les copies des cartes diminuent.
- Calcul mieux réparti par couche : pour réduire les goulots, seule la moitié des canaux entre dans une partie du dense block.
- Moins de transferts mémoire : selon l'estimation CIO utilisée dans l'article, la séparation partielle peut économiser jusqu'à environ la moitié du trafic mémoire.
Dans l'ensemble, le modèle conserve la réutilisation des caractéristiques de DenseNet tout en interrompant une partie des trajets de gradient redondants, afin d'améliorer l'apprentissage.
Couche de transition
Séparer les cartes est facile, mais comment les réunir ensuite ?
Les auteurs proposent deux stratégies de fusion :
- Fusion First : en (c), concaténer d'abord les deux parties puis appliquer la transition. Cette stratégie réutilise beaucoup d'information de gradient.
- Fusion Last : en (d), appliquer d'abord la transition à la sortie du dense block, puis concaténer avec les cartes qui l'ont contourné ; les informations de gradient des deux voies se répètent moins.
Le CSPDenseNet complet de (b) applique encore une transition après la concaténation.
Voici les résultats des deux stratégies :
- Fusion First : face à PeleeNet, le calcul diminue nettement, mais la précision Top-1 baisse de 1,5 point de pourcentage.
- Fusion Last : le calcul diminue fortement et la précision Top-1 ne baisse que de 0,1 point.
La comparaison est parlante : les auteurs choisissent donc Fusion Last.
Exact Fusion Model
Après l'explication du module CSP, nous avons en fait couvert l'essentiel de l'article.
La dernière partie concerne l'amélioration apportée à FPN.
En (c), la figure montre l'architecture EFM proposée par les auteurs, qui rappelle un peu PANet. EFM part de la pyramide de YOLOv3 et fusionne les caractéristiques des échelles voisines selon la taille des ancres.
Enfin, pour diminuer le coût de la concaténation des cartes, les auteurs les compressent avec l'opération Maxout.
Discussion
Efficacité de l'architecture CSP
Il faut d'abord vérifier si CSP fonctionne vraiment.
Les auteurs prennent un backbone proposé auparavant, PeleeNet, le transforment avec CSP et réalisent plusieurs expériences.
Dans le tableau, règle la proportion des cartes séparées par CSP. À , les cartes sont divisées en deux moitiés ; de même, à , le calcul diminue moins, tandis qu'à , il diminue davantage mais les performances baissent aussi.
Avec seulement CSP (Fusion First), à , le modèle dépasse légèrement SPeleeNet et PeleeNeXt. Une transition partielle limite l'apprentissage d'information redondante et donne de bons résultats. Par exemple, quand le calcul baisse de 21 %, la précision Top-1 ne recule que de 0,1 point.
À , le calcul baisse de 11 % tandis que la précision Top-1 augmente de 0,1 point, ce qui montre un bon équilibre entre efficacité et précision pour cette transition partielle.
Face à PeleeNet, CSPPeleeNet à réduit le calcul de 13 % et gagne 0,2 point de précision Top-1. En passant à , il réduit le calcul de 3 % et gagne 0,8 point.
Efficacité de l'architecture EFM
Les auteurs évaluent EFM par ablation sur MS COCO ; les résultats figurent ci-dessus.
EFM perd 2 images par seconde par rapport à GFM, mais gagne respectivement 2,1 et 2,4 points en AP et en . Comparé à l'augmentation du champ de vision par SPP, le mécanisme d'attention SAM offre un meilleur débit et une meilleure AP ; les auteurs choisissent donc EFM(SAM) comme architecture finale.
Performances sur ImageNet
Pour les modèles fondés sur ResNet, ResNeXt, PeleeNet ou DenseNet, les expériences montrent qu'ajouter CSP réduit le calcul d'au moins 10 % tout en maintenant ou améliorant la précision Top-1.
L'effet est particulièrement intéressant sur les modèles légers :
- CSPResNet-10 gagne 1,8 point de précision Top-1 face à ResNet-10.
- CSPPeleeNet et CSPDenseNet-201-Elastic réduisent respectivement le calcul de 13 % et 19 %, avec une précision légèrement meilleure ou inchangée.
- CSPResNeXt-50 réduit le calcul de 22 % et atteint 77,9 % de précision Top-1.
Performances sur MS COCO
Parmi les détecteurs à 30∼100 images par seconde, CSPResNeXt50 avec PANet (SPP) obtient les meilleurs résultats : 38,4 % d', 60,6 % d' et 41,6 % d'.
Parmi les détecteurs à 100∼200 images par seconde, CSPPeleeNet avec EFM (SAM) dépasse PeleeNet d'environ 12,1 points d' à environ 109 contre 106 images/s. À environ 129 images/s, son dépasse celui de CenterNet (ResNet18), à la même vitesse, de 4,1 points.
Parmi les détecteurs très rapides, tels que ThunderNet, YOLOv3-tiny et YOLOv3-tiny-PRN, CSPDenseNetb Reference avec PRN atteint 400 images/s sur GTX 1080 Ti. Il dépasse ThunderNet avec SNet49 de 133 images/s et de 0,5 point en .
Vitesse d'inférence
Les auteurs mesurent enfin la vitesse d'inférence de CSPNet sur différents matériels : NVIDIA Jetson TX2 et Intel Core i9-9900K. Le module OpenCV DNN sert à mesurer l'inférence sur CPU. Aucune compression ni quantification n'est utilisée, afin de conserver une comparaison équitable.
Dans le tableau, l' de CSPDenseNetb Ref-PRN dépasse celui de SNet49-ThunderNet, YOLOv3-tiny et YOLOv3-tiny-PRN ; son débit CPU est supérieur de 55, 48 et 31 images/s, respectivement.
EFM donne aussi de bons résultats sur GPU mobile. Lorsqu'il produit une pyramide de caractéristiques, il réduit nettement les besoins en mémoire, ce qui compte pour les appareils dont la bande passante est limitée. Dans le tableau, CSPPeleeNet Ref-EFM (SAM) est plus rapide que YOLOv3-tiny sur GPU mobile et gagne 11,5 points d'.
Conclusion
Grâce à sa fusion de caractéristiques et à la séparation des trajets de gradient, CSPNet améliore l'efficacité de calcul de plusieurs architectures et montre un avantage marqué sur les appareils de périphérie.
Son architecture est certes plus complexe, mais elle peut réduire le calcul et le trafic mémoire tout en maintenant une bonne précision ; elle constitue donc une option solide pour la détection d'objets et d'autres tâches en temps réel.
Plutôt qu'un backbone à lui seul, elle ressemble à un module que l'on peut insérer ailleurs. La prochaine fois que vous construirez un modèle, essayez d'y ajouter une structure CSP : le résultat pourrait vous surprendre.