Densely Connected Convolutional Networks
- Publication
- CVPR 2017Conférence
- Premier dépôt sur arXiv
- arXiv:1608.06993
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{classiccnnsdensenet2016,
title = {{Densely Connected Convolutional Networks}},
author = {Gao Huang and Zhuang Liu and Laurens van der Maaten and Kilian Q. Weinberger},
year = {2016},
eprint = {1608.06993},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1608.06993}
}
À mesure que les CNN deviennent plus profonds, l'information du gradient issue de l'image d'entrée peut disparaître, ce qui complique l'entraînement.
Plusieurs études cherchent donc à mieux faire circuler l'information dans les réseaux profonds. L'une des plus connues est ResNet :
Définition du problème
ResNet rend la conservation de l'information explicite grâce à une identité additive, mais la contribution de nombreuses couches reste faible :
Outre ResNet, il existe une autre méthode connue : les réseaux autoroutiers.
Cet article ne cherche pas à réfuter ces travaux. Il propose un nouveau type de connexion pour que l'information circule plus efficacement dans le réseau.
Résolution du problème
Architecture du réseau
Cette figure est très simple à comprendre, mais elle peut prêter à confusion :
Elle ne montre pas tout le réseau ; elle décrit la structure d'un Dense Block.
Dans ce bloc, chaque couche reçoit la concaténation des sorties de toutes les couches précédentes. Il n'y a pas de sous-échantillonnage ici.
Les auteurs proposent ces connexions pour raccourcir le trajet de l'information et du gradient venus des premières couches, afin qu'ils ne s'affaiblissent pas en chemin :
- Puisque l'information peut s'affaiblir en circulant, relions toutes les couches entre elles !
Pooling moyen
Comme le montre la figure ci-dessus.
Dans un réseau convolutif (CNN), les couches de sous-échantillonnage, comme le pooling, sont essentielles pour changer la taille des cartes de caractéristiques.
Pour sous-échantillonner efficacement, les auteurs répartissent le réseau en plusieurs blocs à connexions denses (Dense Blocks).
Entre ces blocs se trouvent des couches de transition qui appliquent des convolutions et du pooling.
Une transition comprend Batch Normalization et une convolution 1×1, suivies d'un pooling moyen 2×2.
Taux de croissance
Le taux de croissance (Growth Rate) est une caractéristique importante de DenseNet.
Si chaque fonction produit k cartes de caractéristiques, alors la couche reçoit cartes en entrée, où est le nombre de canaux dans la couche d'entrée.
DenseNet se distingue des autres architectures parce que ses couches peuvent être très étroites, par exemple avec k = 12. L'hyperparamètre k est appelé le taux de croissance du réseau.
Les résultats montrent qu'un taux de croissance relativement faible suffit à obtenir des résultats de pointe sur les jeux de données testés. Chaque couche peut accéder à toutes les cartes précédentes de son bloc et bénéficier ainsi du « savoir collectif » du réseau. Le taux de croissance règle la quantité d'information nouvelle que chaque couche apporte à l'état global. Une fois ajoutée, cette information est disponible ailleurs dans le réseau sans devoir être copiée couche après couche.
Couches bottleneck
Bien que chaque couche ne produise que k nouvelles cartes, elle en reçoit généralement davantage en entrée.
Les auteurs montrent qu'ajouter une convolution 1×1 avant chaque convolution 3×3, comme goulot d'étranglement, réduit le nombre de cartes en entrée et améliore l'efficacité du calcul.
Cette conception est particulièrement utile à DenseNet ; les auteurs nomment cette variante DenseNet-B.
Le goulot suit l'ordre BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3). Dans les expériences, chaque convolution 1×1 produit 4k cartes.
Compression
Pour obtenir un modèle encore plus compact, les auteurs réduisent le nombre de cartes produites par les transitions.
Si un bloc dense comporte cartes, la transition suivante produit cartes, où est le facteur de compression. Lorsque , le nombre de cartes reste inchangé.
Les auteurs appellent DenseNet-C la variante avec et utilisent dans les expériences. Lorsque des goulots d'étranglement et des transitions comprimées avec sont utilisés ensemble, le modèle est appelé DenseNet-BC.
Détails de mise en œuvre
Sur tous les jeux de données sauf ImageNet, les auteurs expérimentent avec trois Dense Blocks.
Ils comportent chacun le même nombre de couches. Avant le premier bloc, une convolution de l'image d'entrée produit 16 canaux, ou le double du taux de croissance pour DenseNet-BC. Les convolutions 3×3 utilisent un remplissage de zéros de chaque côté pour conserver la taille des cartes.
Entre deux blocs successifs, une convolution 1×1 suivie d'un pooling moyen 2×2 forme la transition. Après le dernier bloc viennent un pooling moyen global et un classifieur softmax. Les cartes des trois blocs mesurent respectivement 32×32, 16×16 et 8×8.
Les auteurs évaluent les configurations de base suivantes :
- L = 40, k = 12
- L = 100, k = 12
- L = 100, k = 24
Pour DenseNet-BC, les configurations évaluées sont :
- L = 100, k = 12
- L = 250, k = 24
- L = 190, k = 40
Sur ImageNet, ils utilisent un DenseNet-BC à quatre blocs avec des images d'entrée de 224×224.
La convolution initiale comprend 2k filtres 7×7 de pas 2.
Le nombre de cartes dans les autres couches dépend aussi de k.
Discussion
Résultats expérimentaux
La figure représente l'erreur top-1 de validation de DenseNet et de ResNet, avec une seule découpe, en fonction du nombre de paramètres et des FLOPs. Elle montre les différences de performances et de coût de calcul entre les deux architectures.
À gauche, on voit le lien entre l'erreur de validation et le nombre de paramètres. DenseNet-201 possède environ 20 M de paramètres et obtient une erreur proche de celle de ResNet-101, qui en a plus de 40 M. DenseNet peut donc atteindre des performances semblables avec moins de paramètres.
À droite, l'erreur est comparée au nombre de FLOPs. Un DenseNet qui demande autant de calcul que ResNet-50 obtient des performances comparables à ResNet-101, alors que ce dernier demande deux fois plus de calcul. Cela appuie encore l'avantage de DenseNet en efficacité de calcul dans cette comparaison.
Modèles compacts
Toute carte apprise par une couche de DenseNet peut être consultée par les couches suivantes, conséquence directe de la concaténation des entrées.
Cela encourage la réutilisation des caractéristiques dans tout le réseau et rend le modèle plus compact.
Les deux panneaux à gauche comparent l'efficacité en paramètres des variantes DenseNet (à gauche) et de ResNet similaires (au centre). Les auteurs entraînent plusieurs petits réseaux de profondeurs différentes sur C10+, puis représentent leur erreur de test en fonction du nombre de paramètres. DenseNet-BC est la variante DenseNet la plus efficace selon cette mesure.
Pour une précision comparable, DenseNet-BC n'a besoin que d'environ un tiers des paramètres d'un ResNet.
Avec seulement 0,8 M de paramètres entraînables, DenseNet-BC atteint une précision comparable à celle d'un ResNet de 1001 couches et de 10,2 M de paramètres.
Réutilisation des caractéristiques
Dans DenseNet, chaque couche peut accéder aux cartes des couches précédentes, en passant par les transitions entre blocs.
Les auteurs vérifient si le réseau entraîné exploite cette possibilité. Ils entraînent DenseNet avec L=40 et k=12, puis calculent la moyenne des valeurs absolues des poids appliqués aux cartes des couches précédentes par chaque convolution d'un bloc.
La figure montre les cartes thermiques des trois blocs. L'axe horizontal représente la couche cible (Target) et l'axe vertical la couche source (Source). La couleur indique la moyenne des valeurs absolues des poids : davantage de rouge signifie une valeur plus grande, davantage de bleu une valeur plus petite.
Plusieurs points ressortent de la figure :
- Chaque couche répartit ses poids sur plusieurs entrées du même bloc, ce qui indique que les caractéristiques des premières couches sont directement utilisées plus loin.
- Les poids des transitions se répartissent entre les couches du bloc précédent ; l'information peut passer de la première à la dernière couche par quelques chemins indirects.
- Dans les deuxième et troisième blocs, les couches attribuent systématiquement les plus faibles poids aux sorties de la transition (la ligne supérieure du triangle), ce qui suggère que ces sorties contiennent beaucoup de caractéristiques redondantes.
- La couche de classification finale s'appuie surtout sur les dernières cartes, ce qui suggère que le réseau produit tardivement des caractéristiques plus abstraites.
Conclusion
DenseNet réunit les propriétés des connexions identité, de la supervision profonde et de profondeurs variées. Il réutilise les caractéristiques dans tout le réseau, produisant des modèles plus compacts et plus précis. Grâce à sa représentation interne compacte et à une moindre redondance des caractéristiques, il présente un potentiel comme extracteur pour diverses tâches de vision par ordinateur fondées sur les caractéristiques convolutives.
Les travaux futurs pourront étudier le transfert de ces caractéristiques et étendre l'utilité de DenseNet en vision par ordinateur.