Feature Pyramid Networks for Object Detection
- Publication
- CVPR 2017Conférence
- Premier dépôt sur arXiv
- arXiv:1612.03144
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{featurefusionfpn2016,
title = {{Feature Pyramid Networks for Object Detection}},
author = {Tsung-Yi Lin and Piotr Dollár and Ross Girshick and Kaiming He and Bharath Hariharan and Serge Belongie},
year = {2016},
eprint = {1612.03144},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1612.03144}
}
Imaginons une situation.
Un réseau convolutif classique reçoit une image, par exemple de taille 3 x 224 x 224. Après plusieurs sous-échantillonnages, il produit une carte de caractéristiques sémantiques de haut niveau, peut-être de taille 256 x 7 x 7. Bien souvent, la sortie finale mesure 1/32 de l'entrée : avec une image 224 x 224, la carte fait donc 7 x 7.
On peut décrire cette carte de plusieurs façons :
- Une carte à basse résolution, car elle n'a plus que 1/32 de la taille de l'image initiale.
- Des caractéristiques sémantiques de haute dimension, qui résument l'image entière et disposent d'un grand champ réceptif.
- Des caractéristiques du sommet du réseau (bas | image -> C1 -> C2 -> … -> C5 | haut).
En classification, cela ne pose pas de problème : on peut examiner l'ensemble de l'image et donner une ou plusieurs classes probables.
En détection d'objets, en revanche, cette carte au 1/32 ne suffit plus. Si un objet à détecter mesure moins de 32 x 32 pixels, il risque de « se volatiliser » pendant le sous-échantillonnage : le modèle ne le verra plus sur la dernière carte.
Bon, « se volatiliser » est peut-être exagéré. Si le sous-échantillonnage est convolutif, l'objet peut encore laisser une trace dans les pixels voisins.
Pour améliorer la détection, il faut donc trouver un moyen de conserver ces caractéristiques.
Vers la fin de 2015 paraissait SSD :
À l'époque, sa principale cible d'amélioration était YOLO v1.
Partant de l'architecture de YOLO v1, SSD ajoutait des têtes de prédiction à des cartes de plusieurs résolutions, puis réunissait les caractéristiques de haut niveau P3 à P5 pour prédire. C'était l'une des premières tentatives de hiérarchie pyramidale de caractéristiques. Malgré son ancienneté, SSD a ainsi précédé FPN. Il coûte cependant plus de calcul, et les caractéristiques de bas niveau ne bénéficient pas de la sémantique des couches hautes.
Définir le problème
Les auteurs de FPN mettent en avant deux grands problèmes :
-
Les limites des pyramides de caractéristiques
À l'époque des caractéristiques conçues à la main, les pyramides traditionnelles étaient un outil majeur pour reconnaître les objets à plusieurs échelles. À l'ère de l'apprentissage profond, elles ne répondent plus assez bien aux besoins. Leur traitement des différentes tailles reste limité ; sur beaucoup d'images, leur vitesse est insuffisante pour les applications en temps réel. Elles se contentent en outre de changer l'échelle des caractéristiques sans les fusionner ou les optimiser en profondeur, ce qui limite la reconnaissance.
-
Les limites de SSD
SSD, plus récent, essaie de remplacer les pyramides classiques par la hiérarchie des caractéristiques d'un réseau convolutif profond. Mais il choisit d'ajouter de nouvelles couches plutôt que de réutiliser les couches de haute résolution déjà calculées, pour éviter les caractéristiques de faible niveau. Cela accroît le calcul et néglige les cartes de haute résolution de la hiérarchie. Or elles comptent beaucoup pour la détection des petits objets.
Résoudre le problème
Conception de FPN
FPN cherche à améliorer les pyramides existantes. Comme sur la figure, il conserve la forme pyramidale de la hiérarchie du réseau convolutif, tout en créant à chaque échelle une carte dotée d'une sémantique forte.
Pour y parvenir, les auteurs proposent ceci :
- Un trajet descendant et des connexions latérales réunissent les caractéristiques de basse et de haute résolution.
À vrai dire, cette seule phrase résume presque tout l'article ; il reste surtout l'implémentation et les expériences.
Regardons néanmoins quelques détails de réalisation.
-
Bottom-up pathway
La première partie est le trajet des caractéristiques du bas vers celles du sommet. L'article ne fournissant pas d'image de référence pour ce parcours, j'en ai dessiné une à la main, avec des chiffres concrets et le moins d'informations possible pour rendre le mouvement des données plus visible.
Prenons ResNet18 et une image 224 x 224 x 3. Selon la convention PyTorch, les canaux viennent d'abord. Après ResNet18, nous obtenons cinq résolutions de cartes de caractéristiques, que nous appellerons provisoirement :
- P1 : carte au 1/2, de taille 64 x 112 x 112.
- P2 : carte au 1/4, de taille 64 x 56 x 56.
- P3 : carte au 1/8, de taille 128 x 28 x 28.
- P4 : carte au 1/16, de taille 256 x 14 x 14.
- P5 : carte au 1/32, de taille 512 x 7 x 7.
Ces P1 à P5 sont les étiquettes temporaires de mon croquis. L'article d'origine appelle C2 à C5 les caractéristiques du backbone qui entrent dans la fusion ; ses sorties fusionnées portent les noms P2 à P5.
Le sous-échantillonnage de l'image à travers le modèle constitue le « bottom-up pathway » de l'article.
Notons aussi que l'article omet le niveau P1 au 1/2 de notre dessin à cause de son coût mémoire. La carte du backbone C2, au 1/4, entre en revanche dans la fusion et produit P2.
-
Top-down pathway and lateral connections
Les données sont allées de gauche à droite. Dans la seconde étape, les caractéristiques reviennent de droite à gauche pour être fusionnées.
Agrandissons la portion P4–P5 du dessin :
La carte de caractéristiques de haut niveau est plus petite ; il faut d'abord s'en occuper.
Dans le dessin, une convolution 1×1 ajuste les canaux de P5, puis un suréchantillonnage (Upsample) met les dimensions spatiales au même niveau.
Nous voulons ensuite additionner les deux cartes, mais un autre obstacle apparaît : leurs nombres de canaux ne coïncident pas.
Block5 produit 512 canaux, Block4 seulement 256. L'addition directe est donc impossible. Une convolution 1×1 permet d'ajuster les canaux. Dans ce dessin pédagogique, on peut choisir une valeur appropriée, par exemple 64 ; les expériences de l'article emploient 256 canaux partout.
Les cartes aux échelles du 1/4 au 1/32 qui participent à la fusion passent par des convolutions 1×1 pour aligner leurs canaux.
Quand la résolution et les canaux sont alignés, on additionne les cartes des deux niveaux. Voilà un premier pas de fusion.
L'article ajoute aussi une convolution 3×3 à chaque carte après fusion, pour limiter l'aliasing dû au suréchantillonnage.
Pour mieux voir le processus, faisons-le encore une fois de P4 à P3 :
Enfin, voici un dessin d'une architecture qui peut être plus simple à réaliser en pratique :
Discussion
Est-ce vraiment mieux ?
Pour aller droit au résultat : oui.
Les auteurs ont mené de nombreuses expériences pour l'établir. Choisissons quelques tableaux importants, à commencer par l'ablation :
Le tableau compare la suppression de plusieurs composants. La variante (d) retire le trajet top-down ; (e) retire les connexions latérales ; (f) n'utilise que la carte P2, de résolution la plus haute, au lieu d'une pyramide de plusieurs niveaux.
Pour un maximum de 1000 propositions par image, le rappel moyen (AR¹ᵏ) de FPN complet est de 56,3. Les variantes (d), (e) et (f) descendent respectivement à 49,5, 46,1 et 51,3. La variante (d) se rapproche de la base à 48,3 ; (f) reste au-dessus.
Regardons l'autre tableau :
Les auteurs comparent leur méthode aux résultats d'un seul modèle des gagnants du concours COCO, dont G-RMI en 2016 et Faster R-CNN+++ en 2015. Même sans astuces compliquées, FPN dépasse ces concurrents soigneusement conçus. Sur COCO test-dev, son AP est supérieur de 0,5 point au meilleur résultat antérieur du tableau : 36,2 contre 35,7.
Conclusion
FPN propose un cadre simple qui se combine avec différents backbones pour construire une pyramide de caractéristiques puissante. Il améliore nettement plusieurs bases solides et modèles vainqueurs de concours.
Je retiens deux choses de cet article :
- Si le problème implique plusieurs échelles, il faut réfléchir à la façon de fusionner leurs caractéristiques.
- La fusion de FPN se résume en trois phrases : « du bas vers le haut, du haut vers le bas, puis on additionne ».
Ce travail a ouvert bien des questions : comment mieux fusionner les caractéristiques, rendre cette fusion plus efficace ou ajuster les poids des différentes échelles ?
D'autres articles y reviennent ; nous les lirons ensemble quand nous aurons le temps.