Retour à la bibliothèque
arXiv 2020CVPR 2021Fusion de caractéristiquesNotes de lecture

DetectoRS

Une pyramide récursive

Article original

DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution

Auteurs de l’article

Siyuan Qiao · Liang-Chieh Chen · Alan Yuille

Publication
CVPR 2021Conférence
Premier dépôt sur arXiv
arXiv:2006.02334
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{featurefusiondetectors2020,
  title = {{DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution}},
  author = {Siyuan Qiao and Liang-Chieh Chen and Alan Yuille},
  year = {2020},
  eprint = {2006.02334},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2006.02334}
}
Sur cette page

L'étude de la seule architecture FPN semble avoir atteint ses limites.

Mais Google Research veut encore essayer quelque chose sur ce sujet : peut-être qu'en réunissant la conception du backbone et celle du neck, on trouvera une nouvelle direction ?

Le problème

Les principales avancées précédentes, comme PANet, BiFPN et NAS-FPN, améliorent toutes FPN sans bouleverser la structure fondamentale de la pyramide.

Le problème de la fusion des caractéristiques n'est pourtant pas résolu. (Les résultats sur les jeux d'évaluation ne sont pas encore saturés.)

Il nous faut encore des caractéristiques plus riches pour espérer obtenir de nouveaux résultats sur ces jeux d'évaluation.

La méthode

Pyramide récursive de caractéristiques

La pyramide récursive de caractéristiques, Recursive Feature Pyramid (RFP), est la nouvelle conception proposée dans cet article. Le « R » signifie Recursive : la sortie de FPN est renvoyée « une nouvelle fois » dans le backbone.

La partie (a) de la figure montre le FPN classique et la partie (b), le RFP des auteurs. Une fois les caractéristiques de retour reçues, le backbone extrait et fusionne de nouvelles informations, avant de repasser par FPN. C'est une manière de « réfléchir plusieurs fois, corriger plusieurs fois ».

Souvenons-nous de BiFPN : il empile plusieurs pyramides pour fusionner les informations multiéchelles et entraîner un « neck robuste ». RFP renvoie, lui, les cartes de caractéristiques au backbone pour entraîner un « backbone robuste ». BiFPN renforce ainsi la fusion en aval, tandis que RFP donne au backbone plusieurs occasions de « revoir » l'image et d'améliorer la représentation des caractéristiques.

Enfin, la partie (c) déroule la récursion en deux calculs du backbone et de FPN : les caractéristiques du premier FPN passent par ASPP avant d'être renvoyées au passage suivant du backbone. Les sorties des deux FPN sont alors combinées par pondération dans un module de fusion, puis fournies à la tête de prédiction. Ce n'est pas une connexion résiduelle entre une carte de caractéristiques et la tête de prédiction.

Convolution dilatée

Avant de poursuivre, rappelons ce qu'est une convolution dilatée, ou atrous convolution.

Cette technique insère des espaces dans le noyau de convolution pour élargir le champ réceptif sans ajouter de paramètres ni de calcul. Elle permet au modèle de prendre en compte à la fois les détails locaux et les informations globales, ce qui est particulièrement utile pour la segmentation sémantique et la détection d'objets.

Dans une convolution ordinaire, la taille du noyau limite la zone observée en une opération. Empiler plusieurs couches étend le champ réceptif, mais augmente sensiblement le calcul. En espaçant les positions échantillonnées par un noyau de taille fixe, la convolution dilatée couvre une zone plus large sans calcul supplémentaire.

Regardons comment agit une convolution 3×3 selon le taux de dilatation :

  • (a) Taux de dilation 1 : convolution ordinaire

    bash
    X  X  X
    X  X  X
    X  X  X
    
    • Le noyau couvre une petite zone, adaptée aux détails locaux.
  • (b) Taux de dilation 2

    bash
    X  -  X  -  X
    -  -  -  -  -
    X  -  X  -  X
    -  -  -  -  -
    X  -  X  -  X
    
    • Un pixel est sauté entre deux poids (- marque un pixel ignoré), de sorte que le noyau 3×3 couvre une zone de 5×5.
  • (c) Taux de dilation 3

    bash
    X  -  -  X  -  -  X
    -  -  -  -  -  -  -
    -  -  -  -  -  -  -
    X  -  -  X  -  -  X
    -  -  -  -  -  -  -
    -  -  -  -  -  -  -
    X  -  -  X  -  -  X
    
    • Deux pixels sont sautés entre coefficients, ce qui étend encore le champ réceptif.

En ajustant le taux de dilatation rr, le modèle peut apprendre des caractéristiques à différentes échelles et renforcer sa compréhension sémantique.

Convolution dilatée commutable

La convolution dilatée commutable, ou Switchable Atrous Convolution (SAC), est l'autre conception clé de cet article. Elle permet à un même noyau de convolution de « changer dynamiquement » de taux de dilatation.

L'architecture SAC de la figure comporte trois parties principales :

  1. Le module Global Context en amont (Pre-Global Context, à gauche).
  2. Le corps de SAC au centre.
  3. Le module Global Context en aval (Post-Global Context, à droite).

Laissons un instant de côté les modules Global Context et regardons le corps de SAC. Les auteurs notent Conv(x,w,r)\text{Conv}(x, w, r) la convolution qui applique les poids ww et le taux de dilatation rr à l'entrée xx, pour produire yy. Pour convertir une convolution 3×3 ordinaire en SAC, ils écrivent :

Conv(x, w, 1)⏟conv. initiale    →Convert to SAC    \underbrace{\text{Conv}(x,\, w,\, 1)}_{\text{conv. initiale}} \;\; \xrightarrow{\text{Convert to SAC}} \;\; S(x) ⋅ Conv(x, w, 1)⏟taux=1  +  [ 1−S(x)]  ⋅  Conv(x,  w+Δw,  r)⏟taux=rS(x)\,\cdot\,\underbrace{\text{Conv}(x,\, w,\, 1)}_{\text{taux=1}} \;+\; \bigl[\,1 - S(x)\bigr]\;\cdot\;\underbrace{\text{Conv}\bigl(x,\; w + \Delta w,\; r\bigr)}_{\text{taux=r}}

Où :

  • rr est l'hyperparamètre du taux de dilatation de SAC, fixé par défaut à r=3r=3 dans les expériences.
  • ww provient des poids préentraînés.
  • w+Δww + \Delta w désigne les poids de la branche au taux rr ; Δw\Delta w est entraînable et initialisé à zéro.
  • S(x)S(x) est la « fonction de commutation » qui pondère les deux branches selon la position dans la carte de caractéristiques.

Ainsi, quand S(x)S(x) approche 1, la convolution au taux 1 contribue davantage à la sortie ; quand S(x)S(x) approche 0, c'est la convolution au taux rr. Puisque S(x)S(x) est mis à jour pendant l'entraînement, le backbone peut adapter dynamiquement la taille du champ réceptif selon la position et mieux traiter des objets de tailles différentes.

Une autre question se pose :

  • Si les poids ww de la convolution initiale et ceux de la branche au taux rr étaient appris indépendamment, les poids préentraînés seraient moins bien exploités, voire le modèle devrait être entraîné depuis le début.

Les auteurs proposent donc un « verrouillage des poids » : les deux branches utilisent les poids préentraînés ww comme base et la seconde emploie w+Δww + \Delta w. Initialisé à zéro, Δw\Delta w est ensuite entraîné avec ww ; les poids initiaux ne sont pas gelés.


Revenons enfin aux modules Global Context légers placés avant et après SAC. Ils rappellent SENet, mais les auteurs ont apporté deux modifications :

  1. Une seule convolution 1×1, sans fonction non linéaire supplémentaire comme ReLU.
  2. Une addition des caractéristiques obtenues à la branche principale, au lieu de la multiplication après sigmoid utilisée par SENet.

La figure détaille ce processus : pooling moyen global de l'entrée, convolution 1×1 pour redimensionner les canaux, puis addition de l'information globale à la carte de caractéristiques d'origine.

Discussion

Voyons ce que les expériences indiquent sur RFP et SAC.

Gains de RFP et de SAC

Les auteurs expérimentent sur COCO avec HTC + ResNet-50 + FPN comme modèle de référence. Ils ajoutent RFP et SAC séparément, puis les combinent pour former DetectoRS.

Ajoutés séparément, RFP et SAC font passer le box AP de 42,0 à 46,2 et 46,3, soit respectivement 4,2 et 4,3 points de pourcentage supplémentaires. Dans les deux cas, le mask AP passe de 37,1 à 40,4. La vitesse indiquée dans le tableau passe de 4,3 fps pour la base à 4,1 ou 4,2 fps.

Avec les deux modules, DetectoRS atteint 49,0 % de box AP et 42,1 % de mask AP sur COCO val2017, avec ResNet-50 et 12 époques d'entraînement, à environ 3,9 fps sur une seule TITAN RTX.

Ablations de RFP et de SAC

Commençons par l'ablation de RFP :

  • RFP + sharing : les étages correspondants du backbone partagent leurs poids entre les deux déroulements ; dans le RFP par défaut, ils ne les partagent pas. Le box AP passe ainsi de 46,2 à 45,4.
  • RFP - aspp : le module ASPP est retiré du chemin de retour. Sans les informations multiéchelles qu'il apporte, les performances baissent.
  • RFP - fusion : le module de fusion est désactivé. La réunion des caractéristiques des différents passages disparaît et les performances baissent aussi.
  • RFP + 3X : le nombre d'étapes déroulées TT passe de 2 à 3. Le box AP progresse de 46,2 à 47,5, soit 1,3 point de pourcentage supplémentaire, avec un coût de calcul accru.

Passons à l'ablation de SAC :

  • SAC - DCN : sans Deformable Convolution, donc avec les seules convolutions dilatées, l'AP est plus faible que dans la version avec DCN.
  • SAC - DCN - global : retirer également les modules Global Context placés avant et après SAC fait encore baisser l'AP.
  • SAC - DCN - locking : sans le « verrouillage », la seconde branche emploie directement Δw\Delta w au lieu de w+Δww + \Delta w. La baisse d'AP indique le rôle de cette relation entre les poids préentraînés et l'écart appris.
  • SAC - DCN + DS (dual-switch) : deux commutateurs indépendants S1(x) et S2(x) remplacent « S(x) » et « 1 - S(x) ». Ils n'apportent pas d'amélioration : la pondération complémentaire initiale fonctionne mieux.

Ces résultats indiquent que RFP et SAC améliorent sensiblement les performances de HTC tout en maintenant une vitesse d'inférence utile. Ils donnent sur COCO des résultats de détection et de segmentation très compétitifs, qui appuient la validité de ces deux conceptions.

Comparaison avec d'autres méthodes

Le tableau répartit les résultats en quatre groupes :

  1. Les détecteurs en une étape (one-stage).
  2. Les détecteurs en plusieurs étapes (multi-stage).
  3. HTC.
  4. Les résultats de DetectoRS.

Il les classe aussi selon l'utilisation ou non de la Test-Time Augmentation (TTA), signalée dans la troisième colonne.

Les procédures de TTA et leur ampleur varient selon les articles. Une TTA plus forte fait ainsi passer l'AP de CBNet de 50,7 % à 53,3 %. Pour DetectoRS avec un backbone ResNeXt-101-32x4d, elle fait passer l'AP de 53,3 à 54,7, soit 1,4 point de pourcentage supplémentaire.

Dans l'ensemble des comparaisons présentées sur COCO test-dev, DetectoRS atteint un box AP élevé. Les autres méthodes n'emploient cependant pas toutes le même backbone, le même entraînement ni les mêmes réglages de TTA ; on ne peut donc pas attribuer tout l'écart entre méthodes à RFP et SAC.

Conclusion

Les auteurs proposent deux idées centrales : la pyramide récursive de caractéristiques (RFP) et la convolution dilatée commutable (SAC), réunies dans DetectoRS.

Au niveau « macroscopique », RFP réinjecte par rétroaction les sorties de FPN aux différents étages du backbone pour enrichir les caractéristiques. Au niveau « microscopique », SAC adapte souplement le champ réceptif avec la convolution dilatée commutable et diversifie les caractéristiques apprises.

Du point de vue de la fusion des caractéristiques, concevoir ensemble le backbone et le neck pourrait aussi devenir une piste de recherche.