Retour à la bibliothèque
arXiv 2021ICCV 2021Détection d’objetsNotes de lecture

SMCA DETR

Et si on ajoutait une touche de gaussienne ?

Article original

Fast Convergence of DETR with Spatially Modulated Co-Attention

Auteurs de l’article

Peng Gao · Minghang Zheng · Xiaogang Wang · Jifeng Dai · Hongsheng Li

Publication
ICCV 2021Conférence
Premier dépôt sur arXiv
arXiv:2101.07448
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{objectdetectionsmcadetr2021,
  title = {{Fast Convergence of DETR with Spatially Modulated Co-Attention}},
  author = {Peng Gao and Minghang Zheng and Xiaogang Wang and Jifeng Dai and Hongsheng Li},
  year = {2021},
  eprint = {2101.07448},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2101.07448}
}
Sur cette page

Poursuivons notre discussion de DETR.

Je pense que vous connaissez maintenant assez bien ce que fait DETR.

Définir le problème

Après avoir lu DETR, les auteurs poussent le même soupir que ceux de Deformable DETR :

  • DETR converge trop lentement.

Selon eux, la cause tient au mécanisme de co-attention : il ne tient pas compte de la boîte que la requête va prédire. Il faut donc de nombreuses itérations pour apprendre à chaque requête où regarder.

Si l’on améliore cette co-attention, on pourra peut-être accélérer la convergence de DETR.

Résoudre le problème

Co-attention à modulation spatiale

L’idée centrale de la Spatially Modulated Co-Attention (SMCA) est la suivante :

Combiner la carte de co-attention apprise à un a priori spatial conçu pour chaque requête.

SMCA prédit, pour chaque requête objet, un centre initial ainsi que les échelles de largeur et de hauteur de sa boîte. Ces valeurs produisent une carte de poids spatiaux 2D de forme gaussienne, qui module la co-attention entre la requête et les caractéristiques de l’image afin de concentrer la recherche près de la position estimée.

Prédiction initiale

Chaque requête objet commence par estimer le centre et les proportions de l’objet dont elle est responsable. Pour la requête OqO_q, centre et échelles s’écrivent :

chnorm,cwnorm=sigmoid(MLP(Oq)),c^{\text{norm}}_h, c^{\text{norm}}_w = \text{sigmoid(MLP}(O_q)), sh,sw=FC(Oq)s_h, s_w = \text{FC}(O_q)

Un MLP à deux couches suivi de sigmoid projette OqO_q vers un centre normalisé dans [0,1]×[0,1][0, 1] \times [0, 1] ; l’opération inverse ramène ensuite ce centre aux coordonnées de l’image.

La requête OqO_q prédit aussi les échelles horizontale et verticale nécessaires à la carte de poids gaussienne 2D. Cette carte repondère la co-attention afin de privilégier les caractéristiques proches de l’emplacement prévu.

Carte de poids gaussiens

À partir du centre cw,chc_w, c_h et des échelles sw,shs_w, s_h, SMCA produit la carte 2D GG suivante :

G(i,j)=exp⁡(−(i−cw)2βsw2−(j−ch)2βsh2)G(i, j) = \exp \left( - \frac{(i - c_w)^2}{\beta s_w^2} - \frac{(j - c_h)^2}{\beta s_h^2} \right)

Ici, (i,j)∈[0,W]×[0,H](i, j) \in [0, W] \times [0, H] désigne une position spatiale ; l’hyperparamètre β\beta règle la largeur de la distribution.

GG donne un poids élevé aux positions proches du centre, et un poids plus faible aux positions éloignées.

SMCA utilise cet a priori GG pour moduler la carte de co-attention CiC_i. Pour chaque carte CiC_i issue du produit scalaire, la modulation s’écrit :

Ci=softmax(KiTQid+log⁡G)ViC_i = \text{softmax} \left( \frac{K_i^T Q_i}{\sqrt{d}} + \log G \right) V_i

Le logarithme de GG s’ajoute aux scores de co-attention avant le softmax sur les positions spatiales. Les positions proches de la boîte estimée gagnent ainsi en poids, ce qui restreint la recherche et accélère la convergence.

SMCA à plusieurs têtes

Dans la version multi-tête, chaque tête de co-attention reçoit sa propre carte de poids spatiaux.

Les têtes partent du même centre [cw,ch][c_w, c_h], puis chacune prédit son décalage [Δcw,i,Δch,i][\Delta c_{w,i}, \Delta c_{h,i}] et ses échelles sw,i,sh,is_{w,i}, s_{h,i}.

Chaque tête construit ainsi sa carte gaussienne GiG_i à partir du centre [cw+Δcw,i,ch+Δch,i][c_w + \Delta c_{w,i}, c_h + \Delta c_{h,i}] et de ses échelles.

La co-attention de la tête s’écrit :

Ci=softmax(KiTQid+log⁡Gi)ViC_i = \text{softmax} \left( \frac{K_i^T Q_i}{\sqrt{d}} + \log G_i \right) V_i

SMCA exploite aussi plusieurs échelles. Le CNN extrait f16,f32,f64f_{16}, f_{32}, f_{64}, avec des taux de sous-échantillonnage de 16, 32 et 64. Ces caractéristiques viennent directement du backbone CNN afin de limiter le coût : il n’y a pas de Feature Pyramid Network (FPN).

Pour choisir automatiquement l’échelle pertinente, chaque requête calcule des poids d’attention entre échelles :

α16,α32,α64=Softmax(FC(Oq))\alpha_{16}, \alpha_{32}, \alpha_{64} = \text{Softmax}(\text{FC}(O_q))

La co-attention sur ces différentes échelles s’écrit :

Ci,j=Softmax(Ki,jTQid+log⁡Gi)Vi,j⊙αjC_{i,j} = \text{Softmax} \left( \frac{K_{i,j}^T Q_i}{\sqrt{d}} + \log G_i \right) V_{i,j} \odot \alpha_j Ci=∑jCi,j,j∈{16,32,64}C_i = \sum_j C_{i,j}, \quad j \in \{16, 32, 64\}

Chaque requête peut ainsi privilégier les échelles utiles et réduire l’influence des autres.

Après la co-attention, les caractéristiques actualisées des requêtes D∈RN×CD \in \mathbb{R}^{N \times C} servent à prédire les boîtes et les scores de classe :

Box=Sigmoid(MLP(D))\text{Box} = \text{Sigmoid}(\text{MLP}(D)) Score=FC(D)\text{Score} = \text{FC}(D)

La prédiction de boîte réutilise aussi l’a priori initial : les logits du centre initial sont ajoutés aux logits du centre prédit avant l’application de sigmoid. Dans l’équation, c^norm\widehat c^{\text{norm}} désigne le centre initial avant sigmoid.

Box^=MLP(D),Box^[:2]=Box^[:2]+[c^hnorm,c^wnorm],Box=Sigmoid(Box^)\widehat{\text{Box}} = \text{MLP}(D), \quad \widehat{\text{Box}}[:2] = \widehat{\text{Box}}[:2] + [\widehat c^{\text{norm}}_h, \widehat c^{\text{norm}}_w], \quad \text{Box} = \text{Sigmoid}(\widehat{\text{Box}})

La boîte prédite reste ainsi liée à la région que SMCA a mise en évidence pendant la co-attention.

Stratégie d’entraînement

  1. Jeu de données :

    • Les expériences utilisent COCO 2017 : 118 000 images d’entraînement et 5 000 images de validation. La mesure principale est la mAP (mean average precision), comme dans les travaux comparés.
  2. Détails de mise en œuvre :

    • L’extraction des caractéristiques repose sur ResNet-50 ; cette variante est notée SMCA-R50.
    • À la différence de DETR, SMCA utilise 300 requêtes objet au lieu de 100 et remplace la perte de classification par entropie croisée par une focal loss. Cela aide à gérer le déséquilibre entre premier plan et fond ; la probabilité initiale de la focal loss est fixée à 0,01.
  3. Paramètres d’entraînement :

    • Le modèle est entraîné pendant 50 époques, avec un taux d’apprentissage divisé par dix à la 40e.
    • Le taux initial vaut 10−410^{-4} pour l’encodeur Transformer et 10−510^{-5} pour le backbone ResNet préentraîné ; l’optimiseur est AdamW.
    • Les taux de sous-échantillonnage multiéchelles par défaut sont 16, 32 et 64.
  4. Pertes et association :

    • Lors de l’association bipartite, les coefficients de la perte de classe, de la distance L1 et de GIoU valent respectivement 2, 5 et 2.
    • Après l’association, l’entraînement minimise ces mêmes trois pertes avec les mêmes coefficients.
  5. Autres détails :

    • Les couches Transformer utilisent post-norm, comme dans les travaux précédents.
    • L’augmentation des données comprend un recadrage aléatoire dont la largeur ou la hauteur maximale après découpe est de 1333.
    • Les modèles sont entraînés sur huit GPU V100, chacun recevant une image.

Discussion

Comparaison avec DETR

La SMCA mono-échelle remplace surtout la co-attention du décodeur DETR et ajoute le réseau qui produit l’a priori spatial ; la version multiéchelle complète modifie également l’encodeur. Le temps d’inférence et les GFLOPs du tableau se lisent séparément : SMCA mono-échelle demande 0,043 seconde et 86 GFLOPs, contre 0,038 seconde et 86 GFLOPs pour DETR ; SMCA complet demande 0,100 seconde et 152 GFLOPs, contre 0,079 seconde et 187 GFLOPs pour DETR-DC5.

Avec une seule échelle, la dimension de l’auto-attention est de 256 et celle de la couche intermédiaire du réseau feed-forward (FFN) de 2048. En multiéchelle, la dimension intermédiaire du FFN descend à 1024 ; l’encodeur emploie cinq couches d’auto-attention intra-échelle et inter-échelles pour garder un nombre de paramètres comparable à DETR.

Après 50 époques, SMCA sans multiéchelle atteint 41,0 mAP et SMCA multiéchelle complet 43,7. Après 108 époques, les deux atteignent respectivement 42,7 et 45,6.

Pour atteindre environ 43 mAP, SMCA complet prend 50 époques et obtient 43,7, alors que DETR-DC5 atteint 43,3 après 500 époques. Cette comparaison concerne le nombre d’époques ; le temps GPU total demande une mesure distincte. L’inférence de SMCA complet prend 0,100 seconde par image, contre 0,079 pour DETR-DC5.

Ablations

Les auteurs réalisent plusieurs ablations afin d’évaluer l’importance des composants de SMCA.

SMCA avec carte partagée entre les têtes

Les auteurs ajoutent au DETR de référence une modulation spatiale partagée entre têtes, en gardant le taux d’apprentissage, le programme et les paramètres d’auto-attention de cette référence. Celle-ci atteint 34,8 mAP avec déjà 300 requêtes et une focal loss ; ce n’est pas le DETR original à 100 requêtes et entropie croisée.

Après 50 époques, l’AP passe de 34,8 à 40,2. Avec des tailles de lot de 8, 16 et 32, les résultats sont 40,2, 40,2 et 39,9 mAP : l’écart est faible dans ces trois réglages.

La modulation multi-tête donne à chaque tête une carte spatiale distincte. Toutes partent d’un même centre, mais prédisent leur décalage et leur échelle propres. La mAP monte de 40,2 pour la carte partagée à 41,0 avec ces cartes individuelles.

Les auteurs essaient aussi des échelles fixes ou apprises, et une largeur et une hauteur liées ou séparées. Avec une échelle gaussienne fixée à 1, la mAP vaut 38,5, soit 3,7 points de plus que la référence : prédire le centre spatial contribue donc déjà au gain.

SMCA multi-tête

L’encodeur multiéchelle reçoit deux couches d’auto-attention intra-échelle, une inter-échelles, puis encore deux intra-échelle : SMCA (2Intra-Multi-2Intra). Dans le tableau, cette configuration fait passer la mAP de 41,0 à 43,7. Sans SSA, elle tombe à 42,6.

Remplacer cet ensemble par cinq couches seulement intra-échelle donne 43,3 mAP, ce qui appuie l’intérêt de l’échange entre échelles dans cette comparaison. Cinq couches intra-échelle font mieux que trois (43,3 contre 42,9) ; trois couches inter-échelles atteignent aussi 43,3, mais avec une profondeur et un coût différents.

Les auteurs choisissent 2Intra-Multi-2Intra : 43,7 mAP et 39,5 millions de paramètres, contre 41,0 mAP et 41,0 millions pour SMCA mono-échelle. Les lignes de partage des poids forment une autre ablation : FFN partagé seul, 43,0 / 42,2 M ; auto-attention partagée seule, 42,8 / 44,7 M ; aucun partage, 42,3 / 47,3 M. Le tableau ne teste pas la généralisation entre jeux de données.

Comparaison avec d’autres architectures

Les auteurs comparent SMCA à d’autres détecteurs sur la validation COCO 2017.

  1. Face à DETR :

    • DETR est un détecteur Transformer de bout en bout. DETR-R50 emploie ResNet-50, tandis que DETR-DC5-R50 utilise sa variante dilatée. Face à DETR-DC5 entraîné 500 époques, SMCA obtient un AP supérieur pour les petits, moyens et grands objets après 108 époques ; après 50 époques, ses AP pour les objets moyens et grands restent légèrement inférieurs.
  2. Face à Faster R-CNN :

    • Faster R-CNN avec FPN est un détecteur en deux étapes. Après 108 époques, SMCA-R50 atteint 45,6 mAP, contre 42,0 pour Faster R-CNN-FPN-R50++ après le même nombre d’époques.
    • Ce dernier obtient 26,6 AP pour les petits objets, devant SMCA à 25,9 ; pour les grands objets, SMCA atteint 62,6 contre 53,4. C’est une comparaison entre détecteurs entiers, et non l’effet isolé de l’auto-attention multiéchelle.
  3. Face à Deformable DETR :

    • Deformable DETR remplace l’auto-attention de l’encodeur et la co-attention du décodeur de DETR par une attention déformable locale, tout en conservant l’auto-attention du décodeur. Il converge plus vite que DETR, mais le tableau présente un AP plus faible sur les grands objets dans certaines configurations.
    • Avec R50, l’AP des grands objets vaut 61,1 pour DETR-DC5, 58,0 pour Deformable DETR après 50 époques et 60,4 pour SMCA après 50 époques. Les backbones et durées variant, on ne peut pas attribuer cet écart à la seule modulation spatiale.
    • Après 50 époques, SMCA atteint 43,7 mAP, proche des 43,8 de Deformable DETR. Dans ces lignes, SMCA fait mieux sur les grands objets ; Deformable DETR garde un avantage sur les petits.
  4. Face à UP-DETR :

    • UP-DETR utilise un préentraînement non supervisé pour accélérer DETR. Le tableau donne 45,6 mAP à SMCA après 108 époques et 42,8 à UP-DETR-R50+ après 300 ; leurs entraînements diffèrent, donc il s’agit seulement d’une comparaison de résultats affichés.
  5. Face à TSP-FCOS et TSP-RCNN :

    • TSP-FCOS et TSP-RCNN combinent l’association hongroise de DETR à des détecteurs de type FCOS ou R-CNN, avec une convergence plus rapide que DETR dans les expériences citées.
    • Comme Deformable DETR et Faster R-CNN-FPN, ils présentent des avantages sur les petits objets, mais sont un peu moins bons sur les grands dans certaines lignes du tableau.
    • Avec un entraînement court, SMCA-R50 après 50 époques donne 43,7 mAP, proche de TSP-RCNN-R50 après 36 époques à 43,8, et au-dessus de TSP-FCOS-R50 après 36 époques à 43,1. Avec un entraînement plus long, SMCA atteint 45,6 après 108 époques, contre 45,0 après 96 pour TSP-RCNN+-R50. Ces lignes changent de modèle et de durée : elles ne constituent pas une ablation d’un module unique.
  6. Avec un backbone ResNet-101 :

    • Le passage de ResNet-50 à ResNet-101 produit une tendance de gain semblable.

Conclusion

Les auteurs ont intégré la co-attention à modulation spatiale (SMCA) à DETR et amélioré sa précision dans les expériences présentées.

Le SMCA complet atteint 45,6 mAP après 108 époques, contre 43,3 pour DETR-DC5 après 500. Il converge donc en moins d’époques vers cette précision, mais son temps d’inférence par image est de 0,100 seconde contre 0,079 pour DETR-DC5 dans le tableau. La méthode montre ainsi l’intérêt d’un a priori spatial et d’échanges globaux entre caractéristiques, sous les conditions mesurées.

D’autres articles ont encore amélioré DETR. Continuons à les découvrir.