Retour à la bibliothèque
arXiv 2020NeurIPS 2020Détection d’objetsNotes de lecture

GFL

Le point de convergence

Article original

Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection

Auteurs de l’article

Xiang Li · Wenhai Wang · Lijun Wu …

Afficher les 8 auteurs

Xiang Li · Wenhai Wang · Lijun Wu · Shuo Chen · Xiaolin Hu · Jun Li · Jinhui Tang · Jian Yang

Publication
NeurIPS 2020Conférence
Premier dépôt sur arXiv
arXiv:2006.04388
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{objectdetectiongfl2020,
  title = {{Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection}},
  author = {Xiang Li and Wenhai Wang and Lijun Wu and Shuo Chen and Xiaolin Hu and Jun Li and Jinhui Tang and Jian Yang},
  year = {2020},
  eprint = {2006.04388},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2006.04388}
}
Sur cette page

Cette méthode revient sans cesse dans les détecteurs d'objets récents. Prenons le temps d'en regarder l'idée centrale.

Définir le problème

En détection d'objets, nous poursuivons toujours deux scores :

  • Le score de classification : « qu'y a-t-il dans cette boîte ? »
  • La qualité de localisation : « cette boîte est-elle bien placée ? »

Beaucoup de détecteurs denses à une étape apprennent ces deux aspects séparément : une branche pour la classe, une autre pour la qualité, telle que l'IoU ou la centerness.

À l'inférence, les boîtes candidates sont classées avant la NMS ; on multiplie directement les deux scores pour décider quelles prédictions conserver.

Pourquoi les « multiplier » ?

Notre intuition nous dit qu'une bonne détection doit bien reconnaître l'objet et bien le localiser.

Puisque ces scores sont compris entre 0 et 1, le produit chute dès que l'un des deux est faible. Cela paraît logique, n'est-ce pas ?

Deux problèmes structurels s'y cachent pourtant :

  1. La discordance entre entraînement et inférence :

    À l'entraînement, les branches de classe et de qualité apprennent séparément : on ne demande jamais explicitement au modèle d'optimiser leur produit. À l'inférence, ce produit devient soudain le critère de classement. Si le modèle pouvait parler, il protesterait : « Ce n'était pas ce qu'on avait convenu ! »

  2. L'interférence des négatifs :

    La branche de qualité est d'habitude supervisée seulement sur les exemples positifs ; les positions de fond ne reçoivent donc pas de contrainte explicite.

    Certaines boîtes de fond peuvent alors obtenir un score de qualité anormalement élevé :

    • Même avec un score de classe faible, une qualité exceptionnellement haute peut placer leur produit devant celui d'une meilleure candidate et évincer un positif.
    • Dans l'échantillonnage dense des ancres ou positions, ce mauvais ordre peut se répéter et peser sur la décision finale de la NMS.

Ce n'est pas tout : la représentation même de la boîte nous laisse songeurs.

Depuis longtemps, on traite ses coordonnées comme des valeurs certaines. Dans les images réelles, pourtant, les frontières peuvent être floues ou cachées, et les annotations varier d'une personne à l'autre. Une seule valeur est alors une description rigide.

On a essayé une distribution gaussienne : moyenne et variance permettent au moins d'exprimer une dispersion. Mais sa forme symétrique et imposée décrit mal les cas asymétriques, à longue queue ou à plusieurs modes.

Nous voilà donc coincés sur deux plans :

  • Les scores : classe et qualité de localisation parlent chacune de leur côté ; l'objectif d'entraînement ne correspond pas au classement à l'inférence, et les négatifs peuvent s'en mêler.
  • La boîte : sa représentation est soit trop déterministe, soit trop simplifiée pour refléter les formes que pourraient prendre les prédictions.

Peut-on faire parler classification et qualité dans le même langage, en accordant dès le départ entraînement et inférence ?

Peut-on apprendre une représentation distribuée plus souple sans imposer d'avance la forme de cette distribution ?

Résoudre le problème

Avant d'expliquer la méthode de l'article, revoyons la Focal Loss que nous avons apprise il y a quelque temps.

Focal Loss

Dans un détecteur à une étape, le premier défi du classifieur est le fort déséquilibre entre les exemples.

La plupart des boîtes candidates appartiennent au fond (negative) ; les vrais objets (positive) sont rares. L'entropie croisée ordinaire peut donc être dominée par la multitude des exemples de fond faciles. Le modèle apprend vite à les rejeter, mais consacre moins d'attention aux exemples positifs difficiles.

La Focal Loss cherche à :

Réduire la contribution des exemples faciles et mettre l'accent sur les exemples difficiles.

Elle ajoute un facteur dynamique (1−pt)γ(1-p_t)^{\gamma} à la perte. Un exemple correctement reconnu avec grande confiance contribue alors très peu ; une prédiction incertaine ou fausse conserve davantage de poids.

Sa forme est :

FL(p)  =  −(1−pt)γ log⁡pt,pt  =  {p,y=11−p,y=0\mathrm{FL}(p) \;=\; - (1 - p_t)^{\gamma}\,\log p_t,\qquad p_t \;=\; \begin{cases} p, & y=1 \\ 1-p, & y=0 \end{cases}

Ici :

  • p∈[0,1]p \in [0,1] est la probabilité prédite pour la classe positive ;
  • y∈{0,1}y \in \{0,1\} est l'étiquette réelle ;
  • γ≥0\gamma \ge 0 règle la réduction du poids des exemples faciles.

Le mécanisme part d'étiquettes binaires y∈{0,1}y\in\{0,1\}. GFL en reprend l'idée de se concentrer sur les erreurs pour l'étendre à des étiquettes continues y∈[0,1]y\in[0,1] liées à la qualité de localisation.

Quality Focal Loss

Après cette révision, posons-nous une autre question :

Une boîte doit répondre à « quel objet est-ce ? », mais aussi à « à quel point l'encadre-t-elle bien ? »

La méthode classique apprend séparément le score de classe et la qualité de localisation, puis les multiplie à l'inférence.

Comme nous venons de le voir, cette combinaison tardive crée une discordance : le classifieur est entraîné sur la classe seule, alors que le classement dépend d'un produit avec la qualité.

Les auteurs proposent donc la Quality Focal Loss (QFL).

Son idée est de faire apprendre au modèle, dès l'entraînement, un score qui combine classe et qualité, au lieu de les assembler après coup.


Pour cela, ils utilisent d'abord une étiquette continue.

  • Dans la dimension de la vraie classe c∗c^*, la cible n'est plus simplement 00 ou 11 : c'est l'IoU entre la boîte prédite et son annotation, soit y∈[0,1]y\in[0,1].

    • y=0y=0 : l'exemple n'appartient pas à cette classe, ou sa qualité est nulle.
    • y=1y=1 : la classe et la localisation correspondent parfaitement.
    • Entre les deux : la boîte est partiellement correcte, avec une qualité limitée.
  • Pour un négatif, toutes les classes gardent une cible 00.

  • La sortie de chaque classe est une probabilité sigmoid σ∈[0,1]\sigma\in[0,1].


QFL combine deux opérations dans sa perte :

Elle étend l'entropie croisée binaire à une étiquette continue et remplace le facteur de focalisation par la distance entre sortie et cible :

QFL(σ)  =  − ∣y−σ∣β  [(1−y)log⁡(1−σ)+ylog⁡σ],β≥0\mathrm{QFL}(\sigma) \;=\; -\,|y-\sigma|^{\beta}\;\big[(1-y)\log(1-\sigma) + y\log\sigma\big], \qquad \beta \ge 0

Quelques propriétés :

  • Lorsque σ=y\sigma=y, QFL\mathrm{QFL} atteint son minimum global.
  • ∣y−σ∣β|y-\sigma|^{\beta} est le facteur de focalisation continu : plus la sortie s'écarte de la cible, plus sa contribution augmente.
  • Avec y∈{0,1}y\in\{0,1\} et un choix approprié de β\beta, on retrouve la forme de la Focal Loss initiale.

La sortie σ\sigma de QFL porte déjà à la fois la classe et sa qualité. À l'inférence, elle peut donc servir directement au classement et à la NMS, sans multiplication tardive par une branche de qualité.

Distribution Focal Loss

À ce stade, QFL réunit classe et qualité dans le même score.

Reste pourtant l'autre problème : la régression de la position de la boîte.

Habituellement, chaque distance à l'un de ses bords (gauche, droite, haut, bas) est régressée comme un seul nombre.

C'est comme dire au modèle :

« Il n'existe qu'un seul point correct : tu dois tomber dessus. »

Cela semble raisonnable, mais c'est assez sévère.

Dans les images réelles, les frontières ne sont pas toujours nettes ; l'annotation peut comporter une erreur et la prédiction du modèle reste incertaine. Réduire la réponse à un nombre, c'est demander à un tireur de toucher exactement le centre de la cible.

Une distribution gaussienne est plus souple qu'une valeur ponctuelle et peut exprimer une dispersion. Sa symétrie et sa forme imposée ne permettent toutefois pas de représenter librement une préférence asymétrique pour un côté.

Les auteurs proposent donc de laisser le modèle décrire une distribution des positions :

  • L'intervalle de régression est découpé en cases discrètes (y0,y1,…,yn)(y_0, y_1, \dots, y_n).
  • Le modèle produit une distribution softmax sur ces cases.
  • L'espérance de cette distribution devient la valeur régressée :
y^=∑i=0nSi yi\hat{y} = \sum_{i=0}^n S_i \, y_i

Le modèle peut ainsi indiquer où se concentre sa réponse, au lieu de ne produire qu'un nombre.

Mais une infinité de distributions peuvent avoir la même espérance. Superviser seulement cette dernière ne permettrait pas d'apprendre efficacement la forme souhaitée.

L'astuce des auteurs est de superviser les deux cases qui encadrent la vraie valeur.

Si la cible yy se trouve entre yiy_i et yi+1y_{i+1}, ses poids se répartissent selon sa position :

  • Plus elle est proche de yiy_i, plus cette case reçoit de poids.
  • Plus elle est proche de yi+1y_{i+1}, plus la seconde en reçoit.

Soit, mathématiquement :

wleft=yi+1−yyi+1−yi,wright=y−yiyi+1−yiw_{\text{left}} = \frac{y_{i+1}-y}{y_{i+1}-y_i}, \qquad w_{\text{right}} = \frac{y-y_i}{y_{i+1}-y_i}

La perte est une entropie croisée pondérée :

DFL=−[wleftlog⁡Si+wrightlog⁡Si+1]\mathrm{DFL} = - \Big[ w_{\text{left}} \log S_i + w_{\text{right}} \log S_{i+1} \Big]

À l'optimum, quand Si=wleftS_i=w_{\text{left}} et Si+1=wrightS_{i+1}=w_{\text{right}}, l'espérance retrouve exactement la cible continue yy.

Generalized Focal Loss

Si nous plaçons QFL et DFL dans le même système de coordonnées, nous retrouvons une idée commune :

Interpoler entre deux valeurs d'étiquette voisines à l'aide de probabilités, puis accentuer la perte selon la distance à la vérité.

Définissons d'abord ce petit système local :

  1. Prenons deux valeurs d'étiquette continues voisines yl<yry_l<y_r.

  2. Le modèle prédit leurs probabilités pl,pr≥0p_l,p_r\ge0, avec pl+pr=1p_l+p_r=1.

  3. Leur combinaison linéaire donne la prédiction continue :

    y^  =  yl pl  +  yr pr,y∈[yl, yr].\hat y \;=\; y_l\,p_l \;+\; y_r\,p_r, \qquad y \in [y_l,\,y_r].

Il reste à écrire dans la perte l'idée de se concentrer sur les exemples difficiles.

Si y^\hat y s'éloigne de la cible yy :

  • la pénalité augmente ;
  • elle diminue lorsque les deux se rapprochent.

On obtient la Generalized Focal Loss (GFL) :

GFL(pl,pr)  =  −  ∣ y−(ylpl+yrpr) ∣β  [ (yr−y) log⁡pl  +  (y−yl) log⁡pr ]\mathrm{GFL}(p_l,p_r) \;=\; -\;\big|\,y - (y_l p_l + y_r p_r)\,\big|^{\beta} \;\Big[\,(y_r - y)\,\log p_l \;+\; (y - y_l)\,\log p_r\,\Big]

La formule contient deux éléments :

  • Une entropie croisée à étiquettes souples, dans les crochets, dont les poids dépendent de la position de yy dans [yl,yr][y_l,y_r] ;
  • Un facteur de focalisation continu ∣y−y^∣β\big|y-\hat y\big|^{\beta} : plus l'écart absolu est grand, plus la pénalité augmente ; β\beta en règle l'intensité.

Le minimum global est atteint pour

pl∗  =  yr−y yr−yl ,pr∗  =  y−yl yr−yl ,p_l^* \;=\; \frac{y_r - y}{\,y_r - y_l\,}, \qquad p_r^* \;=\; \frac{y - y_l}{\,y_r - y_l\,},

À ce point, y^=ylpl∗+yrpr∗=y\hat y=y_l p_l^*+y_r p_r^*=y : la prédiction retrouve exactement la cible continue.

Lorsque β\beta augmente, les exemples éloignés pèsent davantage ; à β=0\beta=0, il reste une entropie croisée à étiquettes souples. Dans le détecteur concret, QFL et DFL demeurent deux objectifs appliqués à des sorties différentes : la formule donne leur cadre commun.


GFL nous offre finalement une manière simple de regarder les deux problèmes :

Décrire une étiquette continue par une interpolation entre deux points, et ajuster la focalisation selon la distance à la cible.

La classe et la qualité parlent enfin le même langage ; la boîte passe d'une valeur ponctuelle à une distribution.

Les deux idées peuvent être vues à travers cette formule commune.

Voilà, nous avons parcouru l'article.

Nous pouvons nous en réjouir.

Discussion

L'article évalue la méthode sur COCO, selon le protocole suivant :

  • Entraînement sur trainval35k (115 000 images) ;
  • Ablations sur minival (5 000 images) ;
  • Résultats principaux sur test-dev (20 000 images).

L'implémentation suit les hyperparamètres habituels de MMDetection. Sauf indication contraire, les ablations emploient ResNet-50, un programme 1× (12 époques) et aucun entraînement multi-échelle. La vitesse est mesurée sur RTX 2080Ti avec batch=1.

QFL est-elle utile ?

Regardons le tableau :

  • Tableau (a), comparaison des conceptions : le score conjoint QFL dépasse les scores séparés et la pondération implicite.

    À entraînement et réseau de base identiques, remplacer classe et qualité séparées par un score conjoint supervisé par QFL donne le meilleur AP global sur FCOS comme sur ATSS, devant :

    • une branche de qualité IoU ou centerness séparée, et la pondération implicite des exemples dans la perte de classification.

    Dans ces deux expériences, un même score pour « qu'est-ce que c'est ? » et « à quel point est-ce bien cadré ? » fonctionne mieux qu'un produit tardif. Il y a toutefois une exception : le AP75AP_{75} de FCOS avec QFL est 41,9, un peu sous les 42,0 de la branche IoU. Parmi les qualités séparées, la branche IoU a un AP global supérieur à celui de la centerness.

  • Tableau (b), transfert entre architectures : on peut remplacer la tête et retrouver un gain.

    Sur FoveaBox, RetinaNet et SSD512, le score conjoint avec QFL augmente l'AP global de 0,6 / 0,8 / 0,8 point de pourcentage, respectivement. Ces trois configurations bénéficient donc de ce remplacement.

    Concrètement, on peut retirer la multiplication des scores à l'inférence et utiliser la sortie QFL pour ordonner les boîtes dans la NMS.

  • Tableau (c), sensibilité au paramètre : β=2\beta=2 est un bon choix ici.

    Le facteur de focalisation est ∣y−σ∣β|y-\sigma|^{\beta}. Parmi les valeurs testées sur ATSS, β=2\beta=2 donne le meilleur AP global, 39,9. Le tableau ne mesure pas séparément la contribution des exemples faciles et difficiles.

DFL est-elle utile ?

Voici ce qu'indique ce second tableau :

  • Tableau (a), intérêt de la distribution : une distribution générale avec DFL dépasse Gaussian et Dirac en AP global.

    Par rapport à la référence Dirac, la distribution générale avec DFL fait passer l'AP global de FCOS / ATSS de 38,5 / 39,2 à 39,0 / 39,5 ; le AP75AP_{75} passe de 41,6 / 42,2 à 42,3 / 42,8. Sur ATSS, le AP50AP_{50} baisse cependant légèrement de 57,4 à 57,3.

    Les exemples qualitatifs de la Figure 7 montrent des frontières floues ou cachées où la boîte prédite par la distribution générale se rapproche davantage de l'annotation. La forme prédite indique le poids attribué aux positions.

  • Tableaux (b) et (c), robustesse des hyperparamètres : faible sensibilité à nn, meilleur résultat pour de petits Δ\Delta.

    L'histogramme de la Figure 5(c) montre la distribution des cibles de régression. Dans le tableau (b), ATSS atteint 40,2 AP avec n=14n=14 ou 1616, contre 40,1 avec 1212 ou 1818. Dans le tableau (c), à n=16n=16, Δ=0.5\Delta=0.5 ou 11 donne aussi 40,2 AP ; les espacements plus grands font légèrement baisser le score. Les auteurs retiennent Δ=1\Delta=1 en pratique.

  • Efficacité de l'apprentissage : concentrer la masse de probabilité près de la cible.

    Avec son entropie croisée souple sur les deux cases voisines, DFL encourage explicitement la probabilité à se concentrer de part et d'autre de yy. Elle évite ainsi de nombreuses distributions de formes différentes partageant la même espérance. Les AP globaux et AP75AP_{75} du tableau (a) montent, mais l'article ne mesure pas séparément l'effet de ce mécanisme sur la vitesse d'apprentissage.

La régression passe donc d'un nombre isolé à une distribution dont l'espérance retrouve la valeur continue ; l'AP global de localisation progresse légèrement dans ces expériences COCO. Dans la Table 3, sur RTX 2080Ti et avec batch=1, le débit reste de 19,4 FPS avec ou sans QFL / DFL.

En pratique, n=14∼16n=14\sim16 et Δ=1\Delta=1 sont des choix de départ à associer à QFL et à la perte géométrique.

Conclusion

GFL réunit classe et qualité de localisation dans un score supervisé par QFL et fait passer la boîte d'une valeur ponctuelle à une distribution apprise avec DFL.

Le premier changement réduit la discordance entre entraînement et inférence ; le second restitue la position continue par l'espérance de la distribution. Les deux forment le cadre Generalized Focal Loss. À son époque, ce cadre a déplacé la frontière entre précision et vitesse des détecteurs à une étape sur COCO.

« Aligner les scores » et « régresser une distribution » sont devenus des idées réutilisables :

  • Dans un détecteur dense à une étape, QFL et DFL peuvent remplacer les sorties et pertes correspondantes ; il faut tout de même vérifier le résultat sur son propre système.
  • On peut aussi comparer l'idée « qualité dans le score, boîte en distribution » à TAL, VFL ou à d'autres méthodes d'alignement de bout en bout.

Ce n'était pas une fin en soi. Mais la manière de concevoir un détecteur en a été marquée, et l'influence restait visible en 2025.