Retour à la bibliothèque
arXiv 2019CVPR 2020Détection d’objetsNotes de lecture

ATSS

La mort des ancres

Article original

Bridging the Gap Between Anchor-Based and Anchor-Free Detection via Adaptive Training Sample Selection

Auteurs de l’article

Shifeng Zhang · Cheng Chi · Yongqiang Yao · Zhen Lei · Stan Z. Li

Publication
CVPR 2020Conférence
Premier dépôt sur arXiv
arXiv:1912.02424
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{objectdetectionatss2019,
  title = {{Bridging the Gap Between Anchor-Based and Anchor-Free Detection via Adaptive Training Sample Selection}},
  author = {Shifeng Zhang and Cheng Chi and Yongqiang Yao and Zhen Lei and Stan Z. Li},
  year = {2019},
  eprint = {1912.02424},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1912.02424}
}
Sur cette page

Ces dernières années, la détection d'objets s'est divisée en deux camps : les méthodes avec ancres (anchor-based) et celles sans ancres (anchor-free).

Méthodes avec ancres

  • Les détecteurs à deux étapes, comme Faster R-CNN, proposent des régions avec un RPN, puis les affinent avec un R-CNN. Leurs régressions successives leur ont longtemps donné l'avantage en précision.
  • Les détecteurs à une étape, comme SSD et RetinaNet, disposent des ancres sur plusieurs cartes de caractéristiques, puis classent et ajustent directement les boîtes. Ils sont efficaces et ont progressivement rattrapé les méthodes à deux étapes.

Méthodes sans ancres

  • À points clés : elles localisent des points pour reconstruire une boîte. CornerNet associe son coin supérieur gauche au coin inférieur droit ; ExtremeNet cherche quatre points extrêmes et le centre.
  • À centre : elles prennent le centre ou une région de l'objet pour définir les positifs, puis régressent jusqu'aux côtés de la boîte, comme YOLO, FCOS et FoveaBox.

Définir le problème

Les deux camps semblent s'opposer, mais répondent au fond à la même question :

Quelles positions doivent être positives, et lesquelles doivent être négatives ?

Prenons RetinaNet (avec ancres) et FCOS (sans ancres, à centre). Ils diffèrent surtout sur trois points :

  1. Unité d'échantillonnage : RetinaNet pose plusieurs ancres par position ; FCOS n'y pose qu'un point.
  2. Définition des échantillons : RetinaNet sépare positifs et négatifs avec des seuils d'IoU ; FCOS utilise des contraintes spatiales et d'échelle.
  3. Point de départ de la régression : RetinaNet part d'une boîte d'ancrage ; FCOS part d'un point.

Pourtant, une fois ces conditions alignées dans les expériences des auteurs :

La différence décisive ici n'est pas « boîte ou point », mais « comment choisir les échantillons positifs et négatifs ».

Si les deux méthodes appliquent la même sélection des échantillons à l'entraînement, leurs résultats finaux ne présentent pas d'écart net. Le fossé entre les détecteurs avec et sans ancres tient donc, dans cette comparaison, à l'attribution des échantillons plutôt qu'à leur seule représentation.

Reste alors à se demander :

  • Pourquoi fixer à la main des seuils d'IoU ou des règles rigides pour distinguer positifs et négatifs ?
  • Peut-on laisser les statistiques propres à chaque objet déterminer quels échantillons retenir ?

Attendez, vous allez demander : « Et les ancres ? »

Oh, elles sont mortes.

Gardons-en un exemplaire au musée pour témoigner de leur histoire.

Résoudre le problème

Les auteurs comparent deux méthodes représentatives : RetinaNet (avec ancres) et FCOS (sans ancres, à centre). Elles diffèrent en apparence sur bien des aspects ; pour les comparer équitablement, il faut d'abord enlever un à un les facteurs parasites.

Écarter les différences d'implémentation

Ils limitent d'abord RetinaNet à une ancre carrée par position (RetinaNet #A=1), afin de rapprocher sa forme de FCOS.

Il reste pourtant un écart visible sur COCO : RetinaNet (#A=1) n'obtient que 32,5 AP, contre 37,1 AP pour FCOS dans cette première comparaison.

Mais FCOS utilise plusieurs améliorations applicables aux deux méthodes :

  • une normalisation GroupNorm ;
  • une perte GIoU ;
  • une branche center-ness ;
  • une contrainte imposant que le centre des ancres positives soit dans la boîte annotée ;
  • un facteur appris par niveau de pyramide.

Aucune n'est réservée aux détecteurs sans ancres.

Après les avoir ajoutées à RetinaNet (#A=1), son AP monte à 37,0, près des 37,8 de FCOS. L'écart initial de 5,3 points tombe à 0,8 point : une bonne partie venait donc des réglages communs aux deux architectures.

Isoler la vraie différence

Après avoir écarté ces avantages d'implémentation, deux questions restent :

  1. La définition des échantillons pour la classification.
  2. Le point de départ de la régression pour la localisation.

Commençons par la définition des échantillons.

Les cases bleues représentent les positifs, les grises les négatifs.


  • RetinaNet choisit les échantillons par seuils d'IoU : la meilleure ancre de chaque boîte réelle ainsi que les ancres d'IoU supérieur à θpθ_p sont positives ; celles d'IoU inférieur à θnθ_n sont négatives ; l'intervalle entre les deux est ignoré.
  • FCOS applique une contrainte spatiale et d'échelle : les points dans une boîte sont candidats, puis la plage d'échelle du niveau filtre les positifs.

Les résultats montrent :

  • Quand RetinaNet (#A=1) adopte la règle spatiale et d'échelle de FCOS, son AP passe de 37,0 à 37,8.
  • Quand FCOS adopte les seuils d'IoU, son AP passe de 37,8 à 36,9.

Dans cette comparaison alignée, changer la règle d'attribution influe davantage sur l'AP que remplacer le point de départ de la régression.


Regardons maintenant la régression.

  • RetinaNet prédit des décalages depuis une boîte d'ancrage.
  • FCOS prédit quatre distances depuis un point.

Lorsque la règle d'attribution est la même dans ces expériences, l'AP change peu :

  • Avec les seuils d'IoU, la régression depuis une boîte atteint 37,0 AP, depuis un point 36,9 AP. Avec la règle spatiale et d'échelle, les deux atteignent 37,8 AP.

D'où la conclusion des auteurs :

  • Dans ces conditions contrôlées, définir les positifs et négatifs pèse davantage sur l'AP que régresser depuis une boîte ou depuis un point.

Adaptive Training Sample Selection

Posons d'abord quelques notations :

  • G\mathcal{G} : l'ensemble des boîtes réelles (ground truth, GT) de l'image.
  • A\mathcal{A} : l'ensemble de toutes les ancres ; LL est le nombre de niveaux FPN et Ai\mathcal{A}_i désigne les ancres du niveau ii.
  • kk : le seul hyperparamètre principal de la sélection ; à chaque niveau, on prend les kk ancres dont le centre est le plus proche de celui de la boîte GT.
  • CgC_g : les ancres candidates d'une boîte GT gg, soit k×Lk\times L candidates.
  • DgD_g : l'ensemble des valeurs d'IoU entre ces candidates et gg.
  • mgm_g et vgv_g : la moyenne et l'écart type des IoU de DgD_g.
  • tgt_g : le seuil d'IoU adaptatif pour gg, défini par tg=mg+vgt_g = m_g + v_g

L'idée d'ATSS est la suivante :

Laisser les statistiques des candidates de chaque objet GT définir sa propre frontière entre positifs et négatifs, plutôt que fixer partout le même seuil.

Voici les étapes :

  1. Choisir les candidates : pour chaque gg, prendre les kk ancres aux centres les plus proches dans chacun des LL niveaux, puis former CgC_g.
  2. Calculer les statistiques : obtenir les IoU de DgD_g, leur moyenne mgm_g et leur écart type vgv_g.
  3. Fixer le seuil adaptatif : poser tg=mg+vgt_g=m_g+v_g.
  4. Garder les positifs : une ancre dont l'IoU est au moins tgt_g et dont le centre se trouve dans la boîte rejoint Pg\mathcal{P}_g. Si plusieurs GT la sélectionnent, l'attribuer à celle avec laquelle elle a l'IoU le plus élevé.
  5. Toutes les autres ancres deviennent négatives, dans N\mathcal{N}.

Cette règle a plusieurs avantages :

  • Choix par distance entre centres : avec ou sans ancres, les candidates proches du centre d'un objet sont généralement de bons points de départ.

  • Seuil mg+vgm_g+v_g :

    • mgm_g élevé → bonne qualité moyenne des candidates → seuil plus haut.
    • mgm_g faible → candidates généralement moins bonnes → seuil plus bas, pour ne pas négliger la boîte GT.
    • vgv_g élevé → certains niveaux sont particulièrement adaptés → seuil plus haut, ne gardant que leurs meilleures candidates.
    • vgv_g faible → plusieurs niveaux peuvent convenir → seuil plus bas, leur laissant davantage de place.
  • Moins d'écart dans le nombre de positifs par objet : les auteurs observent environ 0.2×kL0.2\times kL positifs par GT, relativement stables selon l'échelle, le rapport largeur-hauteur et la position. C'est une observation expérimentale.

  • Peu de réglages principaux : pour kk entre 77 et 1717, les résultats sont proches dans ces essais. Le calcul des IoU avec des ancres exige tout de même de choisir leur taille ; les auteurs étudient aussi la sensibilité à cette taille et au rapport largeur-hauteur.


Les auteurs testent d'abord ATSS sur un détecteur avec ancres, RetinaNet (#A=1), en remplaçant son attribution classique par la nouvelle règle.

Tous les indicateurs évalués s'améliorent par rapport à sa propre base :

Selon les auteurs, chaque boîte GT peut ainsi retenir les positifs adaptés à ses propres statistiques.

ATSS ne modifie que l'attribution à l'entraînement. Le réseau d'inférence ne change pas, donc il n'y a pas de coût d'inférence supplémentaire ; calculer les candidates, leurs IoU et leurs statistiques a toujours un coût à l'entraînement.

Ils l'appliquent ensuite au détecteur sans ancres FCOS, en distinguant deux versions :

  1. Version Lite (Center Sampling)

    • FCOS d'origine considère les points de la boîte comme candidats, ce qui peut retenir beaucoup de positifs de mauvaise qualité.
    • ATSS Lite ne garde que les k=9k=9 candidates les plus proches du centre à chaque niveau.
    • Cette idée a été intégrée au code officiel de FCOS sous le nom de center sampling.
    • Résultat : l'AP passe de 37,8 à 38,6, comme dans le tableau ci-dessus.
    • Limite : la plage d'échelle (scale range) reste un hyperparamètre.
  2. Version Full (ATSS complet)

    • Pour l'attribution seulement, chaque point FCOS est traité temporairement comme le centre d'une ancre carrée de côté 8S8S, où SS est le stride du niveau.
    • La régression continue, comme dans FCOS, à prédire depuis le point les quatre distances aux côtés.
    • Voici les gains par rapport à FCOS de base :
      APAP50AP_{50}AP75AP_{75}APSAP_SAPMAP_MAPLAP_L
      +1,4+1,7+1,7+0,6+1,3+2,7

Lite et Full ont des candidates spatiales similaires, mais leur sélection entre les échelles diffère. Full atteint 39,2 AP, Lite 38,6 AP ; en revanche, leur AP50AP_{50} vaut respectivement 57,3 et 57,4 : tous les indicateurs ne montent pas de Lite à Full. Ces résultats appuient le seuil adaptatif pour l'AP globale dans cette expérience.

Discussion

Pour mesurer le résultat final d'ATSS, les auteurs le comparent aux détecteurs dominants sur MS COCO test-dev.

Le protocole est le suivant :

  • Entraînement multi-échelle : la petite dimension de l'image est choisie entre 640640 et 800800 pixels.
  • 180K itérations, avec baisse du taux d'apprentissage à 120K et 160K.
  • Les autres réglages restent ceux des expériences précédentes.

Comparaison avec les méthodes existantes

  • Avec un backbone ResNet-101, ATSS atteint 43,6 AP, devant les détecteurs du tableau utilisant le même backbone :
    • Cascade R-CNN : 42,8 ;
    • C-Mask R-CNN : 42,0 ;
    • RetinaNet : 39,1 ;
    • RefineDet : 36,4.
  • Avec un backbone plus grand :
    • ResNeXt-32x8d-101 → 45,1 AP ;
    • ResNeXt-64x4d-101 → 45,6 AP.
  • SNIP atteint 45,7 AP, soit 0,1 point de plus. Il utilise un autre backbone et d'autres réglages d'entraînement et de test multi-échelle : il s'agit ici d'un classement de systèmes.
  • Avec des convolutions déformables (DCN) :
    • ResNet-101 → 46,3 AP ;
    • ResNeXt-32x8d-101 → 47,7 AP ;
    • ResNeXt-64x4d-101 → 47,7 AP.

Le meilleur modèle avec DCN du tableau atteint 47,7 AP avec un seul modèle et un test à une seule échelle. Le meilleur résultat monte à 50,7 AP avec un test multi-échelle. Les architectures et les protocoles diffèrent : on ne peut attribuer tout le gain à la seule règle de sélection.

ATSS change la définition des échantillons positifs et négatifs. Plusieurs backbones obtiennent de bons AP avec cette règle et peuvent encore profiter de DCN et du test multi-échelle ; ces comparaisons entre modèles ne mesurent pourtant pas isolément le gain d'ATSS.

Nombre d'ancres

La plupart des expériences précédentes utilisaient RetinaNet (#A=1). Le RetinaNet classique pose pourtant neuf ancres par position, soit trois échelles multipliées par trois rapports largeur-hauteur.

  • Avec l'attribution classique fondée sur l'IoU :

    • RetinaNet (#A=9) atteint 36,3 AP ;
    • les améliorations communes, dont GroupNorm et GIoU, le portent à 38,4 AP ;
    • RetinaNet (#A=1), lui, n'atteint que 37,0 AP après ces améliorations ;
    • avec la règle classique, multiplier les ancres peut donc aider.
  • Avec ATSS :

    • RetinaNet (#A=9) passe de 38,4 à 39,2 AP, soit 0,8 point de plus ;
    • son résultat est très proche de RetinaNet (#A=1) ;
    • réduire de trois à une les échelles ou les rapports largeur-hauteur des ancres change peu l'AP.

Dans cette ablation minival, les configurations avec 1, 3 et 9 ancres associées à ATSS restent entre 39,2 et 39,3 AP. Les ancres supplémentaires ne procurent donc pas d'avantage visible ici. Les auteurs mettent en doute la nécessité d'en disposer autant par position quand la sélection suit cette règle.

Conclusion

La contribution majeure d'ATSS est de ramener la question centrale de la détection à la définition des positifs et négatifs. Une règle statistique simple laisse chaque GT établir sa frontière, sans seuil d'IoU global ni plage d'échelle prédéfinie.

ATSS apaise ainsi une longue querelle entre détecteurs avec et sans ancres et améliore, dans les essais présentés, leurs résultats sans ajouter de coût d'inférence.

Cette idée ouvre la voie à de nombreux travaux :

  • PAA et OTA/SimOTA : ils apprennent ou optimisent globalement l'attribution des échantillons.
  • TOOD / TAL : ils insistent sur l'alignement des tâches de classification et de localisation.
  • VFL et GFLv2 : ils intègrent explicitement une mesure de qualité aux scores de classification.

En 2025, de plus en plus de modèles s'appuient sur une attribution globale comme OTA ou sur l'alignement des tâches comme TAL. Dans les architectures Transformer telles que DETR et DINO, l'attribution prend la forme d'un appariement hongrois, mais la question de fond reste la même :

Comment faire apprendre au modèle les bons échantillons ?

Nous reconnaissons le problème, puis nous le résolvons.

ATSS est décidément un classique qui mérite d'être lu.