Retour à la bibliothèque
arXiv 2022WACV 2023Suivi multi-objetsNotes de lecture

C-BIoU

Une boîte autour de la boîte

Article original

Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space

Auteurs de l’article

Fan Yang · Shigeyuki Odashima · Shoichi Masui · Shan Jiang

Publication
WACV 2023Conférence
Premier dépôt sur arXiv
arXiv:2211.14317
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{multiobjecttrackingcbiou2022,
  title = {{Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space}},
  author = {Fan Yang and Shigeyuki Odashima and Shoichi Masui and Shan Jiang},
  year = {2022},
  eprint = {2211.14317},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2211.14317}
}
Sur cette page

Avec l'arrivée de DanceTrack, on a découvert que des traqueurs aux scores à peu près égaux sur MOT17 se départageaient nettement sur DanceTrack. Les danseurs sont habillés exactement pareil, si bien que les caractéristiques d'apparence ne servent à rien ; leurs mouvements sont rapides et désordonnés, et le filtre de Kalman se trompe souvent dans ses prédictions.

OC-SORT a choisi de réparer le filtre de Kalman. Fan Yang, Shigeyuki Odashima, Shoichi Masui et Shan Jiang, de Fujitsu Research, prennent un autre chemin ; sans se soucier d'abord de la justesse du modèle de mouvement, ils élargissent un peu l'espace d'appariement.

Le titre de l'article prend la forme d'une question : des objets aux mouvements irréguliers et à l'apparence similaire, difficiles à suivre ? Alors donnons un peu de marge à l'espace d'appariement. Cette méthode est aussi le composant principal qui leur a valu la deuxième place en 2022, à la fois au défi de suivi SoccerNet, sur le football, et au défi de suivi de danse de groupe DanceTrack.

Définir le problème

Pour associer à partir de la seule position des boîtes, les traqueurs de la lignée SORT s'appuient sur l'IoU. La trajectoire de l'image précédente prédit une boîte, la détection de l'image courante en fournit une autre, et plus les deux boîtes se recouvrent, plus il est probable qu'il s'agisse de la même personne.

Selon les auteurs, les échecs du suivi sur DanceTrack ont surtout deux causes :

  1. D'une image à la suivante, les boîtes ne se recouvrent pas du tout. Un grand mouvement de danse, et les boîtes d'une même personne se séparent d'une image à l'autre ; l'IoU vaut 0, et l'appariement échoue.
  2. Une fois l'estimation de mouvement faussée, l'erreur persiste. Quand une personne est cachée pendant quelques images, la trajectoire ne peut avancer qu'au moyen du modèle de mouvement. Si la personne accélère brusquement ou se retourne pendant ce temps, la boîte prédite dérive de plus en plus ; quand elle réapparaît, la boîte de détection a beau être juste là, la trajectoire ne parvient plus à s'y apparier.

Les caractéristiques d'apparence pourraient en principe rattraper ces deux situations, mais pas quand les danseurs portent les mêmes tenues.

Ce que ces deux problèmes ont en commun, c'est que l'IoU donne un score de 0 à toutes les boîtes qui ne se recouvrent pas. Rater de peu ou rater de beaucoup, pour l'IoU, c'est pareil.

Des variantes de l'IoU comme GIoU et DIoU savent aussi attribuer un score à des boîtes qui ne se recouvrent pas. Les auteurs proposent une approche plus directe.

Résoudre le problème

Gonfler un peu les boîtes

Fig. 2 de l'article : en haut, l'IoU ordinaire, aire de l'intersection des deux boîtes A et B divisée par l'aire de leur union. En bas, le BIoU ; A et B reçoivent chacune une couronne de marge en pointillés verts, et l'intersection comme l'union sont calculées sur les boîtes agrandies. Tout en bas, une note précise que la boîte d'origine et la boîte avec marge ont le même centre ; la boîte d'origine a pour largeur et hauteur w et h, la boîte avec marge b_w et b_h, et le taux de marge vaut b = (b_w − w) / 2w = (b_h − h) / 2h.
Fig. 2 de l'article de Yang et al., extraite de la page 2 du PDF, licence arXiv, citation académique.

L'IoU avec marge (Buffered IoU, BIoU) consiste simplement, avant de calculer l'IoU, à agrandir proportionnellement les deux boîtes.

Une boîte s'écrit avec les coordonnées de son coin supérieur gauche, sa largeur et sa hauteur, o=(x,y,w,h)o = (x, y, w, h) ; avec un taux de marge bb, la boîte agrandie est

ob=(x−bw,  y−bh,  w+2bw,  h+2bh)o_b = (x - bw,\; y - bh,\; w + 2bw,\; h + 2bh)

On ajoute bwbw à gauche et à droite, bhbh en haut et en bas. Même centre, même rapport largeur/hauteur ; la boîte est seulement plus grande.

Faisons le calcul sur un exemple concret. La boîte d'un danseur mesure 40 pixels de large et 100 de haut ; à l'image suivante, ce danseur a sauté de 50 pixels vers la droite. Les deux boîtes ne se recouvrent pas du tout, et l'IoU vaut 0.

  • b=0.3b = 0.3 : les deux boîtes deviennent 64 × 160. Leurs centres sont à 50 pixels l'un de l'autre pour une largeur de 64 ; elles se recouvrent donc sur 64−50=1464 - 50 = 14 pixels en largeur, et, parfaitement alignées en hauteur, sur 160 pixels en hauteur. Intersection 14×160=2,24014 \times 160 = 2{,}240, union 2×64×160−2,240=18,2402 \times 64 \times 160 - 2{,}240 = 18{,}240, BIoU d'environ 0.12.
  • b=0.5b = 0.5 : les deux boîtes deviennent 80 × 200 ; recouvrement de 30 pixels en largeur, intersection de 6 000, union de 26 000, BIoU d'environ 0.23.

Là où le score valait 0, il y en a maintenant un.

Ce score joue deux rôles. D'une part, il permet d'apparier directement une même personne dont les boîtes ne se recouvrent pas d'une image à l'autre ; d'autre part, quand le modèle de mouvement vise un peu à côté, la boîte agrandie peut encore englober la vraie boîte de détection, ce qui revient à compenser l'erreur d'estimation du mouvement dans l'espace d'appariement.

Contrairement aux « fenêtres de recherche » d'autrefois, les auteurs ne se servent pas de la boîte agrandie pour restreindre la zone de recherche ; ils l'utilisent directement pour calculer le score d'appariement.

Trop gonfler, ça ne marche pas non plus

Plus la marge est grande, plus on récupère de personnes, mais plus on risque aussi d'apparier la mauvaise.

Reprenons l'exemple. Supposons qu'un autre danseur se trouve à côté, à 70 pixels. Avec b=0.3b = 0.3, la boîte agrandie fait 64 de large et n'atteint pas quelqu'un situé à 70 pixels ; le BIoU vaut 0. Avec b=0.5b = 0.5, elle fait 80 de large et recouvre ce voisin sur 10 pixels ; le BIoU vaut environ 0.07. Dès que la marge grandit, le voisin devient lui aussi candidat.

Les auteurs scindent donc l'appariement en deux étapes :

Fig. 4 de l'article : le fonctionnement du traqueur C-BIoU. Les détections sont d'abord appariées aux trajectoires actives avec un BIoU à petite marge (par exemple b1 = 0.3), et les trajectoires appariées mettent à jour leur état ; les trajectoires et les détections restées sans partenaire sont ensuite appariées une seconde fois avec un BIoU à grande marge (par exemple b2 = 0.5). Les deux étapes forment l'appariement en cascade. Les détections toujours sans partenaire deviennent de nouvelles trajectoires ; l'âge des trajectoires sans partenaire augmente de un, et elles sont supprimées au-delà de max_age. Mise à jour de l'état : une nouvelle trajectoire prend directement la boîte courante, les autres prennent leur état courant plus le déplacement moyen des dernières images.
Fig. 4 de l'article de Yang et al., extraite de la page 4 du PDF, licence arXiv, citation académique.
  1. D'abord, apparier avec une petite marge. Pour les trajectoires actives et les détections de l'image, on calcule le BIoU avec une petite marge b1b_1, puis on apparie avec l'algorithme hongrois. La plupart des personnes qui se déplacent normalement sont appariées dès cette étape.
  2. Ensuite, apparier le reste avec une grande marge. Les trajectoires et les détections restées sans partenaire au premier tour sont appariées une seconde fois, avec une grande marge b2b_2. Ce tour-ci s'occupe des personnes aux mouvements particulièrement amples, ou dont l'estimation de mouvement a davantage dérivé.

Cet appariement en cascade, qui « traite d'abord les cas sûrs, puis les cas difficiles », est très courant en suivi. ByteTrack apparie d'abord les détections de haute confiance, DeepSORT d'abord les trajectoires appariées le plus récemment ; C-BIoU commence par un espace d'appariement plus prudent, et ne l'élargit que pour ce qui reste.

Comment fixer les deux taux de marge ? Les auteurs font une recherche par grille sur l'ensemble d'entraînement. Comme b1<b2b_1 < b_2, le nombre de combinaisons est limité, et ce traqueur est si rapide que le temps de recherche reste acceptable.

Pas de filtre de Kalman

Le modèle de mouvement de C-BIoU est d'une simplicité surprenante ; il se contente de moyenner les déplacements des dernières images et de prolonger cette moyenne.

Pour une trajectoire appariée sans interruption pendant plus de nn images, puis restée sans partenaire pendant Δ\Delta images, l'état estimé est

st+Δ=st+Δn∑i=t−n+1t(oi−oi−1)s_{t+\Delta} = s_t + \frac{\Delta}{n}\sum_{i=t-n+1}^{t}\left(o^{i} - o^{i-1}\right)

Ici, la boîte s'écrit avec ses deux coins, supérieur gauche et inférieur droit, o=(x,y,x+w,y+h)o = (x, y, x + w, y + h). Par défaut, nn est compris entre 2 et 5.

Le déplacement total sur les nn dernières images, divisé par nn, donne le déplacement moyen par image, qu'on multiplie par le nombre d'images écoulées. Si un danseur change brusquement de direction, cette estimation suit au bout de deux ou trois images au plus, sans attendre, comme le filtre de Kalman, que la vitesse se corrige peu à peu. Ce que l'estimation a d'imprécis, la marge s'en charge.

La gestion des trajectoires reprend celle de SORT. Toutes les détections de la première image deviennent de nouvelles trajectoires ; une nouvelle trajectoire n'a pas encore de mouvement à estimer, et prend directement la boîte enregistrée comme état courant. À chaque image, l'âge des trajectoires appariées revient à zéro, celui des autres augmente de un, et au-delà de max_age la trajectoire est supprimée ; les détections encore libres après les deux tours d'appariement deviennent de nouvelles trajectoires.

Les auteurs précisent qu'il ne s'agit que d'un prototype simple, destiné à montrer comment utiliser C-BIoU, et qu'on peut lui ajouter d'autres modules au besoin.

Discussion

Mêmes détections, sur MOT17 et DanceTrack

Les auteurs comparent d'abord sur les ensembles de test de MOT17 et de DanceTrack. Par souci d'équité, les méthodes ci-dessous utilisent toutes les mêmes détections YOLOX-X (poids de ByteTrack pour MOT17, d'OC-SORT pour DanceTrack) :

MéthodeMOT17 HOTADanceTrack HOTADanceTrack AssADanceTrack IDF1
DeepSORT61.245.629.747.9
SORT63.050.033.252.0
ByteTrack63.151.933.852.0
OC-SORT63.255.738.354.6
C-BIoU64.160.645.461.6

D'après la Table I de l'article, ensembles de test, détections identiques.

Sur MOT17, les HOTA des cinq méthodes tiennent en 3 points. Les auteurs citent l'analyse de l'article DanceTrack, selon laquelle, sur MOT17, le goulot d'étranglement est la détection, pas le suivi.

Sur DanceTrack, l'écart se creuse. C-BIoU dépasse OC-SORT de 4.9 points de HOTA ; l'AssA, qui mesure l'association, passe de 38.3 à 45.4, et l'IDF1 de 54.6 à 61.6. Côté détection, les DetA des deux méthodes sont à peu près égaux (81.3 contre 81.7) ; l'écart vient donc presque entièrement de l'association. Dans l'article, la moitié supérieure du tableau liste aussi, à titre indicatif seulement, des méthodes qui utilisent d'autres détecteurs ; parmi elles, MOTR, de bout en bout, obtient 54.2.

Comparer le suivi seul, avec les boîtes de vérité terrain

La qualité de la détection brouille la comparaison ; les auteurs utilisent donc aussi directement les boîtes de vérité terrain comme détections, pour ne comparer que l'association. Sur l'ensemble de validation de DanceTrack, sur les vidéos de football de SoccerNet et sur GMOT-40, C-BIoU obtient des HOTA de 81.7, 89.2 et 96.4 ; OC-SORT, deuxième, est à 79.1, 82.0 et 92.4. L'écart va de 2.6 à 7.2 points, le plus grand sur SoccerNet.

GMOT-40 est un jeu de données de suivi multi-objets générique, où l'image montre souvent une multitude d'objets identiques de même catégorie ; SoccerNet contient des images de retransmissions de football, où la caméra suit le ballon.

Les auteurs rappellent que, même avec les boîtes de vérité terrain, les résultats restent imparfaits sur les trois jeux de données. Établir des références avec ces boîtes pour se concentrer sur l'amélioration de l'association garde pour l'instant tout son sens.

La contribution de chaque pièce

Les ablations utilisent les boîtes de vérité terrain. On retire d'abord l'appariement en cascade et l'estimation de mouvement, pour ne comparer que la similarité utilisée lors d'un appariement unique :

SimilaritéDanceTrackSoccerNetGMOT-40
IoU76.681.993.0
GIoU77.179.893.4
DIoU75.184.393.6
BIoU80.087.796.2
+ cascade80.288.996.3
+ mouvement81.789.296.4

D'après la Table IV de l'article, HOTA ; ensemble de validation pour DanceTrack, ensembles de test pour les deux autres, avec partout les boîtes de vérité terrain comme détections.

  1. Le BIoU fait l'essentiel. À appariement unique égal, sans estimation de mouvement, le BIoU dépasse l'IoU de 3 à 6 points sur les trois jeux de données. GIoU et DIoU savent aussi traiter les boîtes qui ne se recouvrent pas, mais n'apportent pas d'amélioration constante ; sur DanceTrack, DIoU fait même moins bien que l'IoU.
  2. L'appariement en cascade sert surtout sur SoccerNet. Avec la cascade, DanceTrack et GMOT-40 ne gagnent que 0.2 et 0.1 point, SoccerNet 1.2 point. Les auteurs expliquent que la caméra des retransmissions de football bouge, ce qui rend le mouvement des joueurs extrêmement rapide ; c'est là que la grande marge du second tour devient utile.
  3. Le déplacement moyen rapporte 1.5 point sur DanceTrack. Si simple soit-elle, une estimation de mouvement vaut mieux que rien, car la marge compense ses erreurs.

Le taux de marge

Fig. 6 de l'article : HOTA sur l'ensemble de validation de DanceTrack pour différentes combinaisons de taux de marge. En abscisse la petite marge b1, en ordonnée la grande marge b2, toutes deux de 0.1 à 0.7, avec seulement le triangle inférieur où b1 est inférieur à b2. Le maximum, 81.7, est atteint pour b1 = 0.3 et b2 = 0.4 ; la colonne b1 = 0.3 reste entièrement entre 81.4 et 81.7 ; le minimum, 78.2, correspond à b1 = 0.6 et b2 = 0.7.
Fig. 6 de l'article de Yang et al., extraite de la page 7 du PDF, licence arXiv, citation académique.

Cette figure se lit à la verticale. Dans une même colonne, b1b_1 est fixe et b2b_2 varie, et le score ne bouge presque pas, avec des écarts qui ne dépassent jamais 0.3 point ; d'une colonne à l'autre, en revanche, le score change nettement. Autrement dit, le résultat dépend surtout de la petite marge du premier tour ; b1=0.3b_1 = 0.3 est la meilleure valeur, et le score baisse dès qu'on l'augmente ou qu'on la diminue.

La pire combinaison, à 78.2, reste au-dessus des 76.6 de l'IoU. Le taux de marge influe sur le résultat, mais avec une marge, quelle qu'elle soit, on fait mieux que sans.

Quand la détection est mauvaise

Les limites de la méthode, les auteurs les ont eux-mêmes mises au jour par l'expérience. Ils ajoutent du bruit aux boîtes de vérité terrain de l'ensemble de validation de DanceTrack : ils suppriment d'abord une certaine proportion de boîtes, ce qui crée des détections manquées, puis ajoutent la même proportion de fausses boîtes là où il n'y a personne, ce qui crée des faux positifs.

BruitOC-SORTIoUC-BIoU
0 %79.176.681.7
20 %61.457.662.3
40 %28.038.329.2

D'après la Table V de l'article, ensemble de validation de DanceTrack, HOTA.

Jusqu'à 20 % de bruit, C-BIoU reste le meilleur. À 40 %, il tombe à 29.2, 9 points sous le plus simple des traqueurs, celui à IoU (38.3) ; son AssA, qui mesure l'association, n'est plus que de 14.7, contre encore 25.0 pour le traqueur à IoU.

Selon les auteurs, avec peu de bruit, la trajectoire et les détections d'une même personne ne divergent que pendant quelques images de temps à autre, et la marge suffit justement à les raccrocher. Avec beaucoup de bruit, une personne peut rester sans détection pendant de nombreuses images d'affilée, et ni l'IoU ni le BIoU ne peuvent la raccrocher ; pire, l'espace d'appariement agrandi apparie plus volontiers la trajectoire aux fausses boîtes voisines.

Les auteurs estiment que, sur les jeux de données qui les intéressent, on dispose généralement de détections de bonne qualité, puisque tout le monde se ressemble, ce qui rend au contraire la détection plus facile. C'est leur propre jugement sur le domaine de validité de la méthode ; dans des scènes où le détecteur est moins fiable, il faut d'abord vérifier la qualité des détections.

Vitesse

Se passer du filtre de Kalman rend aussi le suivi lui-même bien plus rapide. Sur un CPU Intel Xeon Silver 4216, hors temps de détection, C-BIoU traite 361 images par seconde sur MOT17 et 680 sur DanceTrack ; OC-SORT 185 et 341, SORT 144 et 271. Les auteurs rappellent que plus il y a d'objets, plus le traqueur ralentit.

Conclusion

La méthode de C-BIoU tient en une phrase, agrandir les boîtes avant de calculer l'IoU. Ajoutez un appariement en deux étapes et un modèle de mouvement qui moyenne les déplacements des dernières images, et vous dépassez OC-SORT de près de 5 points de HOTA sur DanceTrack, en allant deux fois plus vite.

À en juger par les ablations, l'essentiel du mérite revient au BIoU lui-même, et le taux de marge du premier tour est le plus déterminant ; l'appariement en cascade n'est nettement utile que sur les vidéos de football, où la caméra bouge. Le prix à payer, c'est qu'avec une détection très mauvaise, l'espace d'appariement agrandi pousse plus facilement le traqueur vers de fausses boîtes.

L'article ne fournit pas de code, mais l'idée est assez simple pour qu'on l'implémente soi-même sans peine. Une revue de 2025 sur le suivi multi-objets cite d'ailleurs C-BIoU comme représentant de l'approche « agrandir les boîtes avant l'association », et note que Deep-EIoU a ensuite généralisé les deux marges fixes en plusieurs étapes d'agrandissement progressif.

« Buffer », le mot est bien choisi. Là où le modèle de mouvement n'est sûr de rien, il suffit de se laisser un peu de marge.