GTA: Global Tracklet Association for Multi-Object Tracking in Sports
- Publication
- ACCV Workshops 2024Atelier (workshop)
- Premier dépôt sur arXiv
- arXiv:2411.08216
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{multiobjecttrackinggta2024,
title = {{GTA: Global Tracklet Association for Multi-Object Tracking in Sports}},
author = {Jiacheng Sun and Hsiang-Wei Huang and Cheng-Yen Yang and Zhongyu Jiang and Jenq-Neng Hwang},
year = {2024},
eprint = {2411.08216},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2411.08216}
}
L'article de Deep-EIoU avouait une limite à la fin. Il ne faisait aucune correction hors ligne des trajectoires ; un joueur qui quittait l'image un moment puis revenait n'était plus reconnu.
Un peu plus d'un an plus tard, Jiacheng Sun, Hsiang-Wei Huang, Cheng-Yen Yang, Zhongyu Jiang et Jenq-Neng Hwang, du même laboratoire, comblent ce manque. GTA est ici l'acronyme de Global Tracklet Association, et n'a rien à voir avec le jeu vidéo. Ce n'est pas non plus un nouveau traqueur, mais un outil de post-traitement, qui attend que le traqueur en ligne ait parcouru toute la vidéo pour revenir ensuite sur les trajectoires, les couper et les raccorder.
On peut le brancher derrière n'importe quel traqueur. Les auteurs l'ont essayé sur SORT, ByteTrack et Deep-EIoU, et les trois progressent.
Définir le problème
Les auteurs classent les erreurs les plus fréquentes du suivi d'athlètes en deux catégories.
Une trajectoire, plusieurs personnes
La première est l'erreur de mélange (mix-up). Les joueurs bougent de façon irrégulière et se cachent souvent les uns les autres ; à un moment donné, le traqueur en ligne attribue une boîte à la mauvaise personne, puis continue sur sa lancée, et plusieurs joueurs se retrouvent mélangés dans une même trajectoire.

C'est un exemple réel. Sous un même ID, on a d'abord le joueur au maillot jaune numéro 12, puis un autre joueur en jaune, et enfin un adversaire au maillot foncé numéro 24. Si l'on trace les caractéristiques d'apparence de chaque boîte de cette trajectoire, on les voit se répartir naturellement en trois groupes.
Une personne, plusieurs trajectoires
La seconde est l'erreur de coupure (cut-off). Dans les jeux de données de suivi de piétons, une personne qui sort de l'image ne revient en général pas ; un joueur, lui, sort souvent du champ et revient un peu plus tard. Le traqueur en ligne lui donne un nouvel ID, et une même personne se retrouve découpée en plusieurs morceaux.

Ce joueur part à l'image 48 et ne revient qu'à l'image 581, soit plus de 500 images d'écart, plus de 20 secondes à 25 images par seconde. Allonger la durée de conservation des trajectoires perdues règle les courtes absences, mais un trou aussi long, un traqueur en ligne a du mal à l'attendre.
Pour l'erreur de coupure, les méthodes de « liaison globale » ne manquaient pas : TransLink apprend avec un réseau à décider si deux morceaux de trajectoire appartiennent à la même personne ; l'AFLink de StrongSORT ne regarde que le temps et la position ; d'autres méthodes raccordent par regroupement de caractéristiques, par caractéristiques de mouvement ou par direction de déplacement. GTA, lui, travaille au niveau des caractéristiques d'apparence de chaque boîte et traite les deux erreurs d'un coup : d'abord couper, ensuite raccorder.
Résoudre le problème
Avant tout, un modèle ReID OSNet entraîné sur SportsMOT extrait les caractéristiques d'apparence de chaque boîte des résultats du suivi en ligne.
Le séparateur : combien de personnes dans une trajectoire ?
Le séparateur (splitter) s'occupe des erreurs de mélange. Pour chaque trajectoire, on prend les caractéristiques de toutes ses boîtes et on les regroupe avec DBSCAN.
DBSCAN est un algorithme de regroupement fondé sur la densité : si un point a suffisamment de voisins dans un rayon , cette zone forme un groupe ; les points situés dans des zones clairsemées, qui ne parviennent pas à former un groupe, sont marqués comme aberrants. La distance utilisée ici est la distance cosinus entre caractéristiques.
Les auteurs y apportent deux modifications :
- Les points aberrants doivent aussi trouver leur place. Le DBSCAN d'origine jette les points aberrants, mais ici chaque boîte est une vraie détection, qu'on ne peut pas jeter. Une fois le regroupement terminé, chaque point aberrant est donc rattaché au groupe le plus proche.
- Le nombre de groupes est plafonné. S'il y a plus de groupes, on fusionne tour à tour les deux groupes les plus proches jusqu'à n'en garder que , pour éviter de hacher une trajectoire en trop de morceaux.
Des trois hyperparamètres, le nombre minimal d'échantillons pour former un groupe vaut , le rayon de voisinage , et le nombre maximal de groupes . Autant de groupes, autant de morceaux pour la trajectoire, chacun avec un nouvel ID. Par défaut, le code officiel ne coupe que les trajectoires d'au moins 100 images ; les trajectoires trop courtes n'ont pas assez de caractéristiques et sont gardées telles quelles.
Le connecteur : quelles trajectoires sont la même personne ?
Une fois les coupes faites, le connecteur (connector) s'occupe des erreurs de coupure, en raccordant les trajectoires qui appartiennent à une même personne.

Première étape, calculer les distances. Pour deux trajectoires quelconques et , on regarde d'abord les images où elles apparaissent, et . S'il y a recouvrement (), les deux trajectoires sont présentes dans la même image et ne peuvent pas être la même personne ; la distance est directement fixée au maximum, 1.
Sans recouvrement, la distance est la moyenne des distances cosinus entre toutes les paires de boîtes des deux trajectoires. Notons la distance cosinus entre deux caractéristiques
on a alors
est la longueur de la trajectoire , et sa caractéristique à l'image . Pour une trajectoire de 300 boîtes et une autre de 200, il faut calculer 60 000 distances avant d'en faire la moyenne.
Deuxième étape, ajouter une contrainte spatiale. Les auteurs supposent que la caméra est fixe et que la zone où évoluent les joueurs est bornée par les limites du terrain, si bien qu'un joueur ne sort pas d'un côté pour rentrer de l'autre. Le point de sortie d'un morceau de trajectoire et le point d'entrée du suivant ne peuvent donc pas être trop éloignés :
est l'étendue maximale, horizontale et verticale, des centres de toutes les boîtes de la vidéo, et est compris entre 0 et 1. Si la distance horizontale ou verticale entre le point de sortie et le point d'entrée des deux morceaux dépasse le seuil, la distance est fixée à 1.
Troisième étape, la fusion hiérarchique. À chaque tour, on prend la paire de trajectoires la plus proche ; si sa distance est inférieure au seuil , on la fusionne en une seule trajectoire, puis on recalcule la distance entre cette nouvelle trajectoire et les autres. Le code officiel ne vérifie la contrainte spatiale qu'au moment de fusionner, et une paire qui ne la respecte pas n'est plus considérée. On répète jusqu'à ce qu'aucune paire n'ait une distance inférieure à .
Discussion
Même détection, meilleure association
Sur SportsMOT, la détection reprend le YOLOX de Deep-EIoU ; sur SoccerNet, on utilise l'ensemble de test de la version 2023, directement avec les boîtes de vérité terrain.
| Traqueur | HOTA | AssA | IDF1 | DetA | ID switch |
|---|---|---|---|---|---|
| SORT | 56.3 | 42.7 | 58.8 | 74.3 | 5 180 |
| + GTA | 66.5 | 59.6 | 77.4 | 74.3 | 3 547 |
| ByteTrack | 63.5 | 51.8 | 70.8 | 77.8 | 3 147 |
| + GTA | 69.7 | 62.6 | 83.2 | 77.7 | 2 107 |
| Deep-EIoU | 77.2 | 67.6 | 79.8 | 88.2 | 2 909 |
| + GTA | 81.0 | 74.5 | 86.5 | 88.2 | 2 737 |
D'après la Table 1 de l'article, ensemble de test de SportsMOT.
- DetA ne bouge presque pas. GTA n'ajoute ni ne supprime aucune boîte, il ne change que leurs ID ; le score de détection reste donc le même, et tout le gain vient de l'association.
- Plus le traqueur est faible, plus il progresse. SORT gagne 10.2 points de HOTA, ByteTrack 6.2, Deep-EIoU 3.8. SORT avec GTA (66.5) dépasse déjà ByteTrack sans GTA (63.5).
- Le gain en IDF1 est particulièrement grand. SORT gagne 18.6 points, ByteTrack 12.4, Deep-EIoU 6.7. IDF1 apparie les identités sur toute la vidéo ; raccorder des trajectoires brisées, c'est précisément ce qui compte le plus pour lui.
- Deep-EIoU avec GTA atteint un HOTA de 81.0, le meilleur résultat sur SportsMOT au moment où les auteurs publient.
La tendance est la même sur SoccerNet : SORT, ByteTrack et Deep-EIoU gagnent respectivement 6.8, 4.7 et 3.7 points de HOTA, et Deep-EIoU passe de 79.4 à 83.1.
Ces 79.4 diffèrent des 85.4 rapportés par l'article de Deep-EIoU lui-même, parce que GTA utilise l'ensemble de test SoccerNet de la version 2023, et l'article de Deep-EIoU celui de 2022. Les chiffres SoccerNet des deux articles ne se comparent pas directement.
Couper ou raccorder, lequel compte le plus ?
| Traqueur | Base | Raccord seul | Coupe + raccord |
|---|---|---|---|
| SORT | 56.3 | 65.4 | 66.5 |
| ByteTrack | 63.5 | 69.5 | 69.7 |
| Deep-EIoU | 77.2 | 80.5 | 81.0 |
D'après la Table 3 de l'article, ensemble de test de SportsMOT, HOTA.
L'essentiel du gain vient du connecteur. Pour Deep-EIoU, sur les 3.8 points gagnés au total, le connecteur en apporte 3.3, et le séparateur ajoute 0.5. Autrement dit, dans les scènes de sport, les erreurs de coupure sont bien plus fréquentes que les erreurs de mélange, ou du moins plus faciles à corriger.
Le séparateur n'est pas pour autant facultatif. Sur SoccerNet, ByteTrack avec le seul connecteur obtient un IDF1 de 78.2, qui monte à 82.7 avec le séparateur. Il faut d'abord démêler proprement les trajectoires mélangées, sinon le connecteur embarque la mauvaise personne dans le raccord.
Le coût dont l'article ne parle pas
GTA est une méthode hors ligne, qui a besoin des résultats de suivi de toute la vidéo avant de commencer. Il convient donc à l'analyse d'après-match, pas à la retransmission en direct. L'article ne rapporte pas non plus de temps de calcul ; d'après la définition de la distance, chaque paire de trajectoires demande les distances entre toutes leurs boîtes, et plus la vidéo est longue et les trajectoires nombreuses, plus le calcul enfle vite. C'est à évaluer soi-même.
Par ailleurs, l'efficacité de toute la méthode dépend de la qualité des caractéristiques ReID. L'OSNet utilisé ici est entraîné sur SportsMOT ; pour un autre sport ou un autre style de retransmission, il faudra peut-être le réentraîner.
Conclusion
GTA distingue deux erreurs dans le suivi d'athlètes, la trajectoire qui mélange plusieurs personnes et la personne coupée en plusieurs trajectoires. Il démêle le premier cas avec DBSCAN, et recoud le second avec la distance d'apparence et des contraintes temporelles et spatiales. Sans toucher à aucune boîte, en ne changeant que les ID, il fait progresser de façon régulière trois traqueurs différents sur SportsMOT comme sur SoccerNet, et c'est le connecteur qui y contribue le plus.
D'autres ont ensuite repris la combinaison. Début 2026, une autre équipe a remporté la première place du SoccerTrack Challenge 2025, filmé avec une caméra fisheye fixe, en confiant l'association en ligne à Deep-EIoU et la correction au niveau des trajectoires à GTA.
Pendant le match, un traqueur en ligne ne peut que suivre de son mieux ; une fois le match fini, revenir sur les trajectoires pour les couper et les raccorder correctement, c'est aussi une solution.