NOOUGAT: Towards Unified Online and Offline Multi-Object Tracking
- Publication
- International Journal of Computer Vision 2026Revue
- Premier dépôt sur arXiv
- arXiv:2509.02111
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{multiobjecttrackingnoougat2025,
title = {{NOOUGAT: Towards Unified Online and Offline Multi-Object Tracking}},
author = {Benjamin Missaoui and Orcun Cetintas and Guillem Brasó and Tim Meinhardt and Laura Leal-Taixé},
year = {2025},
eprint = {2509.02111},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2509.02111}
}
Les traqueurs se sont toujours répartis en deux camps. Les traqueurs en ligne traitent la vidéo image par image et ne voient que le passé ; c'est ce qu'il faut aux voitures autonomes et à la vidéosurveillance. Les traqueurs hors ligne voient toute la vidéo et peuvent confronter l'avant et l'après ; ils conviennent à l'annotation de données ou à l'analyse d'un match après coup.
Les méthodes des deux camps n'ont rien à voir non plus. Côté en ligne, la lignée SORT et ByteTrack associe selon des règles écrites à la main : d'abord les boîtes à score élevé, puis celles à faible score, avec tel poids pour l'apparence et tel autre pour le mouvement. Côté hors ligne, les réseaux de neurones sur graphes comme MPNTrack ou SUSHI apprennent l'association et obtiennent de bons résultats, mais ne traitent que des extraits de longueur fixe.
Or, dans les applications réelles, les exigences de latence ne se limitent pas à « tout de suite » et « sans limite ». La téléchirurgie peut attendre deux cents millisecondes ; un drone ne prend qu'une ou deux images par seconde, et peut en accumuler plusieurs dizaines avant de les traiter d'un coup.
Parmi les auteurs de cet article figurent les trois auteurs de SUSHI et Tim Meinhardt, premier auteur de TrackFormer ; le premier auteur est Benjamin Missaoui, et l'article les rattache tous à NVIDIA. Ils veulent un traqueur qui accepte d'attendre aussi longtemps qu'on veut ; attendre une image, c'est du suivi en ligne, attendre plus de deux cents images, c'est du suivi hors ligne, et toute durée intermédiaire convient. Ils l'ont baptisé NOOUGAT, qui se prononce comme « nougat ».
Définir le problème

Les auteurs relèvent les défauts propres à chaque camp.
L'association des traqueurs en ligne repose sur des règles dont les paramètres doivent être réglés pour chaque jeu de données. Le poids de l'apparence dans HybridSORT vaut 4.0 sur DanceTrack, 1.3 sur MOT17 et 4.6 sur MOT20, et varie encore selon la confiance de détection. Ces règles gèrent mal les longues occultations ; la plupart des méthodes abandonnent une trajectoire interrompue depuis 30 images.
Le réseau sur graphe des traqueurs hors ligne est très performant, mais il suppose qu'une vidéo peut être traitée d'un seul coup. Quand la vidéo est trop longue, il faut la découper en extraits qui se chevauchent, les traiter séparément, puis les recoudre dans les zones de chevauchement avec l'algorithme hongrois ou la programmation linéaire. Cette étape ramène aux règles, et les parties communes sont calculées plusieurs fois.
Un petit calcul montre l'ampleur de la redondance. Pour une vidéo de 1 024 images :
| Méthode | Longueur | Pas | Segments | Images traitées |
|---|---|---|---|---|
| MPNTrack | 15 | 1 | 1 010 | 15 150 |
| SUSHI | 512 | 256 | 3 | 1 536 |
| NOOUGAT | 256 | 256 | 4 | 1 024 |
Exemple de calcul établi pour cette note ; les réglages de MPNTrack et de SUSHI sont tirés de la section 4.1 de l'article.
MPNTrack calcule presque 15 fois chaque image, SUSHI 1.5 fois, et NOOUGAT une seule fois.
Résoudre le problème
Des segments sans chevauchement, raccordés un à un

NOOUGAT découpe la vidéo en sous-extraits de images qui ne se chevauchent pas. Chaque segment passe d'abord par la hiérarchie GNN de SUSHI, qui en tire les tracklets internes au segment.
Ensuite, une nouvelle couche ALT (autoregressive long-term tracking) raccorde « les trajectoires obtenues jusqu'ici » aux « tracklets du nouveau segment » :
Le résultat est raccordé au segment suivant, et ainsi de suite.
ALT est elle-même une couche de réseau sur graphe. Chaque trajectoire passée est un nœud, chaque nouvelle tracklet aussi, et chaque trajectoire passée est reliée aux 10 nouvelles tracklets les plus proches. Comme dans chaque niveau de SUSHI, le réseau juge si chaque arête relie la même personne, puis arrondit le résultat en appariements.
Le raccordement passe ainsi de règles écrites à la main à un réseau sur graphe appris. ALT partage en outre ses poids avec la hiérarchie GNN ; les auteurs constatent que l'entraînement devient alors plus de deux fois plus rapide, avec une convergence en environ 40 000 itérations au lieu de 90 000.
Un seul paramètre, du suivi en ligne au hors ligne
est le paramètre le plus important de NOOUGAT.
Avec , chaque segment ne contient qu'une image ; la hiérarchie GNN ne sert à rien, et ALT raccorde directement les trajectoires passées aux détections de l'image courante. C'est un traqueur en ligne image par image. Dans ce cas, les auteurs restreignent en plus le graphe à un graphe biparti : seules les trajectoires passées et les nouvelles détections sont reliées par des arêtes, et les décisions passées ne peuvent plus être modifiées, conformément aux règles du suivi en ligne.
Plus est grand, plus la hiérarchie GNN voit loin dans le temps à l'intérieur de chaque segment, et plus ses jugements sont sûrs, au prix d'une attente plus longue avant la sortie. La configuration hors ligne utilise , et autorise la correction des associations passées.
Pour une vidéo à 30 FPS, chaque image d'attente supplémentaire ajoute 33 millisecondes de latence. Les auteurs passent en revue quelques applications :
| Application | Latence acceptable | |
|---|---|---|
| Conduite autonome | Moins de 100 ms | 1–2 |
| Vidéosurveillance | Environ 125 ms | 3–4 |
| Téléchirurgie | 200 ms idéalement, 300 ms au plus | 6–9 |
| Suivi par drone | Prise de vue à 1–2 FPS | 15–30 |
| Annotation, analyse sportive | Sans limite | Quelconque |
D'après la section 5.4 de l'article.

Avec la même architecture, accepter d'attendre un peu plus rapporte un peu plus de précision. Quand passe de 1 à 8, l'IDF1 gagne environ 8 points ; la hausse ralentit ensuite, jusqu'à environ 77 à 256 images.
Caractéristiques et entraînement
Les caractéristiques d'entrée reprennent la géométrie, le mouvement et l'apparence de SUSHI, auxquels s'ajoutent deux éléments courants dans les traqueurs en ligne. Le premier est la cohérence de direction de la vitesse d'OC-SORT ; à l'origine, elle compare une trajectoire et une boîte de détection, et les auteurs l'étendent à deux tracklets, en comparant la direction des 12 dernières boîtes de la première avec celle qu'on obtient en remontant les 12 premières boîtes de la seconde ; plus l'angle est faible, plus il y a de chances que ce soit la même personne. Le second est la confiance de détection, intégrée aux caractéristiques initiales des nœuds.
La difficulté de l'entraînement d'ALT, c'est qu'à l'inférence, les « trajectoires passées » qu'elle doit traiter sont extrêmement variées, longues ou courtes, continues ou interrompues. À l'entraînement, les auteurs prélèvent au hasard un morceau de trajectoires de vérité terrain passées comme entrée, de longueur et de point de départ aléatoires, puis suppriment au hasard des trajectoires et des boîtes ; ils laissent en plus quelques images vides entre le passé et le nouveau segment, pour simuler une brève occultation.
Discussion
Ensembles de test
| Benchmark | Meilleur rival en ligne | AssA rival | AssA en ligne | AssA hors ligne |
|---|---|---|---|---|
| DanceTrack | Hybrid-SORT | 52.6 | 54.9 | 58.7 |
| SportsMOT | DiffMOT | 65.1 | 74.3 | 83.0 |
| MOT17 | DiffMOT | 64.6 | 65.3 | 68.5 |
| MOT20 | BoT-SORT | 62.9 | 67.5 | 70.7 |
DanceTrack d'après la Table 1 de l'article, SportsMOT d'après la Table 2, MOT17 d'après la Table 3, MOT20 d'après la Table 4 ; tous sur les ensembles de test ; le rival est, parmi les méthodes en ligne du tableau qui utilisent les mêmes détections que NOOUGAT, celle qui a le meilleur AssA.
Toutes les méthodes comparées utilisent les détections YOLOX de ByteTrack. La version en ligne a le meilleur score d'association sur les quatre jeux de données, et la version hors ligne gagne encore 3 à 9 points. SportsMOT progresse le plus ; les joueurs sortent souvent du champ puis reviennent, et c'est exactement là que l'association à long terme donne toute sa mesure.
La version hors ligne n'a pas toujours le meilleur HOTA sur MOT17 et MOT20. Sur MOT17, CoNo-Link obtient 67.1 de HOTA, contre 66.9 pour NOOUGAT ; selon les auteurs, CoNo-Link détecte mieux, avec 2 points de MOTA en plus, et NOOUGAT l'emporte en AssA et en IDF1.
Combien l'apprentissage apporte-t-il face aux règles ?
Les auteurs font deux comparaisons directes.
- L'appariement. En configuration en ligne, ALT est remplacée par l'algorithme hongrois, avec un coût qui combine apparence, mouvement et direction de la vitesse selon les poids de HybridSORT, affinés par une recherche en grille autour de ces valeurs. Sur l'ensemble de validation de DanceTrack, le HOTA tombe de 64.6 à 62.1, et l'IDF1 de 69.0 à 65.8.
- Le raccordement. En configuration hors ligne, SUSHI est réentraîné avec les mêmes caractéristiques et la même ReID que NOOUGAT, en gardant ses extraits qui se chevauchent et son raccordement par l'algorithme hongrois. SUSHI obtient un IDF1 de 72.0, NOOUGAT 76.6.
La seconde comparaison est particulièrement convaincante, car les deux réseaux sur graphe sont presque identiques ; seule change la nature du raccordement, règles ou apprentissage.
Combien de temps peut durer une interruption ?

Dans SportsMOT, les occultations de plus de 30 images sont la majorité. Dans la distribution du bas, les occultations de plus de 32 images totalisent 303 cas, bien plus que les 66 de moins de 32 images.
Les traqueurs de la famille SORT abandonnent en général une trajectoire au bout de 30 images. Avec NOOUGAT, plus on conserve les trajectoires longtemps, plus l'IDF1 monte, jusqu'à environ 92 avec 256 images de conservation. Aucune règle n'est conçue spécialement pour les longues occultations ; tout est appris par ALT.
Le rôle de chaque caractéristique
Avec la seule géométrie, le HOTA est de 59.1 ; avec la seule apparence, il n'est même que de 57.9 ; géométrie et mouvement donnent 60.4, et toutes les caractéristiques 64.6. Les danseurs de DanceTrack sont habillés de la même façon, et l'apparence seule n'est guère fiable ; combinée aux autres indices, elle aide pourtant à trancher les cas ambigus.
Vitesse et passage à l'échelle
Sur V100, avec les détections et la ReID calculées à l'avance, la version en ligne ne tourne qu'à 12 FPS, alors que la version hors ligne atteint 340 FPS. La raison est que la version en ligne doit construire un nouveau graphe à chaque image, et que la construction des graphes prend à elle seule près de la moitié du temps ; la version hors ligne ne construit que 8 graphes par segment de 256 images. Les auteurs reconnaissent que l'implémentation en ligne a encore une large marge d'optimisation. L'article estime aussi une vitesse en conditions idéales (oracle runtime), qui atteint déjà 37 FPS avec .
Sur MOT20-05, la vidéo la plus encombrée (1 154 personnes et 610 000 boîtes de détection), la version hors ligne tourne encore à 74 FPS. Sur l'ensemble de validation de DanceTrack, les versions en ligne et hors ligne () consomment toutes deux moins de 6 Go de mémoire GPU.
Le modèle en ligne n'a que 27 000 paramètres entraînables, contre 51 millions pour MeMOTR. NOOUGAT ne s'occupe que de l'association et laisse la détection à un détecteur existant ; il n'est donc pas désavantagé sur des jeux de données comme MOT17, qui ont très peu de données d'entraînement.
Vers d'autres domaines
Les auteurs testent aussi trois autres jeux de données. Sur BEE24, du suivi d'abeilles avec des vidéos allant jusqu'à cinq mille images, NOOUGAT dépasse la deuxième meilleure méthode de 4.5 points de HOTA. Sur VETRA, des véhicules filmés en vue aérienne à une image par seconde, les voitures parcourent une grande distance entre deux images consécutives ; NOOUGAT dépasse BoT-SORT de 17.2 points de HOTA, mais reste derrière Deep SR-SORT (82.2 contre 68.0), conçu spécialement pour ce jeu de données avec des a priori sur la vitesse et la taille des véhicules.
Avec les détections publiques de MOT17, l'avantage se réduit nettement ; la version hors ligne obtient un IDF1 de 72.1, contre 71.5 pour SUSHI. Les auteurs supposent que lorsque les boîtes de détection sont trop bruitées, ALT a plus de mal à apprendre.
Conclusion
NOOUGAT transforme le réseau sur graphe hors ligne de SUSHI en un traqueur capable d'accepter n'importe quelle latence. La vidéo est découpée en segments sans chevauchement, chacun traité par un réseau sur graphe, et les segments sont raccordés entre eux par une autre couche de réseau sur graphe. Le raccordement des méthodes hors ligne et l'appariement des méthodes en ligne sont tous deux remplacés par une association apprise.
Son intérêt est qu'il suffit de régler pour choisir un point entre latence et précision. Avec une image d'attente, c'est un traqueur en ligne en tête pour l'association ; avec plus de deux cents, un traqueur hors ligne ; et pour chaque intermédiaire, c'est toujours le même modèle.