BoT-SORT: Robust Associations Multi-Pedestrian Tracking
- Publication
- Lieu de publication non encore vérifié
- Premier dépôt sur arXiv
- arXiv:2206.14651
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{multiobjecttrackingbotsort2022,
title = {{BoT-SORT: Robust Associations Multi-Pedestrian Tracking}},
author = {Nir Aharon and Roy Orfaig and Ben-Zion Bobrovsky},
year = {2022},
eprint = {2206.14651},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2206.14651}
}
ByteTrack a montré qu'avec un détecteur assez fort, un filtre de Kalman et l'IoU suffisent pour atteindre un MOTA de 80.3 sur MOT17.
Mais pour que « l'IoU suffise », il faut que les boîtes prédites depuis l'image précédente correspondent aux boîtes de détection de l'image courante. Il suffit que la personne qui filme se retourne, ou que la voiture prenne un virage, pour que tout dans l'image se déplace d'un bloc, et toutes les boîtes prédites par le filtre de Kalman tombent au mauvais endroit. Les piétons n'ont pas bougé d'un pouce, et pourtant le traqueur perd tout un groupe de personnes.
Nir Aharon, Roy Orfaig et Ben-Zion Bobrovsky, de l'Université de Tel-Aviv en Israël, recensent quelques vieux défauts des traqueurs de la famille SORT et montent un à un les correctifs correspondants sur ByteTrack. Le BoT du nom signifie bag of tricks, tout un sac de petites astuces.
Définir le problème
Les auteurs pointent trois limites des traqueurs de type SORT.
Le vecteur d'état du filtre de Kalman. SORT utilise , soit le centre, la surface et le rapport largeur/hauteur ; depuis DeepSORT, la plupart des traqueurs, ByteTrack compris, utilisent , soit le centre, le rapport largeur/hauteur et la hauteur. Ces deux représentations estiment le rapport largeur/hauteur, et la largeur doit en être déduite à partir de ce rapport, combiné à la surface ou à la hauteur. Les auteurs constatent que la largeur ainsi obtenue est souvent imprécise, et que les boîtes ne collent pas aux personnes.
Les mouvements de caméra. L'appariement par IoU dépend entièrement de la position des boîtes prédites. Dès que la caméra bouge, le recouvrement entre boîtes prédites et boîtes de détection diminue, ce qui provoque des changements d'identité (ID switches) ou des détections manquées. Même avec une caméra fixe, le vent ou des vibrations font trembler l'image, ce qui pose les mêmes problèmes dans les scènes encombrées.
Le compromis entre IoU et apparence. Apparier par IoU donne en général un meilleur MOTA, apparier par caractéristiques re-ID un meilleur IDF1. Comment combiner les deux indices sans sacrifier l'un à l'autre ?
Résoudre le problème

L'ossature est celle de ByteTrack ; les boîtes à score élevé passent par une première association avec toutes les trajectoires, et les boîtes à faible score par une seconde association par IoU avec les trajectoires restantes. BoT-SORT modifie trois points de cette ossature, et la version avec re-ID s'appelle BoT-SORT-ReID.
1. Estimer directement la largeur et la hauteur
Les auteurs modifient le vecteur d'état du filtre de Kalman pour y inclure directement la largeur et la hauteur :
Les matrices de bruit reprennent l'idée de DeepSORT, avec un bruit proportionnel à la taille de la boîte, mais qui suit désormais séparément la largeur et la hauteur :
, et , soit les 1/20 et 1/160 du code de DeepSORT.

Dans cette figure, les boîtes bleues en pointillés coupent les pieds des piétons, alors que les boîtes vertes englobent toute la personne. En marchant, on écarte et on rapproche les jambes, si bien que la largeur varie beaucoup, et une largeur déduite du rapport largeur/hauteur ne suit pas.
Les auteurs sont très francs dans l'article ; cette modification fait bien monter HOTA, mais, à strictement parler, ils n'en connaissent pas la raison, et supposent seulement que la largeur des boîtes épouse mieux les objets.
2. Compensation du mouvement de caméra (CMC)
Sans IMU ni information de navigation, et sans connaître les paramètres intrinsèques de la caméra, le recalage entre deux images adjacentes est une bonne approximation de la projection du mouvement rigide de la caméra sur le plan image.
Les auteurs reprennent la compensation de mouvement global (Global Motion Compensation, GMC) du module de stabilisation vidéo d'OpenCV :
- Extraire des points clés de l'image précédente.
- Les suivre jusqu'à l'image courante par flot optique épars, en éliminant les valeurs aberrantes locales.
- Estimer par RANSAC une matrice affine :
contient l'échelle et la rotation, la translation. Les auteurs notent aussi que les zones des boîtes de détection correspondent à des objets en mouvement et peuvent être exclues de l'estimation, pour que celle-ci ne reflète que le mouvement de l'arrière-plan.
Avec , on transporte la prédiction du filtre de Kalman dans le nouveau système de coordonnées. Les auteurs utilisent une petite astuce ; ils disposent en une matrice diagonale par blocs , , et complètent par des zéros pour obtenir un vecteur de dimension 8 (seules les deux dimensions de la position du centre ont des valeurs) :
Décomposons ce que cette formule fait au vecteur d'état. Les huit dimensions se regroupent par paires, le centre , la taille , la vitesse du centre et la vitesse de la taille . multiplie chaque paire par le même ; quand la caméra tourne, le centre, la taille de la boîte et la direction des vitesses tournent donc avec elle. ne s'ajoute qu'au centre, car une translation de la caméra ne fait que déplacer la position de l'objet, sans changer sa taille ni sa vitesse. La covariance est transformée elle aussi, pour que l'incertitude du filtre suive le nouveau système de coordonnées.
C'est seulement cette prédiction compensée qui est appariée par IoU avec les détections de l'image courante.

Ce sont des images de MOT17-13, filmées depuis une voiture en train de tourner à droite. Avant compensation, toute la rangée de boîtes prédites est décalée à côté des piétons, et l'appariement par IoU échoue forcément ; après compensation, les boîtes retombent sur les personnes.
3. Fusionner IoU et re-ID
Les caractéristiques d'apparence viennent de SBS (stronger baseline on top of BoT), de la bibliothèque FastReID, avec un backbone ResNeSt50. Comme dans StrongSORT, l'apparence de chaque trajectoire est mise à jour par EMA, avec . Pour éviter que des boîtes occultées ou floues ne polluent l'apparence, seules les détections à score élevé passent par l'extraction de caractéristiques.
L'approche courante consiste à faire une somme pondérée de la distance d'apparence et de la distance de mouvement ; FairMOT et StrongSORT utilisent tous deux . Les auteurs choisissent une autre combinaison, qui filtre d'abord, puis prend le minimum.
est la distance IoU (1 moins l'IoU), la distance cosinus entre l'apparence de la trajectoire et la caractéristique de la détection. , .
La formule est un peu tortueuse à lire ; essayons-la sur trois couples trajectoire-boîte de détection :
- Proche et ressemblant. L'IoU vaut 0.7, donc ; la distance cosinus vaut 0.1. Les deux conditions sont remplies, , et le coût prend la plus petite valeur, 0.05. Apparence et position sont d'accord, le coût est tiré très bas, et ce couple sera presque à coup sûr apparié.
- Proche mais différent. IoU 0.8, ; distance cosinus 0.4, au-dessus de 0.25. L'apparence ne compte pas, , et le coût vaut 0.2. L'apparence ne pénalise rien, elle n'aide simplement pas, et l'appariement dépend entièrement de l'IoU.
- Ressemblant mais éloigné. IoU 0.3, , au-dessus de 0.5 ; distance cosinus 0.05. La position est trop éloignée, l'apparence ne compte pas non plus, et le coût vaut 0.7.
L'apparence ne peut aider à faire baisser le coût que lorsque « la position est elle aussi plausible ». Deux personnes qui se ressemblent mais sont éloignées ne seront pas reliées simplement parce qu'elles portent les mêmes vêtements.
Le seuil a été choisi après avoir tracé, sur l'ensemble de validation de MOT17, la distribution des distances d'apparence pour une même personne et pour des personnes différentes ; pour une même personne, les distances se concentrent dans une plage très étroite, alors que pour des personnes différentes, elles sont pour la plupart bien plus grandes.
Au passage, un outil de débogage : cMOTA
Les auteurs proposent aussi un outil d'analyse, le current-MOTA. est simplement le MOTA calculé de la première image jusqu'à l'image ; calculé jusqu'à la dernière image, c'est le MOTA habituel.
Tracé en fonction du temps, il montre au premier coup d'œil à quel moment le traqueur commence à se tromper.

La ligne rouge chute brutalement entre les images 400 et 470 ; en regardant les images du haut, c'est exactement le moment où la caméra tourne. Avec la compensation du mouvement de caméra, la ligne verte ne baisse presque pas.
Discussion
Le détecteur reprend directement les poids YOLOX publiés par ByteTrack, et le modèle re-ID est le SBS-50 de FastReID, entraîné 60 epochs. Les paramètres de suivi sont ceux de ByteTrack : seuil de score de 0.6, appariement rejeté sous une similarité de 0.2, trajectoires perdues conservées 30 images. Pour une comparaison équitable, une interpolation linéaire avec un écart maximal de 20 images est aussi utilisée, comme dans ByteTrack. Les expériences tournent sur une RTX 3060.
La contribution de chaque modification

Le Pred du tableau est une autre petite modification. Dans les vidéos à fréquence d'images élevée, quand une trajectoire reste brièvement sans détection appariée, on continue de produire la boîte prédite par le filtre de Kalman, au lieu de la faire disparaître.
En partant de la référence :
- Nouveau filtre de Kalman : HOTA +0.24, MOTA et IDF1 presque inchangés.
- Compensation du mouvement de caméra : MOTA +0.64, IDF1 +1.62, HOTA +0.94 ; c'est le plus grand pas des quatre.
- Sortie des prédictions : un tout petit gain sur les trois métriques.
- Re-ID : IDF1 encore +0.54, avec une légère hausse de MOTA et de HOTA.
De ByteTrack à BoT-SORT-ReID, HOTA gagne environ 1.3 point et IDF1 environ 2.3 points, dont plus de la moitié vient de la compensation du mouvement de caméra.
Les auteurs comparent aussi différentes façons d'utiliser les caractéristiques d'apparence dans la première association. L'IoU seule donne MOTA 78.4, IDF1 81.5, HOTA 69.1 ; la distance cosinus seule tombe à 73.7, 70.0 et 62.4 ; l'approche à la JDE, « distance d'apparence plus seuil du filtre de Kalman », donne 77.7, 80.1 et 68.2 ; la distance cosinus seule après filtrage par IoU, 78.3, 81.0 et 68.7. Hormis la fusion proposée par les auteurs (78.5, 82.1, 69.2), toutes les approches qui utilisent la re-ID font moins bien que l'IoU seule. Les auteurs en concluent que, pour les applications aux ressources limitées, l'IoU seule est un bon choix.
Classements
Sur l'ensemble de test de MOT17 :
- BoT-SORT : MOTA 80.6, IDF1 79.5, HOTA 64.6.
- BoT-SORT-ReID : MOTA 80.5, IDF1 80.2, HOTA 65.0.
Selon les auteurs, BoT-SORT-ReID est le premier traqueur à dépasser 80 en IDF1 sur MOT17. Face aux 80.3, 77.3 et 63.1 de ByteTrack, le MOTA est comparable, tandis qu'IDF1 et HOTA progressent nettement ; les changements d'identité passent de 2196 pour ByteTrack à 1212.
Sur l'ensemble de test de MOT20, BoT-SORT-ReID obtient MOTA 77.8, IDF1 77.5 et HOTA 63.3 ; ByteTrack, 77.8, 75.2 et 61.3. MOTA est à égalité, et IDF1 comme HOTA progressent là aussi.
La vitesse est le prix à payer. Dans le tableau, BoT-SORT tourne à 6.6 FPS sur MOT17, BoT-SORT-ReID à 4.5 FPS, et ByteTrack à 29.6 FPS. Les auteurs rappellent toutefois que chaque méthode mesure sa vitesse sur un matériel différent, en excluant le plus souvent le temps de détection ; les FPS se comparent donc mal directement.
Les limites reconnues par les auteurs
- La compensation du mouvement de caméra peut échouer. Quand l'image contient trop d'objets en mouvement, les points clés de l'arrière-plan ne suffisent plus, et l'estimation du mouvement de caméra se trompe ; une compensation erronée peut amener le traqueur à des comportements imprévus.
- Le temps de calcul. L'estimation du mouvement global sur de grandes images prend du temps. Les auteurs estiment que ce coût est négligeable face au temps d'inférence du détecteur, et qu'il peut aussi être parallélisé sur plusieurs threads.
- Les caractéristiques d'apparence ralentissent le traqueur. Les auteurs limitent le coût en n'extrayant les caractéristiques que pour les détections à score élevé ; au besoin, l'extraction peut aussi être intégrée à la tête de sortie du détecteur, dans une architecture conjointe à la JDE.
La suite
BoT-SORT est ensuite devenu le traqueur par défaut du module de suivi d'Ultralytics YOLO, l'autre option étant ByteTrack. La documentation d'Ultralytics recommande BoT-SORT pour les vidéos filmées par une caméra en mouvement, à la main, par drone ou depuis un véhicule ; si seule la vitesse compte et que la caméra est fixe, ByteTrack est le plus léger. Son fichier de configuration fait de l'estimation du mouvement de caméra une option interchangeable ; par défaut, c'est le flot optique épars, mais on peut passer à ORB, SIFT ou ECC, ou la désactiver ; la re-ID est optionnelle.
La documentation des traqueurs de Roboflow conseille de même d'activer la compensation du mouvement de caméra pour une caméra mobile, et de la désactiver pour une caméra fixe si l'on a besoin de la vitesse maximale ; sur un arrière-plan pauvre en texture, une estimation du mouvement fondée sur des caractéristiques éparses peut être peu fiable. C'est exactement la première limite qu'écrit l'article lui-même.
Conclusion
Un filtre de Kalman qui estime directement largeur et hauteur, des boîtes prédites qui se déplacent avec la caméra, une IoU et une apparence d'abord filtrées puis réduites à leur minimum ; c'est tout ce que BoT-SORT ajoute à ByteTrack. Les ablations montrent que le plus grand pas vient de la compensation du mouvement de caméra ; avec la re-ID en plus, BoT-SORT-ReID fait passer l'IDF1 de MOT17 au-dessus de 80.
Pour des vidéos filmées au téléphone, par drone ou depuis une voiture, la compensation du mouvement de caméra est sans doute le premier interrupteur à activer. Si la caméra de surveillance est vissée au mur et ne bouge pas, coupez-la, et laissez ces quelques millisecondes au détecteur !