Retour à la bibliothèque
arXiv 2021CVPR 2022Suivi multi-objetsNotes de lecture

DanceTrack

Tous habillés pareil

Article original

DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse Motion

Auteurs de l’article

Peize Sun · Jinkun Cao · Yi Jiang …

Afficher les 7 auteurs

Peize Sun · Jinkun Cao · Yi Jiang · Zehuan Yuan · Song Bai · Kris Kitani · Ping Luo

Publication
CVPR 2022Conférence
Premier dépôt sur arXiv
arXiv:2111.14690
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{multiobjecttrackingdancetrack2021,
  title = {{DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse Motion}},
  author = {Peize Sun and Jinkun Cao and Yi Jiang and Zehuan Yuan and Song Bai and Kris Kitani and Ping Luo},
  year = {2021},
  eprint = {2111.14690},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2111.14690}
}
Sur cette page

En 2021, l'approche dominante du suivi multi-objets s'est à peu près figée ; on détecte d'abord, puis on relie les boîtes d'une image à l'autre avec des caractéristiques re-ID. JDE et FairMOT ajoutent une branche d'embedding au réseau de détection, QDTrack renforce les caractéristiques d'apparence par un apprentissage contrastif quasi dense, et les méthodes à base de Transformer comme TrackFormer et MOTR s'appuient elles aussi sur l'information d'apparence portée par leurs requêtes.

Une équipe de l'Université de Hong Kong, de l'Université Carnegie Mellon et de ByteDance, avec notamment Peize Sun, Jinkun Cao, Kris Kitani et Ping Luo, remet cette tendance en question. Et si les caractéristiques d'apparence ne marchaient si bien que parce que les jeux de données s'y prêtent trop ?

Dans MOT17, les piétons sont tous habillés différemment, et leur direction comme leur vitesse de marche sont très régulières, presque en ligne droite. Sur de telles données, reconnaître les gens à leur apparence ou prédire leur position avec un modèle de mouvement linéaire réussit facilement. Mais dans une autre scène, par exemple un groupe de danseurs en uniforme identique qui changent vite de place sur scène et se croisent sans cesse, ces méthodes tiennent-elles encore ?

Détail amusant, parmi les auteurs, Peize Sun, Yi Jiang, Zehuan Yuan et Ping Luo venaient, à peine plus d'un mois plus tôt, de publier avec d'autres ByteTrack, un traqueur qui obtient des scores très élevés sur MOT17 avec seulement le mouvement et l'IoU.

Définir le problème

Figure 1 de l'article : images 1, 66, 307 et 327 de la vidéo DanceTrack0027. Un groupe de danseurs en tutus blancs identiques, chacun marqué par une boîte de couleur différente et un numéro en dessous. Au fil du temps, les danseurs numérotés de 1 à 9 échangent sans cesse leurs positions gauche-droite, et s'occultent souvent les uns les autres.
Figure 1 de l'article de Sun et al., extraite de la page 1 du PDF, licence arXiv, citation académique.

Selon les auteurs, les jeux de données existants ont deux biais :

  • Une apparence trop facile à distinguer. La plupart des objets ont des apparences différentes, qu'un modèle re-ID distingue sans peine.
  • Un mouvement trop régulier. Piétons et véhicules se déplacent le plus souvent presque en ligne droite à vitesse constante, et un simple modèle de mouvement linéaire suffit.

Les traqueurs développés sur ce type de données s'appuient donc de plus en plus sur la comparaison d'apparence, et les autres indices sont rarement pris au sérieux.

Un point mérite attention. Rendre les scènes plus encombrées ne règle pas ce problème. Les foules de MOT20 sont très denses, mais les piétons s'y déplacent de façon régulière, et leurs positions relatives comme les zones occultées ne changent presque pas ; ce genre d'« encombrement » ne gêne en rien la comparaison d'apparence. Les auteurs cherchent une autre difficulté, avec des objets qui se déplacent sur une grande étendue, des zones occultées qui changent sans cesse, et des objets qui se croisent et échangent leurs places.

Résoudre le problème

Collecte et annotation

Figure 2 de l'article : vignettes des 100 vidéos de DanceTrack, regroupées par cadres de couleur selon le type de danse, danse classique, danse populaire, grandes danses de groupe, street dance et sport. Quatre exemples agrandis : (a) une scène en extérieur ; (b) une scène sombre, filmée de très loin ; (c) une grande danse de groupe ; (d) de la gymnastique, avec des mouvements et des déformations du corps plus extrêmes.
Figure 2 de l'article de Sun et al., extraite de la page 4 du PDF, licence arXiv, citation académique.

La danse de groupe réunit justement ces deux difficultés. Les danseurs portent souvent des tenues similaires, voire identiques, et ils se déplacent sur de grandes étendues, prennent toutes sortes de poses et se croisent sans arrêt.

Les auteurs collectent sur internet 100 vidéos publiques, avec des mots-clés comme « street dance », « danse hip-hop », « cheerleading » ou « gymnastique rythmique ». On y trouve de la street dance, de la danse populaire, des danses classiques comme le ballet et le tango, de grandes danses de groupe, mais aussi des scènes sportives comme la gymnastique, le kung-fu chinois ou le cheerleading. La plupart sont tournées en intérieur, mais il y a aussi des scènes en extérieur, sombres ou filmées de très loin ; la vidéo la plus peuplée compte 40 personnes.

L'annotation ne comporte que des boîtes et des identités, avec les règles suivantes :

  • Une personne partiellement occultée reçoit une boîte complète couvrant tout le corps.
  • Une personne entièrement occultée n'est pas annotée ; quand elle réapparaît, elle garde son identité d'origine.

L'outil d'annotation reporte automatiquement les boîtes d'une image à la suivante, et les annotateurs n'ont qu'à les corriger. Une fois l'annotation terminée, une autre équipe la vérifie, et les erreurs sont renvoyées pour être annotées à nouveau.

Les 100 vidéos sont réparties en 40 pour l'entraînement, 25 pour la validation et 35 pour le test, de sorte que la longueur moyenne, le nombre moyen de boîtes, la diversité des scènes et celle des mouvements soient à peu près les mêmes dans les trois ensembles. Les annotations de l'ensemble de test ne sont pas publiées ; elles sont réservées à une compétition.

MOT17MOT20DanceTrack
Vidéos148100
Trajectoires par vidéo (moy.)964329
Trajectoires au total1 3423 456990
Durée moyenne (s)35.466.852.9
Durée totale (s)4635355 292
Images au total11 23513 410105 855

D'après la Table 1 de l'article.

Le nombre de vidéos et le nombre d'images sont environ dix fois ceux des jeux de données MOT. Mais chaque vidéo ne contient en moyenne que 9 trajectoires, bien moins que MOT17. La difficulté de DanceTrack vient de ce que tout le monde se ressemble et bouge dans tous les sens, pas du nombre de personnes.

Mesurer la difficulté en chiffres

Figure 3 de l'article : comparaison de trois statistiques. (a) Distance cosinus entre caractéristiques re-ID, chaque barre correspondant à une vidéo ; la moyenne est d'environ 0.28 pour MOT17 et d'environ 0.20 pour DanceTrack, une distance plus faible indiquant que des personnes différentes se ressemblent davantage. (b) IoU moyen entre deux images adjacentes ; MOT17, MOT20, KITTI et DanceTrack se situent tous entre 0.8 et 0.96, DanceTrack vers 0.9. (c) Fréquence des échanges de position relative ; presque 0 pour MOT17, environ 0.007 pour MOT20, environ 0.014 pour KITTI, et la plus élevée pour DanceTrack, environ 0.022.
Figure 3 de l'article de Sun et al., extraite de la page 5 du PDF, licence arXiv, citation académique.

Les auteurs quantifient ces deux difficultés avec trois statistiques.

Similarité d'apparence. Un modèle re-ID préentraîné extrait les caractéristiques de chaque personne ; on calcule la distance cosinus entre toutes les paires de personnes d'une même image, puis on fait la moyenne sur toute la vidéo. La distance moyenne de DanceTrack est nettement plus faible que celle de MOT17 ; les apparences de personnes différentes y sont donc plus proches.

IoU entre images adjacentes. C'est l'IoU entre les boîtes d'une même personne dans deux images adjacentes, moyenné sur toutes les personnes et toutes les images. Un IoU bas indique un mouvement rapide ou une faible fréquence d'images. DanceTrack est proche des jeux de données MOT ; sa difficulté ne vient donc pas de déplacements anormalement rapides.

Fréquence des échanges de position relative. Quand deux personnes dont les boîtes se recouvrent échangent leurs positions relatives, gauche-droite ou haut-bas, entre deux images adjacentes, on compte un échange. Des objets à vitesse constante échangent rarement leurs places ; ce sont les mouvements non linéaires qui produisent des croisements fréquents. Sur ce point, DanceTrack dépasse de loin MOT17 et MOT20, et même KITTI, un jeu de données de conduite où la caméra bouge en permanence.

Prises ensemble, les deux dernières mesures montrent que les personnes de DanceTrack ne bougent pas beaucoup d'une image à l'autre, mais que leurs trajectoires se croisent sans cesse. C'est exactement la situation où un modèle de mouvement linéaire se trompe le plus facilement.

Métriques d'évaluation

DanceTrack prend HOTA comme métrique principale. La capacité d'association se lit dans AssA et IDF1, la qualité de détection dans DetA et MOTA. Pour les auteurs, MOTA penche trop vers la détection, et seul HOTA permet d'examiner séparément détection et association.

Discussion

Avec les boîtes de vérité terrain, le suivi tient-il ?

AssociationMOT17 HOTADanceTrack HOTADanceTrack AssADanceTrack IDF1
IoU98.172.853.663.5
IoU + mouvement96.469.454.871.3
Apparence + IoU + mouvement95.059.743.260.5
Apparence93.368.047.458.7

D'après la Table 2 de l'article, ensembles de validation des deux jeux de données ; les boîtes de détection sont directement les boîtes de vérité terrain.

Les auteurs mènent d'abord une expérience oracle ; les boîtes de détection sont directement les boîtes de vérité terrain, et seules les méthodes d'association sont comparées.

Sur MOT17, un simple appariement par IoU donne déjà un HOTA de 98.1, presque parfait. Autrement dit, dès que la détection est assez précise, l'association sur MOT17 ne pose presque aucun problème.

Sur DanceTrack, avec les mêmes boîtes de vérité terrain, l'appariement par IoU ne donne plus qu'un HOTA de 72.8 et un AssA de 53.6. La détection est déjà parfaite ; le goulot d'étranglement est entièrement dans l'association.

Les deux dernières lignes ajoutent des caractéristiques d'apparence, et toutes les métriques se dégradent ; le HOTA d'« apparence + IoU + mouvement » est même inférieur de 13 points à celui de l'IoU seule. Dans une scène où tout le monde se ressemble, l'apparence n'aide en rien, et elle fait même dévier l'association.

Les performances des traqueurs existants

Table 3 de l'article : comparaison de neuf traqueurs sur les ensembles de test de MOT17 et de DanceTrack, avec pour colonnes HOTA, DetA, AssA, MOTA et IDF1. Sur MOT17, HOTA va de 52.2 à 63.2 ; sur DanceTrack, HOTA va de 39.7 à 55.1 et AssA de 22.6 à 40.2, alors que MOTA se situe partout entre 79.7 et 92.0, plus haut encore que sur MOT17. ByteTrack obtient 63.1 de HOTA sur MOT17 et 47.7 sur DanceTrack ; QDTrack 54.2 sur DanceTrack ; MOTR 54.2, avec l'AssA le plus élevé, 40.2 ; OC-SORT 55.1, le meilleur.
Table 3 de l'article de Sun et al., extraite de la page 7 du PDF, licence arXiv, citation académique.

Les auteurs réentraînent et testent sur DanceTrack les principaux traqueurs de l'époque.

Sur DanceTrack, toutes les méthodes voient chuter fortement leurs HOTA, AssA et IDF1. ByteTrack passe de 63.1 sur MOT17 à seulement 47.7 sur DanceTrack ; FairMOT tombe de 59.3 à 39.7.

Les métriques de détection, elles, s'améliorent. Toutes les méthodes ont un MOTA et un DetA plus élevés sur DanceTrack que sur MOT17, avec des MOTA généralement entre 80 et 90. Les gens sur scène sont faciles à détecter ; ce qui coince, c'est de savoir qui est qui.

Ce tableau a été mis à jour entre les versions de l'article. La troisième version remplace le détecteur de QDTrack par YOLOX et le réentraîne avec l'augmentation de données et les seuils de ByteTrack, sans rien changer à l'apprentissage de l'apparence ; QDTrack obtient alors un HOTA de 54.2, plus que ByteTrack. MOTR a l'AssA le plus élevé du tableau, 40.2, mais un DetA de 73.5, inférieur à celui de la plupart des méthodes ; cette combinaison, association forte et détection faible, deviendra le point de départ de MOTRv2.

Méthodes d'association et modèles de mouvement

Pour comparer l'association isolément, les auteurs fixent la détection à YOLOX et ne changent que la méthode d'association :

MéthodeHOTADetAAssAMOTAIDF1
IoU44.779.625.387.336.8
SORT47.874.031.088.248.3
DeepSORT45.870.929.787.146.8
MOTDT39.268.822.584.339.6
BYTE47.170.531.588.251.9
OC-SORT52.179.835.387.351.6

D'après la Table 4 de l'article, ensemble de validation de DanceTrack, détecteur YOLOX.

Ce tableau montre trois choses.

  • DeepSORT fait moins bien que SORT. DeepSORT, c'est SORT plus une comparaison d'apparence, et son HOTA baisse de 47.8 à 45.8. Ici, l'apparence a un apport négatif.
  • MOTDT est le pire. MOTDT se sert des résultats de suivi pour compléter les détections, mais la détection sur DanceTrack est déjà très bonne, et cette conception dégrade à la fois la détection et l'association.
  • OC-SORT est le meilleur. C'est une méthode fondée uniquement sur le mouvement, qui améliore le filtre de Kalman spécialement pour les mouvements non linéaires ; il atteint un HOTA de 52.1, et son AssA de 35.3 est lui aussi le plus élevé.

Un autre tableau compare les modèles de mouvement. Sans aucun mouvement, avec l'IoU seule, HOTA vaut 44.7 ; avec le filtre de Kalman, 47.8 ; avec un modèle de mouvement appris par LSTM, 51.6. Quand l'apparence n'est pas fiable, les modèles de mouvement ont un grand potentiel.

Ajouter davantage d'informations

Puisque la détection n'est pas le problème, les auteurs essaient de donner au modèle d'autres informations que les seules boîtes. DanceTrack n'a que des annotations de boîtes ; ils utilisent donc CenterNet avec l'association BYTE, et entraînent conjointement avec d'autres jeux de données :

  • Masques de segmentation : avec les masques de COCO à l'entraînement, HOTA passe de 36.9 à 38.1 ; en utilisant aussi les masques pour l'association, il atteint 39.2.
  • Pose humaine : avec les poses de COCO à l'entraînement, HOTA monte à 40.6 ; en utilisant aussi les poses pour l'association, il atteint 41.0. Le gain est plus important qu'avec les masques. Quand une personne est en grande partie cachée, la boîte n'est pas fiable, alors que les points clés restent plus stables.
  • Profondeur : avec la profondeur de KITTI à l'entraînement, HOTA baisse au contraire à 34.4. KITTI contient surtout des voitures, trop éloignées d'une scène de danse. Toutefois, en prenant comme référence le modèle entraîné sur le mélange, utiliser la profondeur pour l'association ajoute quand même 1.7 point d'IDF1.

Les auteurs concluent que des représentations plus fines que la boîte (masques, poses) aident, que l'information de profondeur a du potentiel, et que la modélisation du mouvement est essentielle.

Limites

Les auteurs relèvent eux-mêmes deux limites. L'article ne propose qu'un jeu de données, sans nouvel algorithme qui prenne une large avance, et laisse le problème aux travaux suivants. Par ailleurs, le jeu de données n'a que des annotations de boîtes, sans poses ni masques ; pour des études plus fines, il faut emprunter d'autres jeux de données.

La suite

DanceTrack est vite devenu le benchmark de référence pour tester la capacité d'association.

Quelques mois plus tard, Jinkun Cao et Kris Kitani, coauteurs de l'article, publient OC-SORT, conçu spécialement pour les mouvements non linéaires et les occultations. Plus tard encore, MOTRv2 et Deep OC-SORT font eux aussi de DanceTrack leur principale scène de comparaison.

Conclusion

DanceTrack ne propose pas de nouveau traqueur ; il trouve plutôt une scène où toutes les méthodes existantes souffrent, avec des gens habillés pareil qui sautent dans tous les sens.

Dans cette scène, la détection n'est presque pas un problème ; l'association, si. Les caractéristiques d'apparence font souvent plus de mal que de bien, et les modèles de mouvement linéaires ne suivent pas les pas de danse.

Jusque-là, quand on parlait de la difficulté du suivi, on pensait d'abord à l'« encombrement ». Les vidéos de DanceTrack ne comptent en moyenne que 9 personnes, et pourtant elles sont plus difficiles à suivre que les foules de plusieurs centaines de personnes de MOT20.