Retour à la bibliothèque
arXiv 2018ICME 2018Suivi multi-objetsNotes de lecture

MOTDT

Deux cordes à son arc

Article original

Real-time Multiple People Tracking with Deeply Learned Candidate Selection and Person Re-Identification

Auteurs de l’article

Long Chen · Haizhou Ai · Zijie Zhuang · Chong Shang

Publication
ICME 2018Conférence
Premier dépôt sur arXiv
arXiv:1809.04427
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{multiobjecttrackingmotdt2018,
  title = {{Real-time Multiple People Tracking with Deeply Learned Candidate Selection and Person Re-Identification}},
  author = {Long Chen and Haizhou Ai and Zijie Zhuang and Chong Shang},
  year = {2018},
  eprint = {1809.04427},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1809.04427}
}
Sur cette page

Si vous avez lu le code de FairMOT ou de JDE, vous avez sans doute croisé le nom MOTDT dans la partie consacrée à l'association.

L'article de FairMOT le dit sans détour, son association en ligne « reprend l'association hiérarchique de MOTDT ». Et parmi les trois méthodes d'association classiques auxquelles ByteTrack se compare, à côté de SORT et de DeepSORT, la troisième est aussi MOTDT.

Ce nom revient souvent dans les tableaux des autres, mais l'article lui-même ne fait que six pages. Publié en 2018 par Long Chen, Haizhou Ai et leurs collègues de l'université Tsinghua, il s'attaque à une question que tout traqueur finit par se poser, que faire quand le détecteur n'est pas fiable.

Définir le problème

Dans une scène encombrée, le détecteur se trompe facilement. Il suffit d'un changement de posture ou d'une personne qui en masque une autre pour voir apparaître des détections manquées, des faux positifs ou des boîtes mal placées.

Les méthodes hors ligne (batch) peuvent regarder toute la vidéo et corriger ces erreurs grâce aux images futures, mais elles ne fonctionnent pas en temps réel, et ne conviennent pas aux applications qui exigent un résultat immédiat. Cet article ne traite que le suivi en ligne, qui ne peut utiliser que l'image courante et les images passées.

Dans le tracking-by-detection classique, les seules boîtes candidates à l'association sont les détections. Si le détecteur rate une personne, aucune boîte ne peut être attribuée à sa trajectoire dans cette image.

Les auteurs remarquent que détection et suivi peuvent en fait se compléter :

  • La prédiction des trajectoires peut compenser une brève détection manquée ou une boîte imprécise. Si le détecteur n'a pas trouvé la personne dans cette image, la boîte prédite par le filtre de Kalman est toujours là.
  • Les détections de haute confiance peuvent empêcher une trajectoire de dériver durablement vers l'arrière-plan. Une boîte prédite jamais corrigée par une détection finit tôt ou tard par s'égarer.

Prenons donc les deux comme boîtes candidates. Mais boîtes de détection et boîtes prédites ont des origines différentes ; comment les noter à la même aune, puis choisir les meilleures dans un tas de boîtes qui se chevauchent ?

Avant eux, Yan et al. avaient déjà essayé de prendre comme candidates les sorties du détecteur et du traqueur, mais avec des caractéristiques conçues à la main, comme des histogrammes de couleur ou le flot optique. Cet article veut le faire avec un réseau profond, et en temps réel.

Résoudre le problème

Fig. 1 de l'article : exemple de sélection des boîtes candidates. En haut, quatre images consécutives (619, 622, 625, 628), chacune avec une boîte de détection en trait plein bleu et une boîte prédite par la trajectoire en pointillés rouges ; au milieu, les boîtes candidates retenues selon le score unifié ; en bas, l'évolution des scores des deux types de candidates au fil des images, en trait plein bleu pour la boîte de détection et en pointillés rouges pour la boîte prédite. Entre les images 622 et 625, le score de la boîte de détection tombe vers 0.8, tandis que celui de la boîte prédite reste autour de 1.0 et c'est elle qui est retenue ; à l'image 628, le score de détection remonte, et la boîte de détection reprend la place.
Fig. 1 de l'article de Chen et al., extraite de la page 1 du PDF, licence arXiv, citation académique.

Cette figure résume toute l'idée de l'article. En trait plein bleu, la boîte de détection ; en pointillés rouges, la boîte prédite par la trajectoire ; en bas, les scores des deux.

Au début et à la fin, la boîte de détection a le meilleur score et elle est retenue ; au milieu, des images 622 à 625, la personne est en partie masquée, le score de la boîte de détection baisse, la boîte prédite devient plus fiable, et c'est elle qui est choisie.

La méthode se déroule en deux temps, d'abord sélectionner les candidates, puis faire l'association.

1. Un même classifieur pour noter toutes les candidates

Boîtes de détection et boîtes prédites réunies, les candidates sont nombreuses et se chevauchent beaucoup. Découper chacune et l'envoyer dans un réseau de classification serait trop lent.

Fig. 2 de l'article : architecture R-FCN utilisée pour la classification. L'image d'entrée (Image) passe par un encodeur (Encoder) qui extrait les caractéristiques, puis par un décodeur avec suréchantillonnage (Decoder) ; les caractéristiques de l'encodeur sont concaténées aux caractéristiques suréchantillonnées. La sortie est un ensemble de cartes de scores (Score maps), une par couleur, qui passent ensuite par un RoI pooling (RoI Pooling) pour donner le score de chaque candidate.
Fig. 2 de l'article de Chen et al., extraite de la page 3 du PDF, licence arXiv, citation académique.

Les auteurs reprennent plutôt l'approche de R-FCN (region-based fully convolutional network) : le réseau ne passe qu'une fois sur l'image entière et produit quelques cartes de scores, que toutes les candidates partagent.

Le backbone est un SqueezeNet léger utilisé comme encodeur, suivi d'un décodeur avec suréchantillonnage qui augmente la résolution des cartes de scores. Pour une image d'entrée de 1152×6401152 \times 640, il ne faut que 8 millisecondes sur une GTX 1080 Ti.

La notation la plus simple consisterait à calculer sur toute l'image la probabilité que chaque point « soit une personne », puis à faire la moyenne de tous les points de la boîte. Mais on perd alors l'information spatiale. Une boîte qui ne couvre qu'une moitié de personne n'a que des points situés sur la personne, et sa moyenne reste élevée.

R-FCN règle ce problème avec des cartes de scores sensibles à la position. Le réseau produit k2k^2 cartes de scores ; chaque candidate est découpée en k×kk \times k cellules, et chaque cellule ne lit que la carte de scores « qui correspond à sa position ». On fait enfin la moyenne des réponses des k2k^2 cellules, puis on passe par une sigmoïde :

p(y∣z,x)=σ ⁣(1wh∑i=1k2 ∑(x,y)∈binizi(x,y))p(y \mid z, \mathbf{x}) = \sigma\!\left(\frac{1}{wh}\sum_{i=1}^{k^2}\ \sum_{(x,y) \in \text{bin}_i} z_i(x, y)\right)

Imaginons le cas k=3k = 3. Le réseau produit 9 cartes de scores, qui réagissent respectivement au « coin supérieur gauche de la personne », au « haut de la personne »… jusqu'au « coin inférieur droit de la personne ». Quand une boîte encadre exactement une personne, la cellule en haut à gauche lit la carte du haut à gauche, celle en bas à droite la carte du bas à droite, et chaque cellule lit un score élevé. Si la boîte est décalée d'une demi-personne vers la droite, sa moitié droite tombe sur l'arrière-plan, les trois cellules de droite lisent des scores faibles, et la moyenne baisse.

Ce réseau ne fait que de la classification, pas de régression de boîtes. En pratique, k=7k = 7 ; les données d'entraînement sont des exemples positifs tirés au hasard autour des boîtes réelles, et autant d'exemples négatifs pris dans l'arrière-plan, issus de MS COCO et de deux vidéos d'entraînement de MOT16.

2. Confiance de trajectoire : combien de temps croire une boîte prédite ?

Une boîte prédite est utile à court terme, mais perd sa fiabilité avec le temps. Plus le filtre de Kalman reste longtemps sans mise à jour par une détection, plus sa prédiction est imprécise.

Les auteurs définissent un score de confiance pour chaque trajectoire. Une trajectoire peut être interrompue puis retrouvée plusieurs fois, et chaque reprise réinitialise le filtre de Kalman ; on ne regarde donc que le dernier segment continu, la tracklet :

strk=max⁡(1−log⁡(1+α⋅Ltrk), 0)⋅1(Ldet≥2)\begin{aligned} s_{trk} = {} &\max\big(1 - \log(1 + \alpha \cdot L_{trk}),\ 0\big) \\ &\cdot \mathbb{1}(L_{det} \geq 2) \end{aligned}

LdetL_{det} est le nombre de détections appariées à cette tracklet, et LtrkL_{trk} le nombre de prédictions utilisées d'affilée depuis le dernier appariement à une détection.

Le comportement de cette formule est intuitif :

  • Juste après un appariement à une détection, Ltrk=0L_{trk} = 0 et la confiance vaut 1.
  • À chaque prédiction supplémentaire, LtrkL_{trk} augmente de un, et la confiance baisse de façon logarithmique.
  • Quand 1+αLtrk1 + \alpha L_{trk} dépasse ee, la confiance tombe à zéro, et la boîte prédite de cette trajectoire ne peut plus servir de candidate.
  • Une trajectoire doit avoir été appariée à au moins deux détections pour disposer d'assez d'observations pour établir un modèle de mouvement ; c'est seulement alors que sa boîte prédite peut servir de candidate.

3. Un score unifié

Le score des deux types de candidates est défini ainsi :

s=p(y∣z,x)⋅(1(x∈Cdet)+strk 1(x∈Ctrk))\begin{aligned} s = p(y \mid z, \mathbf{x}) \cdot \big(&\mathbb{1}(\mathbf{x} \in C_{det}) \\ &+ s_{trk}\,\mathbb{1}(\mathbf{x} \in C_{trk})\big) \end{aligned}

Le score d'une boîte de détection est simplement la probabilité de classification ; celui d'une boîte prédite est cette probabilité multipliée par la confiance de la trajectoire. Une boîte prédite a beau ressembler à une personne, si elle vient d'une trajectoire qu'aucune détection n'a confirmée depuis longtemps, son score est tiré vers le bas.

Une fois toutes les candidates notées, on applique une suppression des non-maxima (seuil d'IoU de 0.3), puis on élimine les boîtes dont le score est inférieur à 0.4.

4. Caractéristiques d'apparence

Pour décider, lors de l'association, si une candidate et une trajectoire correspondent à la même personne, les auteurs utilisent des caractéristiques de re-ID. Le réseau suit l'architecture à alignement de parties proposée par Zhao et al. : un backbone convolutif de GoogLeNet, suivi de KK branches entièrement connectées, chacune correspondant à une partie du corps ; il produit des caractéristiques de 512 dimensions, comparées par distance euclidienne.

Les données d'entraînement combinent trois jeux de ré-identification de piétons, Market-1501, CUHK01 et CUHK03, et l'entraînement utilise une triplet loss :

Ltriplet=1N∑⟨Ii,Ij,Ik⟩max⁡(dij−dik+m, 0)L_{triplet} = \frac{1}{N}\sum_{\langle I_i, I_j, I_k\rangle} \max(d_{ij} - d_{ik} + m,\ 0)

⟨Ii,Ij⟩\langle I_i, I_j\rangle est une même personne, ⟨Ii,Ik⟩\langle I_i, I_k\rangle deux personnes différentes. Les triplets déjà bien séparés (dik−dij>md_{ik} - d_{ij} > m) ont une perte nulle, et l'entraînement se concentre sur les exemples difficiles.

5. Association hiérarchique

C'est la partie que JDE et FairMOT ont reprise plus tard. L'association se fait en deux niveaux :

  1. Premier niveau, candidates de détection × trajectoires, par l'apparence. On calcule la distance entre caractéristiques de re-ID, avec un seuil de 0.4.
  2. Second niveau, candidates restantes × trajectoires restantes, par l'IoU. Seuil de 0.3.
  3. Les boîtes de détection restantes ouvrent de nouvelles trajectoires.

Pourquoi deux niveaux ? La boîte prédite est extrapolée par le filtre de Kalman ; dans une scène encombrée, la zone qu'elle encadre peut contenir quelqu'un d'autre. En extrayant des caractéristiques d'apparence d'une telle boîte, on risque fort de mémoriser l'allure d'une autre personne. La comparaison d'apparence ne porte donc que sur les boîtes de détection, et l'apparence d'une trajectoire n'est mise à jour qu'avec les boîtes de détection qui lui ont été appariées ; les boîtes prédites ne participent qu'à l'appariement par IoU du second niveau.

C'est aussi plus rapide. À chaque image, il suffit d'extraire une fois les caractéristiques de re-ID des boîtes de détection, et jamais celles des boîtes prédites.

Discussion

Les expériences portent sur MOT16, avec les détections publiques officielles. Le jeu de validation, tiré de 5 vidéos d'entraînement, sert aux ablations.

La contribution de chaque composant

Table 1 de l'article : ablation des composants sur le jeu de validation MOT16 ; C est la probabilité de classification, T la confiance de trajectoire, A les caractéristiques d'apparence de re-ID. Baseline (filtre de Kalman plus IoU) : MOTA 28.4, IDF1 32.8, 628 changements d'identité, 0.85 faux positif par image ; avec C : 33.0, 37.6, 445, 0.77 ; avec C et T : 33.7, 37.3, 475, 0.63 ; avec A seul : 30.6, 42.4, 234, 1.01 ; avec les trois : 35.7, 45.3, 184, 0.58.
Table 1 de l'article de Chen et al., extraite de la page 5 du PDF, licence arXiv, citation académique.

La référence est la plus simple qui soit, prédiction par filtre de Kalman et appariement par IoU, autrement dit la recette de SORT.

  1. Choisir les candidates parmi les détections et les prédictions avec le classifieur (C) fait passer le MOTA de 28.4 à 33.0, et les changements d'identité de 628 à 445. Prendre les boîtes prédites comme candidates rattrape bel et bien beaucoup de détections manquées.
  2. Ajouter la confiance de trajectoire (T) porte le MOTA à 33.7, et les faux positifs par image passent de 0.77 à 0.63. Les boîtes prédites peu fiables sont écartées, mais les changements d'identité remontent légèrement, à 475.
  3. Ajouter seulement les caractéristiques d'apparence (A) fait bondir l'IDF1 de 32.8 à 42.4, et les changements d'identité tombent à 234 ; mais le MOTA n'est que de 30.6, et les faux positifs par image montent même à 1.01.
  4. Avec les trois, on obtient un MOTA de 35.7, un IDF1 de 45.3 et 184 changements d'identité ; les quatre indicateurs sont à leur meilleur.

Les deux premiers composants améliorent surtout les indicateurs liés à la détection, les caractéristiques d'apparence surtout ceux liés à l'identité ; il faut les deux pour que tout soit en place.

Les caractéristiques d'apparence elles-mêmes ont aussi été comparées. Le tableau ci-dessous, d'après la Table 2 de l'article, compare différentes représentations d'apparence dans le même cadre :

ApparenceDim.MOTAIDF1Chang. d'ID
Sans apparence–33.737.3475
Histogramme couleur75034.938.6250
HOG115234.638.5317
Couleur + HOG190234.739.3307
Caractéristiques re-ID51235.745.3184

Les caractéristiques conçues à la main aident aussi, mais leur IDF1 plafonne autour de 39 ; les caractéristiques de re-ID apprises ont la plus petite dimension, et pourtant leur IDF1 est 6 points plus haut.

Vitesse

Les auteurs mesurent le temps de traitement par image sur MOT16-03, la séquence la plus encombrée (plus de 50 personnes par image en moyenne). Si l'on découpe chaque candidate pour la classifier séparément avec SqueezeNet suivi de deux couches entièrement connectées, il faut 206.2 millisecondes par image ; avec R-FCN et ses cartes de scores partagées, on descend à 66.3 millisecondes.

Le jeu de test MOT16

Table 3 de l'article : résultats sur le jeu de test MOT16, toutes les méthodes utilisant les mêmes détections publiques. Parmi les méthodes hors ligne, LMP obtient un MOTA de 48.8, un IDF1 de 51.3, 481 changements d'identité et 0.5 FPS ; JMC 46.3 et 46.3. Parmi les méthodes en ligne, AMIR obtient 47.2 et 46.3, 2 681 FP, 774 changements d'identité et 1.0 FPS ; STAM 46.0 et 50.0, 473 changements d'identité et 0.2 FPS ; MOTDT 47.6 et 50.9, IDR 40.3, MT 15.2 %, ML 38.3 %, 9 253 FP, 85 431 FN, 792 changements d'identité et 20.6 FPS.
Table 3 de l'article de Chen et al., extraite de la page 6 du PDF, licence arXiv, citation académique.

Avec les détections publiques, MOTDT obtient un MOTA de 47.6 et un IDF1 de 50.9, les deux meilleurs scores des méthodes en ligne du tableau ; son ML de 38.3 % et ses 85 431 FN sont même les plus bas de tout le tableau. Il tourne à 20.6 FPS, soit, selon les auteurs, environ 5 à 20 fois plus vite que la plupart des méthodes existantes ; dans le tableau, la plupart des méthodes ne traitent que 0.2 à 1 image par seconde, si bien que l'écart est en réalité plus grand. Face à LMP, la meilleure méthode hors ligne, le MOTA n'a que 1.2 point de retard, pour une vitesse 40 fois supérieure.

Deux colonnes sont toutefois moins flatteuses. Les FP s'élèvent à 9 253, plus du triple des 2 681 d'AMIR ; les 792 changements d'identité dépassent aussi les 473 de STAM et les 481 de LMP. On peut supposer qu'en prenant les boîtes prédites comme candidates, la méthode rattrape des détections manquées, mais garde aussi au passage des boîtes qui n'auraient pas dû exister.

La suite

Dans leur conclusion, les auteurs écrivent qu'ils veulent à l'avenir partager les couches de convolution entre la classification et les caractéristiques d'apparence, pour gagner encore en efficacité.

L'année suivante, Zhongdao Wang et ses collègues de Tsinghua publient JDE, qui produit à la fois les boîtes de détection et les caractéristiques de re-ID avec un seul réseau de détection ; au moment de l'association, son code officiel apparie lui aussi d'abord par l'apparence et le mouvement, puis traite le reste par l'IoU. L'année suivante, FairMOT reprend la même association en deux étapes. L'autre moitié de MOTDT, « prendre aussi les boîtes prédites comme candidates », n'a en revanche pas été reprise dans FairMOT.

En 2021, ByteTrack inclut MOTDT dans ses comparaisons, avec le même détecteur YOLOX, sur le jeu de validation de MOT17. MOTDT obtient un MOTA de 75.8, BYTE 76.6. Les auteurs de ByteTrack estiment qu'en utilisant les boîtes prédites comme boîtes de trajectoire, MOTDT risque de laisser la position dériver peu à peu ; BYTE, lui, va repêcher les personnes parmi les boîtes de détection à faible score, avec une position plus précise. Les deux articles traitent le même problème (comment éviter de perdre quelqu'un quand le détecteur n'est pas fiable), mais choisissent des matériaux de rattrapage différents.

Conclusion

MOTDT prend comme candidates à la fois les boîtes de détection et les boîtes prédites par les trajectoires ; un classifieur entièrement convolutif sensible à la position leur attribue un score unifié, et la confiance de trajectoire fait baisser les prédictions restées trop longtemps sans confirmation. À l'association, l'apparence ne sert qu'aux boîtes de détection, et l'IoU se charge du reste. Avec cette méthode, MOTDT obtient sur MOT16 le meilleur MOTA et le meilleur IDF1 des méthodes en ligne de l'époque, à 20 images par seconde.

Si vous voulez ajouter de la re-ID à votre traqueur, l'association hiérarchique est un point de départ très pratique. Les caractéristiques d'apparence ne sont extraites que des boîtes de détection fiables, et les boîtes prédites ne servent qu'à boucher les trous. La règle est simple, et elle évite directement l'erreur de « mémoriser le visage de quelqu'un d'autre comme le sien ».

Quant à la « sélection des candidates », qui occupe la moitié du titre, les traqueurs suivants n'en ont presque plus parlé.