Retour à la bibliothèque
arXiv 2019ECCV 2020Suivi multi-objetsNotes de lecture

JDE

Reconnaître les gens au passage

Article original

Towards Real-Time Multi-Object Tracking

Auteurs de l’article

Zhongdao Wang · Liang Zheng · Yixuan Liu · Yali Li · Shengjin Wang

Publication
ECCV 2020Conférence
Premier dépôt sur arXiv
arXiv:1909.12605
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{multiobjecttrackingjde2019,
  title = {{Towards Real-Time Multi-Object Tracking}},
  author = {Zhongdao Wang and Liang Zheng and Yixuan Liu and Yali Li and Shengjin Wang},
  year = {2019},
  eprint = {1909.12605},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1909.12605}
}
Sur cette page

Les traqueurs de la génération de DeepSORT, POI et MOTDT procèdent tous à peu près de la même façon. On fait d'abord tourner un détecteur, puis on découpe chaque boîte de détection pour l'envoyer dans un autre réseau, de re-ID, qui extrait les caractéristiques d'apparence.

Deux réseaux tournent chacun de leur côté, et leurs temps s'additionnent. Plus il y a de monde dans l'image, plus il faut faire tourner la re-ID, et plus tout le système ralentit.

Beaucoup d'articles se disent « temps réel », mais à y regarder de près, le chronométrage ne compte souvent que l'étape d'association, sans le temps du détecteur ni celui de la re-ID. L'association est en temps réel ; le système de suivi complet, non.

Zhongdao Wang, de l'université Tsinghua, Liang Zheng, de l'Australian National University, et leurs collègues veulent construire un système réellement temps réel. Ils font en sorte que le détecteur reconnaisse les gens au passage, avec un seul réseau et une seule passe avant qui produisent à la fois les boîtes de détection et les caractéristiques d'apparence de chaque boîte. Ils appellent cette approche JDE (Joint Detection and Embedding).

Définir le problème

Fig. 1 de l'article : comparaison de trois types de systèmes de suivi. (a) Détection et embedding séparés (SDE) : l'image passe d'abord par le détecteur, les boîtes de détection sont découpées en imagettes, puis envoyées dans un modèle d'embedding indépendant. (b) Modèle à deux étapes : après la génération des boîtes candidates par le RPN, les caractéristiques sont rééchantillonnées sur la carte de caractéristiques et envoyées dans le modèle d'embedding. (c) JDE : l'image passe par un seul réseau, qui produit directement et en même temps les détections et les caractéristiques d'embedding.
Fig. 1 de l'article de Wang et al., extraite de la page 2 du PDF, licence arXiv, citation académique.

Les auteurs classent les approches de l'époque en trois catégories :

  • (a) Détection et embedding séparés (Separate Detection and Embedding, SDE) : DeepSORT et POI en font partie. Le détecteur et le modèle de re-ID sont entièrement indépendants, et le calcul de la re-ID est proportionnel au nombre de personnes.
  • (b) Modèles à deux étapes : sur un Faster R-CNN, on transforme la seconde étape pour qu'elle apprenne des caractéristiques d'apparence. Le RPN de la première étape produit toujours des boîtes ; la seconde étape extrait de la carte de caractéristiques celles de chaque boîte, et s'entraîne par apprentissage de métrique. Une partie du calcul est ainsi partagée, mais la conception en deux étapes est lente par nature, en général moins de 10 images par seconde, et le temps de la seconde étape augmente toujours avec le nombre de personnes.
  • (c) JDE : on ajoute directement une sortie à un détecteur à une étape, et une seule passe avant donne les boîtes et les caractéristiques.

Pour réaliser (c), il faut que deux tâches aux objectifs très différents s'apprennent bien ensemble dans un même réseau. Les auteurs traitent la question sous cinq angles, un par un : les données d'entraînement, l'architecture du réseau, la fonction de perte, la pondération multitâche et la méthode d'évaluation.

Résoudre le problème

Architecture du réseau

Fig. 2 de l'article : (a) vue d'ensemble de l'architecture ; l'image d'entrée passe par le backbone, qui produit des cartes de caractéristiques à trois échelles ; la plus petite est suréchantillonnée et fusionnée avec la suivante, et ainsi de suite, et chaque échelle a sa propre tête de prédiction. (b) Tête de prédiction : la carte de prédiction dense produite se divise en trois parties, classification des boîtes, régression des boîtes et embedding ; chacune des trois pertes reçoit un paramètre d'incertitude apprenable s, puis elles sont additionnées pour former la perte finale.
Fig. 2 de l'article de Wang et al., extraite de la page 5 du PDF, licence arXiv, citation académique.

Le backbone est le DarkNet-53 de YOLOv3, suivi d'un réseau pyramidal de caractéristiques (FPN), avec des prédictions à trois échelles, 1/32, 1/16 et 1/8 de l'entrée. La taille apparente des piétons varie énormément selon leur distance, et la prédiction multi-échelle aide la détection.

Chaque échelle a une tête de prédiction, qui produit une carte de prédiction dense de taille (6A+D)×H×W(6A + D) \times H \times W. AA est le nombre de boîtes d'ancrage à cette échelle, DD la dimension des caractéristiques d'embedding. Cette carte se divise en trois parties :

  1. Classification des boîtes : 2A×H×W2A \times H \times W, premier plan ou arrière-plan pour chaque boîte d'ancrage.
  2. Régression des boîtes : 4A×H×W4A \times H \times W, quatre corrections pour chaque boîte d'ancrage.
  3. Carte d'embedding : D×H×WD \times H \times W, une caractéristique d'apparence de dimension DD par position.

Calculons les formes pour l'entrée par défaut, 1088×6081088 \times 608. Les cartes de caractéristiques des trois échelles mesurent 34×1934 \times 19, 68×3868 \times 38 et 136×76136 \times 76. L'article ne donne pas la valeur de DD ; dans les expériences de FairMOT, JDE utilise 512 dimensions. Chaque échelle a A=4A = 4 ; chaque tête de prédiction produit donc 6×4+512=5366 \times 4 + 512 = 536 canaux, et la couche la plus fine est un tenseur de 536×76×136536 \times 76 \times 136.

Si une boîte d'ancrage est classée au premier plan, on va chercher à la même position de la carte d'embedding le vecteur de 512 dimensions qui s'y trouve, et il sert de caractéristique d'apparence à cette boîte. Détection et caractéristiques d'apparence sont calculées ensemble ; une personne de plus dans l'image ne change presque rien au calcul.

Branche de détection : des ancres taillées pour les piétons

La branche de détection ressemble beaucoup à un RPN, avec deux modifications :

  • Des boîtes d'ancrage conçues pour les piétons. Toutes les boîtes d'ancrage ont un rapport largeur/hauteur de 1:3, avec 12 tailles au total, 4 par échelle ; leur largeur va de 8×21/2≈118 \times 2^{1/2} \approx 11 à 8×212/2=5128 \times 2^{12/2} = 512 pixels.
  • Les seuils premier plan / arrière-plan. Une IoU supérieure à 0.5 avec une boîte réelle compte comme premier plan, comme en détection d'objets classique ; mais une IoU inférieure à 0.4 (au lieu des 0.3 habituels) compte déjà comme arrière-plan. Les auteurs constatent que cela réduit efficacement les faux positifs en cas d'occultation sévère.

La classification utilise l'entropie croisée, la régression des boîtes la perte smooth-L1.

Branche d'embedding : la classification à la place des triplets

L'embedding doit apprendre un espace où les caractéristiques d'une même personne se rapprochent et celles de personnes différentes s'éloignent. L'approche la plus intuitive est la triplet loss, avec laquelle MOTDT a été entraîné. Mais les combinaisons de triplets sont trop nombreuses, l'échantillonnage est difficile, l'entraînement peu stable et la convergence lente.

Les auteurs comparent trois pertes :

  • La triplet loss : dans un mini-lot, on extrait tous les exemples négatifs et l'exemple positif le plus difficile.
  • La borne supérieure lisse de la triplet loss : une variante plus stable, qui converge plus vite.
  • L'entropie croisée : chaque identité du jeu d'entraînement est traitée comme une classe ; la caractéristique d'embedding extraite passe par une couche entièrement connectée pour classer l'identité.

Les auteurs comparent d'abord les deux dernières par leurs formules. La borne supérieure lisse s'écrit

Lupper=−log⁡ef⊤f+ef⊤f++∑ief⊤fi−L_{upper} = -\log\frac{e^{f^\top f^+}}{e^{f^\top f^+} + \sum_i e^{f^\top f_i^-}}

et l'entropie croisée

LCE=−log⁡ef⊤g+ef⊤g++∑ief⊤gi−L_{CE} = -\log\frac{e^{f^\top g^+}}{e^{f^\top g^+} + \sum_i e^{f^\top g_i^-}}

Les deux se ressemblent presque trait pour trait, à deux différences près. Premièrement, l'entropie croisée représente chaque identité par un « poids de classe » apprenable gg, au lieu d'utiliser directement les caractéristiques ff des autres exemples. Deuxièmement, le dénominateur de l'entropie croisée contient toutes les autres identités, alors que les pertes de type triplet ne contiennent que les négatifs tirés dans le mini-lot. L'entropie croisée exige qu'une personne ressemble davantage à sa propre classe qu'à chacune des autres identités, une contrainte bien plus stricte que celle des triplets.

Les résultats expérimentaux sont sans appel. Avec la même pondération, la TPR@FAR=0.1 de l'embedding en recherche n'est que de 42.2 pour la triplet loss, de 44.3 pour la borne supérieure lisse, et de 88.2 pour l'entropie croisée, soit le double.

Les ancres de premier plan qui ont une boîte mais pas d'annotation d'identité sont ignorées dans le calcul de la perte d'embedding. Les caractéristiques d'embedding des trois échelles passent par la même couche entièrement connectée et partagent le même espace de caractéristiques ; une même personne détectée à des échelles différentes peut donc être comparée.

Comment équilibrer les trois pertes

Chaque tête de prédiction a trois pertes, soit neuf pour les trois échelles. Le plus simple serait de toutes les additionner avec le même poids, mais l'entraînement ne décolle alors quasiment pas.

Les auteurs comparent plusieurs stratégies de pondération :

  • Poids égaux (Uniform) : l'AP de détection tombe à 6.8. La perte d'embedding est bien plus grande que les deux autres et domine tout l'entraînement ; la détection n'apprend rien de bon, et le MOTA n'est que de 36.9.
  • MGDA-UB : la méthode d'optimisation multitâche la plus aboutie en théorie, mais elle donne un poids trop grand à la perte d'embedding, et le résultat est à peu près le même qu'avec des poids égaux, une AP de 8.3.
  • Normalisation des pertes (Loss.Norm) : l'inverse de la moyenne mobile de chaque perte sert de poids ; MOTA de 57.9.
  • Poids quasi optimaux (App.Opt) : limités à deux variables indépendantes, ils sont trouvés par recherche manuelle ; MOTA de 64.3.
  • Pondération par l'incertitude (Uncertainty) : chaque perte reçoit un paramètre apprenable ss, et le réseau décide lui-même des poids :
Ltotal=∑iM∑j∈{α,β,γ}12(1esjiLji+sji)\mathcal{L}_{total} = \sum_{i}^{M}\sum_{j \in \{\alpha, \beta, \gamma\}} \frac{1}{2}\left(\frac{1}{e^{s_j^i}}\mathcal{L}_j^i + s_j^i\right)

Cette dernière méthode est la seule à dépasser la recherche manuelle, avec une AP de 83.0, une TPR de 90.4 et un MOTA de 65.8 ; ses 207 changements d'identité sont aussi le minimum. L'année suivante, FairMOT reprend la même pondération.

Données d'entraînement

JDE a besoin de données annotées à la fois en boîtes et en identités, mais les jeux de données de suivi sont trop petits. Les auteurs assemblent six jeux publics en un grand jeu d'entraînement. ETH et CityPersons n'ont que des boîtes et ne servent qu'à la détection ; CalTech, MOT16, CUHK-SYSU et PRW ont des annotations d'identité et entraînent les deux branches. Au total, environ 54 000 images, 270 000 boîtes et 8 700 identités. Les vidéos d'ETH qui recoupent le jeu de test de MOT16 ont été retirées.

Cet assemblage, appelé plus tard MIX dans FairMOT, est devenu le jeu d'entraînement standard des traqueurs one-shot.

Association

L'association n'est pas le sujet de l'article ; les auteurs conçoivent une association en ligne simple et rapide. Chaque trajectoire conserve un état d'apparence ee et un état de mouvement donné par un filtre de Kalman. À chaque image, on calcule pour toutes les paires détection-trajectoire la similarité d'apparence AeA_e (similarité cosinus) et la distance de mouvement AmA_m (distance de Mahalanobis), pondérées pour former le coût :

C=λAe+(1−λ)AmC = \lambda A_e + (1 - \lambda)A_m

Après l'appariement par l'algorithme hongrois, l'état d'apparence de la trajectoire est mis à jour par une moyenne mobile exponentielle :

eit=α eit−1+(1−α) fit,α=0.9e_i^t = \alpha\, e_i^{t-1} + (1 - \alpha)\, f_i^t, \qquad \alpha = 0.9

Seules les détections présentes deux images de suite ouvrent une nouvelle trajectoire ; une trajectoire n'est supprimée qu'après 30 images sans mise à jour, et entre-temps, elle reste dans un réservoir tampon, d'où elle peut être raccordée à son retour.

Cette mise à jour par EMA a ensuite été reprise telle quelle par StrongSORT et BoT-SORT. Les auteurs signalent aussi que vectoriser le filtre de Kalman (traiter toutes les trajectoires d'un coup) est crucial pour la vitesse ; quand le réseau est déjà rapide, c'est plutôt l'association qui risque de devenir le goulot d'étranglement.

Discussion

JDE est entraîné par SGD pendant 30 epochs, avec une résolution d'entrée par défaut de 1088×6081088 \times 608. Pour la validation, la détection est évaluée par l'AP sur le jeu de validation de CalTech, l'embedding par la TPR de recherche sur trois jeux de données, et le suivi par le MOTA sur le jeu d'entraînement de MOT15 ; la comparaison finale se fait sur le jeu de test de MOT16.

Méthode d'association

Les auteurs branchent d'abord un même modèle JDE sur SORT, puis sur leur propre association. Sur MOT15, peu peuplé, leur méthode obtient un MOTA de 67.5 et un IDF1 de 67.6, contre 66.9 et 55.8 pour SORT, et la vitesse passe de 44.1 à 46.2 FPS. Sur la séquence encombrée CVPR19-01 (61 personnes par image en moyenne), la vitesse passe de 26.4 à 33.9 FPS, et le MOTA comme l'IDF1 ne progressent que légèrement. La forte amélioration de l'IDF1 vient surtout des caractéristiques d'apparence.

Face aux systèmes séparés

Fig. 3 de l'article : précision du suivi et vitesse de JDE comparées à diverses combinaisons SDE ; l'abscisse est la vitesse (FPS), l'ordonnée le MOTA ou l'IDF1. (a)(c) portent sur le jeu d'entraînement MOT15, peu peuplé, (b)(d) sur la séquence encombrée CVPR19-01. Les couleurs représentent les modèles d'embedding (IDE, Triplet, PCB, JDE), les formes les détecteurs (Faster R-CNN, Cascade R-CNN et JDE, chacun avec ResNet-50 ou ResNet-101, plus le DarkNet-53 de JDE). Les marqueurs rouges de JDE se trouvent en haut à droite, avec la vitesse la plus élevée et une précision proche de la meilleure combinaison.
Fig. 3 de l'article de Wang et al., extraite de la page 12 du PDF, licence arXiv, citation académique.

Par souci d'équité, les auteurs utilisent exactement les mêmes données d'entraînement, combinent deux à deux plusieurs détecteurs (JDE, Faster R-CNN, Cascade R-CNN) et plusieurs modèles de re-ID (IDE, Triplet, PCB), puis branchent la même association.

  1. Le meilleur compromis vitesse-précision. Avec peu de monde, JDE tourne à 22 images par seconde avec un MOTA de 65.8 ; la combinaison la plus forte, Cascade R-CNN (ResNet-101) plus PCB, atteint un MOTA de 66.2, mais à environ 6 images par seconde seulement.
  2. L'écart se creuse quand la foule grossit. Toutes les combinaisons SDE ralentissent fortement dans les scènes encombrées, car le temps de re-ID est proportionnel au nombre de personnes ; l'embedding de JDE est calculé avec la détection, et sa vitesse n'est presque pas affectée, le ralentissement venant surtout de l'association.
  3. L'embedding appris conjointement vaut celui appris séparément. En gardant le détecteur de JDE et en le combinant aux embeddings IDE, Triplet et PCB entraînés séparément, la précision de suivi reste très proche, et JDE dépasse même légèrement IDE.

Du côté de l'IDF1, le tableau est moins flatteur. Dans les scènes encombrées, l'IDF1 de JDE baisse davantage que celui des combinaisons SDE les plus fortes.

Le jeu de test MOT16

Table 4 de l'article : comparaison avec des méthodes en ligne selon les règles private de MOT16 ; les colonnes donnent le nombre de boîtes et d'identités d'entraînement, le MOTA, l'IDF1, MT, ML, les changements d'identité, ainsi que les vitesses de détection, d'association et globale. DeepSORT_2 utilise 429 000 boîtes, avec un MOTA de 61.4, un IDF1 de 62.2, 781 changements d'identité et moins de 8.1 FPS au total ; POI 66.1, 65.1, 805 et moins de 6 FPS ; TAP 64.8, 73.5 et 794. JDE utilise 270 000 boîtes et 8 700 identités ; avec une entrée de 864, MOTA 62.1, IDF1 56.9, 1 608 changements d'identité et 30.3 FPS ; avec une entrée de 1088, MOTA 64.4, IDF1 55.8, 1 544 changements d'identité et 22.2 FPS.
Table 4 de l'article de Wang et al., extraite de la page 13 du PDF, licence arXiv, citation académique.

JDE utilise des données d'entraînement supplémentaires ; la comparaison se fait donc selon les règles private de MOT16. Les adversaires utilisent tous le même Faster R-CNN, entraîné sur un grand jeu privé de piétons ; ils diffèrent par leur modèle de re-ID et leur association.

En MOTA, les 64.4 de JDE dépassent DeepSORT de 3 points et restent 1.7 point sous POI, alors que JDE s'entraîne sur un peu plus de 60 % des boîtes de ses adversaires (270 000 contre 429 000). Pour la vitesse, beaucoup de méthodes ne rapportent pas leur temps complet ; les auteurs réimplémentent le détecteur qu'elles partagent pour estimer une borne supérieure. Même face à une borne aussi généreuse, JDE, à 22.2 images par seconde, est au moins deux à trois fois plus rapide. En réduisant la largeur d'entrée à 864, la vitesse monte à 30.3 FPS, et le MOTA ne descend qu'à 62.1.

Mais l'IDF1 et les changements d'identité sont les points faibles évidents de JDE. Son IDF1 de 55.8 est inférieur aux 62.2 de DeepSORT et aux 65.1 de POI ; ses 1 544 changements d'identité sont presque le double de ceux des autres méthodes.

Le problème vient des boîtes

Les auteurs soupçonnent d'abord l'embedding appris conjointement d'être plus faible. Mais en le remplaçant par un modèle entraîné séparément, l'IDF1 et les changements d'identité ne bougent presque pas.

La vraie cause est la détection. Quand les piétons se chevauchent beaucoup, les boîtes d'un détecteur à une étape dérivent facilement et se décalent ; en extrayant des caractéristiques avec une boîte décalée, on y mélange l'apparence d'une autre personne, et l'ID change. Ces changements d'identité surviennent souvent au milieu d'une trajectoire, ce qui fait particulièrement chuter l'IDF1. Les auteurs laissent à des travaux futurs la question de rendre les boîtes plus précises quand les piétons se chevauchent fortement.

La suite

Le problème a trouvé preneur six mois plus tard. FairMOT estime que le coupable, ce sont les boîtes d'ancrage. Une ancre peut encadrer plusieurs personnes, et plusieurs ancres peuvent correspondre à la même personne ; les caractéristiques de re-ID apprises sont donc floues. FairMOT passe à une représentation par points centraux, sans ancres, et réduit l'embedding à 64 ou 128 dimensions. Dans les expériences de FairMOT, il suffit de réduire l'embedding de JDE de 512 à 64 dimensions pour améliorer à la fois le MOTA, l'IDF1 et les changements d'identité.

Conclusion

JDE intègre les caractéristiques d'apparence dans un détecteur à une étape ; une seule passe avant produit à la fois les boîtes et les caractéristiques, et c'est le premier système complet de suivi multi-objets à approcher le temps réel. Sur MOT16, son MOTA est proche de celui de systèmes forts entraînés séparément, pour une vitesse deux à trois fois supérieure, et plus il y a de monde, plus l'avantage est net.

Ce qu'il faut surtout retenir de cet article, ce sont deux détails d'entraînement. Pour l'embedding, l'entropie croisée de classification d'identité fait deux fois mieux que la triplet loss ; pour la pondération multitâche, laisser des paramètres d'incertitude apprendre les poids fait mieux que la recherche manuelle. Ces deux recettes sont devenues presque standard dans les traqueurs one-shot qui ont suivi.

Le titre de l'article dit « Towards », et les auteurs savaient bien que le bout de chemin des boîtes mal alignées restait à parcourir dans l'article suivant.