Retour à la bibliothèque
EURASIP JIVP 2008Suivi multi-objetsNotes de lecture

CLEAR MOT

La source de tous les maux ?

Article original

Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics

Auteurs de l’article

Keni Bernardin · Rainer Stiefelhagen

Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@article{multiobjecttrackingclearmot2008,
  title = {{Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics}},
  author = {Keni Bernardin and Rainer Stiefelhagen},
  year = {2008},
  journal = {EURASIP Journal on Image and Video Processing},
  url = {https://doi.org/10.1155/2008/246309},
  doi = {10.1155/2008/246309}
}
Sur cette page

Dans le tableau principal d'un article de suivi, la première colonne est presque toujours MOTA.

SORT, DeepSORT et FairMOT se classent tous grâce à lui. Dans l'article HOTA, il est décortiqué et critiqué ; trois changements d'identité (ID switches) n'y coûtent que 3 points, et la détection accapare presque tout le score.

Avec autant de défauts, pourquoi l'a-t-on conçu ainsi au départ ?

Cette fois, on remonte à la source. En 2008, Keni Bernardin et Rainer Stiefelhagen, de l'Université de Karlsruhe, en Allemagne, proposent deux métriques, MOTA et MOTP ; le CLEAR du titre est le nom de deux campagnes d'évaluation internationales, celles de 2006 et de 2007.

Fait intéressant, ce qu'il fallait évaluer à l'époque ressemblait très peu au suivi de piétons qui nous est familier. La tâche principale consistait, dans une salle de séminaire, à estimer avec plusieurs caméras l'endroit du sol où se tenait chaque personne, en centimètres ; s'y ajoutaient le suivi de visages, celui des piétons et des véhicules dans la rue, et même un suivi acoustique, qui repérait avec des réseaux de microphones la personne en train de parler. Bien des choix de conception de MOTA ont été imposés par ces tâches.

Définir le problème

Le suivi d'un objet unique s'évalue facilement ; il suffit de mesurer l'erreur de position à chaque image. Avec plusieurs objets, les choses se compliquent. Le traqueur peut produire plus de trajectoires qu'il n'y a d'objets réels, ou moins, et les trajectoires peuvent en plus s'intervertir.

Ce n'étaient pas les métriques qui manquaient à l'époque, c'était le consensus. Les auteurs passent en revue plusieurs méthodes d'évaluation existantes :

  • Li et al. ont conçu trois mesures pour le suivi multi-caméras de joueurs de football ; deux ne s'appliquent qu'au football, et la plus générale ne tient compte ni des fausses trajectoires ni de l'erreur de localisation.
  • Le projet ETISEO propose 8 métriques interdépendantes ; beaucoup ne s'interprètent qu'avec une ou deux autres à côté.
  • Smith et al. sont les plus proches de l'idée de cet article, mais utilisent 9 mesures : 5 pour les erreurs de configuration des objets, 4 pour les incohérences d'étiquetage. Certaines mesures sont même définies deux fois, une fois côté traqueur et une fois côté objet, comme MT/MO et FIT/FIO.

Avec autant de métriques et des dizaines de systèmes à comparer dans une grande campagne, le lecteur n'arrive tout simplement pas à voir qui fait mieux que qui. Résultat, beaucoup d'articles renoncent à toute évaluation quantitative, ou en inventent chacun une.

Les auteurs décrivent d'abord le traqueur multi-objets idéal. À chaque instant, il trouve le bon nombre d'objets et estime leur position aussi précisément que possible ; chaque objet garde du début à la fin un seul identifiant, qui ne change pas, même quand l'objet revient après une brève occultation. Le contour, l'orientation ou la vitesse ne sont pas pris en compte.

Les exigences posées aux métriques en découlent :

  1. Juger la précision des positions estimées.
  2. Refléter si le traqueur suit chaque objet de façon cohérente, avec exactement une trajectoire par objet.
  3. Avoir le moins possible de paramètres et de seuils à régler.
  4. Être intuitives ; les chiffres restent sensés quand plusieurs types d'erreurs surviennent en même temps, ou quand les erreurs se répartissent inégalement dans le temps.
  5. Être générales ; on peut comparer des traqueurs 2D ou 3D, qui n'estiment que le centre ou qui estiment une boîte.
  6. Être peu nombreuses, mais en dire assez.

Les deux premiers points sont des objectifs, les quatre suivants des contraintes. La vraie difficulté, c'est « comment compter les erreurs ». Dans une vidéo, un traqueur change une fois l'identifiant d'une même personne : combien d'erreurs cela fait-il ? Réfléchissez-y avant de lire la suite.

Résoudre le problème

À chaque image, l'évaluation fait trois choses :

  1. Trouver la meilleure correspondance entre les hypothèses produites par le traqueur, {h1,…,hm}\{h_1, \ldots, h_m\}, et les objets réels {o1,…,on}\{o_1, \ldots, o_n\}.
  2. Pour chaque paire mise en correspondance, calculer l'erreur de position.
  3. Cumuler trois types d'erreurs. Un objet auquel aucune hypothèse ne correspond est une détection manquée (miss) ; une hypothèse qui ne correspond à aucun objet réel est un faux positif (false positive) ; quand l'hypothèse associée à un objet diffère de la précédente, on compte une erreur d'appariement (mismatch).

Au final, deux nombres seulement résument les performances du traqueur : la précision des positions estimées, et le nombre total d'erreurs commises.

Presque tous les détails de la procédure se trouvent dans la première étape.

Trop loin, ça ne compte pas

L'approche la plus intuitive consiste à associer chaque objet à l'hypothèse la plus proche ; les objets restants sont des détections manquées, les hypothèses restantes des faux positifs. Le premier cas à traiter, c'est celui où même l'hypothèse la plus proche est très loin.

Figure 2(a) de l'article : un même objet o1 (zone jaune) et l'hypothèse h1 du traqueur (zone en pointillés) à trois instants. À t et t+1, h1 et o1 se recouvrent et forment une correspondance ; à t+2, h1 dérive vers le haut, la distance entre les deux dépasse le seuil T, h1 est marquée comme faux positif et o1 comme détection manquée.
Figure 2(a) de l'article de Bernardin et Stiefelhagen, extraite de la page 4 du PDF, CC BY 2.0.

Dans la figure, h1h_1 dérive vers le haut à la troisième image. Suit-elle encore o1o_1 ? Pour les auteurs, au-delà d'une certaine distance, on ne peut plus parler de « position mal estimée » ; le traqueur a perdu l'objet et suit autre chose. Seules les correspondances dont la distance vérifie disti,j<T\text{dist}_{i,j} < T sont donc valides ; au-delà du seuil, l'objet compte pour une détection manquée et l'hypothèse pour un faux positif.

Le choix de TT dépend de la tâche et de la façon de calculer la distance. Pour un traqueur qui estime des boîtes, on peut utiliser le recouvrement, avec pour seuil « aucun recouvrement » ; pour un traqueur qui n'estime que le centre, on prend la distance euclidienne, et le seuil peut être la largeur moyenne d'une personne, en pixels ou en centimètres. Les auteurs le disent clairement, on ne peut pas donner à TT une valeur universelle, valable dans tous les cas, et l'article n'étudie pas non plus de méthode pour le fixer automatiquement à partir des données.

Changer de personne, combien d'erreurs ?

Vient ensuite la cohérence dans le temps.

Figure 2(b) de l'article : correspondances entre trois objets, o1 (cercle bleu), o2 (triangle rouge) et o3 (carré vert), et trois hypothèses h1, h2 et h3, sur 8 instants. À t+3, o1 et o2 se croisent ; ensuite h1 suit o2 et h2 suit o1. À t+5, o1 et o3 se croisent ; ensuite h2 suit o3 et h3 suit o1. Les deux croisements sont entourés d'une ellipse orange et marqués Mismatch.
Figure 2(b) de l'article de Bernardin et Stiefelhagen, extraite de la page 4 du PDF, CC BY 2.0.

Au départ, h1h_1, h2h_2 et h3h_3 suivent respectivement o1o_1, o2o_2 et o3o_3. À t+3t+3, le o1o_1 bleu et le o2o_2 rouge se rejoignent ; une fois qu'ils se séparent, h1h_1 suit o2o_2 et h2h_2 suit o1o_1. À t+5t+5, o1o_1 croise cette fois le o3o_3 vert, et c'est au tour de h2h_2 de suivre o3o_3, et de h3h_3 de suivre o1o_1.

Comment compter ce genre d'erreur ?

Une idée serait de fixer d'abord, pour chaque objet, une « meilleure » hypothèse, par exemple la première qui lui a été associée, ou celle qui lui a été associée le plus souvent sur toute la vidéo, puis de compter comme erreur chaque image qui contredit cet appariement. Les auteurs montrent le problème de cette approche avec la figure suivante.

Figure 2(c) de l'article : deux situations pour un même objet o1 sur 9 instants. Case 1 : h1 ne le suit que pendant les deux premières images, puis h2 prend le relais de t+2 jusqu'à la fin. Case 2 : h1 le suit jusqu'à t+3, puis h2 prend le relais de t+4 jusqu'à la fin.
Figure 2(c) de l'article de Bernardin et Stiefelhagen, extraite de la page 4 du PDF, CC BY 2.0.

Dans les deux situations, l'hypothèse ne change qu'une fois ; c'est la même erreur. Mais h2h_2 est chaque fois l'hypothèse associée le plus souvent. Si l'on compte par rapport au « meilleur appariement », Case 1 ne le contredit que sur les 2 premières images, soit 2 erreurs ; Case 2 le contredit sur les 4 premières, soit 4 erreurs. Le nombre d'erreurs dépend alors du moment, précoce ou tardif, où l'échange a lieu.

Les auteurs choisissent plutôt de compter une seule erreur d'appariement, à l'image où la correspondance change, et de tenir tout le reste pour correct. Un changement, une erreur.

Recomptons la Figure 2(b) avec cette règle. Au croisement de t+3t+3, o1o_1 et o2o_2 changent chacun d'hypothèse, ce qui fait deux erreurs ; à celui de t+5t+5, o1o_1 et o3o_3 en changent chacun une fois, encore deux ; au total, quatre erreurs d'appariement. Ensuite, h1h_1 suit o2o_2 jusqu'au bout sans être pénalisée à chaque image pour avoir « suivi la mauvaise personne ».

Se souvenir de qui allait avec qui

Pour savoir que « la correspondance a changé », il faut se souvenir des correspondances précédentes. Les auteurs maintiennent une table de correspondances MtM_t, qui enregistre tous les appariements jusqu'à l'instant tt ; elle est vide au départ, M0={⋅}M_0 = \{\cdot\}. Si, à t+1t+1, oio_i est apparié à hkh_k, en contradiction avec le (oi,hj)(o_i, h_j) de la table, on compte une erreur d'appariement et on remplace l'entrée de la table par (oi,hk)(o_i, h_k).

Cette table sert aussi à autre chose ; quand il existe plusieurs choix valides, c'est elle qui décide de l'appariement.

Figure 2(d) de l'article : l'objet o1 à trois instants. À t, h1 suit o1 ; à t+1, il n'y a aucune hypothèse et o1 compte comme détection manquée ; à t+2 apparaissent deux hypothèses, toutes deux à une distance inférieure au seuil ; h2 est plus proche de o1 que h1, mais c'est h1 qui est retenue, et h2 est marquée comme faux positif.
Figure 2(d) de l'article de Bernardin et Stiefelhagen, extraite de la page 4 du PDF, CC BY 2.0.

h1h_1 perd la cible à t+1t+1 et revient à t+2t+2, tandis qu'apparaît à côté une h2h_2 plus proche. À ne regarder que la distance, il faudrait choisir h2h_2 ; mais la table contient (o1,h1)(o_1, h_1), et les auteurs donnent la priorité à cet appariement, parce que c'est lui qui a le plus de chances d'être la bonne trajectoire. h2h_2 compte comme faux positif ; ce peut être une hypothèse en trop que le traqueur a produite pour la même personne, ou une hypothèse qui suivait quelqu'un d'autre et qui a dérivé jusque-là.

La procédure d'appariement complète

En réunissant tout cela, voici la procédure appliquée à chaque image :

  1. Reprendre d'abord les anciennes correspondances. Pour chaque paire (oi,hj)(o_i, h_j) de la table Mt−1M_{t-1}, si l'objet est toujours là, l'hypothèse aussi, et que la distance ne dépasse pas TT, la paire est directement appariée dans cette image.
  2. Apparier ensuite le reste. Entre les objets et les hypothèses encore libres, on cherche l'appariement de distance totale minimale, un à un et sans dépasser la distance TT. C'est un problème d'affectation de poids minimal, résolu par l'algorithme de Munkres (autrement dit l'algorithme hongrois). Si un nouvel appariement contredit Mt−1M_{t-1}, on met la table à jour et on compte une erreur d'appariement ; le nombre d'erreurs d'appariement de l'image est noté mmetmme_t.
  3. Calculer les distances. L'image compte au total ctc_t paires appariées ; pour chacune, on calcule la distance dtid_t^i entre l'objet oio_i et son hypothèse.
  4. Compter le reste comme erreurs. Les hypothèses non appariées sont toutes des faux positifs, au nombre de fptfp_t ; les objets non appariés sont tous des détections manquées, au nombre de mtm_t. Le nombre d'objets réels de l'image est noté gtg_t.
  5. Passer à l'image suivante. À la première image, la table est vide ; tous les appariements sont nouveaux, et il ne peut y avoir aucune erreur d'appariement.

La première étape est le cœur de la procédure. Tant qu'un ancien appariement reste valide, on ne laisse pas l'algorithme hongrois en décider à nouveau, même si un nouvel appariement réduirait la distance totale. Ainsi, un traqueur qui suit le même objet de façon cohérente en est récompensé dans l'évaluation.

Deux métriques

Avec les décomptes de chaque image, la première métrique est la précision du suivi multi-objets (MOTP) :

MOTP=∑i,tdti∑tct\text{MOTP} = \frac{\sum_{i,t} d_t^i}{\sum_t c_t}

C'est l'erreur de position moyenne sur toutes les correspondances établies. Elle ne répond qu'à la question « quand il y a appariement, la position est-elle bien estimée ? » ; que le traqueur ait trouvé le bon nombre d'objets ou changé d'identifiant n'y entre pas. Avec la distance euclidienne, plus elle est petite, mieux c'est ; avec le recouvrement des boîtes, plus elle est grande, mieux c'est.

La seconde métrique est l'exactitude du suivi multi-objets (MOTA) :

MOTA=1−∑t(mt+fpt+mmet)∑tgt\text{MOTA} = 1 - \frac{\sum_t \left(m_t + fp_t + mme_t\right)}{\sum_t g_t}

Le numérateur additionne les détections manquées, les faux positifs et les erreurs d'appariement de toutes les images ; le dénominateur est le nombre d'objets réels sur l'ensemble des images. Une fois décomposé, c'est la somme de trois taux d'erreur :

m‾=∑tmt∑tgtfp‾=∑tfpt∑tgtmme‾=∑tmmet∑tgt\begin{aligned} \overline{m} &= \frac{\sum_t m_t}{\sum_t g_t} \\ \overline{fp} &= \frac{\sum_t fp_t}{\sum_t g_t} \\ \overline{mme} &= \frac{\sum_t mme_t}{\sum_t g_t} \end{aligned}

MOTA vaut donc 1 moins le taux d'erreur total. Les auteurs le comparent au taux d'erreur sur les mots (WER) de la reconnaissance vocale, qui additionne ce qui manque, ce qui est en trop et ce qui est mal reconnu, puis divise par la longueur de la transcription de référence.

Le taux d'erreur sur les mots peut dépasser 100 % ; MOTA peut donc tout naturellement être négatif. Quand les faux positifs sont nombreux, le numérateur peut dépasser le dénominateur.

Additionner d'abord, diviser ensuite

Dans la formule, la somme est faite séparément au numérateur et au dénominateur ; on ne calcule pas un taux par image pour en faire ensuite la moyenne. Cet ordre est délibéré.

Figure 3 de l'article : un exemple sur 8 images. Les 4 premières contiennent quatre objets, de o1 à o4, dont aucun n'est suivi, marqués Misses ; dans les 4 dernières, il ne reste que o4, suivi tout du long par h1.
Figure 3 de l'article de Bernardin et Stiefelhagen, extraite de la page 5 du PDF, CC BY 2.0.

Calculons le taux de détections manquées sur cette figure.

Sur les 4 premières images, aucun des 4 objets n'est suivi ; le taux de détections manquées de chaque image est de 100 %. Sur les 4 dernières, il ne reste qu'un objet, et il est suivi ; le taux est de 0 %. Si l'on calcule d'abord le taux de chaque image, puis la moyenne :

18(4×100%+4×0%)=50%\frac{1}{8}\left(4 \times 100\% + 4 \times 0\%\right) = 50\%

Si l'on additionne d'abord les erreurs avant de diviser, les 4 premières images comptent 16 détections manquées, les 8 images au total 16+4=2016 + 4 = 20 objets, et le taux de détections manquées est de 16/20=80%16 / 20 = 80\%.

Ce traqueur manque de toute évidence la plupart des objets, et pourtant la moyenne par image dit qu'il en manque la moitié. Les auteurs relèvent que les mesures de faux positifs et de détections manquées de Smith et al. reposent justement sur une moyenne par image, d'où ce genre de résultat contre-intuitif.

En pratique dans les évaluations CLEAR

Le nom complet de CLEAR est Classification of Events, Activities and Relationships. Ces campagnes étaient organisées conjointement par le projet européen CHIL, le projet américain VACE et le National Institute of Standards and Technology (NIST) des États-Unis, rejoints en 2007 par le projet AMI. En 2006, certaines tâches utilisaient encore d'autres métriques ; en 2007, toutes les tâches liées au suivi, qu'il s'agisse d'un ou de plusieurs objets, d'images ou de son, sont évaluées avec les métriques MOT.

D'une tâche à l'autre, seuls changent le calcul de la distance et le seuil :

  • Suivi visuel 3D de personnes : des scènes de séminaires et de réunions, où plusieurs caméras servent à estimer la position de chaque personne sur le sol. La distance est la distance euclidienne au sol, avec un seuil de 50 cm. Les fusions et scissions de trajectoires, fréquentes en suivi sur images 2D, n'ont guère de sens dans ce contexte 3D multi-caméras ; il faut au contraire bien distinguer erreur de localisation, faux positif et appariement à la mauvaise personne. Selon les auteurs, c'est cette tâche qui a dicté l'essentiel de la conception des métriques MOT.
  • Suivi 2D de visages : estimer la position et l'étendue des visages dans chaque vue ; la distance devient le recouvrement des boîtes, avec pour seuil l'absence totale de recouvrement.
  • Suivi 2D de piétons et de véhicules : des scènes de circulation en extérieur, là encore avec le recouvrement des boîtes.
  • Suivi 3D acoustique et multimodal de personnes : localiser la personne qui parle à l'aide de réseaux de microphones répartis. Détections manquées et faux positifs correspondent exactement aux erreurs de segmentation de la parole, et MOTP à la précision de localisation. Le suivi acoustique n'exige pas de savoir qui parle ; les erreurs d'appariement n'y sont donc pas comptées, et cette version s'appelle A-MOTA.

Sept systèmes, trois ex aequo

Voici les résultats du suivi visuel 3D multi-personnes de 2007 :

SystèmeMOTPManquésFaux pos.Err. app.MOTA
A92 mm30.86 %6.99 %1 13959.66 %
B91 mm32.78 %5.25 %1 10359.56 %
C141 mm20.66 %18.58 %51859.62 %
D155 mm15.09 %14.5 %37869.58 %
E222 mm23.74 %20.24 %49054.94 %
F168 mm27.74 %40.19 %72030.49 %
G147 mm13.07 %7.78 %36178.36 %

D'après la Figure 7 de l'article, CLEAR 2007, suivi visuel 3D multi-personnes.

Commençons par MOTP. La plupart des systèmes ont une erreur de localisation moyenne inférieure à 20 cm, ce qui semble très précis, d'autant que la position réelle, obtenue en projetant le centre de la tête sur le sol, n'est elle-même annotée qu'à 5 à 8 cm près. Mais les auteurs préviennent que le seuil de 50 cm empêche MOTP de beaucoup grimper ; tout ce qui dépasse 50 cm est écarté comme détection manquée, et même si les erreurs se répartissaient uniformément sous le seuil, MOTP ne vaudrait que 25 cm. Vu sous cet angle, les 222 mm de E ne sont en réalité pas très précis, alors que les 91 mm de B sont remarquablement précis.

Passons à MOTA. Le meilleur, G, est à 78 %, le pire, F, à 30 % ; ça se voit au premier coup d'œil. Mais A, B et C utilisent des caractéristiques et des algorithmes très différents, et leur MOTA tourne pourtant autour de 59.6 %.

À ne regarder que MOTA, ces trois systèmes se valent. Si l'on décompose le score, B a les positions les plus précises et le moins de faux positifs, mais le plus de détections manquées, et plus de deux fois plus d'erreurs d'appariement que C ; C manque peu, a beaucoup de faux positifs et peu d'erreurs d'appariement. Les deux traqueurs ont des points forts complètement différents. Il a donc finalement été décidé de publier, en plus de MOTP et de MOTA, leurs trois composantes : détections manquées, faux positifs et erreurs d'appariement.

Des erreurs d'appariement trop bon marché

Dans le tableau, les erreurs d'appariement sont des décomptes, pas des taux. Derrière ce choix se cache un problème que les auteurs avaient repéré dès 2006, et qui n'était toujours pas résolu à la publication de l'article.

Les séquences de CLEAR durent chacune plusieurs minutes, et ne sont annotées qu'une fois par seconde. Pour un traqueur raisonnable, le nombre d'erreurs d'appariement est dérisoire comparé au nombre total d'objets réels ; le taux d'erreurs d'appariement est généralement inférieur à 2 %, alors que les détections manquées et les faux positifs atteignent 20 à 40 %. Manquer quelqu'un pendant un court moment coûte plus de points que plusieurs changements d'identifiant, et les erreurs d'identité pèsent très peu sur MOTA.

Les auteurs ne tranchent pas. Savoir si une erreur d'identité est une faute plus légère dépend de l'application ; mais le consensus des ateliers d'évaluation était de donner davantage de poids aux erreurs d'identité, par exemple en passant à des mesures d'erreur fondées sur des trajectoires entières, pour sortir d'une situation dominée par les détections manquées et les faux positifs comptés image par image.

Ces lignes datent de 2008. Huit ans plus tard, IDF1 apparie des trajectoires entières ; quatre ans après encore, HOTA sépare détection et association en deux scores. C'est exactement ce qui était demandé.

Plus tard, MOTChallenge annote chaque image. Ce qui suit relève de la conjecture de cette note. Si chaque image est annotée, les détections manquées et les faux positifs augmentent proportionnellement au nombre d'images, alors qu'un échange d'identité ne compte toujours qu'une fois ; le déséquilibre que CLEAR voyait déjà ne peut que s'aggraver. L'exemple de l'article HOTA, où « trois changements d'identité ne coûtent que 3 points », en est le reflet en miniature.

Le seuil décide de tout

Le paramètre TT pèse lui aussi très lourd. Avec TT infini, une correspondance reste valide pour toujours une fois établie, aussi loin que l'hypothèse dérive ; MOTA se réduit à vérifier que « le nombre d'objets est juste », et MOTP ne sert plus à rien. Quand TT tend vers zéro, tous les objets finissent comptés comme détections manquées, et aucune des deux métriques n'a plus de sens.

Les 50 cm ont été fixés à l'intuition, avec des résultats plutôt raisonnables. Quant à la façon de choisir le seuil optimal, les auteurs disent que la question reste ouverte.

Pourquoi MOTA peut être négatif

En 2006, le suivi 3D d'une seule personne ne suivait que l'orateur sur l'estrade. Le pire système du tableau, A, obtient un MOTA de −79.78%-79.78\%.

Son erreur de localisation moyenne est de 246 mm ; la part de détections manquées dues à une distance supérieure à 50 cm atteint 88.75 %, alors que les vraies détections manquées, faute d'hypothèse produite, ne sont que de 2.28 %.

Voilà pourquoi MOTA devient négatif. Chaque fois que l'erreur de localisation dépasse le seuil, l'objet compte pour une détection manquée et l'hypothèse pour un faux positif ; la même erreur est pénalisée deux fois.

Les auteurs disent que c'est voulu. Certains traqueurs s'appuient sur leur niveau de confiance pour ne rien produire du tout quand leur estimation est mauvaise ; d'autres continuent de produire des positions fausses. Les premiers devraient être mieux notés. Pour reprendre l'article, un traqueur qui ne détecte pas l'orateur pendant la moitié de la séquence fait mieux qu'un traqueur qui, pendant la même durée, suit obstinément un tableau noir vide.

Les types d'erreurs comptent, certes, mais la façon de compter les erreurs au fil de la séquence influe tout autant sur le comportement de la métrique ; c'est l'observation la plus importante de l'article.

Il en va de même pour le suivi acoustique ; le meilleur système, G, obtient un A-MOTA de 54.63 %, et le pire, B, de −5.22%-5.22\%. Quant au suivi de visages de 2007, les MOTP (recouvrement des boîtes) des deux systèmes sont de 0.66 et 0.68 ; une fois le visage trouvé, leurs boîtes sont aussi précises l'une que l'autre. Leurs MOTA, eux, sont de 33.07 % contre 68.81 %, et toute la différence tient à trouver le visage et à ne plus le lâcher.

Conclusion

Avec une procédure d'appariement explicite, cet article range les erreurs du suivi multi-objets en trois catégories, détections manquées, faux positifs et erreurs d'appariement, puis les résume en deux nombres : MOTP mesure la précision des positions estimées, MOTA le nombre total d'erreurs.

Sa valeur tient à la procédure. Au-delà du seuil, pas d'appariement ; un ancien appariement encore valide est prioritaire ; une erreur d'appariement ne compte qu'une fois, à l'image où la correspondance change ; on additionne d'abord, on divise ensuite. Derrière chaque règle se tient un contre-exemple concret.

Ses problèmes, les auteurs les ont vus eux aussi dans les évaluations de l'époque. Trois systèmes de styles complètement différents peuvent obtenir presque le même MOTA ; les erreurs d'appariement sont sans commune mesure avec les détections manquées et les faux positifs, si bien qu'une erreur d'identité ne change presque rien au score ; et le choix du seuil TT reste sans réponse. MOTChallenge a ensuite fixé le seuil à un IoU de 0.5 pour tout le monde ; quant au poids des erreurs d'identité, il a fallu attendre IDF1 et HOTA pour que quelqu'un s'y attaque de front.

La prochaine fois que vous voyez un MOTA négatif, ne soupçonnez pas trop vite un bug dans le code d'évaluation. L'article le disait déjà ; un traqueur qui court après un tableau noir doit faire moins bien qu'un traqueur qui ne produit rien du tout.