Retour à la bibliothèque
arXiv 2026CVPR 2026Suivi multi-objetsNotes de lecture

FADE

Trou noir

Article original

Out of Sight, Out of Track: Adversarial Attacks on Propagation-based Multi-Object Trackers via Query State Manipulation

Auteurs de l’article

Halima Bouzidi · Haoyu Liu · Yonatan Gizachew Achamyeleh · Praneetsai Vasu Iddamsetty · Mohammad Abdullah Al Faruque

Publication
CVPR 2026Conférence
Premier dépôt sur arXiv
arXiv:2604.00452
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{multiobjecttrackingfade2026,
  title = {{Out of Sight, Out of Track: Adversarial Attacks on Propagation-based Multi-Object Trackers via Query State Manipulation}},
  author = {Halima Bouzidi and Haoyu Liu and Yonatan Gizachew Achamyeleh and Praneetsai Vasu Iddamsetty and Mohammad Abdullah Al Faruque},
  year = {2026},
  eprint = {2604.00452},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2604.00452}
}
Sur cette page

Depuis MOTR, les traqueurs à requêtes n'ont cessé d'évoluer : MOTRv2 a branché un détecteur externe, MeMOTR a ajouté une mémoire à long terme, CO-MOT a changé l'attribution des étiquettes, et SambaMOTR retient tout l'historique avec un modèle à espace d'états. Cette lignée dépend de plus en plus de la « mémoire » ; chaque requête transporte toute l'information de l'objet, depuis son apparition jusqu'à l'image courante.

La mémoire rend le suivi plus stable, mais que se passe-t-il si quelqu'un l'abîme exprès ?

C'est exactement ce que font Halima Bouzidi, Mohammad Al Faruque et leurs collègues de l'Université de Californie à Irvine. C'est un article d'attaque, qui cherche les faiblesses structurelles de ce type de traqueur. Les attaques adverses visant les traqueurs étaient jusque-là presque toutes conçues pour les méthodes « détecter puis associer » ; cet article est le premier à viser spécifiquement les traqueurs à requêtes.

Définir le problème

Les anciennes attaques ne touchent pas les nouveaux traqueurs

Les attaques contre les traqueurs « détecter puis associer » se rangent grosso modo en trois catégories :

  1. Perturber la détection. Empêcher la détection de vrais objets, ou fabriquer une foule de fausses boîtes de détection. Daedalus relève de la seconde approche.
  2. Perturber l'association. Les attaques comme Hijacking ou F&F écartent la boîte de détection de la prédiction du filtre de Kalman ; au-delà du seuil, l'appariement échoue, ou se fait avec quelqu'un d'autre.
  3. Perturber les caractéristiques d'apparence. On modifie directement le vecteur de plongement de la ReID pour fausser la similarité.

Mais les traqueurs à requêtes n'ont ni NMS à seuil fixe, ni filtre de Kalman, ni banque de caractéristiques ReID séparée. Les boîtes en double se suppriment mutuellement par l'attention, et le mouvement est appris par la propagation des requêtes. Les pièces que visaient ces attaques n'existent tout simplement pas dans la nouvelle architecture.

Trois faiblesses de la nouvelle architecture

Selon les auteurs, les traqueurs à requêtes ont trois faiblesses structurelles :

  1. Le nombre de requêtes est fixe. Les requêtes de piste sont plafonnées ; chaque fausse trajectoire qui occupe une place en prend une à une vraie trajectoire. C'est un jeu à somme nulle.
  2. L'état se propage de façon récurrente. L'état de chaque requête dans une image dépend de son état dans l'image précédente. Une fois une image corrompue, l'erreur se transmet à la suite.
  3. La mémoire amplifie les dégâts. La mémoire à long terme de MeMOTR ou le modèle à espace d'états de SambaMOTR sont faits pour retenir un historique plus long, et une mémoire polluée reste elle aussi plus longtemps.

Les méthodes « détecter puis associer », au contraire, refont l'association à chaque image, ce qui revient à une remise à zéro intégrée. Pour les traqueurs à requêtes, la même propriété est à double tranchant ; le lissage temporel filtre le bruit d'une image isolée, mais la dépendance temporelle permet aussi aux erreurs de perdurer.

Résoudre le problème

Figure 2 de l'article : le processus d'attaque de FADE. (a) La perturbation est optimisée par descente de gradient projetée (PGD) ; elle peut être un bruit numérique sur les pixels ou une attaque physique simulée, flou de mouvement provoqué par des ondes acoustiques ou bandes horizontales colorées dues à des interférences électromagnétiques. (b) Le traqueur attaqué ; encodeur d'image, décodeur Transformer, module de mise à jour des requêtes et mémoire d'état des requêtes. Les sorties et les états cachés du traqueur servent à calculer la perte de l'attaque, et le gradient revient vers (a). (c) Schéma des deux attaques ; l'inondation de requêtes remplit les requêtes de fausses trajectoires, si bien que les vraies n'en obtiennent plus ; la corruption de la mémoire interrompt les vraies trajectoires, qui reviennent avec un nouvel identifiant.
Figure 2 de l'article de Bouzidi et al., extraite de la page 4 du PDF, licence arXiv, citation académique.

FADE propose deux stratégies d'attaque, qui correspondent aux faiblesses ci-dessus. Dans les deux cas, on ajoute une perturbation à l'image et on l'optimise par gradient pour faire grimper une perte donnée.

Attaque 1 : l'inondation de requêtes

La première attaque s'appelle TQF (temporal query flooding) ; elle vise le nombre fixe de requêtes.

Supposons que le traqueur gère au plus 30 trajectoires à la fois et que l'image contienne 21 personnes, à peu près la moyenne de MOT17. Si l'attaque parvient à créer 12 fausses trajectoires persistantes, la demande totale passe à 33, et au moins 3 personnes réelles restent sans requête.

Chiffres supposés pour cette note ; l'article ne donne pas de plafond précis pour le nombre de requêtes.

Fabriquer de fausses détections ne suffit pas ; les traqueurs à requêtes éliminent en quelques images les fausses boîtes discontinues. TQF comporte donc trois parties :

  1. Le remplissage. Toutes les requêtes inactives sont poussées à produire une confiance proche de 1.
  2. Le coût déguisé. Le coût d'appariement entre ces fausses requêtes et les objets réels est rendu très faible, pour inciter l'appariement hongrois à attribuer l'identité des personnes réelles aux fausses requêtes.
  3. Le vol d'identité. L'état caché des fausses requêtes est rapproché autant que possible de celui des vraies trajectoires à l'image précédente. Le traqueur croit alors qu'une fausse requête prolonge un objet connu, et lui transmet tout son historique.

Attaque 2 : la corruption de la mémoire

La seconde attaque s'appelle TMC (temporal memory corruption) ; elle ne crée pas de nouvelles trajectoires, elle fait perdre la mémoire aux trajectoires existantes. Elle comporte deux parties :

  1. Couper le lien temporel. L'état caché de chaque trajectoire dans l'image courante est rendu aussi différent que possible de celui de l'image précédente. Le module de mise à jour des requêtes croit alors voir un nouvel objet sans rapport avec le passé.
  2. Effacer les caractéristiques. Le vecteur de plongement des trajectoires déjà appariées est écrasé vers zéro. Un vecteur proche de zéro a un produit scalaire proche de zéro avec n'importe quoi, et devient difficile à reconnaître par la suite.

Du numérique au physique

L'attaque numérique ajoute directement du bruit aux pixels, avec une amplitude limitée à 8/255 par pixel, et n'attaque qu'une seule image.

Les auteurs simulent aussi deux attaques physiques, des techniques de leurrage de capteur que des travaux antérieurs ont validées sur de vraies caméras :

  1. Injection acoustique. Des ondes sonores d'une fréquence précise font entrer en résonance le stabilisateur d'image de la caméra, ce qui produit un flou de mouvement.
  2. Interférences électromagnétiques. Elles perturbent la conversion analogique-numérique du capteur, et des bandes horizontales colorées apparaissent dans l'image.

Ces deux effets sont écrits sous forme de modèles différentiables ; les seuls paramètres réglables sont l'amplitude et la phase du flou, ainsi que la position, la couleur et la largeur des bandes, dans des plages calibrées par des mesures antérieures. L'optimisation cherche « le jeu de paramètres le plus nuisible dans les limites physiquement réalisables ». L'attaque physique dure 3 images.

Discussion

L'effet des attaques numériques

TraqueurPropreDaedalusHijackingTQFTMC
MOTR58.6345.8546.0845.9045.89
MOTRv259.9639.2156.3139.2946.76
MeMOTR67.3542.4155.9241.4141.56
SambaMOTR62.9154.4057.4045.5348.04
CO-MOT58.1640.0151.6837.2641.73

D'après la Table 1 de l'article, MOT17, HOTA.

En n'attaquant qu'une seule image, l'attaque la plus efficace fait perdre aux cinq traqueurs de 13 à 26 points de HOTA. Hijacking, conçu contre le filtre de Kalman, ne fait baisser MOTRv2 que de 3.65 points, loin des 20.67 de FADE.

Le tableau montre toutefois que Daedalus, qui se contente de fabriquer de fausses détections, est presque aussi efficace que FADE sur MOTR, MOTRv2 et CO-MOT. FADE ne creuse vraiment l'écart que sur les traqueurs dotés d'une mémoire ; sur SambaMOTR, Daedalus ne fait descendre le HOTA qu'à 54.40, TQF jusqu'à 45.53.

Sur MOT20, le contraste est encore plus net. MeMOTR a un HOTA de 69.61 sur données propres, et en garde 62.51 sous l'attaque de Daedalus ; sous l'attaque de TMC, il ne lui reste que 37.70, et ses changements d'identité sont multipliés par plus de dix. Selon l'interprétation des auteurs, un traqueur doté de mémoire sait filtrer un bruit non persistant, mais ne peut plus rien quand c'est la mémoire elle-même qui est polluée.

Une image attaquée, quinze images de trou noir

Figure 3 de l'article : MeMOTR sous l'attaque TQF sur une vidéo de MOT17. L'image 9 est propre, et tout le monde est suivi ; l'image 10 est attaquée, et une foule de fausses boîtes y surgit ; aux images 11 et 20, l'image est redevenue propre, mais il n'y a plus aucune trajectoire ; il faut attendre l'image 25 pour que le traqueur recrée des trajectoires, et tout le monde a alors un nouvel identifiant.
Figure 3 de l'article de Bouzidi et al., extraite de la page 5 du PDF, licence arXiv, citation académique.

Cette figure montre le mieux la nature de ce type d'attaque. L'attaque n'a lieu qu'à l'image 10, et toutes les images suivantes sont propres. Pourtant, à l'image 11, MeMOTR perd toutes ses trajectoires, vraies comme fausses, et ne recommence à suivre que 15 images plus tard. Quand il reprend, chacun a un nouvel identifiant.

Avec une attaque adverse ordinaire, le modèle redevient normal dès qu'on retire la perturbation. Ici, les dégâts restent dans la mémoire et se prolongent après la fin de l'attaque.

Attaques physiques

Figure 4 de l'article : TMC sous attaque physique simulée. En haut, l'injection acoustique ; l'image 10 présente un flou de mouvement, mais la plupart des piétons restent nettement visibles à l'œil nu. En bas, les interférences électromagnétiques ; quelques bandes horizontales colorées apparaissent à l'image 10. Dans les deux cas, l'image redevient propre à partir de l'image 11, mais le traqueur ne parvient pas à rendre aux personnes leur identifiant d'origine, et n'a toujours pas récupéré à l'image 25.
Figure 4 de l'article de Bouzidi et al., extraite de la page 8 du PDF, licence arXiv, citation académique.

Les attaques physiques simulées sont plus faibles que les attaques numériques, mais restent efficaces. Sur MOT17, MOTR tombe de 58.63 à 42.81 sous les interférences électromagnétiques, et SambaMOTR de 62.91 à 48.97 sous le flou acoustique.

MOTRv2, avec son détecteur externe, et CO-MOT, qui détecte mieux, résistent mieux, avec une baisse de HOTA d'environ 5 à 7 points. Mais même chez eux, l'AssA, la métrique d'association, perd environ 8 points. Le détecteur bloque l'essentiel du flou et des bandes, mais le peu qui passe suffit encore à polluer l'état des requêtes en aval.

Plus il y a de monde, plus l'attaque est efficace. Sous l'attaque acoustique, MOTR perd 13.5 points sur MOT17, et 18.9 points sur MOT20, avec environ 150 personnes par image ; son AssA y tombe même de 75.89 à 39.72.

Quelle partie compte le plus ?

Partie retiréeCO-MOTMeMOTRSambaMOTR
TMC complet41.7341.5648.04
Lien temporel intact53.2751.7961.63
Caract. non effacées41.9141.9052.31

D'après la Table 5 de l'article, MOT17, HOTA après attaque ; plus le chiffre est élevé, plus l'attaque est faible.

La coupure du lien temporel est le cœur de TMC. Sans elle, le HOTA de SambaMOTR revient presque au niveau propre (61.63 contre 62.91). L'effacement des caractéristiques est un appoint ; le retirer a bien moins d'effet.

Les trois parties de TQF n'ont pas la même importance selon le traqueur. SambaMOTR est le plus sensible au « coût déguisé » ; sans ce terme, le HOTA après attaque remonte de 45.53 à 53.14 ; sans le « vol d'identité », l'attaque est même un peu plus forte. Les auteurs supposent que le modèle à espace d'états de SambaMOTR filtre ce genre d'identité imitée, et que pour le tromper, il faut passer par le coût d'appariement. CO-MOT, à l'inverse, est plus sensible au vol d'identité.

Défense et transfert

En annexe, les auteurs essaient trois prétraitements d'entrée courants : jitter de couleur, lissage spatial et ajout de bruit gaussien.

Sur MOTR, ils ne servent presque à rien ; après l'attaque TMC, les 45.89 ne remontent au mieux qu'à 46.38. MeMOTR récupère le mieux face à TQF, de 41.41 à 63.39, près des 67.35 sur données propres. SambaMOTR est très difficile à sauver ; 48.04 après l'attaque TMC, et seulement 50.97 avec défense. Les écarts entre les trois méthodes de défense sont le plus souvent inférieurs à 0.5 point.

En boîte noire, l'attaquant n'a pas accès au modèle cible et doit produire la perturbation avec un autre modèle. L'effet s'affaiblit alors nettement ; par exemple, attaqué avec des perturbations produites par d'autres traqueurs, MeMOTR garde un HOTA de 55 à 60, et ne tombe à 29.10 qu'avec des perturbations produites par lui-même. Les auteurs reconnaissent que l'attaque en boîte noire d'une architecture à l'autre reste un problème ouvert.

Limites

Outre le transfert en boîte noire, les auteurs notent que les attaques physiques n'ont été validées qu'en simulation ; leurs paramètres viennent certes de calibrations sur de vraies caméras, mais elles n'ont pas été testées sur une vraie caméra reliée à un vrai système de suivi. L'optimisation de la perturbation prend environ 3 secondes par image sur une RTX 3090, et les expériences d'attaque numérique supposent que l'attaquant a accès aux gradients du modèle.

Conclusion

FADE met au jour un compromis structurel. Les traqueurs à requêtes ont appris à gérer les occultations et l'association à long terme en transmettant état et mémoire d'une image à l'autre ; ce même mécanisme permet à une perturbation d'une seule image de se transformer en une bonne dizaine d'images de trou noir. Et le nombre fixe de requêtes permet aux fausses trajectoires d'évincer les vraies.

D'après les expériences, plus la mémoire d'un traqueur est forte, mieux il résiste au bruit simple, et plus il est fragile face aux attaques qui visent la mémoire. Les expériences de défense de l'annexe montrent aussi que les prétraitements à l'entrée ne suffisent pas à arrêter ce type d'attaque, en particulier pour SambaMOTR, qui repose sur un modèle à espace d'états.