Out of Sight, Out of Track: Adversarial Attacks on Propagation-based Multi-Object Trackers via Query State Manipulation
- 发表版本
- CVPR 2026会议
- arXiv 首次提交
- arXiv:2604.00452
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multiobjecttrackingfade2026,
title = {{Out of Sight, Out of Track: Adversarial Attacks on Propagation-based Multi-Object Trackers via Query State Manipulation}},
author = {Halima Bouzidi and Haoyu Liu and Yonatan Gizachew Achamyeleh and Praneetsai Vasu Iddamsetty and Mohammad Abdullah Al Faruque},
year = {2026},
eprint = {2604.00452},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2604.00452}
}
从 MOTR 开始,基于查询的跟踪方法一路演进:MOTRv2 外接检测器,MeMOTR 加了长期记忆,CO-MOT 改了标签分配,SambaMOTR 用状态空间模型记住整段历史。这条路线越来越依赖「记忆」,每个查询都带着物体从出现到现在的信息往下传。
记忆让跟踪更稳,可是如果有人故意把记忆弄坏呢?
加州大学欧文分校的 Halima Bouzidi、Mohammad Al Faruque 等人做的就是这件事。这是一篇攻击论文,目的是找出这类跟踪器在结构上的弱点。过去针对跟踪器的对抗攻击,几乎都是为「先检测、再关联」的方法设计的;这篇第一次专门针对基于查询的跟踪方法。
定义问题
旧的攻击打不到新的跟踪器
针对「先检测、再关联」跟踪器的攻击,大致有三类:
- 干扰检测。 让真的物体检测不到,或制造大量假的检测框。Daedalus 属于后者。
- 干扰关联。 Hijacking、F&F 这类攻击,让检测框和卡尔曼滤波的预测拉开距离,超过阈值就配不上,或配给别人。
- 干扰外观特征。 直接改动 ReID 的嵌入向量,让相似度算错。
可是基于查询的跟踪方法,没有固定阈值的 NMS,没有卡尔曼滤波,也没有独立的 ReID 特征库。重复的框靠注意力互相抑制,运动靠查询传播学出来。这些攻击的目标零件,在新架构里根本不存在。
新架构的三个弱点
作者认为,基于查询的跟踪方法有三个结构上的弱点:
- 查询的数量是固定的。 跟踪查询有上限,多一个假轨迹占位,真轨迹就少一个位子。这是零和的。
- 状态是递归传播的。 每个查询这一帧的状态,取决于上一帧的状态。一旦某一帧被弄坏,错误会跟着传下去。
- 记忆会放大伤害。 MeMOTR 的长期记忆、SambaMOTR 的状态空间模型,本来是为了记住更长的历史,被污染的记忆也会留得更久。
相比之下,先检测再关联的方法每一帧都重新关联一次,等于自带重置。同一个特性,对基于查询的跟踪方法来说是双刃剑:时间上的平滑能过滤单帧的噪声,时间上的依赖也让错误可以延续。
解决问题

FADE 有两种攻击策略,对应前面说的弱点。两者都是在图像上加入扰动,用梯度优化让特定的损失变大。
攻击一:查询泛洪
第一种攻击叫 TQF(temporal query flooding),目标是固定的查询数量。
假设跟踪器最多同时维持 30 条轨迹,画面上有 21 个人,大约是 MOT17 的平均。如果攻击能造出 12 条会持续存在的假轨迹,总需求变成 33 条,至少有 3 个真人分不到查询。
本文假设的数字,论文没有给出具体的查询上限。
光是制造假检测还不够,基于查询的跟踪方法会在几帧之内把不连续的假框过滤掉。TQF 因此由三个部分组成:
- 灌水。 让目前闲置的查询都输出接近 1 的置信度。
- 伪装代价。 让这些假查询和真实物体的匹配代价很低,诱导匈牙利匹配把真人的身份配给假查询。
- 窃取身份。 让假查询的隐状态,和上一帧真轨迹的隐状态尽量相似。跟踪器会以为这个假查询是某个已知物体的延续,连同它的历史一起接手。
攻击二:记忆破坏
第二种攻击叫 TMC(temporal memory corruption),不造新轨迹,而是让现有的轨迹失忆。它有两个部分:
- 切断时间联系。 让每条轨迹这一帧的隐状态,和上一帧的隐状态尽量不像。查询更新器看到的,就像一个和过去无关的新物体。
- 抹除特征。 把已经配上的轨迹的嵌入向量压向零。一个接近零的向量,和任何东西的内积都接近零,之后就很难再被认出来。
从数字到物理
数字攻击是直接在像素上加噪声,强度限制在每个像素最多 8/255,而且只攻击一帧。
作者另外模拟了两种物理攻击,都是先前研究在真实相机上验证过的传感器欺骗手法:
- 声波注入。 特定频率的声波让相机的防抖元件共振,画面产生运动模糊。
- 电磁干扰。 干扰传感器的模数转换,画面出现彩色的横纹。
这两种效果被写成可微的模型,可调的只有模糊的振幅、相位,以及横纹的位置、颜色和宽度,范围限制在前人实测校准过的区间。优化找的是「物理上做得到的范围内,最伤的那一组参数」。物理攻击持续 3 帧。
讨论
数字攻击的效果
| 跟踪器 | 干净 | Daedalus | Hijacking | TQF | TMC |
|---|---|---|---|---|---|
| MOTR | 58.63 | 45.85 | 46.08 | 45.90 | 45.89 |
| MOTRv2 | 59.96 | 39.21 | 56.31 | 39.29 | 46.76 |
| MeMOTR | 67.35 | 42.41 | 55.92 | 41.41 | 41.56 |
| SambaMOTR | 62.91 | 54.40 | 57.40 | 45.53 | 48.04 |
| CO-MOT | 58.16 | 40.01 | 51.68 | 37.26 | 41.73 |
整理自原论文 Table 1,MOT17,HOTA。
只攻击一帧,五个跟踪器在最有效的那种攻击下,HOTA 掉了 13 到 26 分。针对卡尔曼滤波设计的 Hijacking,对 MOTRv2 只造成 3.65 分的下降,和 FADE 的 20.67 分差很多。
不过这张表也显示,单纯制造假检测的 Daedalus,在 MOTR、MOTRv2、CO-MOT 上和 FADE 几乎一样有效。FADE 真正拉开差距的,是有记忆机制的跟踪器:SambaMOTR 上,Daedalus 只让 HOTA 掉到 54.40,TQF 则掉到 45.53。
MOT20 上的对比更明显。MeMOTR 干净时 HOTA 69.61,被 Daedalus 攻击后还有 62.51;被 TMC 攻击后只剩 37.70,ID 切换增加了十倍以上。作者的解读是,有记忆的跟踪器能过滤不持续的噪声,但记忆本身被污染时,它就无能为力了。
一帧的攻击,十五帧的失忆

这张图最能说明这类攻击的性质。攻击只发生在第 10 帧,接下来的画面都是干净的。但 MeMOTR 在第 11 帧把所有轨迹都丢了,包括真的和假的,一直到 15 帧之后才重新开始跟踪。重新开始时,每个人都是新的 ID。
一般的对抗攻击,扰动拿掉之后模型就恢复正常。这里的伤害留在记忆里,攻击结束后还在持续。
物理攻击

模拟的物理攻击比数字攻击弱,但仍然有效。MOT17 上,MOTR 在电磁干扰下从 58.63 掉到 42.81,SambaMOTR 在声波模糊下从 62.91 掉到 48.97。
外接了检测器的 MOTRv2,以及检测能力较强的 CO-MOT,表现比较扛得住,HOTA 大约掉 5 到 7 分。不过即使是它们,关联的指标 AssA 还是掉了 8 分左右。检测器挡掉了大部分的模糊和横纹,漏过去的那一点点,仍然足以污染后面的查询状态。
人越多,攻击越有效。MOTR 在声波攻击下,MOT17 掉了 13.5 分,到了每帧约 150 人的 MOT20 掉了 18.9 分,AssA 更是从 75.89 掉到 39.72。
哪个部分最关键
| 拿掉的部分 | CO-MOT | MeMOTR | SambaMOTR |
|---|---|---|---|
| 完整的 TMC | 41.73 | 41.56 | 48.04 |
| 不切断时间联系 | 53.27 | 51.79 | 61.63 |
| 不抹除特征 | 41.91 | 41.90 | 52.31 |
整理自原论文 Table 5,MOT17,攻击后的 HOTA;数字越高说明攻击越弱。
切断时间联系是 TMC 的核心。拿掉它,SambaMOTR 的 HOTA 几乎回到干净的水平(61.63 对 62.91)。抹除特征是辅助,拿掉它影响小得多。
TQF 的三个部分,对不同跟踪器的重要性不一样。SambaMOTR 对「伪装代价」最敏感,拿掉这一项,攻击后的 HOTA 从 45.53 回升到 53.14;拿掉「窃取身份」反而攻击更强一点。作者推测,SambaMOTR 的状态空间模型会过滤掉这种模仿出来的身份,要骗过它,得从匹配代价下手。CO-MOT 则相反,对窃取身份比较敏感。
防御和迁移
附录里,作者试了三种常见的输入预处理:颜色抖动、空间平滑和加高斯噪声。
对 MOTR 几乎没用,TMC 攻击后的 45.89,最好也只回到 46.38。MeMOTR 对 TQF 的恢复最好,从 41.41 回到 63.39,接近干净的 67.35。SambaMOTR 则很难救回来,TMC 攻击后 48.04,加了防御也只有 50.97。三种防御方法之间的差异,大多不到 0.5 分。
黑盒的情况下,攻击者拿不到目标模型,只能用另一个模型生成扰动。这时效果明显变弱:例如拿其他跟踪器生成的扰动去攻击 MeMOTR,HOTA 还有 55 到 60 分,用 MeMOTR 自己生成的才掉到 29.10。作者承认,跨架构的黑盒攻击仍是未解决的问题。
局限
除了黑盒迁移,作者也指出,物理攻击只在模拟中验证,虽然参数取自真实相机的校准,但没有在真实的相机和跟踪系统上实际测过。每一帧的扰动优化在 RTX 3090 上要大约 3 秒,数字攻击的实验也假设攻击者能拿到模型的梯度。
结论
FADE 指出的是一个结构上的取舍。基于查询的跟踪方法,靠着把状态和记忆一帧一帧往下传,学会了处理遮挡和长期关联;同样的机制,也让一帧的干扰可以变成十几帧的失忆。查询数量固定,则让假轨迹可以把真轨迹挤出去。
从实验看,记忆越强的跟踪器,对简单的噪声越有抵抗力,对专门针对记忆的攻击却越脆弱。附录的防御实验也显示,单靠输入端的预处理挡不住这类攻击,对用状态空间模型的 SambaMOTR 尤其如此。