返回论文笔记资料库
arXiv 2026CVPR 2026多目标跟踪论文笔记

FADE

断片

原始论文

Out of Sight, Out of Track: Adversarial Attacks on Propagation-based Multi-Object Trackers via Query State Manipulation

论文作者

Halima Bouzidi · Haoyu Liu · Yonatan Gizachew Achamyeleh · Praneetsai Vasu Iddamsetty · Mohammad Abdullah Al Faruque

发表版本
CVPR 2026会议
arXiv 首次提交
arXiv:2604.00452
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingfade2026,
  title = {{Out of Sight, Out of Track: Adversarial Attacks on Propagation-based Multi-Object Trackers via Query State Manipulation}},
  author = {Halima Bouzidi and Haoyu Liu and Yonatan Gizachew Achamyeleh and Praneetsai Vasu Iddamsetty and Mohammad Abdullah Al Faruque},
  year = {2026},
  eprint = {2604.00452},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2604.00452}
}
本页内容

从 MOTR 开始,基于查询的跟踪方法一路演进:MOTRv2 外接检测器,MeMOTR 加了长期记忆,CO-MOT 改了标签分配,SambaMOTR 用状态空间模型记住整段历史。这条路线越来越依赖「记忆」,每个查询都带着物体从出现到现在的信息往下传。

记忆让跟踪更稳,可是如果有人故意把记忆弄坏呢?

加州大学欧文分校的 Halima Bouzidi、Mohammad Al Faruque 等人做的就是这件事。这是一篇攻击论文,目的是找出这类跟踪器在结构上的弱点。过去针对跟踪器的对抗攻击,几乎都是为「先检测、再关联」的方法设计的;这篇第一次专门针对基于查询的跟踪方法。

定义问题

旧的攻击打不到新的跟踪器

针对「先检测、再关联」跟踪器的攻击,大致有三类:

  1. 干扰检测。 让真的物体检测不到,或制造大量假的检测框。Daedalus 属于后者。
  2. 干扰关联。 Hijacking、F&F 这类攻击,让检测框和卡尔曼滤波的预测拉开距离,超过阈值就配不上,或配给别人。
  3. 干扰外观特征。 直接改动 ReID 的嵌入向量,让相似度算错。

可是基于查询的跟踪方法,没有固定阈值的 NMS,没有卡尔曼滤波,也没有独立的 ReID 特征库。重复的框靠注意力互相抑制,运动靠查询传播学出来。这些攻击的目标零件,在新架构里根本不存在。

新架构的三个弱点

作者认为,基于查询的跟踪方法有三个结构上的弱点:

  1. 查询的数量是固定的。 跟踪查询有上限,多一个假轨迹占位,真轨迹就少一个位子。这是零和的。
  2. 状态是递归传播的。 每个查询这一帧的状态,取决于上一帧的状态。一旦某一帧被弄坏,错误会跟着传下去。
  3. 记忆会放大伤害。 MeMOTR 的长期记忆、SambaMOTR 的状态空间模型,本来是为了记住更长的历史,被污染的记忆也会留得更久。

相比之下,先检测再关联的方法每一帧都重新关联一次,等于自带重置。同一个特性,对基于查询的跟踪方法来说是双刃剑:时间上的平滑能过滤单帧的噪声,时间上的依赖也让错误可以延续。

解决问题

原论文 Figure 2:FADE 的攻击流程。(a) 以投影梯度下降(PGD)优化扰动,扰动可以是数字的像素噪声,也可以是模拟的物理攻击:声波造成的运动模糊、电磁干扰造成的彩色横纹。(b) 被攻击的跟踪器:图像编码器、Transformer 解码器、查询更新器和查询状态记忆。跟踪器的输出和隐状态被拿去算攻击的损失,梯度再回到 (a)。(c) 两种攻击的示意:查询泛洪让假轨迹占满查询,真轨迹分不到;记忆破坏让真轨迹断掉,重新出现时换了 ID。
原论文 Figure 2(Bouzidi 等人),取自 PDF 第 4 页,arXiv 许可,学术引用。

FADE 有两种攻击策略,对应前面说的弱点。两者都是在图像上加入扰动,用梯度优化让特定的损失变大。

攻击一:查询泛洪

第一种攻击叫 TQF(temporal query flooding),目标是固定的查询数量。

假设跟踪器最多同时维持 30 条轨迹,画面上有 21 个人,大约是 MOT17 的平均。如果攻击能造出 12 条会持续存在的假轨迹,总需求变成 33 条,至少有 3 个真人分不到查询。

本文假设的数字,论文没有给出具体的查询上限。

光是制造假检测还不够,基于查询的跟踪方法会在几帧之内把不连续的假框过滤掉。TQF 因此由三个部分组成:

  1. 灌水。 让目前闲置的查询都输出接近 1 的置信度。
  2. 伪装代价。 让这些假查询和真实物体的匹配代价很低,诱导匈牙利匹配把真人的身份配给假查询。
  3. 窃取身份。 让假查询的隐状态,和上一帧真轨迹的隐状态尽量相似。跟踪器会以为这个假查询是某个已知物体的延续,连同它的历史一起接手。

攻击二:记忆破坏

第二种攻击叫 TMC(temporal memory corruption),不造新轨迹,而是让现有的轨迹失忆。它有两个部分:

  1. 切断时间联系。 让每条轨迹这一帧的隐状态,和上一帧的隐状态尽量不像。查询更新器看到的,就像一个和过去无关的新物体。
  2. 抹除特征。 把已经配上的轨迹的嵌入向量压向零。一个接近零的向量,和任何东西的内积都接近零,之后就很难再被认出来。

从数字到物理

数字攻击是直接在像素上加噪声,强度限制在每个像素最多 8/255,而且只攻击一帧。

作者另外模拟了两种物理攻击,都是先前研究在真实相机上验证过的传感器欺骗手法:

  1. 声波注入。 特定频率的声波让相机的防抖元件共振,画面产生运动模糊。
  2. 电磁干扰。 干扰传感器的模数转换,画面出现彩色的横纹。

这两种效果被写成可微的模型,可调的只有模糊的振幅、相位,以及横纹的位置、颜色和宽度,范围限制在前人实测校准过的区间。优化找的是「物理上做得到的范围内,最伤的那一组参数」。物理攻击持续 3 帧。

讨论

数字攻击的效果

跟踪器干净DaedalusHijackingTQFTMC
MOTR58.6345.8546.0845.9045.89
MOTRv259.9639.2156.3139.2946.76
MeMOTR67.3542.4155.9241.4141.56
SambaMOTR62.9154.4057.4045.5348.04
CO-MOT58.1640.0151.6837.2641.73

整理自原论文 Table 1,MOT17,HOTA。

只攻击一帧,五个跟踪器在最有效的那种攻击下,HOTA 掉了 13 到 26 分。针对卡尔曼滤波设计的 Hijacking,对 MOTRv2 只造成 3.65 分的下降,和 FADE 的 20.67 分差很多。

不过这张表也显示,单纯制造假检测的 Daedalus,在 MOTR、MOTRv2、CO-MOT 上和 FADE 几乎一样有效。FADE 真正拉开差距的,是有记忆机制的跟踪器:SambaMOTR 上,Daedalus 只让 HOTA 掉到 54.40,TQF 则掉到 45.53。

MOT20 上的对比更明显。MeMOTR 干净时 HOTA 69.61,被 Daedalus 攻击后还有 62.51;被 TMC 攻击后只剩 37.70,ID 切换增加了十倍以上。作者的解读是,有记忆的跟踪器能过滤不持续的噪声,但记忆本身被污染时,它就无能为力了。

一帧的攻击,十五帧的失忆

原论文 Figure 3:MeMOTR 在 MOT17 一段视频上受到 TQF 攻击。第 9 帧是干净的画面,所有人都被跟踪;第 10 帧受到攻击,画面上冒出大量假框;第 11 帧和第 20 帧,画面已经恢复干净,却没有任何轨迹;直到第 25 帧,跟踪器才重新建立轨迹,此时所有人都换了新的 ID。
原论文 Figure 3(Bouzidi 等人),取自 PDF 第 5 页,arXiv 许可,学术引用。

这张图最能说明这类攻击的性质。攻击只发生在第 10 帧,接下来的画面都是干净的。但 MeMOTR 在第 11 帧把所有轨迹都丢了,包括真的和假的,一直到 15 帧之后才重新开始跟踪。重新开始时,每个人都是新的 ID。

一般的对抗攻击,扰动拿掉之后模型就恢复正常。这里的伤害留在记忆里,攻击结束后还在持续。

物理攻击

原论文 Figure 4:模拟物理攻击下的 TMC。上排是声波注入:第 10 帧的画面出现运动模糊,但大部分行人人眼仍看得清楚。下排是电磁干扰:第 10 帧出现几条彩色横纹。两种情况下,第 11 帧之后画面都恢复干净,跟踪器却无法把人接回原本的 ID,到第 25 帧都没有恢复。
原论文 Figure 4(Bouzidi 等人),取自 PDF 第 8 页,arXiv 许可,学术引用。

模拟的物理攻击比数字攻击弱,但仍然有效。MOT17 上,MOTR 在电磁干扰下从 58.63 掉到 42.81,SambaMOTR 在声波模糊下从 62.91 掉到 48.97。

外接了检测器的 MOTRv2,以及检测能力较强的 CO-MOT,表现比较扛得住,HOTA 大约掉 5 到 7 分。不过即使是它们,关联的指标 AssA 还是掉了 8 分左右。检测器挡掉了大部分的模糊和横纹,漏过去的那一点点,仍然足以污染后面的查询状态。

人越多,攻击越有效。MOTR 在声波攻击下,MOT17 掉了 13.5 分,到了每帧约 150 人的 MOT20 掉了 18.9 分,AssA 更是从 75.89 掉到 39.72。

哪个部分最关键

拿掉的部分CO-MOTMeMOTRSambaMOTR
完整的 TMC41.7341.5648.04
不切断时间联系53.2751.7961.63
不抹除特征41.9141.9052.31

整理自原论文 Table 5,MOT17,攻击后的 HOTA;数字越高说明攻击越弱。

切断时间联系是 TMC 的核心。拿掉它,SambaMOTR 的 HOTA 几乎回到干净的水平(61.63 对 62.91)。抹除特征是辅助,拿掉它影响小得多。

TQF 的三个部分,对不同跟踪器的重要性不一样。SambaMOTR 对「伪装代价」最敏感,拿掉这一项,攻击后的 HOTA 从 45.53 回升到 53.14;拿掉「窃取身份」反而攻击更强一点。作者推测,SambaMOTR 的状态空间模型会过滤掉这种模仿出来的身份,要骗过它,得从匹配代价下手。CO-MOT 则相反,对窃取身份比较敏感。

防御和迁移

附录里,作者试了三种常见的输入预处理:颜色抖动、空间平滑和加高斯噪声。

对 MOTR 几乎没用,TMC 攻击后的 45.89,最好也只回到 46.38。MeMOTR 对 TQF 的恢复最好,从 41.41 回到 63.39,接近干净的 67.35。SambaMOTR 则很难救回来,TMC 攻击后 48.04,加了防御也只有 50.97。三种防御方法之间的差异,大多不到 0.5 分。

黑盒的情况下,攻击者拿不到目标模型,只能用另一个模型生成扰动。这时效果明显变弱:例如拿其他跟踪器生成的扰动去攻击 MeMOTR,HOTA 还有 55 到 60 分,用 MeMOTR 自己生成的才掉到 29.10。作者承认,跨架构的黑盒攻击仍是未解决的问题。

局限

除了黑盒迁移,作者也指出,物理攻击只在模拟中验证,虽然参数取自真实相机的校准,但没有在真实的相机和跟踪系统上实际测过。每一帧的扰动优化在 RTX 3090 上要大约 3 秒,数字攻击的实验也假设攻击者能拿到模型的梯度。

结论

FADE 指出的是一个结构上的取舍。基于查询的跟踪方法,靠着把状态和记忆一帧一帧往下传,学会了处理遮挡和长期关联;同样的机制,也让一帧的干扰可以变成十几帧的失忆。查询数量固定,则让假轨迹可以把真轨迹挤出去。

从实验看,记忆越强的跟踪器,对简单的噪声越有抵抗力,对专门针对记忆的攻击却越脆弱。附录的防御实验也显示,单靠输入端的预处理挡不住这类攻击,对用状态空间模型的 SambaMOTR 尤其如此。