Out of Sight, Out of Track: Adversarial Attacks on Propagation-based Multi-Object Trackers via Query State Manipulation
- 發表版本
- CVPR 2026會議
- arXiv 首次提交
- arXiv:2604.00452
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multiobjecttrackingfade2026,
title = {{Out of Sight, Out of Track: Adversarial Attacks on Propagation-based Multi-Object Trackers via Query State Manipulation}},
author = {Halima Bouzidi and Haoyu Liu and Yonatan Gizachew Achamyeleh and Praneetsai Vasu Iddamsetty and Mohammad Abdullah Al Faruque},
year = {2026},
eprint = {2604.00452},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2604.00452}
}
從 MOTR 開始,用查詢追蹤的方法一路演進:MOTRv2 外掛偵測器,MeMOTR 加了長期記憶,CO-MOT 改了標籤分配,SambaMOTR 用狀態空間模型記住整段歷史。這條路線越來越依賴「記憶」,每個查詢都帶著物體從出現到現在的資訊往下傳。
記憶讓追蹤更穩,可是如果有人故意把記憶弄壞呢?
加州大學爾灣分校的 Halima Bouzidi、Mohammad Al Faruque 等人做的就是這件事。這是一篇攻擊論文,目的是找出這類追蹤器在結構上的弱點。過去針對追蹤器的對抗攻擊,幾乎都是為「先偵測、再關聯」的方法設計的;這篇第一次專門針對用查詢追蹤的方法。
定義問題
舊的攻擊打不到新的追蹤器
針對「先偵測、再關聯」追蹤器的攻擊,大致有三類:
- 干擾偵測。 讓真的物體偵測不到,或製造大量假的偵測框。Daedalus 屬於後者。
- 干擾關聯。 Hijacking、F&F 這類攻擊,讓偵測框和卡爾曼濾波的預測拉開距離,超過門檻就配不上,或配給別人。
- 干擾外觀特徵。 直接改動 ReID 的嵌入向量,讓相似度算錯。
可是用查詢追蹤的方法,沒有固定門檻的 NMS,沒有卡爾曼濾波,也沒有獨立的 ReID 特徵庫。重複的框靠注意力互相抑制,運動靠查詢傳遞學出來。這些攻擊的目標零件,在新架構裡根本不存在。
新架構的三個弱點
作者認為,用查詢追蹤的方法有三個結構上的弱點:
- 查詢的數量是固定的。 追蹤查詢有上限,多一個假軌跡佔位,真軌跡就少一個位子。這是零和的。
- 狀態是遞迴傳遞的。 每個查詢這一幀的狀態,取決於上一幀的狀態。一旦某一幀被弄壞,錯誤會跟著傳下去。
- 記憶會放大傷害。 MeMOTR 的長期記憶、SambaMOTR 的狀態空間模型,本來是為了記住更長的歷史,被污染的記憶也會留得更久。
相比之下,先偵測再關聯的方法每一幀都重新關聯一次,等於自帶重置。同一個特性,對用查詢追蹤的方法來說是雙面刃:時間上的平滑能過濾單幀的雜訊,時間上的依賴也讓錯誤可以延續。
解決問題

FADE 有兩種攻擊策略,對應前面說的弱點。兩者都是在影像上加入擾動,用梯度優化讓特定的損失變大。
攻擊一:查詢洪泛
第一種攻擊叫 TQF(temporal query flooding),目標是固定的查詢數量。
假設追蹤器最多同時維持 30 條軌跡,畫面上有 21 個人,大約是 MOT17 的平均。如果攻擊能造出 12 條會持續存在的假軌跡,總需求變成 33 條,至少有 3 個真人分不到查詢。
本文假設的數字,論文沒有給出具體的查詢上限。
光是製造假偵測還不夠,用查詢追蹤的方法會在幾幀之內把不連續的假框過濾掉。TQF 因此由三個部分組成:
- 灌水。 讓目前閒置的查詢都輸出接近 1 的信心。
- 偽裝成本。 讓這些假查詢和真實物體的匹配成本很低,誘導匈牙利匹配把真人的身分配給假查詢。
- 竊取身分。 讓假查詢的隱藏狀態,和上一幀真軌跡的隱藏狀態盡量相似。追蹤器會以為這個假查詢是某個已知物體的延續,連同它的歷史一起接手。
攻擊二:記憶破壞
第二種攻擊叫 TMC(temporal memory corruption),不造新軌跡,而是讓現有的軌跡失憶。它有兩個部分:
- 切斷時間連結。 讓每條軌跡這一幀的隱藏狀態,和上一幀的隱藏狀態盡量不像。查詢更新器看到的,就像一個和過去無關的新物體。
- 抹除特徵。 把已經配上的軌跡的嵌入向量壓向零。一個接近零的向量,和任何東西的內積都接近零,之後就很難再被認出來。
從數位到實體
數位攻擊是直接在像素上加雜訊,強度限制在每個像素最多 8/255,而且只攻擊一幀。
作者另外模擬了兩種實體攻擊,都是先前研究在真實相機上驗證過的感測器欺騙手法:
- 聲波注入。 特定頻率的聲波讓相機的防手震元件共振,畫面產生運動模糊。
- 電磁干擾。 干擾感測器的類比數位轉換,畫面出現彩色的橫紋。
這兩種效果被寫成可微分的模型,可調的只有模糊的振幅、相位,以及橫紋的位置、顏色和寬度,範圍限制在前人實測校正過的區間。優化找的是「物理上做得到的範圍內,最傷的那一組參數」。實體攻擊持續 3 幀。
討論
數位攻擊的效果
| 追蹤器 | 乾淨 | Daedalus | Hijacking | TQF | TMC |
|---|---|---|---|---|---|
| MOTR | 58.63 | 45.85 | 46.08 | 45.90 | 45.89 |
| MOTRv2 | 59.96 | 39.21 | 56.31 | 39.29 | 46.76 |
| MeMOTR | 67.35 | 42.41 | 55.92 | 41.41 | 41.56 |
| SambaMOTR | 62.91 | 54.40 | 57.40 | 45.53 | 48.04 |
| CO-MOT | 58.16 | 40.01 | 51.68 | 37.26 | 41.73 |
整理自原論文 Table 1,MOT17,HOTA。
只攻擊一幀,五個追蹤器在最有效的那種攻擊下,HOTA 掉了 13 到 26 分。針對卡爾曼濾波設計的 Hijacking,對 MOTRv2 只造成 3.65 分的下降,和 FADE 的 20.67 分差很多。
不過這張表也顯示,單純製造假偵測的 Daedalus,在 MOTR、MOTRv2、CO-MOT 上和 FADE 幾乎一樣有效。FADE 真正拉開差距的,是有記憶機制的追蹤器:SambaMOTR 上,Daedalus 只讓 HOTA 掉到 54.40,TQF 則掉到 45.53。
MOT20 上的對比更明顯。MeMOTR 乾淨時 HOTA 69.61,被 Daedalus 攻擊後還有 62.51;被 TMC 攻擊後只剩 37.70,ID 切換增加了十倍以上。作者的解讀是,有記憶的追蹤器能過濾不持續的雜訊,但記憶本身被污染時,它就無能為力了。
一幀的攻擊,十五幀的失憶

這張圖最能說明這類攻擊的性質。攻擊只發生在第 10 幀,接下來的畫面都是乾淨的。但 MeMOTR 在第 11 幀把所有軌跡都丟了,包括真的和假的,一直到 15 幀之後才重新開始追蹤。重新開始時,每個人都是新的 ID。
一般的對抗攻擊,擾動拿掉之後模型就恢復正常。這裡的傷害留在記憶裡,攻擊結束後還在持續。
實體攻擊

模擬的實體攻擊比數位攻擊弱,但仍然有效。MOT17 上,MOTR 在電磁干擾下從 58.63 掉到 42.81,SambaMOTR 在聲波模糊下從 62.91 掉到 48.97。
外掛了偵測器的 MOTRv2,以及偵測能力較強的 CO-MOT,表現比較抗得住,HOTA 大約掉 5 到 7 分。不過即使是它們,關聯的指標 AssA 還是掉了 8 分左右。偵測器擋掉了大部分的模糊和橫紋,漏過去的那一點點,仍然足以污染後面的查詢狀態。
人越多,攻擊越有效。MOTR 在聲波攻擊下,MOT17 掉了 13.5 分,到了每幀約 150 人的 MOT20 掉了 18.9 分,AssA 更是從 75.89 掉到 39.72。
哪個部分最關鍵
| 拿掉的部分 | CO-MOT | MeMOTR | SambaMOTR |
|---|---|---|---|
| 完整的 TMC | 41.73 | 41.56 | 48.04 |
| 不切斷時間連結 | 53.27 | 51.79 | 61.63 |
| 不抹除特徵 | 41.91 | 41.90 | 52.31 |
整理自原論文 Table 5,MOT17,攻擊後的 HOTA;數字越高代表攻擊越弱。
切斷時間連結是 TMC 的核心。拿掉它,SambaMOTR 的 HOTA 幾乎回到乾淨的水準(61.63 對 62.91)。抹除特徵是輔助,拿掉它影響小得多。
TQF 的三個部分,對不同追蹤器的重要性不一樣。SambaMOTR 對「偽裝成本」最敏感,拿掉這一項,攻擊後的 HOTA 從 45.53 回升到 53.14;拿掉「竊取身分」反而攻擊更強一點。作者推測,SambaMOTR 的狀態空間模型會過濾掉這種模仿出來的身分,要騙過它,得從匹配成本下手。CO-MOT 則相反,對竊取身分比較敏感。
防禦和轉移
附錄裡,作者試了三種常見的輸入前處理:色彩抖動、空間平滑和加高斯雜訊。
對 MOTR 幾乎沒用,TMC 攻擊後的 45.89,最好也只回到 46.38。MeMOTR 對 TQF 的恢復最好,從 41.41 回到 63.39,接近乾淨的 67.35。SambaMOTR 則很難救回來,TMC 攻擊後 48.04,加了防禦也只有 50.97。三種防禦方法之間的差異,大多不到 0.5 分。
黑箱的情況下,攻擊者拿不到目標模型,只能用另一個模型產生擾動。這時效果明顯變弱:例如拿其他追蹤器產生的擾動去攻擊 MeMOTR,HOTA 還有 55 到 60 分,用 MeMOTR 自己產生的才掉到 29.10。作者承認,跨架構的黑箱攻擊仍是未解的問題。
限制
除了黑箱轉移,作者也指出,實體攻擊只在模擬中驗證,雖然參數取自真實相機的校正,但沒有在真實的相機和追蹤系統上實際測過。每一幀的擾動優化在 RTX 3090 上要大約 3 秒,數位攻擊的實驗也假設攻擊者能拿到模型的梯度。
結論
FADE 指出的是一個結構上的取捨。用查詢追蹤的方法,靠著把狀態和記憶一幀一幀往下傳,學會了處理遮擋和長期關聯;同樣的機制,也讓一幀的干擾可以變成十幾幀的失憶。查詢數量固定,則讓假軌跡可以把真軌跡擠出去。
從實驗看,記憶越強的追蹤器,對簡單的雜訊越有抵抗力,對專門針對記憶的攻擊卻越脆弱。附錄的防禦實驗也顯示,單靠輸入端的前處理擋不住這類攻擊,對用狀態空間模型的 SambaMOTR 尤其如此。