返回論文筆記資料庫
arXiv 2026CVPR 2026多目標追蹤論文筆記

FADE

斷片

原始論文

Out of Sight, Out of Track: Adversarial Attacks on Propagation-based Multi-Object Trackers via Query State Manipulation

論文作者

Halima Bouzidi · Haoyu Liu · Yonatan Gizachew Achamyeleh · Praneetsai Vasu Iddamsetty · Mohammad Abdullah Al Faruque

發表版本
CVPR 2026會議
arXiv 首次提交
arXiv:2604.00452
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingfade2026,
  title = {{Out of Sight, Out of Track: Adversarial Attacks on Propagation-based Multi-Object Trackers via Query State Manipulation}},
  author = {Halima Bouzidi and Haoyu Liu and Yonatan Gizachew Achamyeleh and Praneetsai Vasu Iddamsetty and Mohammad Abdullah Al Faruque},
  year = {2026},
  eprint = {2604.00452},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2604.00452}
}
本頁內容

從 MOTR 開始,用查詢追蹤的方法一路演進:MOTRv2 外掛偵測器,MeMOTR 加了長期記憶,CO-MOT 改了標籤分配,SambaMOTR 用狀態空間模型記住整段歷史。這條路線越來越依賴「記憶」,每個查詢都帶著物體從出現到現在的資訊往下傳。

記憶讓追蹤更穩,可是如果有人故意把記憶弄壞呢?

加州大學爾灣分校的 Halima Bouzidi、Mohammad Al Faruque 等人做的就是這件事。這是一篇攻擊論文,目的是找出這類追蹤器在結構上的弱點。過去針對追蹤器的對抗攻擊,幾乎都是為「先偵測、再關聯」的方法設計的;這篇第一次專門針對用查詢追蹤的方法。

定義問題

舊的攻擊打不到新的追蹤器

針對「先偵測、再關聯」追蹤器的攻擊,大致有三類:

  1. 干擾偵測。 讓真的物體偵測不到,或製造大量假的偵測框。Daedalus 屬於後者。
  2. 干擾關聯。 Hijacking、F&F 這類攻擊,讓偵測框和卡爾曼濾波的預測拉開距離,超過門檻就配不上,或配給別人。
  3. 干擾外觀特徵。 直接改動 ReID 的嵌入向量,讓相似度算錯。

可是用查詢追蹤的方法,沒有固定門檻的 NMS,沒有卡爾曼濾波,也沒有獨立的 ReID 特徵庫。重複的框靠注意力互相抑制,運動靠查詢傳遞學出來。這些攻擊的目標零件,在新架構裡根本不存在。

新架構的三個弱點

作者認為,用查詢追蹤的方法有三個結構上的弱點:

  1. 查詢的數量是固定的。 追蹤查詢有上限,多一個假軌跡佔位,真軌跡就少一個位子。這是零和的。
  2. 狀態是遞迴傳遞的。 每個查詢這一幀的狀態,取決於上一幀的狀態。一旦某一幀被弄壞,錯誤會跟著傳下去。
  3. 記憶會放大傷害。 MeMOTR 的長期記憶、SambaMOTR 的狀態空間模型,本來是為了記住更長的歷史,被污染的記憶也會留得更久。

相比之下,先偵測再關聯的方法每一幀都重新關聯一次,等於自帶重置。同一個特性,對用查詢追蹤的方法來說是雙面刃:時間上的平滑能過濾單幀的雜訊,時間上的依賴也讓錯誤可以延續。

解決問題

原論文 Figure 2:FADE 的攻擊流程。(a) 以投影梯度下降(PGD)優化擾動,擾動可以是數位的像素雜訊,也可以是模擬的實體攻擊:聲波造成的運動模糊、電磁干擾造成的彩色橫紋。(b) 被攻擊的追蹤器:影像編碼器、Transformer 解碼器、查詢更新器和查詢狀態記憶。追蹤器的輸出和隱藏狀態被拿去算攻擊的損失,梯度再回到 (a)。(c) 兩種攻擊的示意:查詢洪泛讓假軌跡佔滿查詢,真軌跡分不到;記憶破壞讓真軌跡斷掉,重新出現時換了 ID。
原論文 Figure 2(Bouzidi 等人),取自 PDF 第 4 頁,arXiv 授權,學術引用。

FADE 有兩種攻擊策略,對應前面說的弱點。兩者都是在影像上加入擾動,用梯度優化讓特定的損失變大。

攻擊一:查詢洪泛

第一種攻擊叫 TQF(temporal query flooding),目標是固定的查詢數量。

假設追蹤器最多同時維持 30 條軌跡,畫面上有 21 個人,大約是 MOT17 的平均。如果攻擊能造出 12 條會持續存在的假軌跡,總需求變成 33 條,至少有 3 個真人分不到查詢。

本文假設的數字,論文沒有給出具體的查詢上限。

光是製造假偵測還不夠,用查詢追蹤的方法會在幾幀之內把不連續的假框過濾掉。TQF 因此由三個部分組成:

  1. 灌水。 讓目前閒置的查詢都輸出接近 1 的信心。
  2. 偽裝成本。 讓這些假查詢和真實物體的匹配成本很低,誘導匈牙利匹配把真人的身分配給假查詢。
  3. 竊取身分。 讓假查詢的隱藏狀態,和上一幀真軌跡的隱藏狀態盡量相似。追蹤器會以為這個假查詢是某個已知物體的延續,連同它的歷史一起接手。

攻擊二:記憶破壞

第二種攻擊叫 TMC(temporal memory corruption),不造新軌跡,而是讓現有的軌跡失憶。它有兩個部分:

  1. 切斷時間連結。 讓每條軌跡這一幀的隱藏狀態,和上一幀的隱藏狀態盡量不像。查詢更新器看到的,就像一個和過去無關的新物體。
  2. 抹除特徵。 把已經配上的軌跡的嵌入向量壓向零。一個接近零的向量,和任何東西的內積都接近零,之後就很難再被認出來。

從數位到實體

數位攻擊是直接在像素上加雜訊,強度限制在每個像素最多 8/255,而且只攻擊一幀。

作者另外模擬了兩種實體攻擊,都是先前研究在真實相機上驗證過的感測器欺騙手法:

  1. 聲波注入。 特定頻率的聲波讓相機的防手震元件共振,畫面產生運動模糊。
  2. 電磁干擾。 干擾感測器的類比數位轉換,畫面出現彩色的橫紋。

這兩種效果被寫成可微分的模型,可調的只有模糊的振幅、相位,以及橫紋的位置、顏色和寬度,範圍限制在前人實測校正過的區間。優化找的是「物理上做得到的範圍內,最傷的那一組參數」。實體攻擊持續 3 幀。

討論

數位攻擊的效果

追蹤器乾淨DaedalusHijackingTQFTMC
MOTR58.6345.8546.0845.9045.89
MOTRv259.9639.2156.3139.2946.76
MeMOTR67.3542.4155.9241.4141.56
SambaMOTR62.9154.4057.4045.5348.04
CO-MOT58.1640.0151.6837.2641.73

整理自原論文 Table 1,MOT17,HOTA。

只攻擊一幀,五個追蹤器在最有效的那種攻擊下,HOTA 掉了 13 到 26 分。針對卡爾曼濾波設計的 Hijacking,對 MOTRv2 只造成 3.65 分的下降,和 FADE 的 20.67 分差很多。

不過這張表也顯示,單純製造假偵測的 Daedalus,在 MOTR、MOTRv2、CO-MOT 上和 FADE 幾乎一樣有效。FADE 真正拉開差距的,是有記憶機制的追蹤器:SambaMOTR 上,Daedalus 只讓 HOTA 掉到 54.40,TQF 則掉到 45.53。

MOT20 上的對比更明顯。MeMOTR 乾淨時 HOTA 69.61,被 Daedalus 攻擊後還有 62.51;被 TMC 攻擊後只剩 37.70,ID 切換增加了十倍以上。作者的解讀是,有記憶的追蹤器能過濾不持續的雜訊,但記憶本身被污染時,它就無能為力了。

一幀的攻擊,十五幀的失憶

原論文 Figure 3:MeMOTR 在 MOT17 一段影片上受到 TQF 攻擊。第 9 幀是乾淨的畫面,所有人都被追蹤;第 10 幀受到攻擊,畫面上冒出大量假框;第 11 幀和第 20 幀,畫面已經恢復乾淨,卻沒有任何軌跡;直到第 25 幀,追蹤器才重新建立軌跡,此時所有人都換了新的 ID。
原論文 Figure 3(Bouzidi 等人),取自 PDF 第 5 頁,arXiv 授權,學術引用。

這張圖最能說明這類攻擊的性質。攻擊只發生在第 10 幀,接下來的畫面都是乾淨的。但 MeMOTR 在第 11 幀把所有軌跡都丟了,包括真的和假的,一直到 15 幀之後才重新開始追蹤。重新開始時,每個人都是新的 ID。

一般的對抗攻擊,擾動拿掉之後模型就恢復正常。這裡的傷害留在記憶裡,攻擊結束後還在持續。

實體攻擊

原論文 Figure 4:模擬實體攻擊下的 TMC。上排是聲波注入:第 10 幀的畫面出現運動模糊,但大部分行人人眼仍看得清楚。下排是電磁干擾:第 10 幀出現幾條彩色橫紋。兩種情況下,第 11 幀之後畫面都恢復乾淨,追蹤器卻無法把人接回原本的 ID,到第 25 幀都沒有恢復。
原論文 Figure 4(Bouzidi 等人),取自 PDF 第 8 頁,arXiv 授權,學術引用。

模擬的實體攻擊比數位攻擊弱,但仍然有效。MOT17 上,MOTR 在電磁干擾下從 58.63 掉到 42.81,SambaMOTR 在聲波模糊下從 62.91 掉到 48.97。

外掛了偵測器的 MOTRv2,以及偵測能力較強的 CO-MOT,表現比較抗得住,HOTA 大約掉 5 到 7 分。不過即使是它們,關聯的指標 AssA 還是掉了 8 分左右。偵測器擋掉了大部分的模糊和橫紋,漏過去的那一點點,仍然足以污染後面的查詢狀態。

人越多,攻擊越有效。MOTR 在聲波攻擊下,MOT17 掉了 13.5 分,到了每幀約 150 人的 MOT20 掉了 18.9 分,AssA 更是從 75.89 掉到 39.72。

哪個部分最關鍵

拿掉的部分CO-MOTMeMOTRSambaMOTR
完整的 TMC41.7341.5648.04
不切斷時間連結53.2751.7961.63
不抹除特徵41.9141.9052.31

整理自原論文 Table 5,MOT17,攻擊後的 HOTA;數字越高代表攻擊越弱。

切斷時間連結是 TMC 的核心。拿掉它,SambaMOTR 的 HOTA 幾乎回到乾淨的水準(61.63 對 62.91)。抹除特徵是輔助,拿掉它影響小得多。

TQF 的三個部分,對不同追蹤器的重要性不一樣。SambaMOTR 對「偽裝成本」最敏感,拿掉這一項,攻擊後的 HOTA 從 45.53 回升到 53.14;拿掉「竊取身分」反而攻擊更強一點。作者推測,SambaMOTR 的狀態空間模型會過濾掉這種模仿出來的身分,要騙過它,得從匹配成本下手。CO-MOT 則相反,對竊取身分比較敏感。

防禦和轉移

附錄裡,作者試了三種常見的輸入前處理:色彩抖動、空間平滑和加高斯雜訊。

對 MOTR 幾乎沒用,TMC 攻擊後的 45.89,最好也只回到 46.38。MeMOTR 對 TQF 的恢復最好,從 41.41 回到 63.39,接近乾淨的 67.35。SambaMOTR 則很難救回來,TMC 攻擊後 48.04,加了防禦也只有 50.97。三種防禦方法之間的差異,大多不到 0.5 分。

黑箱的情況下,攻擊者拿不到目標模型,只能用另一個模型產生擾動。這時效果明顯變弱:例如拿其他追蹤器產生的擾動去攻擊 MeMOTR,HOTA 還有 55 到 60 分,用 MeMOTR 自己產生的才掉到 29.10。作者承認,跨架構的黑箱攻擊仍是未解的問題。

限制

除了黑箱轉移,作者也指出,實體攻擊只在模擬中驗證,雖然參數取自真實相機的校正,但沒有在真實的相機和追蹤系統上實際測過。每一幀的擾動優化在 RTX 3090 上要大約 3 秒,數位攻擊的實驗也假設攻擊者能拿到模型的梯度。

結論

FADE 指出的是一個結構上的取捨。用查詢追蹤的方法,靠著把狀態和記憶一幀一幀往下傳,學會了處理遮擋和長期關聯;同樣的機制,也讓一幀的干擾可以變成十幾幀的失憶。查詢數量固定,則讓假軌跡可以把真軌跡擠出去。

從實驗看,記憶越強的追蹤器,對簡單的雜訊越有抵抗力,對專門針對記憶的攻擊卻越脆弱。附錄的防禦實驗也顯示,單靠輸入端的前處理擋不住這類攻擊,對用狀態空間模型的 SambaMOTR 尤其如此。