Out of Sight, Out of Track: Adversarial Attacks on Propagation-based Multi-Object Trackers via Query State Manipulation
- 発表先
- CVPR 2026国際会議
- arXiv への初回投稿
- arXiv:2604.00452
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{multiobjecttrackingfade2026,
title = {{Out of Sight, Out of Track: Adversarial Attacks on Propagation-based Multi-Object Trackers via Query State Manipulation}},
author = {Halima Bouzidi and Haoyu Liu and Yonatan Gizachew Achamyeleh and Praneetsai Vasu Iddamsetty and Mohammad Abdullah Al Faruque},
year = {2026},
eprint = {2604.00452},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2604.00452}
}
MOTR 以来、クエリで追跡する手法は進化を続けてきた。MOTRv2 は外付けの検出器を加え、MeMOTR は長期記憶を加え、CO-MOT はラベル割り当てを変え、SambaMOTR は状態空間モデルで履歴全体を覚える。この路線はますます「記憶」に頼るようになり、各クエリは物体が現れてからいままでの情報を抱えて次へ受け渡されていく。
記憶は追跡を安定させるが、もし誰かがわざと記憶を壊したらどうなるのか?
カリフォルニア大学アーバイン校の Halima Bouzidi、Mohammad Al Faruque らがやったのは、まさにそれだ。これは攻撃の論文で、目的はこの種のトラッカーの構造上の弱点を見つけることにある。これまでのトラッカーに対する敵対的攻撃は、ほとんどが「検出してから関連付ける」手法向けに設計されていた。この論文は、クエリで追跡する手法を専門に狙った初めてのものだ。
問題の定義
古い攻撃は新しいトラッカーに届かない
「検出してから関連付ける」トラッカーへの攻撃は、おおむね三種類ある。
- 検出を妨害する。 本物の物体を検出できなくするか、偽の検出ボックスを大量に作り出す。Daedalus は後者だ。
- 関連付けを妨害する。 Hijacking や F&F のような攻撃で、検出ボックスとカルマンフィルタの予測を引き離し、しきい値を超えさせてマッチしないようにしたり、別人とマッチさせたりする。
- 外観特徴を妨害する。 ReID の埋め込みベクトルを直接改変し、類似度を誤らせる。
ところがクエリで追跡する手法には、しきい値の決まった NMS も、カルマンフィルタも、独立した ReID の特徴ライブラリもない。重複したボックスはアテンションで互いに抑制し合い、運動はクエリの受け渡しで学習される。こうした攻撃が狙う部品は、新しいアーキテクチャにはそもそも存在しない。
新しいアーキテクチャの三つの弱点
著者らは、クエリで追跡する手法には構造上の弱点が三つあると考える。
- クエリの数が固定されている。 トラッククエリには上限があり、偽の軌跡が一つ席を占めれば、本物の軌跡の席が一つ減る。これはゼロサムだ。
- 状態が再帰的に受け渡される。 各クエリのこのフレームでの状態は、前のフレームの状態で決まる。あるフレームでいったん壊されると、誤りはそのまま受け継がれていく。
- 記憶が被害を増幅する。 MeMOTR の長期記憶や SambaMOTR の状態空間モデルは、もともとより長い履歴を覚えるためのものだが、汚染された記憶もそのぶん長く残る。
これに対して、検出してから関連付ける手法はフレームごとに関連付けをやり直すので、リセットが組み込まれているようなものだ。同じ性質が、クエリで追跡する手法にとっては諸刃の剣になる。時間方向の平滑化は単一フレームのノイズをふるい落とせるが、時間方向の依存は誤りを持ち越させもする。
問題を解く

FADE には、先ほどの弱点に対応する二つの攻撃戦略がある。どちらも画像に摂動を加え、勾配で最適化して特定の損失を大きくする。
攻撃その一:クエリ洪水
一つ目の攻撃は TQF(temporal query flooding)と呼ばれ、固定されたクエリの数を狙う。
トラッカーが同時に保てる軌跡は最大 30 本で、画面には MOT17 の平均くらいの 21 人がいるとする。攻撃で持続する偽の軌跡を 12 本作り出せれば、必要な数は合わせて 33 本になり、少なくとも 3 人の本物がクエリを割り当てられない。
本稿で仮定した数値。論文は具体的なクエリの上限を示していない。
偽の検出を作るだけでは足りない。クエリで追跡する手法は、連続しない偽のボックスを数フレームのうちにふるい落としてしまう。そこで TQF は三つの部分からなる。
- 水増し。 いま空いているクエリにすべて 1 に近い信頼度を出させる。
- コストの偽装。 こうした偽のクエリと本物の物体とのマッチングコストを低くし、ハンガリアン法のマッチングを誘導して本物の人の身元を偽のクエリに割り当てさせる。
- 身元の盗用。 偽のクエリの隠れ状態を、前のフレームの本物の軌跡の隠れ状態にできるだけ似せる。トラッカーはこの偽のクエリをある既知の物体の続きだと思い込み、その履歴ごと引き継いでしまう。
攻撃その二:記憶破壊
二つ目の攻撃は TMC(temporal memory corruption)と呼ばれ、新しい軌跡は作らず、既存の軌跡の記憶を飛ばす。二つの部分からなる。
- 時間のつながりを断つ。 各軌跡のこのフレームの隠れ状態を、前のフレームの隠れ状態とできるだけ似ていないようにする。クエリ更新器から見れば、過去と無関係な新しい物体のようになる。
- 特徴を消し去る。 すでにマッチした軌跡の埋め込みベクトルをゼロへ押しつぶす。ゼロに近いベクトルは何との内積もゼロに近く、その後はなかなか見分けられなくなる。
デジタルから物理へ
デジタル攻撃はピクセルに直接ノイズを加えるもので、強さは各ピクセル最大 8/255 に制限し、攻撃するのは一フレームだけだ。
著者らはさらに二種類の物理攻撃を模擬した。どちらも先行研究が実際のカメラで検証した、センサーを欺く手法だ。
- 音波の注入。 特定の周波数の音波でカメラの手ぶれ補正の部品を共振させ、画面にモーションブラーを生じさせる。
- 電磁干渉。 センサーのアナログ・デジタル変換を乱し、画面に色つきの横縞を出す。
この二つの効果は微分可能なモデルとして書かれる。調整できるのはブラーの振幅と位相、横縞の位置、色、幅だけで、範囲は先行研究が実測で較正した区間に制限されている。最適化が探すのは「物理的に実現できる範囲で、最も被害の大きいパラメータの組」だ。物理攻撃は 3 フレーム続く。
議論
デジタル攻撃の効果
| トラッカー | クリーン | Daedalus | Hijacking | TQF | TMC |
|---|---|---|---|---|---|
| MOTR | 58.63 | 45.85 | 46.08 | 45.90 | 45.89 |
| MOTRv2 | 59.96 | 39.21 | 56.31 | 39.29 | 46.76 |
| MeMOTR | 67.35 | 42.41 | 55.92 | 41.41 | 41.56 |
| SambaMOTR | 62.91 | 54.40 | 57.40 | 45.53 | 48.04 |
| CO-MOT | 58.16 | 40.01 | 51.68 | 37.26 | 41.73 |
原論文 Table 1 をもとに整理。MOT17、HOTA。
一フレームを攻撃するだけで、五つのトラッカーは最も効く攻撃のもとで HOTA が 13 から 26 ポイント落ちる。カルマンフィルタを狙って設計された Hijacking は、MOTRv2 では 3.65 ポイントの低下しか引き起こさず、FADE の 20.67 ポイントとは大きな差がある。
ただこの表は、偽の検出を作るだけの Daedalus が、MOTR、MOTRv2、CO-MOT では FADE とほとんど同じくらい効くことも示している。FADE が本当に差をつけるのは記憶の仕組みを持つトラッカーだ。SambaMOTR では、Daedalus は HOTA を 54.40 までしか下げないが、TQF は 45.53 まで下げる。
MOT20 ではこの対比がさらにはっきりする。MeMOTR はクリーンなときの HOTA が 69.61 で、Daedalus に攻撃されても 62.51 残るが、TMC に攻撃されると 37.70 しか残らず、ID スイッチは十倍以上に増える。著者らの解釈では、記憶を持つトラッカーは持続しないノイズならふるい落とせるが、記憶そのものが汚染されるとお手上げになる。
一フレームの攻撃で、十五フレーム記憶が飛ぶ

この図が、この種の攻撃の性質を最もよく表している。攻撃は第 10 フレームだけで起き、その後の画面はすべてクリーンだ。それなのに MeMOTR は第 11 フレームで本物も偽物も含めてすべての軌跡を失い、15 フレーム後になってようやく追跡を再開する。再開したときには、全員が新しい ID だ。
ふつうの敵対的攻撃なら、摂動を取り除けばモデルは正常に戻る。ここでは被害が記憶に残り、攻撃が終わったあとも続く。
物理攻撃

模擬した物理攻撃はデジタル攻撃より弱いが、それでも効く。MOT17 では、MOTR は電磁干渉のもとで 58.63 から 42.81 に落ち、SambaMOTR は音波によるブラーのもとで 62.91 から 48.97 に落ちる。
外付けの検出器を持つ MOTRv2 と、検出能力の強い CO-MOT は比較的よく持ちこたえ、HOTA の低下はおよそ 5 から 7 ポイントだ。それでも関連付けの指標 AssA は 8 ポイントほど落ちている。検出器がブラーや横縞の大部分を防いでも、すり抜けたわずかな分だけで、後ろのクエリ状態を汚染するには十分だ。
人が多いほど、攻撃はよく効く。MOTR は音波攻撃のもとで、MOT17 では 13.5 ポイント落ち、1 フレームあたり約 150 人がいる MOT20 では 18.9 ポイント落ち、AssA にいたっては 75.89 から 39.72 まで落ちた。
どの部分が最も重要か
| 外した部分 | CO-MOT | MeMOTR | SambaMOTR |
|---|---|---|---|
| 完全な TMC | 41.73 | 41.56 | 48.04 |
| 時間のつながりを断たない | 53.27 | 51.79 | 61.63 |
| 特徴を消さない | 41.91 | 41.90 | 52.31 |
原論文 Table 5 をもとに整理。MOT17、攻撃後の HOTA。数値が高いほど攻撃が弱い。
時間のつながりを断つことが TMC の核心だ。これを外すと、SambaMOTR の HOTA はほぼクリーンな水準に戻る(61.63 対 62.91)。特徴の消去は補助的で、外しても影響はずっと小さい。
TQF の三つの部分は、トラッカーによって重要度が違う。SambaMOTR は「コストの偽装」に最も敏感で、この項を外すと攻撃後の HOTA は 45.53 から 53.14 まで戻る。「身元の盗用」を外すと、むしろ攻撃が少し強くなる。著者らは、SambaMOTR の状態空間モデルがこうした模倣された身元をふるい落とすので、それをだますにはマッチングコストから攻めるしかないのだろうと推測している。CO-MOT は逆に、身元の盗用のほうに敏感だ。
防御と転移
付録で、著者らはよく使われる入力の前処理を三種類試している。色のジッター、空間的な平滑化、ガウスノイズの付加だ。
MOTR にはほとんど効かず、TMC 攻撃後の 45.89 が、最良でも 46.38 に戻るだけだ。MeMOTR は TQF からの回復が最もよく、41.41 から 63.39 に戻り、クリーンな 67.35 に近づく。SambaMOTR はなかなか救えず、TMC 攻撃後の 48.04 が、防御を加えても 50.97 にしかならない。三つの防御手法のあいだの差は、ほとんどが 0.5 ポイント未満だ。
ブラックボックスの状況では、攻撃者は標的のモデルを手に入れられず、別のモデルで摂動を作るしかない。このときは効果がはっきり弱まる。たとえばほかのトラッカーで作った摂動で MeMOTR を攻撃しても HOTA は 55 から 60 ポイント残り、MeMOTR 自身で作った摂動でようやく 29.10 まで落ちる。著者らは、アーキテクチャをまたぐブラックボックス攻撃はまだ未解決の問題だと認めている。
限界
ブラックボックスでの転移のほかに、著者らは次の点も指摘している。物理攻撃はシミュレーションでしか検証しておらず、パラメータは実際のカメラの較正から取っているものの、本物のカメラと追跡システムで実際に試してはいない。フレームごとの摂動の最適化には RTX 3090 で約 3 秒かかり、デジタル攻撃の実験も、攻撃者がモデルの勾配を手に入れられることを前提にしている。
結論
FADE が指摘したのは、構造上のトレードオフだ。クエリで追跡する手法は、状態と記憶をフレームからフレームへ受け渡すことで、遮蔽や長期の関連付けを扱えるようになった。同じ仕組みのせいで、一フレームの妨害が十数フレームの記憶喪失に化けうる。クエリの数が固定されていることは、偽の軌跡が本物の軌跡を押し出す余地を生む。
実験を見るかぎり、記憶の強いトラッカーほど単純なノイズには強いが、記憶を専門に狙う攻撃にはかえってもろい。付録の防御実験も、入力側の前処理だけではこの種の攻撃を防げないことを示しており、状態空間モデルを使う SambaMOTR ではとりわけそうだ。