論文ノートライブラリに戻る
CVPR 2025複数物体追跡論文ノート

TrackTrack

相思相愛

原論文

Focusing on Tracks for Online Multi-Object Tracking

論文の著者

Kyujin Shim · Kangwook Ko · Yujin Yang · Changick Kim

発表先
CVPR 2025国際会議
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@inproceedings{multiobjecttrackingtracktrack2025,
  title = {{Focusing on Tracks for Online Multi-Object Tracking}},
  author = {Kyujin Shim and Kangwook Ko and Yujin Yang and Changick Kim},
  year = {2025},
  booktitle = {CVPR},
  url = {https://doi.org/10.1109/CVPR52734.2025.01091},
  doi = {10.1109/CVPR52734.2025.01091}
}
このページの内容

ハンガリアン法はトラッカーで最もよく見かける部品だ。軌跡と検出のコスト行列を与えると、総コストが最小になる一対一の組み合わせを見つけてくれる。SORT 以来、検出してから関連付けるトラッカーのほとんどがこれを使っている。

このアルゴリズムはもともと割り当て問題のために設計されたもので、たとえば作業員を仕事に割り振って総コストを最小にする、といった問題だ。どの作業員がどの仕事に就いてもかまわず、大事なのは全体として最も得になることだ。

KAIST の Kyujin Shim、Changick Kim らは、追跡はそういう問題ではないと考えた。軌跡と検出ボックスが表しているのは同じ人々で、どの軌跡にもこのフレームで正しい検出ボックスが一つある。総コストの最小化を追い求めると、全体でほんの少し得をするために、二人の身元を入れ替えてしまうことがある。

問題の定義

0.01 の差で、身元が入れ替わる

原論文 Figure 2:DanceTrack での遮蔽の例。T2、T3 の二本の軌跡が重なっていて、横には四本の軌跡と四つの検出ボックスのコスト行列がある。(a) ハンガリアン法は T2–D4、T3–D3(黄色の地に赤枠)を選び、次のフレームで T2、T3 の身元が入れ替わって ID スイッチが起きる。(b) TPA は T2–D3、T3–D4(黄色の地に青枠)を選び、二人とも正しく追跡される。D4 は NMS で削除された高スコアのボックス(黄色)。
原論文 Figure 2(Shim ら)、PDF 2 ページより。学術引用。

T1 と D2(0.16)、T4 と D1(0.18)の組み合わせには議論の余地がなく、問題は T2、T3 と D3、D4 の四マスだ。

組み方T2T3四組の総コスト
ハンガリアン法D4:0.48D3:0.331.15
TPAD3:0.10D4:0.721.16

数値は原論文 Figure 2 から取り、総コストは本稿で計算。

二つの組み方の総コストの差は 0.01 しかない。ハンガリアン法は合計の小さいほうを選んだが、この組み方では、T2 は D3 との距離がたった 0.10 で表全体の最小のマスなのに、0.48 の D4 に回されてしまう。

D3 は T2 に最も似ていて、T2 も D3 に最も似ている。両者は相思相愛で、このペアが間違っていることはまずありえない。全体で 0.01 減らすためにそれを無理やり引き裂くと、結果は身元の入れ替わりだ。

低スコアのボックスは後回し

もう一つの問題は、ByteTrack 以来の多段階マッチングから来る。高スコアのボックスが先に軌跡とマッチングし、余った軌跡にようやく低スコアのボックスの番が回ってくる。

ところが遮蔽された人は、検出スコアが低めになりがちだ。ある軌跡にとって最もふさわしいボックスがまさに低スコアのボックスかもしれないのに、その軌跡は一回目で、あまりふさわしくない高スコアのボックスに取られてしまう。

さらに極端なのは、NMS で削除されたボックスだ。二人がひどく重なると、NMS はそのうち一人のボックスを重複とみなして削除する。図の D4 がまさにそういうボックスで、スコアは高いのに、ほかの人と重なりすぎていただけだ。ほとんどのトラッカーは、それを二度と見ようともしない。

問題を解く

TrackTrack には二つの戦略がある。マッチングのときの TPA(track-perspective-based association)と、新しい軌跡を作るときの TAI(track-aware initialization)だ。手法全体で追加の訓練は要らない。

TPA:すべてのボックスをまとめて、相思相愛ならペアにする

原論文 Figure 3:TPA の流れ。左は五本の軌跡と六つの検出ボックスのコスト行列で、緑は高スコアのボックス、青は低スコアのボックス、黄色は NMS で削除された高スコアのボックス。一回目では、自分の行でも列でも最小値になっているマス(赤枠)を探す。T1–D6、T2–D2、T4–D3 だ。これらの行と列を取り除くと右の小さな行列が残り、二回目で T3–D1 が見つかる。
原論文 Figure 3(Shim ら)、PDF 4 ページより。学術引用。

TPA はまず三種類のボックスを同じコスト行列に入れる。NMS 後の高スコアのボックス、NMS 後の低スコアのボックス、そして NMS で削除された高スコアのボックスだ。後の二種類にはそれぞれコストにペナルティを足し、条件が同じなら高スコアのボックスより後ろに回るが、それでも出番は残るようにする。

コストそのものは Hybrid-SORT の組み合わせを踏襲する。ボックスの重なり、外観特徴のコサイン距離、検出の信頼度、運動方向の角度差だ。

次に、「互いに最小」になっているペア、つまり自分の行でも最小、自分の列でも最小で、しかもしきい値より低いマスを、繰り返しすべて探し出す。見つかったペアはすべて確定し、その行と列を取り除いて、残った行列でもう一度探す。回を重ねるごとに、しきい値は少しずつ厳しくなる。

図の行列で一通りたどってみよう。

  1. 一回目。 T1 の行で最小なのは D6(0.1)で、D6 の列で最小なのも T1 なので、ペアになる。T2–D2、T4–D3 も同様だ。T3 の行で最小なのは D2(0.2)だが、D2 の列で最小なのは T2(0.1)なので、T3 はこの回ではペアにならない。
  2. 二回目。 残りは T3、T5 と D1、D4、D5。T3 の行で最小なのは D1(0.3)で、D1 の列でも T3 は T5 の 0.9 より小さいので、ペアになる。

この過程はお見合いに少し似ている。二人ともお互いを会場で一番の相手だと思えば、まずカップルが成立する。条件のはっきりしない人は、確実な組が決まってから、残った人の中から選ぶ。

最も確実なペアから先に処理するので、ハンガリアン法のように全体の都合のために最も確実なペアを引き裂くことはない。

TAI:新しい軌跡を古い軌跡とぶつけない

マッチングが終わると、残った高スコアのボックスはたいてい新しく現れた人とみなされ、新しい軌跡になる。問題は、残ったボックスの中に、実は既存の軌跡の重複検出や、隠れている人に余分に出たボックスが混じっていることだ。こうしたボックスがいったん新しい軌跡になると、短命な偽の軌跡が山ほどできる。

原論文 Figure 4:TAI の模式図。左の青、緑、紫のボックスはすでにマッチした軌跡 T1、T2、T3 で、赤い破線のボックスはマッチしなかった高スコアの検出 D1 から D4。マッチした軌跡を信頼度 1 のアンカーとして、これらの検出と一緒に NMS をかける。D4 は T1 と重なりすぎて削除され、互いに重なる D1、D3 は一つだけが残る。右が結果で、新しい軌跡 T4、T5 になるのは二つのボックスだけだ。
原論文 Figure 4(Shim ら)、PDF 5 ページより。学術引用。

TAI のやり方は、すでにマッチした軌跡の位置を、信頼度 1 で削除されないボックスとして扱い、残った高スコアのボックスと一緒にもう一度 NMS をかけるものだ。既存の軌跡と重なりすぎるボックスも、より高スコアのボックスと重なりすぎるボックスも、削除される。残ったものだけが新しい軌跡になる。

この NMS のしきい値は場面に応じて調整できる。下げれば、ごく確実な新しい物体しか作られない。上げれば、混雑した場面でも本当に新しく来た人を取りこぼしにくくなる。

全体の流れ

各フレームでは、まず YOLOX-X で検出し、NSA カルマンフィルタで軌跡の位置を予測して、TPA でマッチングする。残った高スコアのボックスは、「生まれて三フレーム未満」の新しい軌跡ともう一度マッチングする。こうした新しい軌跡は反射光のようなノイズであることが多いので、著者らは確定済みの軌跡とボックスを奪い合わせない。最後に TAI で、どのボックスから新しい軌跡を作ってよいかを決める。

議論

テストセット

データセットTrackTrack HOTAオンライン次点オフライン最高
MOT1767.166.4(ImprAsso)67.1(CoNo-Link)
MOT2065.765.0(AdapTrack)65.9(CoNo-Link)
DanceTrack66.565.7(Hybrid-SORT-ReID)63.8(CoNo-Link)

MOT17 は原論文 Table 1、MOT20 は原論文 Table 2、DanceTrack は原論文 Table 3 をもとに整理。いずれもテストセット。

三つのデータセットすべてで、TrackTrack はオンライン手法の中で一位であり、動画全体を見る必要のあるオフライン手法と比べても互角だ。オフラインの SUSHI は MOT17 で 66.5、DanceTrack で 63.3 で、どちらも TrackTrack より低い。MOT17 の IDF1 は 83.1、AssA は 68.2 で、関連付けに関わる指標の伸びが最も目立つ。

著者らがとくに強調しているのは「どのデータセットでも強い」ことだ。MOT17 では強いのに DanceTrack になると落ちる手法、あるいはその逆は多い。TrackTrack は三つのデータセットすべてで上位にいる。

ここで注意したいのは、検出器が CrowdHuman と WiderPerson という二つの追加の歩行者データセットも使って訓練されていることだ。同時期の、追加データを使わない SambaMOTR は DanceTrack の HOTA が 67.2 だが、この論文の比較表には入っていない。

アブレーション

設定MOT17 HOTAMOT17 AssADanceTrack HOTADanceTrack AssA
ベースライン67.369.661.947.7
+TPA68.572.062.949.1
+TAI67.469.662.648.7
両方69.172.763.349.7

原論文 Table 4 をもとに整理。検証セット。

ベースラインはよくあるやり方で、ハンガリアン法、多段階マッチング、スコアがしきい値を超えたら新しい軌跡を作る、というものだ。TPA の寄与は TAI より大きく、MOT17 で AssA が 2.4 増える。

TPA には実は三つの変更が含まれていて、著者らはそれぞれを切り分けて見ている。

  1. 互いに最小 vs. ハンガリアン法。 ほかの条件はそのままで割り当て方だけを替えると、MOT17 の HOTA は 68.1 から 69.1 に、DanceTrack は 61.6 から 63.3 になる。
  2. 一度にマッチング vs. 段階的にマッチング。 MOT17 の HOTA は 68.3 から 69.1 になる。DanceTrack は 0.1 増えるだけで、AssA はむしろ 0.1 減る。段階を分けるかどうかは、DanceTrack ではあまり影響しない。
  3. NMS で削除されたボックスを使うかどうか。 使うと、MOT17 の HOTA は 68.6 から 69.1 に、DanceTrack は 62.1 から 63.3 になる。

著者らは遮蔽の影響も分析している。遮蔽の深刻度を「IoU が 0.6 を超える重なりの数」を「IoU が 0.1 を超える重なりの数」で割ったものと定義すると、MOT17、MOT20 の五本の動画で、遮蔽がひどいほど TrackTrack のベースラインからの伸びが大きくなる。遮蔽されているときこそ、最もふさわしいボックスが低スコアのボックスや削除されたボックスである可能性が高く、ハンガリアン法に引き裂かれる可能性も高い。TPA はまさにこうした場面のために設計されている。

速度

TPA は毎回行列全体を走査するので、ハンガリアン法より遅そうに聞こえる。実際に測ると、むしろ少し速い。後処理を除くと、MOT17 では 155.4 FPS から 161.5 FPS に、DanceTrack では 394.8 から 408.4 になる。著者らは、TPA は素の Python で書いただけで、ハンガリアン法のほうは高度に最適化されたライブラリを使っているので、まだ速くする余地があると述べている。論文は計測で後処理を除いたと説明している。YOLOX-X そのものはこの速度では動かないので、この数字が反映しているのは関連付けのステップそのものだ。

結論

TrackTrack が変えたのは軌跡と検出ボックスをどう組み合わせるかで、これはトラッカーの中で最も目立たない部分だ。

ハンガリアン法が追い求めるのは総コストの最小化で、TPA が追い求めるのは、どの軌跡も自分に最もふさわしいボックスと組むことだ。たいていは両者の結果は同じで、違いが出るのは遮蔽のときだ。総コストが 0.01 しか違わない二つの組み方の一方では二人の身元が入れ替わり、もう一方では入れ替わらない。さらに低スコアのボックスや NMS で削除されたボックスまで入れて一緒に比べるので、隠れていた人を取り戻せる見込みが高くなる。

二つの戦略はどちらも訓練が要らず、既存のトラッカーの関連付けのステップにそのまま差し替えられる。TrackTrack はこの二つで、フレームごとに処理するオンラインのトラッカーを、動画全体を見るオフライン手法と三つのデータセットで肩を並べるところまで持っていった。