論文ノートライブラリに戻る
arXiv 2022WACV 2023複数物体追跡論文ノート

C-BIoU

枠の外にも枠

原論文

Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space

論文の著者

Fan Yang · Shigeyuki Odashima · Shoichi Masui · Shan Jiang

発表先
WACV 2023国際会議
arXiv への初回投稿
arXiv:2211.14317
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{multiobjecttrackingcbiou2022,
  title = {{Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space}},
  author = {Fan Yang and Shigeyuki Odashima and Shoichi Masui and Shan Jiang},
  year = {2022},
  eprint = {2211.14317},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2211.14317}
}
このページの内容

DanceTrack が登場すると、同じトラッカーたちが MOT17 ではどれも似たようなスコアなのに、DanceTrack に移ると差が開くことに誰もが気づいた。ダンサーはまったく同じ服を着ているので外観特徴は役に立たず、動きは速くてでたらめなので、カルマンフィルタもよく予測を外す。

OC-SORT はカルマンフィルタを直す道を選んだ。富士通研究所の Fan Yang、Shigeyuki Odashima、Shoichi Masui、Shan Jiang は別の道を進んだ。運動モデルが正確かどうかはひとまず置いておき、マッチングの範囲を少し広げるのだ。

この論文のタイトルは問いかけになっている。物体の動きが不規則で、見た目も似ていて、追跡しにくい? それならマッチング空間に少し緩衝を加えればいい。この手法は、著者らが 2022 年の SoccerNet サッカー追跡チャレンジと DanceTrack 群舞追跡チャレンジでともに二位を取ったときの主要な構成要素でもある。

問題の定義

ボックスの位置だけで関連付けるとき、SORT 系のトラッカーが頼りにするのは IoU だ。前のフレームの軌跡がボックスを一つ予測し、このフレームの検出にもボックスが一つある。二つのボックスが大きく重なるほど、同じ人である可能性が高い。

著者らの推測では、DanceTrack で追跡が失敗する主な原因は二つある。

  1. 隣り合う二フレームでそもそも重ならない。 ダンサーが大きく動くと、同じ人のボックスが二フレームの間で離れてしまい、IoU が 0 になってマッチングできない。
  2. 運動の推定を誤ると、ずっと誤り続ける。 ある人が数フレーム隠れると、軌跡は運動モデルで先へ進めるしかない。その間にその人が急に加速したり向きを変えたりすると、予測したボックスは進めるほどずれていき、その人が再び現れて検出ボックスが目の前にあっても、軌跡はもうマッチングできない。

本来なら外観特徴でこの二つの状況を救えるはずだが、ダンサーが同じ服を着ているときにはうまくいかない。

この二つの問題の共通点は、重ならないボックスに対して IoU が出すスコアがどれも 0 であることだ。ほんの少し離れているのも、遠く離れているのも、IoU の目には区別がない。

GIoU や DIoU のような IoU の変形でも、重ならないボックスにスコアをつけられる。著者らが提案するのは、もっと直接的なやり方だ。

問題を解く

ボックスを少し広げる

原論文 Fig. 2:上半分はふつうの IoU で、二つのボックス A、B の重なりの面積を和集合の面積で割る。下半分は BIoU で、A と B のそれぞれの外側に緑の破線の緩衝領域を一回り加え、広げたボックスで重なりと和集合を計算する。いちばん下には、元のボックスと緩衝ボックスの中心が同じで、元のボックスの幅と高さが w、h、緩衝ボックスの幅と高さが b_w、b_h、緩衝比率が b = (b_w − w) / 2w = (b_h − h) / 2h であることが示されている。
原論文 Fig. 2(Yang ら)、PDF 2 ページより。arXiv ライセンス、学術引用。

緩衝 IoU(Buffered IoU、BIoU)のやり方は、IoU を計算する前に、二つのボックスを一定の比率で広げておくことだ。

ボックスを左上隅の座標と幅・高さで o=(x,y,w,h)o = (x, y, w, h) と書き、緩衝比率を bb とすると、広げたボックスは次のようになる。

ob=(x−bw,  y−bh,  w+2bw,  h+2bh)o_b = (x - bw,\; y - bh,\; w + 2bw,\; h + 2bh)

左右にそれぞれ bwbw、上下にそれぞれ bhbh ずつ増える。中心も縦横比も変わらず、ただ大きくなるだけだ。

具体的な例で計算してみよう。あるダンサーのボックスが幅 40、高さ 100 ピクセルで、次のフレームでダンサーが右へ 50 ピクセル跳んだとする。二つのボックスはまったく重ならず、IoU は 0 だ。

  • b=0.3b = 0.3: 二つのボックスはどちらも 64 × 160 になる。中心が 50 離れていて幅が 64 なので、左右に 64−50=1464 - 50 = 14 ピクセル重なる。高さは完全にそろっていて、160 ピクセル重なる。共通部分は 14×160=2,24014 \times 160 = 2{,}240、和集合は 2×64×160−2,240=18,2402 \times 64 \times 160 - 2{,}240 = 18{,}240 で、BIoU は約 0.12 だ。
  • b=0.5b = 0.5: 二つのボックスはどちらも 80 × 200 になり、左右に 30 ピクセル重なる。共通部分は 6,000、和集合は 26,000 で、BIoU は約 0.23 だ。

もともと 0 だったスコアが、これで出るようになった。

このスコアには二つの役割がある。一つは、隣り合う二フレームで重ならない同じ人を、そのままマッチングできるようにすること。もう一つは、運動モデルの予測が少しずれていても、広げたボックスが本物の検出ボックスを取り込めることだ。マッチング空間の中で運動推定の誤差を補っているのに等しい。

従来の「探索ウィンドウ」とは違い、著者らは広げたボックスを探索範囲の制限に使うのではなく、マッチングのスコアの計算にそのまま使う。

広げすぎても困る

緩衝を大きくするほど救える人は増えるが、人を取り違えやすくもなる。

さっきの例を続けよう。そばにもう一人のダンサーが、70 ピクセル離れたところにいるとする。b=0.3b = 0.3 のとき、広げたボックスの幅は 64 で、70 ピクセル先の人には届かず、BIoU は 0 だ。b=0.5b = 0.5 のときは幅が 80 になり、そのダンサーと 10 ピクセル重なって、BIoU は約 0.07 になる。緩衝を大きくしたとたん、隣の人まで候補になってしまう。

そこで著者らは、マッチングを二段階に分けた。

原論文 Fig. 4:C-BIoU トラッカーの流れ。検出はまず生きている軌跡と小さい緩衝の BIoU でマッチングされ(たとえば b1 = 0.3)、マッチした軌跡は状態を更新する。マッチしなかった軌跡と検出は、大きい緩衝の BIoU でもう一度マッチングされる(たとえば b2 = 0.5)。二段階を合わせてカスケードマッチングと呼ぶ。その後、マッチしなかった検出は新しい軌跡になり、マッチしなかった軌跡は年齢が一つ増え、max_age を超えると削除される。状態の更新では、新しい軌跡は現在のボックスをそのまま使い、ほかの軌跡は現在の状態に直近数フレームの平均変位を加える。
原論文 Fig. 4(Yang ら)、PDF 4 ページより。arXiv ライセンス、学術引用。
  1. まず小さい緩衝でマッチングする。 生きている軌跡とこのフレームの検出について、小さい緩衝 b1b_1 の BIoU でスコアを計算し、ハンガリアン法でマッチングする。ふつうに動いている人のほとんどは、この段階でマッチングが済む。
  2. 残りを大きい緩衝でもう一度マッチングする。 一回目でマッチしなかった軌跡と検出を、大きい緩衝 b2b_2 に切り替えてもう一度マッチングする。この回で扱うのは、とりわけ大きく動いた人や、運動の推定が大きくずれた人だ。

こうした「確かなものから先にマッチングし、難しいものはあとに回す」カスケードマッチングは、追跡の分野ではよくある。ByteTrack は信頼度の高い検出を先にマッチングし、DeepSORT は最近マッチしたばかりの軌跡を先にマッチングする。C-BIoU は、まず比較的控えめなマッチング空間を使い、残りが出たときだけ広げる。

二つの緩衝比率はどう決めるのか? 著者らは訓練セットでグリッドサーチを行う。b1<b2b_1 < b_2 なので組み合わせの数は限られていて、しかもこのトラッカー自体が高速なので、探索にかかる時間は許容範囲に収まる。

カルマンフィルタは使わない

C-BIoU の運動モデルは意外なほど単純で、直近数フレームの変位を平均して先へ進めるだけだ。

ある軌跡が nn フレームを超えて連続でマッチしたあと、Δ\Delta フレームの間マッチしなかったとすると、その状態は次のように推定される。

st+Δ=st+Δn∑i=t−n+1t(oi−oi−1)s_{t+\Delta} = s_t + \frac{\Delta}{n}\sum_{i=t-n+1}^{t}\left(o^{i} - o^{i-1}\right)

ここではボックスを左上と右下の二つの角の点で o=(x,y,x+w,y+h)o = (x, y, x + w, y + h) と書く。nn のデフォルトは 2 から 5 の間だ。

直近 nn フレームの変位の合計を nn で割れば、1 フレームあたり平均でどれだけ動いたかがわかり、それに間に空いたフレーム数を掛ける。ダンサーが急に向きを変えても、この推定はせいぜい二、三フレームで追いつく。速度がゆっくり補正されるのを待たなければならないカルマンフィルタとは違う。推定が不正確な部分は、緩衝に任せて補う。

軌跡の管理は SORT のやり方を引き継いでいる。最初のフレームの検出はすべて新しい軌跡になる。新しい軌跡にはまだ推定できる運動がないので、記録したボックスをそのまま現在の状態として使う。各フレームで、マッチした軌跡は年齢を 0 に戻し、マッチしなかった軌跡は年齢を一つ増やし、max_age を超えると削除する。二回のマッチングのあとでまだ残っている検出は、新しい軌跡になる。

著者らは、これは C-BIoU の使い方を示すための単純なプロトタイプにすぎず、必要ならほかのモジュールを加えてもよいとも説明している。

議論

同じ検出で、MOT17 と DanceTrack

著者らはまず、MOT17 と DanceTrack のテストセットで比較している。公平を期すため、以下の手法はすべて同じ YOLOX-X の検出を使っている(MOT17 の重みは ByteTrack から、DanceTrack の重みは OC-SORT から)。

手法MOT17 HOTADanceTrack HOTADanceTrack AssADanceTrack IDF1
DeepSORT61.245.629.747.9
SORT63.050.033.252.0
ByteTrack63.151.933.852.0
OC-SORT63.255.738.354.6
C-BIoU64.160.645.461.6

原論文 Table I をもとに整理。テストセット、検出は共通。

MOT17 では、五つの手法の HOTA の差は 3 ポイントしかない。著者らは DanceTrack の論文の分析を引いている。MOT17 でのボトルネックは検出にあって、追跡にはない。

DanceTrack では差が開く。C-BIoU は OC-SORT より HOTA が 4.9 ポイント高く、関連付けを測る AssA は 38.3 から 45.4 に、IDF1 は 54.6 から 61.6 に上がる。検出を測る DetA は両者ほぼ同じ(81.3 対 81.7)なので、差のほとんどは関連付けから来ている。原論文の表の上半分には、ほかの検出器を使った手法が参考として載っていて、その中のエンドツーエンドの MOTR は 54.2 だ。

追跡だけを比べる:正解ボックスを使う

検出の良し悪しは比較の邪魔になるので、著者らは正解ボックスをそのまま検出として使い、関連付けだけを比べることもした。DanceTrack 検証セット、SoccerNet のサッカー動画、GMOT-40 で、C-BIoU の HOTA はそれぞれ 81.7、89.2、96.4、二位の OC-SORT は 79.1、82.0、92.4 だ。差は 2.6 から 7.2 ポイントまでで、最も大きいのは SoccerNet だ。

GMOT-40 は一般物体の複数物体追跡データセットで、画面にはよく、見た目がそっくりな同じ種類の物体が大群でいる。SoccerNet はサッカー中継の映像で、カメラはボールを追って動く。

著者らは、正解ボックスを使っても三つのデータセットの結果はまだ完璧ではないと注意を促している。正解ボックスでベンチマークを作り、関連付けの改良に専念することには、今のところまだ意味がある。

部品ごとの貢献

アブレーション実験では正解ボックスを使い、まずカスケードマッチングと運動推定をどちらも外して、一回きりのマッチングでどの類似度を使うかだけを比べる。

類似度DanceTrackSoccerNetGMOT-40
IoU76.681.993.0
GIoU77.179.893.4
DIoU75.184.393.6
BIoU80.087.796.2
+カスケード80.288.996.3
+運動推定81.789.296.4

原論文 Table IV をもとに整理。HOTA。DanceTrack は検証セット、ほかの二つはテストセットで、検出はどれも正解ボックス。

  1. 主な貢献は BIoU だ。 同じく一回きりのマッチングで運動推定もない条件で、BIoU は三つのデータセットのどれでも IoU より 3 から 6 ポイント高い。GIoU と DIoU も重ならないボックスを扱えるが、一貫した改善はなく、DIoU は DanceTrack では IoU より低くさえある。
  2. カスケードマッチングが最も効くのは SoccerNet だ。 カスケードマッチングを加えると、DanceTrack と GMOT-40 では 0.2、0.1 ポイントしか増えないが、SoccerNet では 1.2 ポイント増える。著者らの説明では、サッカー中継ではカメラが動くので選手の動きが極端に速くなり、そこでようやく二回目の大きい緩衝が役に立つ。
  3. 平均変位は DanceTrack で 1.5 ポイント効いた。 単純ではあっても、運動推定はあったほうがない場合より良い。推定の誤差は緩衝が補ってくれるからだ。

緩衝比率

原論文 Fig. 6:DanceTrack 検証セットでの、緩衝比率の組み合わせごとの HOTA。横軸は小さい緩衝 b1、縦軸は大きい緩衝 b2 で、どちらも 0.1 から 0.7 まで、b1 が b2 より小さい下三角だけをとる。b1 = 0.3、b2 = 0.4 のとき最も高く 81.7。b1 = 0.3 の列はどれも 81.4 から 81.7 の間。b1 = 0.6、b2 = 0.7 のとき最も低く 78.2。
原論文 Fig. 6(Yang ら)、PDF 7 ページより。arXiv ライセンス、学術引用。

この図は縦に見るといい。同じ列の中では b1b_1 が固定で b2b_2 だけが変わり、スコアはほとんど動かず、差はどれも 0.3 ポイント以内だ。列が変わると、スコアははっきり変わる。つまり、結果を主に決めているのは一回目の小さい緩衝で、b1=0.3b_1 = 0.3 が最も良く、それより大きくても小さくても下がる。

最も悪い組み合わせでも 78.2 で、IoU の 76.6 よりまだ高い。緩衝比率は結果に影響するものの、緩衝を加えさえすれば、加えないよりは良い。

検出がひどいとき

この手法の限界も、著者らは自分で実験して突き止めている。DanceTrack 検証セットの正解ボックスにノイズを加えるのだ。まず一定の割合でボックスを削除して検出漏れを作り、次に人のいない場所に同じ割合で偽のボックスを加えて誤検出を作る。

ノイズ比率OC-SORTIoUC-BIoU
0%79.176.681.7
20%61.457.662.3
40%28.038.329.2

原論文 Table V をもとに整理。DanceTrack 検証セット、HOTA。

ノイズが 20% 以内なら、C-BIoU はまだ最も良い。40% になると 29.2 まで落ち、最も単純な IoU トラッカー(38.3)より 9 ポイントも低くなる。関連付けを測る AssA は 14.7 しか残らず、IoU トラッカーはまだ 25.0 ある。

著者らの説明によれば、ノイズが少ないときは、同じ人の軌跡と検出がときどき数フレーム合わないだけなので、緩衝がちょうどそれをつなぎ直せる。ノイズが多いと、一人の人に何フレームも続けて検出がないことがあり、IoU でも BIoU でもつなぎ直せない。さらに悪いことに、広げたマッチング空間は、軌跡を近くの偽のボックスにより積極的に割り当ててしまう。

著者らの考えでは、自分たちが対象とするデータセットでは、たいてい高品質の検出が得られる。みんな見た目が同じなので、かえって検出が易しくなるからだ。これは著者らが自分の手法の適用範囲について下した判断だ。検出器の性能が安定しない場面に移るなら、まず検出の品質を確かめる必要がある。

速度

カルマンフィルタを外したことで、追跡そのものもずっと速くなった。Intel Xeon Silver 4216 CPU で、検出を除いた時間で測ると、C-BIoU は MOT17 で毎秒 361 フレーム、DanceTrack で 680 フレームを処理する。OC-SORT は 185 と 341、SORT は 144 と 271 だ。著者らは、物体が多いほどトラッカーは遅くなるとも注意している。

結論

C-BIoU の手法は一言で言える。IoU を計算する前にボックスを広げておくことだ。そこに二段階のマッチングと、直近数フレームの変位を平均するだけの運動モデルを加えると、DanceTrack で OC-SORT より HOTA が 5 ポイント近く高くなり、速度も倍になった。

アブレーションを見ると、手柄の大部分は BIoU そのものにあり、一回目の緩衝比率が最も重要だ。カスケードマッチングがはっきり効くのは、カメラが動くサッカーの動画だけだ。その代わり、検出がいったんひどくなると、広げたマッチング空間のせいでトラッカーは偽のボックスとマッチしやすくなる。

論文にコードはついていないが、このアイデアは十分単純なので、自分で実装するのも簡単だ。2025 年のある複数物体追跡のサーベイは、C-BIoU を「関連付けの前にボックスを広げる」やり方の代表に挙げ、のちの Deep-EIoU が固定の二段階の緩衝を、段階的に広げていく多段階へと一般化したと指摘している。

「緩衝」という言葉はうまく選ばれている。運動モデルが言い切れないことには、少し余裕を残しておけばいい。