論文ノートライブラリに戻る
arXiv 2024ACCV Workshops 2024複数物体追跡論文ノート

GTA

グランド・セフト・オート

原論文

GTA: Global Tracklet Association for Multi-Object Tracking in Sports

論文の著者

Jiacheng Sun · Hsiang-Wei Huang · Cheng-Yen Yang · Zhongyu Jiang · Jenq-Neng Hwang

発表先
ACCV Workshops 2024ワークショップ
arXiv への初回投稿
arXiv:2411.08216
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{multiobjecttrackinggta2024,
  title = {{GTA: Global Tracklet Association for Multi-Object Tracking in Sports}},
  author = {Jiacheng Sun and Hsiang-Wei Huang and Cheng-Yen Yang and Zhongyu Jiang and Jenq-Neng Hwang},
  year = {2024},
  eprint = {2411.08216},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2411.08216}
}
このページの内容

Deep-EIoU の論文は、最後に一つの限界を正直に打ち明けていた。オフラインでの軌跡の修正がないので、選手がしばらく画面から出て戻ってくると、もう見分けられない。

一年あまりのち、同じ研究室の Jiacheng Sun、Hsiang-Wei Huang、Cheng-Yen Yang、Zhongyu Jiang、Jenq-Neng Hwang がこの穴を埋めた。ここでの GTA は Global Tracklet Association の略で、あのゲームとは関係ない。新しいトラッカーでもなく、後処理のツールだ。オンラインのトラッカーが動画全体を処理し終えるのを待ってから、振り返って軌跡を分け、つなぎ直す。

どんなトラッカーの後ろにもつなげられる。著者らは SORT、ByteTrack、Deep-EIoU で試し、三つとも成績が上がった。

問題の定義

著者らは、スポーツ選手の追跡で最もよくある誤りを二種類に分けた。

一本の軌跡に、何人もいる

一つ目は混入の誤り(mix-up)だ。選手の動きは不規則で、しかも互いによく遮蔽し合うので、オンラインのトラッカーがある瞬間にボックスを別の人にマッチングすると、そのあとも誤ったまま続いてしまい、一本の軌跡に何人もの選手が混ざり込む。

原論文 Fig. 3:オンラインのトラッカーが出力した一本の軌跡に、実際には三人の別々の選手が含まれている。紫のボックスは黄色い 12 番のユニフォームを着た選手、緑のボックスは黄色いユニフォームを着たほかの数人の選手、赤のボックスは濃い色の 24 番のユニフォームを着た選手だ。中央の点はこの軌跡の各ボックスの ReID 特徴で、DBSCAN でクラスタリングすると、紫、緑、赤の三つのクラスタに分かれる。
原論文 Fig. 3(Sun ら)、PDF 3 ページより。arXiv ライセンス、学術引用。

この図は実際の例だ。同じ ID の下で、最初は黄色い 12 番の選手、次に黄色いユニフォームを着た別の人に替わり、最後には濃い色の 24 番の相手選手に移っている。この軌跡の各ボックスの外観特徴を描いてみると、自然に三つのクラスタに分かれているのがわかる。

一人が、何本もの軌跡に

二つ目は切断の誤り(cut-off)だ。歩行者追跡のデータセットの人は、画面から出たらたいてい戻ってこない。ところが選手はしょっちゅうカメラの外へ走り出て、しばらくするとまた戻ってくる。オンラインのトラッカーはその人に新しい ID を与え、同じ人が何本にも切り分けられてしまう。

原論文 Fig. 4:同じ選手の軌跡が四本に切り分けられている。縦軸は軌跡の ID、横軸はフレーム番号。四本はそれぞれ第 1 から 34 フレーム、第 38 から 48 フレーム、第 581 から 623 フレーム、第 636 から 648 フレームに現れ、どれにも別々の ID が与えられている。
原論文 Fig. 4(Sun ら)、PDF 4 ページより。arXiv ライセンス、学術引用。

この選手は第 48 フレームで出ていき、第 581 フレームになってようやく戻ってくる。間は 500 フレーム以上空いていて、毎秒 25 フレームで計算すれば 20 秒を超える。見失った軌跡を保持する時間を延ばせば、短い離脱には対処できるが、これほど長い空白をオンラインのトラッカーが待ち続けるのは難しい。

切断の誤りへの対処としては、これまでにも「グローバルな連結」の手法がいくつもあった。TransLink はネットワークで二本の軌跡が同じ人に属するかを学習して判断する。StrongSORT の AFLink は時間と位置だけを見る。特徴のクラスタリング、運動の特徴、移動方向でつなぐ手法もある。GTA はボックスごとの外観特徴を単位として、二種類の誤りを一度に処理する。まず分け、それからつなぐ。

問題を解く

始める前に、SportsMOT で訓練した OSNet の ReID モデルを使い、オンライン追跡の結果に含まれるすべてのボックスから外観特徴を抽出しておく。

スプリッター:一本の軌跡に何人いるか?

スプリッターは混入の誤りを扱う。各軌跡について、そのすべてのボックスの特徴を取り出し、DBSCAN でクラスタリングする。

DBSCAN は密度に基づくクラスタリングのアルゴリズムだ。ある点から半径 ϵ\epsilon 以内に十分な数の近傍があれば、その領域が一つのクラスタになる。まばらな場所にあってクラスタを作れない点は、外れ値とされる。ここでの距離には、特徴のコサイン距離を使う。

著者らはこれに二つの修正を加えた。

  1. 外れ値にも所属先を与える。 もとの DBSCAN は外れ値を捨ててしまうが、ここではどのボックスも実際の検出結果なので、捨てるわけにはいかない。そこでクラスタリングが終わったら、各外れ値を最も近いクラスタに割り当てる。
  2. クラスタ数に上限を設ける。 分かれたクラスタが kk 個を超えたら、最も近い二つのクラスタを繰り返し併合し、kk 個になるまで続ける。一本の軌跡が細かく分けられすぎるのを防ぐためだ。

三つのハイパーパラメータは、クラスタを作るのに必要な最小サンプル数 s=5s = 5、近傍の半径 ϵ=0.6\epsilon = 0.6、最大クラスタ数 k=3k = 3 だ。クラスタがいくつできたかで、その軌跡を同じ数の区間に分け、それぞれに新しい ID を与える。公式のコードは、デフォルトでは長さが 100 フレーム以上の軌跡だけを分割する。短すぎる軌跡は特徴が足りないので、そのまま残す。

コネクター:どの軌跡が同じ人か?

分割が終わったら、コネクターが切断の誤りを扱い、同じ人に属する軌跡をつなぎ合わせる。

原論文 Fig. 6:軌跡コネクターの流れ。左は N 本の軌跡で、まず ReID モデルで各軌跡の特徴を抽出し、N × N の距離行列を計算する。その中から距離が最小のペアを見つけ、空間の制約を確かめてから併合し、特徴を更新すると、軌跡は N − 1 本になる。この過程を繰り返し、右の併合後の軌跡を出力する。
原論文 Fig. 6(Sun ら)、PDF 6 ページより。arXiv ライセンス、学術引用。

第一に、距離を計算する。 任意の二本の軌跡 TiT_i、TjT_j について、まずそれぞれが現れるフレーム Πi\Pi_i、Πj\Pi_j を見る。重なりがあれば(Πi∩Πj≠∅\Pi_i \cap \Pi_j \ne \emptyset)、二本の軌跡は同じフレームに同時に現れているので、同じ人ではありえない。距離はそのまま最大値の 1 にする。

重なりがなければ、距離は二本の軌跡のすべてのボックスどうしのコサイン距離の平均になる。二つの特徴のコサイン距離を

d(a,b)=1−a⋅b∥a∥ ∥b∥d(a, b) = 1 - \frac{a \cdot b}{\lVert a \rVert\,\lVert b \rVert}

とすると、

Di,j=1NiNj∑m∈Πi∑n∈Πjd(Fmi,Fnj)D_{i,j} = \frac{1}{N_i N_j} \sum_{m \in \Pi_i} \sum_{n \in \Pi_j} d\left(F^i_m, F^j_n\right)

だ。NiN_i は軌跡 TiT_i の長さ、FmiF^i_m は第 mm フレームでのその特徴だ。一本にボックスが 300 個、もう一本に 200 個あれば、6 万組の距離を計算してから平均することになる。

第二に、空間の制約を加える。 著者らはカメラの位置が固定されていると仮定する。選手の動ける範囲はフィールドの境界に縛られていて、フィールドの片側から出て反対側から入ってくることはない。だから前の軌跡が出ていった位置と、次の軌跡が入ってきた位置は、あまり離れていてはいけない。

θhor=β Δmax,hor,θver=β Δmax,ver\theta_{\text{hor}} = \beta\,\Delta_{\text{max,hor}}, \qquad \theta_{\text{ver}} = \beta\,\Delta_{\text{max,ver}}

Δmax\Delta_{\text{max}} は動画全体のすべてのボックスの中心の、水平方向と垂直方向の最大の広がりで、β\beta は 0 と 1 の間の値だ。二本の軌跡の退出点と進入点の水平距離か垂直距離のどちらか一つでもしきい値を超えれば、距離は 1 にする。

第三に、階層的に併合する。 毎回、距離が最小の軌跡のペアを選び、その距離がしきい値 α=0.4\alpha = 0.4 より小さければ一本に併合し、この新しい軌跡とほかの軌跡との距離を計算し直す。公式のコードでは、併合の直前になってから空間の制約を確かめ、条件に合わないペアはそれ以上考慮しない。この過程を、距離が α\alpha より小さいペアが一つもなくなるまで繰り返す。

議論

検出はそのままで、関連付けが良くなる

SportsMOT では、検出に Deep-EIoU の YOLOX を流用する。SoccerNet では 2023 年版のテストセットを使い、正解のボックスをそのまま使う。

トラッカーHOTAAssAIDF1DetAID スイッチ
SORT56.342.758.874.35,180
+GTA66.559.677.474.33,547
ByteTrack63.551.870.877.83,147
+GTA69.762.683.277.72,107
Deep-EIoU77.267.679.888.22,909
+GTA81.074.586.588.22,737

原論文 Table 1 をもとに整理。SportsMOT テストセット。

  1. DetA はほとんど変わらない。 GTA はボックスを一つも増やしも減らしもせず、ボックスの ID を変えるだけなので、検出のスコアは動かず、向上はすべて関連付けから来ている。
  2. 弱いトラッカーほど伸びが大きい。 SORT の HOTA は 10.2 ポイント、ByteTrack は 6.2 ポイント、Deep-EIoU は 3.8 ポイント上がった。GTA を加えた SORT(66.5)は、加えていない ByteTrack(63.5)をすでに上回る。
  3. IDF1 の伸びがとくに大きい。 SORT で 18.6 ポイント、ByteTrack で 12.4 ポイント、Deep-EIoU で 6.7 ポイントだ。IDF1 は動画全体で身元を対応付けるので、途切れた軌跡をつなぎ直すことは、まさにこの指標が最も気にすることだ。
  4. Deep-EIoU に GTA を加えると HOTA は 81.0 に達し、著者らの報告時点で SportsMOT の最高成績だった。

SoccerNet でも傾向は同じだ。SORT、ByteTrack、Deep-EIoU の HOTA はそれぞれ 6.8、4.7、3.7 ポイント上がり、Deep-EIoU は 79.4 から 83.1 になった。

ここでの 79.4 は、Deep-EIoU の論文自身が報告した 85.4 とは違う。GTA が使ったのは 2023 年版の SoccerNet テストセットで、Deep-EIoU の論文が使ったのは 2022 年版だからだ。両論文の SoccerNet の数字は直接は比べられない。

分けるのとつなぐのと、どちらが重要か

トラッカー元接続のみ分割+接続
SORT56.365.466.5
ByteTrack63.569.569.7
Deep-EIoU77.280.581.0

原論文 Table 3 をもとに整理。SportsMOT テストセット、HOTA。

向上の大部分はコネクターから来ている。Deep-EIoU を例にとると、全体の 3.8 ポイントのうち、コネクターが 3.3 ポイントを担い、スプリッターがさらに 0.5 ポイントを加えた。言い換えれば、スポーツの場面では切断の誤りのほうが混入の誤りよりずっとよく起きるか、少なくとも修正しやすい。

スプリッターの役割も、あってもなくてもいいものではない。SoccerNet では、ByteTrack でコネクターだけを使ったときの IDF1 は 78.2 で、スプリッターを加えると 82.7 に上がる。混ざり合った軌跡をまずきれいに分けておいて初めて、コネクターが間違った人まで一緒につないでしまわずに済む。

書かれていないコスト

GTA はオフラインの手法で、動画全体の追跡結果がそろわないと始められないので、試合後の分析には向いているが、リアルタイムの中継には向かない。論文は計算時間も報告していない。距離の定義から見ると、軌跡のペアごとにすべてのボックスどうしの距離を計算しなければならず、動画が長く、軌跡が多いほど、計算量は急速に増える。この点は自分で見積もる必要がある。

また、手法全体の効果は ReID 特徴の質に左右される。この論文で使った OSNet は SportsMOT で訓練したもので、ほかの競技やほかの中継のスタイルに移れば、訓練し直す必要があるかもしれない。

結論

GTA は、スポーツ選手の追跡の誤りを、一本の軌跡に何人も混ざるものと、一人が何本もの軌跡に切り分けられるものの二種類に分けた。前者は DBSCAN で分け、後者は外観の距離に時間と空間の制約を加えてつなぎ直す。ボックスは一つも変えず、ID だけを変えて、三つの異なるトラッカーが SportsMOT と SoccerNet のどちらでも安定して伸びた。なかでもコネクターの貢献が最も大きい。

この組み合わせは、のちにほかの人たちにも使われた。2026 年の初め、別のチームが Deep-EIoU でオンラインの関連付けを行い、GTA で軌跡単位の修正を行って、固定の魚眼カメラで撮影された SoccerTrack Challenge 2025 で一位を取った。

オンラインのトラッカーは、試合のその場ではできる限り追うしかない。試合が終わってから振り返り、軌跡を分けてつなぎ直すのも、一つの解き方だ。