論文ノートライブラリに戻る
arXiv 2023ICCV 2023複数物体追跡論文ノート

SportsMOT

オールコートで密着マーク

原論文

SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes

論文の著者

Yutao Cui · Chenkai Zeng · Xiaoyu Zhao · Yichun Yang · Gangshan Wu · Limin Wang

発表先
ICCV 2023国際会議
arXiv への初回投稿
arXiv:2304.05170
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{multiobjecttrackingsportsmot2023,
  title = {{SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes}},
  author = {Yutao Cui and Chenkai Zeng and Xiaoyu Zhao and Yichun Yang and Gangshan Wu and Limin Wang},
  year = {2023},
  eprint = {2304.05170},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2304.05170}
}
このページの内容

試合の中継映像で、トラッカーが追うべきなのは全員ではない。観客、審判、サイドラインのコーチは放っておいてよく、フィールド上の選手だけを追えばいい。追跡できてはじめて、一人ひとりがどれだけ走ったか、平均速度がどれくらいかを計算でき、さらに戦術の分析に進める。

当時の追跡データセットは、たいてい監視や自動運転のために作られたもので、街の歩行者や車両など、画面に映るほぼ全員を追う必要があった。DanceTrack は舞台に場所を移したが、ダンサー同士はほとんど見分けがつかず、スポーツの現場とはやはり事情が違う。

そこで南京大学の王利民(Limin Wang)のチームの Yutao Cui、Chenkai Zeng、Xiaoyu Zhao、Yichun Yang らは、スポーツの場面に特化した追跡データセット SportsMOT を作り、既存のトラッカーで外観による関連付けを強化する枠組み MixSort を提案した。

問題の定義

著者らの考えでは、主流のトラッカーを構成する三つの要素、すなわち検出、運動による関連付け、外観による関連付けは、どれも MOT17、MOT20、DanceTrack といったデータセットの分布に引きずられていて、スポーツの現場に持ち込むとあまりうまく働かない。

検出。 歩行者のデータセットでは画面のほぼ全員を検出しなければならないが、スポーツの現場では選手だけでいいので、専用に訓練した検出器が必要になる。

運動。 MOT17 と MOT20 の歩行者はゆっくり、まっすぐ歩くので、カルマンフィルタで位置を予測してから IoU を計算すれば十分だ。DanceTrack のダンサーは向きや相対位置を頻繁に変えるが、速さはそれほどでもない。スポーツ選手は速いうえに速度も変わる。ダッシュ、急停止、急な方向転換があり、隣り合う二フレームの間の変位が大きく、しかも予測しにくい。

外観。 MOT17、MOT20 の歩行者は体格も服装もばらばらで、見分けやすい。DanceTrack のダンサーはほとんどまったく同じ服を着ている。スポーツ選手はその中間だ。同じチームの選手は同じユニフォームを着ていて、本人やカメラがすばやく動くとぼやけもする。それでもユニフォームには背番号があり、一人ひとりの姿勢もそれぞれ違う。著者らはこれを「似ているが見分けられる」と呼んでいる。

原論文 Figure 1:四組のサンプル系列。(a) SportsMOT のバスケットボール、(b) SportsMOT のサッカー、(c) MOT17、(d) DanceTrack で、同じ人のボックスが連続するフレームの間で半透明の色の帯でつながれている。下の二つの折れ線グラフは、それぞれ隣り合うフレームの IoU と、カルマンフィルタで予測したあとの IoU。MOT17(オレンジの線)はどちらも 1 に近い。DanceTrack(緑の線)は 0.6 から 0.9 の間。バスケットボール(シアンの線)は起伏が大きい。サッカー(マゼンタの線)が最も低く、隣り合うフレームの IoU は 0.3 から 0.45 しかなく、カルマン IoU は約 0.5 から 0.65。
原論文 Figure 1(Cui ら)、PDF 2 ページより。CC BY 4.0。

上半分は四組のサンプル系列だ。サッカーの組を見ると、同じ選手のボックスの位置が、連続する数フレームの間で大きく飛んでいるのがわかる。下の二つの折れ線グラフはこれを数値にしている。サッカーの隣り合うフレームの IoU は 0.3 から 0.45 しかなく、カルマンフィルタで予測したあとでも 0.5 から 0.65 にとどまる。MOT17 の歩行者はほぼどれも 1 に近い。

問題を解く

データの出どころ

著者らは世界中でおなじみの三つの競技、バスケットボール、バレーボール、サッカーを選び、動画は別のスポーツ動作データセット MultiSports から取った。出どころは NCAA、プレミアリーグ、オリンピックといったプロの試合だ。三つの競技には、それぞれ典型的なフォーメーションと動き方がある。

選ぶ際の条件はいくつかある。

  • 中継の俯瞰ショットだけを使い、極端な画面は避ける。
  • 動画はすべて 720p、毎秒 25 フレーム。
  • どの動画も人手で確認し、クリップの途中で視点が急に切り替わらないようにした。

アノテーションのルールも、スポーツの場面に合わせて具体的に決められている。

  • 選手の手足と胴体を囲み、体に触れているボールは含めない。
  • 選手が遮られていても、体の一部が見えている限り、完全なボックスを推測してつける。
  • 胴体の半分以上が画面の外にあれば、アノテーションしない。
  • 各選手は動画全体を通して ID を一つしか持てない。

アノテーションには自作のツールを使った。アノテーターが新しい選手のアノテーションを始めると、ツールが自動で新しい ID を割り当て、単一物体トラッカー KCF でボックスを次のフレームへ伝え、アノテーターがそれを修正する。すべて終わったらもう一度審査して、ルールに合わないボックスと ID を直す。最後に、幅か高さが 5 ピクセルより小さいボックスを削除する。

規模

データセット動画フレーム数総時間(秒)ボックス軌跡
MOT171411,235463292,7331,342
MOT20813,4105351,652,0403,456
DanceTrack100105,8555,292—990
SportsMOT240150,3796,0151,629,4903,401

原論文 Table 1 をもとに整理。

SportsMOT のフレーム数は MOT17 の 13.4 倍で、ボックスの数は MOT20 とほぼ同じだが、240 本の動画に分散している。訓練、検証、テストはそれぞれ 45、45、150 本で、テストセットが大部分を占める。

三つの競技の違いも大きい。

競技平均フレーム数平均軌跡数平均軌跡長平均中断長ボックス/フレーム
バスケットボール845.410767.968.79.1
バレーボール360.412335.938.211.2
サッカー673.920.5422.1116.112.8

原論文 Table 2 をもとに整理。すべて動画 1 本あたりの平均で、長さの単位はフレーム。

バスケットボールは動画 1 本あたり平均 10 本の軌跡で、ちょうどコート上の 10 人の選手にあたり、しかもほぼ最初から最後まで画面に映っている。サッカーはピッチが広く、カメラには一部の選手しか映らないので、1 本あたり平均 20.5 本の軌跡があり、途切れる時間も最も長い。選手はしょっちゅう画面の外へ走り出ては戻ってくる。

二つの特性を、それぞれ測る

著者らは三つの図で、先に述べた二つの特性を数値にしている。

原論文 Figure 2:隣り合う二フレームにおける、同じ物体のボックスの平均 IoU。(a) 三つのデータセットで、SportsMOT は約 0.80、MOT17 は約 0.94、DanceTrack は約 0.90。(b) SportsMOT の三つの競技で、バスケットボールは約 0.86、バレーボールは約 0.83、サッカーは約 0.74。
原論文 Figure 2(Cui ら)、PDF 4 ページより。CC BY 4.0。

一つ目の図が測っているのは速さだ。同じ人のボックスが隣り合う二フレームで重ならないほど、速く動いているということになる。SportsMOT は三つのデータセットの中で最も低く約 0.80、三つの競技の中ではサッカーが最も低く約 0.74 だ。

原論文 Figure 3:カルマンフィルタで予測したあとの IoU。(a) 三つのデータセットで、SportsMOT は約 0.78、MOT17 は約 0.92、DanceTrack は約 0.80。(b) 三つの競技で、バスケットボールは約 0.81、バレーボールは約 0.79、サッカーは約 0.76。
原論文 Figure 3(Cui ら)、PDF 4 ページより。CC BY 4.0。

二つ目の図が測っているのは、動きが予測しやすいかどうかだ。著者らは前の数フレームの正解ボックスを使ってカルマンフィルタに次のフレームを予測させ、それを実際の次のフレームと比べて IoU を計算する。動きが等速なら予測はかなり正確になり、IoU は 1 に近づくはずだ。SportsMOT はここでも最も低く約 0.78 で、DanceTrack とほぼ同じだ。MOT17 は 0.92 ある。著者らはこれを速度の変化のせいだとしている。急加速や急停止に、等速の仮定がついていけないのだ。

原論文 Figure 4:t-SNE で re-ID 特徴を平面に投影したもの。同じ物体は同じ色。(a) MOT17 では物体ごとにはっきりしたクラスタに分かれる。(b) SportsMOT のクラスタはややまばらだが、おおむね分けられる。(c) DanceTrack では各色の点が完全に混ざり合っている。
原論文 Figure 4(Cui ら)、PDF 4 ページより。CC BY 4.0。

三つ目の図は外観を見ている。re-ID 特徴を t-SNE で平面に投影すると、MOT17 では一人ひとりがそれぞれクラスタを作り、DanceTrack では全員が混ざり合い、SportsMOT はその中間にある。これが「似ているが見分けられる」ということだ。

評価指標については、著者らは HOTA、AssA、IDF1 を中心にし、検出に偏った MOTA で順位をつけないよう勧めている。

MixSort:単一物体トラッカーで外観を比べる

スポーツ選手が「見分けられる」のなら、外観は役に立つはずだ。ただし一般的な re-ID 特徴は、各ボックスからそれぞれベクトルを一つ抽出し、その距離を比べる。著者らの発想は、単一物体トラッカーのやり方に切り替え、軌跡のテンプレートをそのまま持って新しいフレームの中で人を探すことだ。

使ったのは、同じチームが以前に提案した単一物体トラッカー MixFormer だ。これを外観による関連付けのモジュールに作り替え、ByteTrack や OC-SORT のような検出してから関連付ける方式のトラッカーにつなげられるようにして、MixSort と名づけた。

軌跡一本ごとの流れは次のとおりだ。

  1. カルマンフィルタでこのフレームでの位置を予測し、その位置を中心に 224 × 224 の探索領域を切り出す。
  2. 探索領域とこの軌跡のテンプレート(96 × 96)を一緒に MixFormer に入れ、探索領域の各位置がテンプレートの中心らしいかどうかを表すヒートマップを出力する。
  3. 中心が探索領域の中にある検出ボックスは、その中心でのヒートマップの値を外観の類似度とする。探索領域の外にあるものは、類似度を 0 とする。

こうして外観の類似度行列 VV が得られ、これを IoU 行列と重み付きで合わせる。

M=α⋅IoU+(1−α)⋅VM = \alpha \cdot \text{IoU} + (1 - \alpha) \cdot V

最後にハンガリアン法でマッチングする。

複数物体追跡に合わせるため、著者らはいくつか手を加えた。元の MixFormer はコーナーヘッドで対象の左上と右下の角を予測するが、ここではヒートマップヘッドに替えて対象の中心を予測する。混合アテンションモジュールは 12 層から 4 層に減らし、速度を上げた。軌跡一本ごとにテンプレートは一つだけ保持し、新しい検出とマッチしたとき、その検出がほかの検出に遮られていない面積が十分に大きい場合にだけテンプレートを更新する。遮られた画像でテンプレートが汚れるのを防ぐためだ。

訓練では、各選手の軌跡を単一物体追跡のデータ形式に変換し、ガウス分布で中心のヒートマップの正解を作り、focal loss で訓練する。MixFormer は単一物体追跡のデータで訓練済みの重みから始め、SportsMOT で 300 epoch ファインチューニングする。検出器は ByteTrack の YOLOX を引き継ぎ、まず CrowdHuman で訓練してから SportsMOT で訓練する。

議論

難しいのは関連付け

著者らは SportsMOT で、主流のトラッカーをいくつか訓練し直してテストした。

手法HOTAAssADetAIDF1
FairMOT49.334.770.253.5
GTR54.545.964.855.8
QDTrack60.447.277.562.3
CenterTrack62.748.082.160.0
TransTrack68.957.582.771.5
ByteTrack64.152.378.571.4
OC-SORT73.761.588.574.0
MixSort-Byte65.754.878.874.1
MixSort-OC74.162.088.574.4

原論文 Table 3 をもとに整理。テストセット。最初の五つの手法は訓練セットのみ、ByteTrack、OC-SORT と二つの MixSort は訓練セットと検証セットを使用。

検出を測る DetA はおおむね 77 から 88 の間にあるのに、関連付けを測る AssA は 35 から 62 にとどまる。著者らはここから、SportsMOT の主な課題は関連付けにあって、検出にはないと考えた。選手は画面にはっきり映っていて混雑もしていないので、検出器は観客や審判を囲まないことさえ覚えれば、十分うまくやれる。

MixSort は、ベースの二つのトラッカーのどちらにも効く。ByteTrack に加えると HOTA が 1.6、IDF1 が 2.7 上がり、OC-SORT に加えると 0.4 しか上がらない。手法間の HOTA は 49 から 74 まで差が大きく、著者らはこれを、SportsMOT のほうが異なるアルゴリズムの差をつけやすい証拠だと見ている。

カルマンフィルタがかえって足を引っ張る

この論文でいちばん意外な結果は、MixSort-Byte のアブレーションだ。

IoUカルマン予測MixSortHOTAAssAIDF1
✓71.558.171.2
✓64.248.763.9
✓✓64.152.371.4
✓✓73.861.674.4
✓✓✓65.754.874.1

原論文 Table 6 をもとに整理。SportsMOT テストセット。カルマン予測のない行は、軌跡の前回の位置と検出ボックスとでそのまま IoU を計算する。

一行目と三行目の違いは、先にカルマンフィルタで位置を予測するかどうかだけだ。予測せずに前のフレームのボックスでそのまま IoU を計算すると HOTA は 71.5、カルマンフィルタで予測すると、かえって 64.1 に落ちる。

等速運動を仮定するカルマンフィルタは、スポーツ選手に対しては予測を外しすぎて、予測しないほうがましなのだ。表で最も良い組み合わせは、IoU に MixSort を加えてカルマンフィルタを使わないもので、HOTA は 73.8。著者らがメインの表で報告した MixSort-Byte(65.7)より 8 ポイント高い。

MixSort の外観だけを使い、位置をまったく見ないと、HOTA は 64.2 しかなく、ID スイッチは 25,947 回にものぼる(IoU だけなら 4,329 回)。外観で見分けることはできるが、外観だけでは足りない。

外観が効くのはいつか

著者らは OC-SORT に MixSort を加えた構成で融合の重み α\alpha を変え、三つの競技それぞれの反応を見た。α=1\alpha = 1 は運動だけ、α=0\alpha = 0 は外観だけを使う。

競技運動のみ最良の融合外観のみ
バスケットボール65.966.2(α = 0.8)26.9
バレーボール76.076.9(α = 0.5)40.9
サッカー71.973.2(α = 0.4)65.7

原論文 Table 4 をもとに整理。SportsMOT テストセット、HOTA。

三つの競技のどれでも融合が最も良く、運動だけのほうが外観だけよりも良い。外観による向上はサッカーが最も大きく(+1.3)、バレーボールが次で(+0.9)、バスケットボールが最も小さい(+0.3)。先ほどの図と照らし合わせると、サッカーは隣り合うフレームの IoU が最も低く、動きが最も速い。著者らの結論は、動きが速い場面ほど外観の手がかりが必要になる、というものだ。最適な α\alpha もそれにつれて下がり、サッカーでは運動に 0.4 の重みしか与えない。

三つの中で最も難しいのはバスケットボールだ。最良の HOTA でも 66.2 しかなく、外観だけを使うとわずか 26.9 になる。著者らの推測では、バスケットボールはコートが狭く体の接触も多いので、遮蔽もぼやけもひどくなる。

DanceTrack、SoccerNet との比較

DanceTrack の検証セットでは、MixSort-Byte の HOTA は 46.7、元の ByteTrack は 47.1 で、外観を加えるとかえって少し悪くなる。ダンサーの外観は見分けるのが難しすぎて、外観モジュールが役に立たないのだ。SportsMOT の選手は見た目が似ていても見分けがつくので、運動と外観、両方の手がかりを使わなければならない。

もう一つのスポーツ追跡データセット SoccerNet はサッカーだけを撮っていて、しかも選手、ゴールキーパー、審判、ボールを含め、ピッチ上のあらゆる要素を追わなければならない。MixSort-Byte の SoccerNet での HOTA は 62.9 で、DetA は 71.5 しかなく、SportsMOT の 78.8 より低い。検出すべきものがより雑多だからだ。ところが AssA は 55.5 で、SportsMOT の 54.8 よりむしろわずかに高い。著者らはここから、SportsMOT の関連付けのほうが手ごわいと考えている。

最後に、著者らは MixSort を一般的な re-ID モデルとも比べている。ByteTrack に DeepSORT の re-ID モデルを加えて SportsMOT でファインチューニングすると、HOTA は 64.1 から 64.8 に上がる。MixSort に替えると 65.7 になる。外観の手がかりは確かに役に立ち、単一物体トラッカーで外観を比べるとさらに少し良くなる。

結論

SportsMOT は 240 本のプロの試合の中継動画を使って、歩行者ともダンサーとも違う追跡の状況を示した。選手は速く走り、速度も変わり、見た目は似ているが見分けられる。著者らは隣り合うフレームの IoU、カルマン予測後の IoU、re-ID 特徴の分布によってこの二つの特性を数値にし、ここでの難しさが主に関連付けにあることを示した。

MixSort は、スポーツの現場で外観の手がかりが確かに役立つことを示した。とはいえ、この論文でもっと覚えておく価値があるのは、あのアブレーションの表だ。等速を仮定するカルマンフィルタは、スポーツ選手に対して助けにならないどころか、HOTA を 7.4 ポイントも下げてしまった。

二か月後、同じくスポーツの場面を扱った Deep-EIoU は、カルマンフィルタをまるごと外してしまい、SportsMOT で HOTA 77.2 を出した。2025 年のある複数物体追跡のサーベイも、SportsMOT を MOT17、MOT20、DanceTrack と並ぶ四つの標準データセットの一つに挙げている。

フィールドの選手はみんな同じユニフォームを着ているが、幸い背中には番号がある。