返回論文筆記資料庫
arXiv 2023ICCV 2023多目標追蹤論文筆記

SportsMOT

全場緊迫盯人

原始論文

SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes

論文作者

Yutao Cui · Chenkai Zeng · Xiaoyu Zhao · Yichun Yang · Gangshan Wu · Limin Wang

發表版本
ICCV 2023會議
arXiv 首次提交
arXiv:2304.05170
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingsportsmot2023,
  title = {{SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes}},
  author = {Yutao Cui and Chenkai Zeng and Xiaoyu Zhao and Yichun Yang and Gangshan Wu and Limin Wang},
  year = {2023},
  eprint = {2304.05170},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2304.05170}
}
本頁內容

一場球賽的轉播畫面,追蹤器要追的不是所有人。觀眾、裁判、場邊的教練都不用管,只要場上的球員。追到之後,才能算每個人跑了多遠、平均速度多快,進一步做戰術分析。

當時的追蹤資料集,大多是為了監視或自駕車而建的:街上的行人、車輛,幾乎畫面裡每個人都要追。DanceTrack 雖然換成了舞台,但舞者之間幾乎無法分辨,和運動場上的情況也不一樣。

南京大學王利民團隊的 Yutao Cui、Chenkai Zeng、Xiaoyu Zhao、Yichun Yang 等人,於是做了一個專門給運動場景的追蹤資料集 SportsMOT,並提出一個在現有追蹤器上加強外觀關聯的框架 MixSort。

定義問題

作者認為,主流追蹤器的三個元件,偵測、運動關聯和外觀關聯,都被 MOT17、MOT20 和 DanceTrack 這幾個資料集的分布帶偏了,搬到運動場上就不太好用。

偵測。 行人資料集要偵測畫面裡幾乎所有的人,運動場上卻只要球員,所以需要專門訓練的偵測器。

運動。 MOT17 和 MOT20 的行人走得慢、走得直,用卡爾曼濾波預測位置、再算 IoU 就很夠用。DanceTrack 的舞者會頻繁改變方向和相對位置,但速度並不快。運動員則是又快又會變速:衝刺、急停、急轉,相鄰兩幀之間的位移很大,而且很難預測。

外觀。 MOT17、MOT20 的行人體型和穿著都不同,很好分辨;DanceTrack 的舞者穿得幾乎一模一樣。運動員介於兩者之間:同一隊的球員穿一樣的球衣,快速移動或鏡頭快速移動時還會模糊;但球衣上有號碼,每個人的姿勢也不太一樣。作者把這叫作「相似但可分辨」。

原論文 Figure 1:四組取樣序列,(a) SportsMOT 的籃球、(b) SportsMOT 的足球、(c) MOT17、(d) DanceTrack,同一個人的框在連續幀之間以半透明色塊連起來。下方兩張折線圖分別是相鄰幀的 IoU 和以卡爾曼濾波預測後的 IoU。MOT17(橘線)兩者都接近 1;DanceTrack(綠線)在 0.6 到 0.9 之間;籃球(青線)起伏較大;足球(洋紅線)最低,相鄰幀 IoU 只有 0.3 到 0.45,卡爾曼 IoU 約 0.5 到 0.65。
原論文 Figure 1(Cui 等人),取自 PDF 第 2 頁,CC BY 4.0。

上半部是四組取樣序列。可以看到足球那一組,同一個球員在連續幾幀之間,框的位置跳得很遠。下面兩張折線圖把這件事量化:足球的相鄰幀 IoU 只有 0.3 到 0.45,用卡爾曼濾波預測後也只有 0.5 到 0.65;MOT17 的行人則幾乎都接近 1。

解決問題

資料怎麼來

作者挑了三種全世界都熟悉的運動:籃球、排球和足球,影片取自另一個運動動作資料集 MultiSports,來源包括 NCAA、英超和奧運的職業比賽。三種運動各有典型的陣型和跑動模式。

篩選時有幾個條件:

  • 只用轉播的俯拍鏡頭,避開一些極端的畫面。
  • 影片都是 720p、每秒 25 幀。
  • 每段影片都人工檢查過,片段內沒有突然的視角切換。

標註規則也針對運動場景訂得很具體:

  • 框住球員的四肢和軀幹,碰到身體的球不算在內。
  • 球員被遮住時,只要還有一部分身體看得見,就要推測出完整的框。
  • 軀幹有一半以上在畫面外,就不標。
  • 每個球員在整段影片裡只能有一個 ID。

標註用的是自製工具。標註員開始標一個新球員時,工具自動給一個新 ID,並用單目標追蹤器 KCF 把框傳到下一幀,標註員再修正。全部標完再審查一輪,修正不合規定的框和 ID;最後刪掉寬或高小於 5 像素的框。

規模

資料集影片幀數總長(秒)框軌跡
MOT171411,235463292,7331,342
MOT20813,4105351,652,0403,456
DanceTrack100105,8555,292—990
SportsMOT240150,3796,0151,629,4903,401

整理自原論文 Table 1。

SportsMOT 的幀數是 MOT17 的 13.4 倍,框的數量和 MOT20 差不多,但分散在 240 段影片裡。訓練、驗證、測試分別是 45、45、150 段,測試集占了大部分。

三種運動的差別也很大:

運動平均幀數平均軌跡數平均軌跡長度平均中斷長度每幀框數
籃球845.410767.968.79.1
排球360.412335.938.211.2
足球673.920.5422.1116.112.8

整理自原論文 Table 2,皆為每段影片的平均;長度單位是幀。

籃球每段影片平均 10 條軌跡,剛好是場上的 10 個球員,而且幾乎從頭到尾都在畫面裡。足球場大,鏡頭只拍得到一部分球員,平均每段有 20.5 條軌跡,中斷的時間也最長,球員常常跑出畫面又回來。

兩個特性,各量一次

作者用三張圖量化前面說的兩個特性。

原論文 Figure 2:相鄰兩幀同一個物體的框的平均 IoU。(a) 三個資料集,SportsMOT 約 0.80,MOT17 約 0.94,DanceTrack 約 0.90;(b) SportsMOT 的三種運動,籃球約 0.86,排球約 0.83,足球約 0.74。
原論文 Figure 2(Cui 等人),取自 PDF 第 4 頁,CC BY 4.0。

第一張量的是速度。同一個人在相鄰兩幀的框重疊得越少,代表移動得越快。SportsMOT 在三個資料集中最低,約 0.80;三種運動裡又以足球最低,約 0.74。

原論文 Figure 3:以卡爾曼濾波預測後的 IoU。(a) 三個資料集,SportsMOT 約 0.78,MOT17 約 0.92,DanceTrack 約 0.80;(b) 三種運動,籃球約 0.81,排球約 0.79,足球約 0.76。
原論文 Figure 3(Cui 等人),取自 PDF 第 4 頁,CC BY 4.0。

第二張量的是運動好不好預測。作者用前幾幀的真值框讓卡爾曼濾波預測下一幀,再和真正的下一幀算 IoU。如果運動是等速的,預測應該很準,IoU 會接近 1。SportsMOT 一樣最低,約 0.78,和 DanceTrack 差不多;MOT17 有 0.92。作者把這歸因於變速:急加速、急停,等速假設跟不上。

原論文 Figure 4:用 t-SNE 把 re-ID 特徵投影到平面,同一個物體同一種顏色。(a) MOT17 的各個物體分成清楚的群;(b) SportsMOT 的群比較鬆散,但大致可分;(c) DanceTrack 的各色點完全混在一起。
原論文 Figure 4(Cui 等人),取自 PDF 第 4 頁,CC BY 4.0。

第三張看外觀。把 re-ID 特徵用 t-SNE 投影到平面,MOT17 的每個人自成一群,DanceTrack 的所有人混在一起,SportsMOT 介於兩者之間。這就是「相似但可分辨」。

評估指標方面,作者建議以 HOTA、AssA、IDF1 為主,不以偏重偵測的 MOTA 排名。

MixSort:把單目標追蹤器拿來比外觀

既然運動員「可分辨」,外觀就應該派得上用場。但一般的 re-ID 特徵,是把每個框各自抽成一個向量再比距離。作者的想法是換用單目標追蹤器的作法,直接拿軌跡的模板,到新的一幀裡找人。

他們用的是同一個團隊先前提出的單目標追蹤器 MixFormer,改成一個外觀關聯模組,可以接在 ByteTrack、OC-SORT 這類先偵測再關聯的追蹤器上,稱為 MixSort。

對每一條軌跡,流程是:

  1. 用卡爾曼濾波預測它在這一幀的位置,以這個位置為中心,裁出一塊 224 × 224 的搜尋區。
  2. 把搜尋區和這條軌跡的模板(96 × 96)一起送進 MixFormer,輸出一張熱圖,表示搜尋區裡每個位置像不像模板的中心。
  3. 中心落在搜尋區裡的偵測框,以熱圖在它中心的值當作外觀相似度;落在搜尋區外的,相似度是 0。

這樣得到一個外觀相似度矩陣 VV,再和 IoU 矩陣加權合併:

M=α⋅IoU+(1−α)⋅VM = \alpha \cdot \text{IoU} + (1 - \alpha) \cdot V

最後用匈牙利演算法配對。

為了配合多目標追蹤,作者做了幾個修改。原本 MixFormer 用角點頭預測目標的左上、右下角,這裡改成熱圖頭,預測目標中心;混合注意力模組從 12 層減到 4 層,加快速度。每條軌跡只留一個模板,配上新偵測時,只有當新偵測沒被其他偵測擋住的面積夠大,才更新模板,避免被遮住的畫面污染模板。

訓練時,把每個球員的軌跡轉成單目標追蹤的資料格式,用高斯分布產生中心熱圖的真值,以 focal loss 訓練。MixFormer 從單目標追蹤資料訓練好的權重開始,在 SportsMOT 上微調 300 個 epoch。偵測器則沿用 ByteTrack 的 YOLOX,先在 CrowdHuman 上訓練,再在 SportsMOT 上訓練。

討論

難在關聯

作者在 SportsMOT 上重新訓練、測試了幾個主流的追蹤器:

方法HOTAAssADetAIDF1
FairMOT49.334.770.253.5
GTR54.545.964.855.8
QDTrack60.447.277.562.3
CenterTrack62.748.082.160.0
TransTrack68.957.582.771.5
ByteTrack64.152.378.571.4
OC-SORT73.761.588.574.0
MixSort-Byte65.754.878.874.1
MixSort-OC74.162.088.574.4

整理自原論文 Table 3,測試集。前五個方法只用訓練集;ByteTrack、OC-SORT 和兩個 MixSort 用訓練集加驗證集。

偵測的 DetA 大多在 77 到 88 之間,關聯的 AssA 卻落在 35 到 62。作者據此認為,SportsMOT 的主要挑戰在關聯,不在偵測。球員在畫面裡清楚、又不擁擠,偵測器只要學會不去框觀眾和裁判,就能做得很好。

MixSort 對兩個基礎追蹤器都有幫助。ByteTrack 加上之後 HOTA 多 1.6、IDF1 多 2.7;OC-SORT 加上之後只多 0.4。各方法之間的 HOTA 從 49 到 74,差距很大,作者認為這代表 SportsMOT 比較能拉開不同演算法。

卡爾曼濾波反而扯後腿

這篇最讓人意外的結果,是 MixSort-Byte 的消融:

IoU卡爾曼預測MixSortHOTAAssAIDF1
✓71.558.171.2
✓64.248.763.9
✓✓64.152.371.4
✓✓73.861.674.4
✓✓✓65.754.874.1

整理自原論文 Table 6,SportsMOT 測試集。沒有卡爾曼預測的列,直接拿軌跡上一次的位置和偵測框算 IoU。

第一列和第三列只差在要不要先用卡爾曼濾波預測位置。不預測、直接拿上一幀的框算 IoU,HOTA 是 71.5;用卡爾曼濾波預測之後,反而掉到 64.1。

假設等速運動的卡爾曼濾波,在運動員身上預測錯得太多,還不如不預測。表上最好的組合,是 IoU 加 MixSort、不用卡爾曼濾波,HOTA 73.8,比作者在主表上報告的 MixSort-Byte(65.7)高了 8 分。

只用 MixSort 的外觀、完全不看位置,HOTA 只有 64.2,ID 切換高達 25,947 次(只用 IoU 是 4,329 次)。外觀可以分辨,但單靠外觀還不夠。

外觀什麼時候有用

作者在 OC-SORT 加 MixSort 上調整融合權重 α\alpha,看三種運動各自的反應。α=1\alpha = 1 是只用運動,α=0\alpha = 0 是只用外觀:

運動只用運動最好的融合只用外觀
籃球65.966.2(α = 0.8)26.9
排球76.076.9(α = 0.5)40.9
足球71.973.2(α = 0.4)65.7

整理自原論文 Table 4,SportsMOT 測試集,HOTA。

三種運動都是融合最好,而且只用運動都比只用外觀好。外觀帶來的提升,足球最多(+1.3)、排球次之(+0.9)、籃球最少(+0.3)。對照前面的圖,足球的相鄰幀 IoU 最低、動作最快。作者的結論是,動作越快的場景,越需要外觀線索;最佳的 α\alpha 也隨之下降,足球只給運動 0.4 的權重。

籃球是三者中最難的。它的最佳 HOTA 只有 66.2,只用外觀時更只有 26.9。作者推測,籃球場小、身體接觸多,遮擋和模糊都比較嚴重。

和 DanceTrack、SoccerNet 比

在 DanceTrack 的驗證集上,MixSort-Byte 的 HOTA 是 46.7,原本的 ByteTrack 是 47.1,加了外觀反而稍微變差。舞者的外觀太難分辨,外觀模組幫不上忙。SportsMOT 的球員外觀相似但分得開,運動和外觀兩種線索都得用上。

另一個運動追蹤資料集 SoccerNet 只拍足球,而且要追場上所有元素,包括球員、守門員、裁判和球。MixSort-Byte 在 SoccerNet 上的 HOTA 是 62.9,DetA 只有 71.5,比 SportsMOT 的 78.8 低,因為要偵測的東西更雜;但 AssA 是 55.5,反而略高於 SportsMOT 的 54.8。作者據此認為,SportsMOT 的關聯更有挑戰。

最後,作者也把 MixSort 和一般的 re-ID 模型比較。在 ByteTrack 上加入 DeepSORT 用的 re-ID 模型、並在 SportsMOT 上微調,HOTA 從 64.1 升到 64.8;換成 MixSort 則到 65.7。外觀線索確實有用,用單目標追蹤器比外觀又更好一些。

結論

SportsMOT 用 240 段職業比賽的轉播影片,提出了一種和行人、舞者都不同的追蹤情境:球員跑得快、會變速,外觀相似但可以分辨。作者用相鄰幀 IoU、卡爾曼預測後的 IoU 和 re-ID 特徵的分布,把這兩個特性量化出來,並說明這裡的困難主要在關聯。

MixSort 證明外觀線索在運動場上確實有用,但這篇論文更值得記住的,是那張消融表。等速假設的卡爾曼濾波在運動員身上不但沒幫忙,還讓 HOTA 掉了 7.4 分。

兩個月後,同樣處理運動場景的 Deep-EIoU 乾脆把卡爾曼濾波整個拿掉,在 SportsMOT 上拿到 77.2 的 HOTA。2025 年的一篇多目標追蹤綜述,也把 SportsMOT 和 MOT17、MOT20、DanceTrack 並列為四個標準資料集。

場上的球員都穿著一樣的球衣,好在背後還有號碼。