GTA: Global Tracklet Association for Multi-Object Tracking in Sports
- 發表版本
- ACCV Workshops 2024研討會(Workshop)
- arXiv 首次提交
- arXiv:2411.08216
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multiobjecttrackinggta2024,
title = {{GTA: Global Tracklet Association for Multi-Object Tracking in Sports}},
author = {Jiacheng Sun and Hsiang-Wei Huang and Cheng-Yen Yang and Zhongyu Jiang and Jenq-Neng Hwang},
year = {2024},
eprint = {2411.08216},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2411.08216}
}
Deep-EIoU 的論文最後坦白了一個限制。它沒有離線的軌跡修正,球員離開畫面一段時間再回來,就認不出來了。
一年多後,同一個實驗室的 Jiacheng Sun、Hsiang-Wei Huang、Cheng-Yen Yang、Zhongyu Jiang 和 Jenq-Neng Hwang 補上了這一塊。這裡的 GTA 是 Global Tracklet Association 的縮寫,和那款遊戲無關。它也不是一個新的追蹤器,而是一個後處理工具,等線上追蹤器跑完整段影片,再回頭把軌跡拆開、接起來。
它可以接在任何追蹤器後面。作者試了 SORT、ByteTrack 和 Deep-EIoU,三者的成績都提升了。
定義問題
作者把運動員追蹤最常見的錯誤分成兩種。
一條軌跡,好幾個人
第一種是混入錯誤(mix-up)。球員動作不規則、又常常互相遮擋,線上追蹤器在某一刻把框配錯了人,之後就順著錯下去,一條軌跡裡混進了好幾個球員。

這張圖是一個真實的例子。同一個 ID 底下,先是穿黃色 12 號的球員,接著換成另一個穿黃色球衣的人,最後跑到穿深色 24 號的對手身上。把這條軌跡每個框的外觀特徵畫出來,可以看到它們自然分成了三群。
一個人,好幾條軌跡
第二種是斷裂錯誤(cut-off)。行人追蹤資料集裡的人,走出畫面通常就不回來了;球員卻常常跑出鏡頭、過一陣子又回來。線上追蹤器給他一個新 ID,同一個人就被切成好幾段。

這個球員在第 48 幀離開,到第 581 幀才回來,中間隔了 500 多幀,以每秒 25 幀計算超過 20 秒。把遺失軌跡的保留時間加長,可以處理短暫的離開,但這麼長的空白,線上追蹤器很難等得到。
處理斷裂錯誤,過去已經有不少「全域連結」的方法:TransLink 用網路學習判斷兩段軌跡是否屬於同一人;StrongSORT 的 AFLink 只看時間和位置;也有方法用特徵分群、運動特徵或移動方向來連。GTA 則以每個框的外觀特徵為單位,一次處理兩種錯誤:先拆、再接。
解決問題
開始之前,先用一個在 SportsMOT 上訓練的 OSNet ReID 模型,替線上追蹤結果裡的每一個框抽出外觀特徵。
拆分器:一條軌跡裡有幾個人?
拆分器處理混入錯誤。對每一條軌跡,把它所有框的特徵拿出來,用 DBSCAN 分群。
DBSCAN 是一種以密度為基礎的分群演算法:在某個點的半徑 以內,如果有足夠多的鄰居,這一區就形成一群;落在稀疏地帶、湊不成一群的點,標成離群點。這裡的距離用的是特徵的餘弦距離。
作者對它做了兩個修改:
- 離群點也要有歸屬。 原本的 DBSCAN 會把離群點丟掉,但這裡每一個框都是真實的偵測結果,不能丟。所以分群結束後,把每個離群點歸到最近的那一群。
- 群數有上限。 如果分出來的群超過 個,就不斷合併最接近的兩群,直到剩下 群,避免一條軌跡被拆得太碎。
三個超參數中,形成一群的最少樣本數 ,鄰居半徑 ,最多群數 。分出幾群,這條軌跡就拆成幾段,每段給一個新的 ID。官方程式預設只拆長度至少 100 幀的軌跡,太短的軌跡特徵不夠多,直接保留。
連接器:哪些軌跡是同一個人?
拆完之後,連接器處理斷裂錯誤,把屬於同一人的軌跡接起來。

第一步,算距離。 對任兩條軌跡 、,先看它們出現的幀 、。如果有重疊(),兩條軌跡在同一幀同時出現,就不可能是同一個人,距離直接設成最大值 1。
沒有重疊的話,距離是兩條軌跡所有框兩兩之間餘弦距離的平均。記兩個特徵的餘弦距離為
則
是軌跡 的長度, 是它在第 幀的特徵。一條軌跡有 300 個框、另一條有 200 個框,就要算 6 萬組距離再平均。
第二步,加上空間限制。 作者假設鏡頭位置固定,球員的活動範圍被場地邊界限制,不會從場地一邊離開、又從另一邊進來。所以前一段軌跡的離開位置,和下一段軌跡的進入位置,不能差太遠:
是整段影片裡所有框中心的最大水平、垂直跨度, 介於 0 和 1 之間。兩段軌跡的離開點和進入點,水平或垂直距離只要有一項超過門檻,距離就設成 1。
第三步,階層式合併。 每次挑出距離最小的一對軌跡,只要它的距離小於門檻 ,就合併成一條,再重新計算這條新軌跡和其他軌跡的距離。官方程式在合併前才檢查空間限制,不符合的那一對就不再考慮。重複這個過程,直到沒有任何一對的距離小於 。
討論
偵測不變,關聯變好
SportsMOT 上,偵測沿用 Deep-EIoU 的 YOLOX;SoccerNet 則用 2023 年版本的測試集,直接使用真值框。
| 追蹤器 | HOTA | AssA | IDF1 | DetA | ID 切換 |
|---|---|---|---|---|---|
| SORT | 56.3 | 42.7 | 58.8 | 74.3 | 5,180 |
| +GTA | 66.5 | 59.6 | 77.4 | 74.3 | 3,547 |
| ByteTrack | 63.5 | 51.8 | 70.8 | 77.8 | 3,147 |
| +GTA | 69.7 | 62.6 | 83.2 | 77.7 | 2,107 |
| Deep-EIoU | 77.2 | 67.6 | 79.8 | 88.2 | 2,909 |
| +GTA | 81.0 | 74.5 | 86.5 | 88.2 | 2,737 |
整理自原論文 Table 1,SportsMOT 測試集。
- DetA 幾乎沒變。 GTA 不新增也不刪除任何框,只改框的 ID,所以偵測的分數不動,提升全部來自關聯。
- 越弱的追蹤器,提升越多。 SORT 的 HOTA 多了 10.2 分,ByteTrack 多 6.2 分,Deep-EIoU 多 3.8 分。加了 GTA 的 SORT(66.5),已經超過沒加的 ByteTrack(63.5)。
- IDF1 的提升特別大。 SORT 多了 18.6 分,ByteTrack 12.4 分,Deep-EIoU 6.7 分。IDF1 在整段影片上配對身分,把斷掉的軌跡接回來,正好是它最在意的事。
- Deep-EIoU 加上 GTA 達到 81.0 的 HOTA,是作者報告時 SportsMOT 上的最佳成績。
SoccerNet 上的趨勢相同:SORT、ByteTrack、Deep-EIoU 的 HOTA 分別多了 6.8、4.7、3.7 分,Deep-EIoU 從 79.4 升到 83.1。
這裡的 79.4,和 Deep-EIoU 論文自己報告的 85.4 不一樣,因為 GTA 用的是 2023 年版本的 SoccerNet 測試集,Deep-EIoU 論文用的是 2022 年的版本。兩篇論文的 SoccerNet 數字不能直接比。
拆和接,哪個重要
| 追蹤器 | 原本 | 只接 | 拆+接 |
|---|---|---|---|
| SORT | 56.3 | 65.4 | 66.5 |
| ByteTrack | 63.5 | 69.5 | 69.7 |
| Deep-EIoU | 77.2 | 80.5 | 81.0 |
整理自原論文 Table 3,SportsMOT 測試集,HOTA。
大部分的提升來自連接器。以 Deep-EIoU 為例,總共的 3.8 分裡,連接器貢獻了 3.3 分,拆分器再加 0.5 分。換句話說,在運動場景裡,斷裂錯誤遠比混入錯誤常見,或者至少更容易被修正。
拆分器的作用也不是可有可無。在 SoccerNet 上,ByteTrack 只用連接器時 IDF1 是 78.2,加上拆分器後升到 82.7。先把混在一起的軌跡拆乾淨,連接器才不會把錯的人一起接過去。
沒有寫出來的代價
GTA 是離線方法,需要整段影片的追蹤結果才能開始,所以適合賽後分析,不適合即時轉播。論文也沒有報告運算時間;從距離的定義來看,每一對軌跡都要算所有框之間的距離,影片越長、軌跡越多,計算量增加得越快。這一點要自己評估。
另外,整個方法的效果取決於 ReID 特徵的品質。這篇用的 OSNet 是在 SportsMOT 上訓練的,換到其他運動或其他轉播風格,可能需要重新訓練。
結論
GTA 把運動員追蹤的錯誤分成兩種,一條軌跡混了好幾個人,或是一個人被切成好幾條軌跡。它用 DBSCAN 把前者拆開,用外觀距離加上時間、空間限制把後者接回來。不改任何框,只改 ID,就讓三個不同的追蹤器在 SportsMOT 和 SoccerNet 上都穩定提升,其中又以連接器的貢獻最大。
這個組合後來也被別人拿去用了。2026 年初,另一個團隊以 Deep-EIoU 做線上關聯、GTA 做軌跡層級的修正,在用固定魚眼鏡頭拍攝的 SoccerTrack Challenge 2025 拿下第一名。
線上追蹤器在比賽當下只能盡力追;等比賽結束,再回頭把軌跡拆開、重新接好,也是一種解法。