返回論文筆記資料庫
arXiv 2024ACCV Workshops 2024多目標追蹤論文筆記

GTA

俠盜獵車手

原始論文

GTA: Global Tracklet Association for Multi-Object Tracking in Sports

論文作者

Jiacheng Sun · Hsiang-Wei Huang · Cheng-Yen Yang · Zhongyu Jiang · Jenq-Neng Hwang

發表版本
ACCV Workshops 2024研討會(Workshop)
arXiv 首次提交
arXiv:2411.08216
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackinggta2024,
  title = {{GTA: Global Tracklet Association for Multi-Object Tracking in Sports}},
  author = {Jiacheng Sun and Hsiang-Wei Huang and Cheng-Yen Yang and Zhongyu Jiang and Jenq-Neng Hwang},
  year = {2024},
  eprint = {2411.08216},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2411.08216}
}
本頁內容

Deep-EIoU 的論文最後坦白了一個限制。它沒有離線的軌跡修正,球員離開畫面一段時間再回來,就認不出來了。

一年多後,同一個實驗室的 Jiacheng Sun、Hsiang-Wei Huang、Cheng-Yen Yang、Zhongyu Jiang 和 Jenq-Neng Hwang 補上了這一塊。這裡的 GTA 是 Global Tracklet Association 的縮寫,和那款遊戲無關。它也不是一個新的追蹤器,而是一個後處理工具,等線上追蹤器跑完整段影片,再回頭把軌跡拆開、接起來。

它可以接在任何追蹤器後面。作者試了 SORT、ByteTrack 和 Deep-EIoU,三者的成績都提升了。

定義問題

作者把運動員追蹤最常見的錯誤分成兩種。

一條軌跡,好幾個人

第一種是混入錯誤(mix-up)。球員動作不規則、又常常互相遮擋,線上追蹤器在某一刻把框配錯了人,之後就順著錯下去,一條軌跡裡混進了好幾個球員。

原論文 Fig. 3:一條線上追蹤器輸出的軌跡,實際上包含三個不同的球員。紫色框是穿黃色 12 號球衣的球員,綠色框是另幾個穿黃色球衣的球員,紅色框是穿深色 24 號球衣的球員。中間的點是這條軌跡每個框的 ReID 特徵,經 DBSCAN 分群後,分成紫、綠、紅三群。
原論文 Fig. 3(Sun 等人),取自 PDF 第 3 頁,arXiv 授權,學術引用。

這張圖是一個真實的例子。同一個 ID 底下,先是穿黃色 12 號的球員,接著換成另一個穿黃色球衣的人,最後跑到穿深色 24 號的對手身上。把這條軌跡每個框的外觀特徵畫出來,可以看到它們自然分成了三群。

一個人,好幾條軌跡

第二種是斷裂錯誤(cut-off)。行人追蹤資料集裡的人,走出畫面通常就不回來了;球員卻常常跑出鏡頭、過一陣子又回來。線上追蹤器給他一個新 ID,同一個人就被切成好幾段。

原論文 Fig. 4:同一個球員的軌跡被切成四段,縱軸是軌跡 ID,橫軸是幀號。四段分別出現在第 1 到 34 幀、第 38 到 48 幀、第 581 到 623 幀、第 636 到 648 幀,每段都被給了不同的 ID。
原論文 Fig. 4(Sun 等人),取自 PDF 第 4 頁,arXiv 授權,學術引用。

這個球員在第 48 幀離開,到第 581 幀才回來,中間隔了 500 多幀,以每秒 25 幀計算超過 20 秒。把遺失軌跡的保留時間加長,可以處理短暫的離開,但這麼長的空白,線上追蹤器很難等得到。

處理斷裂錯誤,過去已經有不少「全域連結」的方法:TransLink 用網路學習判斷兩段軌跡是否屬於同一人;StrongSORT 的 AFLink 只看時間和位置;也有方法用特徵分群、運動特徵或移動方向來連。GTA 則以每個框的外觀特徵為單位,一次處理兩種錯誤:先拆、再接。

解決問題

開始之前,先用一個在 SportsMOT 上訓練的 OSNet ReID 模型,替線上追蹤結果裡的每一個框抽出外觀特徵。

拆分器:一條軌跡裡有幾個人?

拆分器處理混入錯誤。對每一條軌跡,把它所有框的特徵拿出來,用 DBSCAN 分群。

DBSCAN 是一種以密度為基礎的分群演算法:在某個點的半徑 ϵ\epsilon 以內,如果有足夠多的鄰居,這一區就形成一群;落在稀疏地帶、湊不成一群的點,標成離群點。這裡的距離用的是特徵的餘弦距離。

作者對它做了兩個修改:

  1. 離群點也要有歸屬。 原本的 DBSCAN 會把離群點丟掉,但這裡每一個框都是真實的偵測結果,不能丟。所以分群結束後,把每個離群點歸到最近的那一群。
  2. 群數有上限。 如果分出來的群超過 kk 個,就不斷合併最接近的兩群,直到剩下 kk 群,避免一條軌跡被拆得太碎。

三個超參數中,形成一群的最少樣本數 s=5s = 5,鄰居半徑 ϵ=0.6\epsilon = 0.6,最多群數 k=3k = 3。分出幾群,這條軌跡就拆成幾段,每段給一個新的 ID。官方程式預設只拆長度至少 100 幀的軌跡,太短的軌跡特徵不夠多,直接保留。

連接器:哪些軌跡是同一個人?

拆完之後,連接器處理斷裂錯誤,把屬於同一人的軌跡接起來。

原論文 Fig. 6:軌跡連接器的流程。左邊是 N 條軌跡,先經 ReID 模型抽出每條軌跡的特徵,計算 N × N 的距離矩陣,從中找出距離最小的一對,檢查空間限制後合併,更新特徵,軌跡數變成 N − 1,重複這個過程,輸出右邊合併後的軌跡。
原論文 Fig. 6(Sun 等人),取自 PDF 第 6 頁,arXiv 授權,學術引用。

第一步,算距離。 對任兩條軌跡 TiT_i、TjT_j,先看它們出現的幀 Πi\Pi_i、Πj\Pi_j。如果有重疊(Πi∩Πj≠∅\Pi_i \cap \Pi_j \ne \emptyset),兩條軌跡在同一幀同時出現,就不可能是同一個人,距離直接設成最大值 1。

沒有重疊的話,距離是兩條軌跡所有框兩兩之間餘弦距離的平均。記兩個特徵的餘弦距離為

d(a,b)=1−a⋅b∥a∥ ∥b∥d(a, b) = 1 - \frac{a \cdot b}{\lVert a \rVert\,\lVert b \rVert}

則

Di,j=1NiNj∑m∈Πi∑n∈Πjd(Fmi,Fnj)D_{i,j} = \frac{1}{N_i N_j} \sum_{m \in \Pi_i} \sum_{n \in \Pi_j} d\left(F^i_m, F^j_n\right)

NiN_i 是軌跡 TiT_i 的長度,FmiF^i_m 是它在第 mm 幀的特徵。一條軌跡有 300 個框、另一條有 200 個框,就要算 6 萬組距離再平均。

第二步,加上空間限制。 作者假設鏡頭位置固定,球員的活動範圍被場地邊界限制,不會從場地一邊離開、又從另一邊進來。所以前一段軌跡的離開位置,和下一段軌跡的進入位置,不能差太遠:

θhor=β Δmax,hor,θver=β Δmax,ver\theta_{\text{hor}} = \beta\,\Delta_{\text{max,hor}}, \qquad \theta_{\text{ver}} = \beta\,\Delta_{\text{max,ver}}

Δmax\Delta_{\text{max}} 是整段影片裡所有框中心的最大水平、垂直跨度,β\beta 介於 0 和 1 之間。兩段軌跡的離開點和進入點,水平或垂直距離只要有一項超過門檻,距離就設成 1。

第三步,階層式合併。 每次挑出距離最小的一對軌跡,只要它的距離小於門檻 α=0.4\alpha = 0.4,就合併成一條,再重新計算這條新軌跡和其他軌跡的距離。官方程式在合併前才檢查空間限制,不符合的那一對就不再考慮。重複這個過程,直到沒有任何一對的距離小於 α\alpha。

討論

偵測不變,關聯變好

SportsMOT 上,偵測沿用 Deep-EIoU 的 YOLOX;SoccerNet 則用 2023 年版本的測試集,直接使用真值框。

追蹤器HOTAAssAIDF1DetAID 切換
SORT56.342.758.874.35,180
+GTA66.559.677.474.33,547
ByteTrack63.551.870.877.83,147
+GTA69.762.683.277.72,107
Deep-EIoU77.267.679.888.22,909
+GTA81.074.586.588.22,737

整理自原論文 Table 1,SportsMOT 測試集。

  1. DetA 幾乎沒變。 GTA 不新增也不刪除任何框,只改框的 ID,所以偵測的分數不動,提升全部來自關聯。
  2. 越弱的追蹤器,提升越多。 SORT 的 HOTA 多了 10.2 分,ByteTrack 多 6.2 分,Deep-EIoU 多 3.8 分。加了 GTA 的 SORT(66.5),已經超過沒加的 ByteTrack(63.5)。
  3. IDF1 的提升特別大。 SORT 多了 18.6 分,ByteTrack 12.4 分,Deep-EIoU 6.7 分。IDF1 在整段影片上配對身分,把斷掉的軌跡接回來,正好是它最在意的事。
  4. Deep-EIoU 加上 GTA 達到 81.0 的 HOTA,是作者報告時 SportsMOT 上的最佳成績。

SoccerNet 上的趨勢相同:SORT、ByteTrack、Deep-EIoU 的 HOTA 分別多了 6.8、4.7、3.7 分,Deep-EIoU 從 79.4 升到 83.1。

這裡的 79.4,和 Deep-EIoU 論文自己報告的 85.4 不一樣,因為 GTA 用的是 2023 年版本的 SoccerNet 測試集,Deep-EIoU 論文用的是 2022 年的版本。兩篇論文的 SoccerNet 數字不能直接比。

拆和接,哪個重要

追蹤器原本只接拆+接
SORT56.365.466.5
ByteTrack63.569.569.7
Deep-EIoU77.280.581.0

整理自原論文 Table 3,SportsMOT 測試集,HOTA。

大部分的提升來自連接器。以 Deep-EIoU 為例,總共的 3.8 分裡,連接器貢獻了 3.3 分,拆分器再加 0.5 分。換句話說,在運動場景裡,斷裂錯誤遠比混入錯誤常見,或者至少更容易被修正。

拆分器的作用也不是可有可無。在 SoccerNet 上,ByteTrack 只用連接器時 IDF1 是 78.2,加上拆分器後升到 82.7。先把混在一起的軌跡拆乾淨,連接器才不會把錯的人一起接過去。

沒有寫出來的代價

GTA 是離線方法,需要整段影片的追蹤結果才能開始,所以適合賽後分析,不適合即時轉播。論文也沒有報告運算時間;從距離的定義來看,每一對軌跡都要算所有框之間的距離,影片越長、軌跡越多,計算量增加得越快。這一點要自己評估。

另外,整個方法的效果取決於 ReID 特徵的品質。這篇用的 OSNet 是在 SportsMOT 上訓練的,換到其他運動或其他轉播風格,可能需要重新訓練。

結論

GTA 把運動員追蹤的錯誤分成兩種,一條軌跡混了好幾個人,或是一個人被切成好幾條軌跡。它用 DBSCAN 把前者拆開,用外觀距離加上時間、空間限制把後者接回來。不改任何框,只改 ID,就讓三個不同的追蹤器在 SportsMOT 和 SoccerNet 上都穩定提升,其中又以連接器的貢獻最大。

這個組合後來也被別人拿去用了。2026 年初,另一個團隊以 Deep-EIoU 做線上關聯、GTA 做軌跡層級的修正,在用固定魚眼鏡頭拍攝的 SoccerTrack Challenge 2025 拿下第一名。

線上追蹤器在比賽當下只能盡力追;等比賽結束,再回頭把軌跡拆開、重新接好,也是一種解法。