返回論文筆記資料庫
arXiv 2023WACV Workshops 2024多目標追蹤論文筆記

Deep-EIoU

再見了,卡爾曼

原始論文

Iterative Scale-Up ExpansionIoU and Deep Features Association for Multi-Object Tracking in Sports

論文作者

Hsiang-Wei Huang · Cheng-Yen Yang · Jiacheng Sun …

查看全部 8 位作者

Hsiang-Wei Huang · Cheng-Yen Yang · Jiacheng Sun · Pyong-Kun Kim · Kwang-Ju Kim · Kyoungoh Lee · Chung-I Huang · Jenq-Neng Hwang

發表版本
WACV Workshops 2024研討會(Workshop)
arXiv 首次提交
arXiv:2306.13074
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingdeepeiou2023,
  title = {{Iterative Scale-Up ExpansionIoU and Deep Features Association for Multi-Object Tracking in Sports}},
  author = {Hsiang-Wei Huang and Cheng-Yen Yang and Jiacheng Sun and Pyong-Kun Kim and Kwang-Ju Kim and Kyoungoh Lee and Chung-I Huang and Jenq-Neng Hwang},
  year = {2023},
  eprint = {2306.13074},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2306.13074}
}
本頁內容

SportsMOT 那篇有一張消融表很讓人在意。同樣是用 IoU 關聯,先用卡爾曼濾波預測位置的版本,HOTA 是 64.1;不預測、直接拿軌跡上一幀的框去比,反而是 71.5。

如果預測只會幫倒忙,那何必預測?

華盛頓大學 Jenq-Neng Hwang 實驗室的 Hsiang-Wei Huang、Cheng-Yen Yang、Jiacheng Sun,和韓國電子通信研究院(ETRI)、臺灣國家高速網路與計算中心的合作者,提出了 Deep-EIoU。它把卡爾曼濾波整個拿掉,改用一個撐得很大的框來找人,再加上外觀特徵分辨是誰。

這個方法在 SportsMOT 上拿到 77.2 的 HOTA,比 SportsMOT 論文裡最好的方法高出 3 分。

定義問題

作者列出運動場景難追的三個原因:

  1. 遮擋嚴重。 比賽的對抗很激烈,球員常常擠成一團、互相擋住,比行人追蹤嚴重得多。
  2. 外觀相似。 同一隊的球員穿一樣顏色的球衣。
  3. 動作無法預測。 籃球的胯下運球、足球的鏟球、排球的扣殺,速度和方向都會在一瞬間改變。

主流的追蹤器,不管是融合外觀和運動的,還是只靠運動的,大多以卡爾曼濾波預測位置。卡爾曼濾波假設線性運動和高斯雜訊,物體的運動一旦不符合,預測就會偏。OC-SORT 試著修補卡爾曼濾波;C-BIoU 用平均位移取代它,再把框撐大來彌補估計誤差。

Deep-EIoU 更進一步,連運動估計都不做了。

解決問題

原論文 Figure 4:Deep-EIoU 的流程。影片的每一幀先經過 YOLOX 偵測,偵測框再送進 ReID 模型抽出外觀特徵。偵測依信心分成高分和低分。高分偵測先擴張框,用 EIoU 和 ReID 關聯,並以 Iterative Scale-Up 逐步加大擴張比例重複關聯;剩下沒配上的偵測,同樣擴張後用 EIoU 和 ReID 再配一次;低分偵測擴張後只用 EIoU 關聯。
原論文 Figure 4(Huang 等人),取自 PDF 第 3 頁,CC BY 4.0。

整體仍是先偵測、再關聯的架構,只用過去和現在的資訊,可以線上執行。每一幀先用 YOLOX 偵測球員,再用 ReID 模型抽出每個框的外觀特徵,接著算出軌跡和偵測之間的成本,交給匈牙利演算法配對。

和一般追蹤器最大的差別,在於軌跡用來比對的那個框。Deep-EIoU 不預測軌跡這一幀會在哪裡,直接拿軌跡最後一次被看到的框,和新的偵測比。

撐得很大的框

位置的部分,用的是擴張 IoU(ExpansionIoU,EIoU)。作者說明這個想法來自 C-BIoU,但他們發現,在運動員身上,框要撐得更大才好。

擴張由比例 EE 控制。一個寬 ww、高 hh 的框,擴張長度是

w⋆=(2E+1) w,h⋆=(2E+1) hw^\star = (2E + 1)\,w, \qquad h^\star = (2E + 1)\,h

這個長度再分成兩半,加到框的兩側:左上角往外移 (w⋆2,h⋆2)\left(\tfrac{w^\star}{2}, \tfrac{h^\star}{2}\right),右下角也一樣。所以擴張後的框,寬和高都是原本的 2E+22E + 2 倍。官方程式的寫法和這個定義一致。

預設的 E=0.7E = 0.7,框的寬高就變成原本的 3.4 倍,面積將近 12 倍。換算成 C-BIoU 的寫法,相當於緩衝比例 1.2;C-BIoU 在 DanceTrack 上最好的緩衝只有 0.3 到 0.4。

我們沿用 C-BIoU 筆記裡的例子比較。一個寬 40、高 100 像素的球員,下一幀往右移了 50 像素,原本的 IoU 是 0:

擴張後的框同一人(50 px)鄰居(70 px)鄰居(100 px)
C-BIoU(b=0.3b = 0.3)64 × 1600.1200
Deep-EIoU(E=0.7E = 0.7)136 × 3400.460.320.15

本文整理的算例,兩個框大小相同、高度對齊。

擴到這麼大,球員就算瞬間移動了一個多身寬,也還找得到。代價也很明顯,左右三個身寬以內的人,全都變成了候選人。這時就得靠外觀把人分開。

外觀和位置怎麼合起來

外觀的成本是軌跡和偵測特徵向量的餘弦距離:

CA=1−a⋅b∥a∥ ∥b∥C_A = 1 - \frac{a \cdot b}{\lVert a \rVert\,\lVert b \rVert}

很多方法會把外觀成本和 IoU 成本加權相加,作者沒有這樣做,而是採用 BoT-SORT 的作法。先調整外觀成本,如果 CA>τAC_A > \tau_A 或 CEIoU>τEIoUC_{EIoU} > \tau_{EIoU},調整後的外觀成本 CA^=1C_{\hat{A}} = 1;否則 CA^=0.5 CAC_{\hat{A}} = 0.5\,C_A。第一階段的成本再取兩者中較小的那個:

Cstage1=min⁡(CA^, CEIoU)C_{\text{stage1}} = \min\left(C_{\hat{A}},\ C_{EIoU}\right)

這裡 τA=0.25\tau_A = 0.25、τEIoU=0.5\tau_{EIoU} = 0.5。

外觀要能派上用場,兩者得長得夠像,位置也要夠近(EIoU 至少 0.5)。只要有一項不滿足,外觀成本就設成 1,等於不參考外觀;兩項都滿足時,外觀成本再打對折。最後在外觀和位置的成本裡取比較小的那個。

所以外觀只能讓本來就靠得近的配對「更確定」,不能把兩個離得遠、只是長得像的人硬湊在一起。這在同隊球員球衣都一樣的情況下特別重要。

先配有把握的

配對沿用 ByteTrack 的分層。信心分數至少 0.6 的高分偵測,通常比較少被遮住,外觀特徵也比較可靠,所以先拿高分偵測和軌跡配對,用的就是上面結合外觀和 EIoU 的成本;信心在 0.1 到 0.6 之間的低分偵測,第二輪只用 EIoU 和剩下的軌跡配;低於 0.1 的直接丟掉。

另外,作者拿掉了一般追蹤器對框的長寬比限制,因為球員可能倒在地上,不像行人大多是站著走路。遺失的軌跡保留 60 幀,比行人追蹤常用的 30 幀長,因為球場上的遮擋更嚴重。

逐步放大,不必調參

C-BIoU 的消融已經顯示,緩衝比例是一個敏感的超參數。作者指出,實際的運動員追蹤系統很難調它:系統要線上即時運作,沒辦法事後反覆實驗;真實場景也拿不到測試資料的真值,根本無從找起。

於是他們不找最佳的 EE,而是在高分偵測的配對階段,讓 EE 從小到大逐步增加,重複配對:

Et=Einitial+λtE_t = E_{\text{initial}} + \lambda t

tt 從 0 開始。第一輪用 EinitialE_{\text{initial}},把重疊最多、最有把握的配對先配好;沒配上的,下一輪用大一點的框再找。預設 Einitial=0.7E_{\text{initial}} = 0.7、步長 λ=0.1\lambda = 0.1,共兩輪,也就是 0.7 和 0.8。

討論

SportsMOT

偵測器是 YOLOX-X,從 COCO 預訓練權重開始,在 SportsMOT 的訓練集和驗證集上微調 80 個 epoch。ReID 模型用 OSNet,從行人重識別資料集 Market-1501 的權重開始,再用 SportsMOT 真值框裁出的 31,279 張球員圖微調。

方法訓練資料HOTAAssADetAIDF1
BoT-SORT訓練集68.755.984.470.0
OC-SORT訓練集71.959.886.472.2
Deep-EIoU訓練集74.163.187.275.0
OC-SORT訓練+驗證73.761.588.574.0
MixSort-OC訓練+驗證74.162.088.574.4
Deep-EIoU訓練+驗證77.267.788.279.8

整理自原論文 Table 2,SportsMOT 測試集。BoT-SORT 以官方程式重跑,其他基準數字取自 SportsMOT 論文。

用同樣的訓練資料比,Deep-EIoU 在兩種設定下都是最好的。訓練加驗證集時,HOTA 比 MixSort-OC 高 3.1 分,關聯的 AssA 高 5.7 分;偵測的 DetA 則差不多,甚至略低。差距幾乎全部來自關聯。

SoccerNet

SoccerNet-Tracking 有 201 段足球影片,每段 30 秒,要追的不只是球員,還有守門員、裁判和球。為了只比追蹤,所有方法都直接使用資料集提供的真值框。

Deep-EIoU 的 HOTA 是 85.4,第二名的 OC-SORT 是 78.1,BoT-SORT 是 77.0,ByteTrack 和 DeepSORT 只有 71.5 和 69.6。

每個零件的貢獻

設定HOTA
基準(只有 EIoU)71.4
+外觀(ReID)75.3
+逐步放大77.2
+線性插值77.2

整理自原論文 Table 4,SportsMOT 測試集。

  1. 外觀貢獻最多,3.9 分。 雖然同隊球員長得很像,外觀仍是重要的線索。這和 SportsMOT 論文「相似但可分辨」的結論一致。
  2. 逐步放大再加 1.9 分。 作者也說明,這一步同時把遺失軌跡的保留時間從 30 幀加長到 60 幀,所以這 1.9 分是兩者合起來的效果。
  3. 線性插值幾乎沒有影響,多不到 0.1 分。

只用 EIoU、沒有外觀的基準是 71.4,和 SportsMOT 論文裡「不用卡爾曼的 IoU」那一列(71.5)很接近。兩篇的偵測器訓練方式不同,只能粗略對照;從這組數字來看,單靠把框撐大,並沒有比不預測的 IoU 好多少;Deep-EIoU 多出來的分數,主要來自外觀和逐步放大。

擴張比例真的不用調嗎

原論文 Figure 5:SportsMOT 測試集上,不同初始擴張比例的 HOTA(藍)和 IDF1(紅)。初始比例從 0.2 到 0.8,HOTA 依序為 76.3、76.5、76.8、76.8、76.8、77.2、76.8;IDF1 依序為 78.3、78.7、79.0、79.0、79.0、79.8、79.1。
原論文 Figure 5(Huang 等人),取自 PDF 第 6 頁,CC BY 4.0。

作者把初始擴張比例從 0.2 改到 0.8,其他設定不變。HOTA 都在 76.3 到 77.2 之間,全部高於先前最好的 74.1。作者據此認為,逐步放大讓這個方法不需要調參。

這張圖也可以換個角度讀。初始比例 0.2 時,兩輪的擴張是 0.2 和 0.3,框的寬高放大到 2.4 到 2.6 倍;調到 0.7,放大到 3.4 到 3.6 倍,HOTA 也只多 0.9 分。在這個範圍內,擴多大其實影響不大。

不過圖上最小的擴張也有 2.4 倍,已經比 C-BIoU 的設定大。作者說「比 C-BIoU 擴得更大明顯更好」,這張圖並沒有直接比較到;真正讓 Deep-EIoU 拉開距離的,從消融表看,還是外觀和逐步放大。

EIoU 也能幫卡爾曼濾波

最後,作者把 EIoU 直接放進兩個以卡爾曼濾波為基礎的追蹤器,預測框和偵測框都先擴張再算 IoU。ByteTrack 的 HOTA 從 62.8 升到 67.5,BoT-SORT 從 68.7 升到 71.3。

所以 EIoU 不只適用於不預測的追蹤器,也可以當作一個隨插即用的小技巧。但即使加了 EIoU,這兩個卡爾曼追蹤器仍然輸給什麼都不預測的 Deep-EIoU。

限制

作者在論文裡列了兩個限制:

  • 沒有離線的軌跡修正。 球員離開畫面再回來,線上追蹤器很難認回來。作者提到可以加上後處理或更強的記憶機制,但這篇沒有做。
  • 速度。 加上偵測器和 ReID 模型,整套流程在一張 RTX 4080 上約每秒 14.6 幀,比只看運動的追蹤器慢;換成更輕量的偵測器和 ReID 模型,可以加快。

結論

Deep-EIoU 在運動場景做了一個大膽的選擇。它不預測球員下一幀會在哪裡,只拿最後一次看到的位置,把框撐到 3.4 倍大去找人,再用外觀把撐大後湧進來的候選人篩掉。外觀只能讓已經夠近的配對更確定,不能把遠處長得像的人拉過來;擴張比例則從小到大試兩輪,省去調參。

消融顯示,三個設計裡貢獻最大的是外觀,其次是逐步放大。只用 EIoU 的基準,和 SportsMOT 論文裡不預測的 IoU 相去不遠。

2025 年的一篇多目標追蹤綜述,把 Deep-EIoU 描述為 C-BIoU 的推廣,從固定兩段擴張變成逐步放大,並在 SportsMOT 的比較表上列為第二,只輸給綜述作者自己的方法。綜述也提醒,Deep-EIoU 只在 SportsMOT 和 SoccerNet 上評測過。

至於論文自己承認的第一個限制,球員出畫面再回來認不得,同一個實驗室在一年多後用 GTA 回答了。