Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification
- 發表版本
- ICIP 2023會議
- arXiv 首次提交
- arXiv:2302.11813
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multiobjecttrackingdeepocsort2023,
title = {{Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification}},
author = {Gerard Maggiolino and Adnan Ahmad and Jinkun Cao and Kris Kitani},
year = {2023},
eprint = {2302.11813},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2302.11813}
}
2022 年前後,靠運動關聯的追蹤器又紅了起來。
偵測器越來越強,ByteTrack 只用卡爾曼濾波和 IoU,就在 MOT17 上打敗了一堆學外觀特徵的方法。OC-SORT 修正了卡爾曼濾波在遮擋後誤差累積的問題,在 DanceTrack 這種外觀難以區分、動作又很複雜的場景,也比各種 re-ID 方法好。
但外觀線索並不是沒用,只是不好用。BoT-SORT、StrongSORT 也把外觀加回來了,作法卻都很簡單。軌跡的外觀特徵用固定權重的指數移動平均更新,外觀距離再用固定權重和運動成本相加。
卡內基美隆大學的 Gerard Maggiolino、Adnan Ahmad,與 OC-SORT 的作者 Jinkun Cao、Kris Kitani,想把外觀加進 OC-SORT,讓外觀特徵在不可靠的時候少用、可靠的時候多用。
因為是在 OC-SORT 上加深度外觀特徵,就叫 Deep OC-SORT。作者特別說明,這不是照著 DeepSORT 對 SORT 做的那套再做一次。
定義問題
從框裡抽出來的外觀特徵,就算 re-ID 模型很強,還是有很多雜訊:人被擋住一半、動作太快造成模糊、旁邊剛好有人穿得很像。
以往的作法有兩個地方是寫死的:
- 更新權重固定。 指數移動平均的權重 是常數,不管這一幀的偵測品質如何,新特徵都以同樣的比例混進軌跡的外觀模型。一個被擋住一半的框,照樣會污染軌跡的外觀。
- 融合權重固定。 外觀成本以固定比例加到運動成本上。一個偵測和某條軌跡長得特別像、和其他軌跡都不像,跟一個偵測和好幾條軌跡都差不多像,兩者的外觀成本分量是一樣的。
作者要讓這兩個權重都能隨情況調整。另外,OC-SORT 非常依賴偵測的位置,鏡頭一動,位置就跟著亂,所以再加上相機運動補償。
解決問題

Deep OC-SORT 沿用 OC-SORT 的整個流程,包括以觀測為中心的動量(OCM)、以觀測為中心的找回(OCR)和線上平滑(OOS),以及最後的匈牙利演算法。新增三個模組:相機運動補償(CMC)、動態外觀(DA)、適應性加權(AW)。
相機運動補償
相機運動補償用 OpenCV 的 VidStab 模組估計相鄰兩幀之間的相似變換,先抽特徵點、算光流,再用 RANSAC 求出一個縮放旋轉矩陣 和平移 。
BoT-SORT 也做了相機運動補償,但只修正卡爾曼濾波的狀態。OC-SORT 還有好幾個地方直接用到過去的觀測框,這些也都得一起修正:
- OOS: 物體重新出現時,OC-SORT 會從最後一次觀測線性內插出一條虛擬軌跡,重新更新卡爾曼濾波。最後一次觀測的框中心,先經過 修正,再開始內插。
- OCM: OC-SORT 用最近 個框算出運動方向。這些框的左上、右下角點,每一幀都經過 修正。
- OCR: 用最後一次看到的框找回丟失的軌跡,這個框的位置也每一幀修正。
卡爾曼濾波的狀態是 ,中心位置、面積、長寬比,以及前三者的速度。修正方式是
只修正中心位置和中心速度,以及它們的共變異數。理論上也可以把變換的縮放套到面積、把旋轉近似成長寬比的變化,但旋轉後的外接框不是線性關係,要有物體的遮罩才算得準。作者發現 OCM 和 OCR 對這種近似還算耐受,卡爾曼濾波就敏感得多,所以只修正中心。修正在卡爾曼濾波的預測步之前做。
動態外觀
一般的指數移動平均是
是這一幀配上的偵測的外觀特徵。作者把固定的 換成隨偵測信心變動的 :
是偵測信心, 是過濾雜訊偵測用的信心門檻,。
想法很直接,偵測信心低,通常代表物體被擋住或影像模糊,這時抽出來的外觀特徵也不可信。
- 當 ,剛好在門檻上,,新特徵完全被忽略。
- 當 ,,新特徵以最大比例加入。
- 中間的信心值,線性內插。
本來就是追蹤器的參數, 就是原本固定的 。動態外觀沒有引入新的超參數,計算量也幾乎為零。
適應性加權
外觀成本矩陣 大小是 , 條軌跡、 個偵測,每格是軌跡和偵測的餘弦相似度。一般的作法是和 IoU 矩陣以固定權重 相加:。
作者的觀察是,外觀匹配可不可信,要看它有沒有「鑑別力」。一個真正的外觀匹配,最高分和第二高分之間會有明顯的差距。如果一條軌跡和好幾個偵測都差不多像,外觀就不該有太大的發言權。
對第 條軌跡,鑑別力定義為這一列最高分 減第二高分 ,並設一個上限 :
對第 個偵測,用同樣的方式計算那一行的 。兩者平均,就是這一格的額外權重:
最後的成本矩陣是
作者刻意只看前兩名,而不是用 KL 散度之類的分布指標。排在後面的那些低分彼此差多少,和這一次匹配可不可信無關。
實作
偵測器沿用 ByteTrack 等方法的 YOLOX,re-ID 模型是 fast-reid 裡的 SBS50。
MOT17 和 MOT20 上,、。DanceTrack 上則是 、,作者的說明是,在那裡外觀比 IoU 更有幫助。
討論
每個模組的貢獻
| 設定 | MOT17 HOTA | MOT17 IDF1 | MOT20 HOTA | DanceTrack HOTA | DanceTrack AssA |
|---|---|---|---|---|---|
| OC-SORT | 68.13 | 79.52 | 58.35 | 53.07 | 35.93 |
| +CMC | 69.66 | 82.44 | 58.33 | 53.57 | 36.68 |
| +外觀 | 68.59 | 80.18 | 59.10 | 58.03 | 42.37 |
| +外觀+DA | 68.65 | 80.45 | 59.16 | 58.36 | 43.00 |
| +外觀+DA+CMC | 69.80 | 82.56 | 59.35 | 58.46 | 43.33 |
| 全部(再+AW) | 70.20 | 82.78 | 59.45 | 58.53 | 43.41 |
整理自原論文 Table 3,三個資料集的驗證集;「外觀」指以固定權重 EMA 更新的外觀特徵。MOT20 的 IDF1 依序為 74.77、74.63、75.71、75.87、76.11、76.30。
相機運動補償 單獨加上去,MOT17 的 IDF1 多了將近 3 分,DanceTrack 也有小幅提升;MOT20 則沒有提升,因為 MOT20 的影片都是固定鏡頭。
外觀特徵 是 DanceTrack 上最大的一步。光是加上固定 EMA 的外觀,HOTA 就從 53.07 跳到 58.03,AssA 多了 6 分多。
動態外觀 和 適應性加權 的提升都不大,但在三個資料集、所有指標上都是正的。
外觀在 DanceTrack 上到底有沒有用
這個結果和 DanceTrack 論文的發現很不一樣。DanceTrack 的作者在固定 YOLOX 偵測、只比較關聯方法時,DeepSORT 比 SORT 差,加上外觀反而變糟;用真實框做的 oracle 實驗也一樣,加了外觀,所有指標都下降。
Jinkun Cao 是兩篇論文共同的作者。在 OC-SORT 的基礎上,外觀反而成了 DanceTrack 上提升最多的元件。
兩篇的設定差很多,re-ID 模型不同,運動模型也不同。DanceTrack 論文裡的 DeepSORT,是在 SORT 那套容易在遮擋後失準的運動模型上,用外觀當作主要配對依據;Deep OC-SORT 則是把外觀當作 IoU 之外的輔助成本,加在一個本來就很穩的運動追蹤器上。舞者長得很像,但並不是完全一樣,只要用的方式對,外觀還是有資訊可以榨。
測試集
| 資料集 | 方法 | HOTA | MOTA | IDF1 | ID 切換 | AssA |
|---|---|---|---|---|---|---|
| MOT17 | OC-SORT | 63.2 | 78.0 | 77.5 | 1,950 | 63.2 |
| MOT17 | StrongSORT++(離線) | 64.4 | 79.6 | 79.5 | 1,194 | 64.4 |
| MOT17 | Deep OC-SORT | 64.9 | 79.4 | 80.6 | 1,023 | 65.9 |
| MOT20 | OC-SORT | 62.1 | 75.5 | 75.9 | 913 | 62.0 |
| MOT20 | StrongSORT++(離線) | 62.6 | 73.8 | 77.0 | 770 | 64.0 |
| MOT20 | Deep OC-SORT | 63.9 | 75.6 | 79.2 | 779 | 65.7 |
整理自原論文 Table 1,MOT17 與 MOT20 測試集。
MOT17 上,Deep OC-SORT 的 HOTA 64.9,在當時的排行榜上第二;MOT20 上 63.9,排第一。和 OC-SORT 比,ID 切換在 MOT17 上幾乎少了一半。
StrongSORT++ 用了離線的後處理(AFLink、GSI),Deep OC-SORT 是純線上的方法,關聯準確度 AssA 仍然比它高。

DanceTrack 上,使用同樣 YOLOX 偵測的方法裡,Deep OC-SORT 的 HOTA 61.3,比 OC-SORT 高 6.2 分,AssA 從 38.3 升到 45.8。DeepSORT 比 SORT 差、Deep OC-SORT 比 OC-SORT 好,這兩組對照放在同一張表上,正好說明了外觀加法的差別。
作者宣稱這是已發表方法中的最佳結果。不過三個月前上傳 arXiv 的 MOTRv2,已經在 DanceTrack 上報告了高得多的成績,只是當時還沒正式發表,也不在這張表裡。
限制
這是一篇 4 頁的會議短文,分析的深度有限。
三個新模組都是手工設計的規則,外觀權重 和上限 在不同資料集要分開調,DanceTrack 的設定和 MOT17 差很多。論文也沒有報告速度。多了一個 re-ID 模型,每個偵測都要抽一次特徵,比純運動的 OC-SORT 慢是一定的。
結論
Deep OC-SORT 在 OC-SORT 上加回了外觀,但加得很節制。偵測信心低的時候不更新外觀,外觀沒有鑑別力的時候不放大外觀的權重,鏡頭動了就把所有用到的舊框一起修正。
每個模組都很小,加起來卻在三個資料集上都有穩定的提升。
DanceTrack 的論文告訴大家,舞者撞衫,外觀沒用。一年多後,同一位作者在 DanceTrack 上把外觀權重調得比 MOT17 還高。