返回論文筆記資料庫
arXiv 2023ICIP 2023多目標追蹤論文筆記

Deep OC-SORT

把外觀請回來

原始論文

Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification

論文作者

Gerard Maggiolino · Adnan Ahmad · Jinkun Cao · Kris Kitani

發表版本
ICIP 2023會議
arXiv 首次提交
arXiv:2302.11813
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingdeepocsort2023,
  title = {{Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification}},
  author = {Gerard Maggiolino and Adnan Ahmad and Jinkun Cao and Kris Kitani},
  year = {2023},
  eprint = {2302.11813},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2302.11813}
}
本頁內容

2022 年前後,靠運動關聯的追蹤器又紅了起來。

偵測器越來越強,ByteTrack 只用卡爾曼濾波和 IoU,就在 MOT17 上打敗了一堆學外觀特徵的方法。OC-SORT 修正了卡爾曼濾波在遮擋後誤差累積的問題,在 DanceTrack 這種外觀難以區分、動作又很複雜的場景,也比各種 re-ID 方法好。

但外觀線索並不是沒用,只是不好用。BoT-SORT、StrongSORT 也把外觀加回來了,作法卻都很簡單。軌跡的外觀特徵用固定權重的指數移動平均更新,外觀距離再用固定權重和運動成本相加。

卡內基美隆大學的 Gerard Maggiolino、Adnan Ahmad,與 OC-SORT 的作者 Jinkun Cao、Kris Kitani,想把外觀加進 OC-SORT,讓外觀特徵在不可靠的時候少用、可靠的時候多用。

因為是在 OC-SORT 上加深度外觀特徵,就叫 Deep OC-SORT。作者特別說明,這不是照著 DeepSORT 對 SORT 做的那套再做一次。

定義問題

從框裡抽出來的外觀特徵,就算 re-ID 模型很強,還是有很多雜訊:人被擋住一半、動作太快造成模糊、旁邊剛好有人穿得很像。

以往的作法有兩個地方是寫死的:

  • 更新權重固定。 指數移動平均的權重 α\alpha 是常數,不管這一幀的偵測品質如何,新特徵都以同樣的比例混進軌跡的外觀模型。一個被擋住一半的框,照樣會污染軌跡的外觀。
  • 融合權重固定。 外觀成本以固定比例加到運動成本上。一個偵測和某條軌跡長得特別像、和其他軌跡都不像,跟一個偵測和好幾條軌跡都差不多像,兩者的外觀成本分量是一樣的。

作者要讓這兩個權重都能隨情況調整。另外,OC-SORT 非常依賴偵測的位置,鏡頭一動,位置就跟著亂,所以再加上相機運動補償。

解決問題

原論文 Fig. 1:Deep OC-SORT 流程。影像一路送進 ReID 模型抽外觀特徵,外觀特徵的更新由動態外觀(DA)模組控制;另一路經過相機運動補償(CMC)後,送進 OC-SORT 的卡爾曼濾波。兩路的結果由適應性加權(AW)模組合併成成本矩陣,再交給線性指派求解。
原論文 Fig. 1(Maggiolino 等人),取自 PDF 第 2 頁,arXiv 授權,學術引用。

Deep OC-SORT 沿用 OC-SORT 的整個流程,包括以觀測為中心的動量(OCM)、以觀測為中心的找回(OCR)和線上平滑(OOS),以及最後的匈牙利演算法。新增三個模組:相機運動補償(CMC)、動態外觀(DA)、適應性加權(AW)。

相機運動補償

相機運動補償用 OpenCV 的 VidStab 模組估計相鄰兩幀之間的相似變換,先抽特徵點、算光流,再用 RANSAC 求出一個縮放旋轉矩陣 Mt=stRtM_t = s_t R_t 和平移 TtT_t。

BoT-SORT 也做了相機運動補償,但只修正卡爾曼濾波的狀態。OC-SORT 還有好幾個地方直接用到過去的觀測框,這些也都得一起修正:

  1. OOS: 物體重新出現時,OC-SORT 會從最後一次觀測線性內插出一條虛擬軌跡,重新更新卡爾曼濾波。最後一次觀測的框中心,先經過 c←Mtc+Ttc \leftarrow M_t c + T_t 修正,再開始內插。
  2. OCM: OC-SORT 用最近 Δt=3\Delta t = 3 個框算出運動方向。這些框的左上、右下角點,每一幀都經過 p←Mtp+Ttp \leftarrow M_t p + T_t 修正。
  3. OCR: 用最後一次看到的框找回丟失的軌跡,這個框的位置也每一幀修正。

卡爾曼濾波的狀態是 x=[xc,yc,a,s,x˙c,y˙c,a˙]\mathbf{x} = [x_c, y_c, a, s, \dot{x}_c, \dot{y}_c, \dot{a}],中心位置、面積、長寬比,以及前三者的速度。修正方式是

x[0:2]←Mt x[0:2]+Ttx[4:6]←Mt x[4:6]P[0:2,0:2]←Mt P[0:2,0:2] Mt⊤P[4:6,4:6]←Mt P[4:6,4:6] Mt⊤\begin{aligned} \mathbf{x}[0{:}2] &\leftarrow M_t\,\mathbf{x}[0{:}2] + T_t \\ \mathbf{x}[4{:}6] &\leftarrow M_t\,\mathbf{x}[4{:}6] \\ P[0{:}2,0{:}2] &\leftarrow M_t\,P[0{:}2,0{:}2]\,M_t^\top \\ P[4{:}6,4{:}6] &\leftarrow M_t\,P[4{:}6,4{:}6]\,M_t^\top \end{aligned}

只修正中心位置和中心速度,以及它們的共變異數。理論上也可以把變換的縮放套到面積、把旋轉近似成長寬比的變化,但旋轉後的外接框不是線性關係,要有物體的遮罩才算得準。作者發現 OCM 和 OCR 對這種近似還算耐受,卡爾曼濾波就敏感得多,所以只修正中心。修正在卡爾曼濾波的預測步之前做。

動態外觀

一般的指數移動平均是

et=α et−1+(1−α) enewe_t = \alpha\, e_{t-1} + (1 - \alpha)\, e^{new}

enewe^{new} 是這一幀配上的偵測的外觀特徵。作者把固定的 α\alpha 換成隨偵測信心變動的 αt\alpha_t:

αt=αf+(1−αf)(1−sdet−σ1−σ)\alpha_t = \alpha_f + (1 - \alpha_f)\left(1 - \frac{s_{det} - \sigma}{1 - \sigma}\right)

sdets_{det} 是偵測信心,σ\sigma 是過濾雜訊偵測用的信心門檻,αf=0.95\alpha_f = 0.95。

想法很直接,偵測信心低,通常代表物體被擋住或影像模糊,這時抽出來的外觀特徵也不可信。

  • 當 sdet=σs_{det} = \sigma,剛好在門檻上,αt=1\alpha_t = 1,新特徵完全被忽略。
  • 當 sdet=1s_{det} = 1,αt=αf\alpha_t = \alpha_f,新特徵以最大比例加入。
  • 中間的信心值,線性內插。

σ\sigma 本來就是追蹤器的參數,αf\alpha_f 就是原本固定的 α\alpha。動態外觀沒有引入新的超參數,計算量也幾乎為零。

適應性加權

外觀成本矩陣 AcA_c 大小是 M×NM \times N,MM 條軌跡、NN 個偵測,每格是軌跡和偵測的餘弦相似度。一般的作法是和 IoU 矩陣以固定權重 awa_w 相加:C=IoU+awAcC = \text{IoU} + a_w A_c。

作者的觀察是,外觀匹配可不可信,要看它有沒有「鑑別力」。一個真正的外觀匹配,最高分和第二高分之間會有明顯的差距。如果一條軌跡和好幾個偵測都差不多像,外觀就不該有太大的發言權。

對第 mm 條軌跡,鑑別力定義為這一列最高分 am(1)a^{(1)}_m 減第二高分 am(2)a^{(2)}_m,並設一個上限 ϵ\epsilon:

zmtrack=min⁡(am(1)−am(2), ϵ)z^{track}_{m} = \min\big(a^{(1)}_m - a^{(2)}_m,\ \epsilon\big)

對第 nn 個偵測,用同樣的方式計算那一行的 zndetz^{det}_{n}。兩者平均,就是這一格的額外權重:

wb(m,n)=zmtrack+zndet2w_b(m, n) = \frac{z^{track}_{m} + z^{det}_{n}}{2}

最後的成本矩陣是

C[m,n]=IoU[m,n]+[aw+wb(m,n)] Ac[m,n]\begin{aligned} C[m, n] = {} & \text{IoU}[m, n] \\ & + \big[a_w + w_b(m, n)\big]\, A_c[m, n] \end{aligned}

作者刻意只看前兩名,而不是用 KL 散度之類的分布指標。排在後面的那些低分彼此差多少,和這一次匹配可不可信無關。

實作

偵測器沿用 ByteTrack 等方法的 YOLOX,re-ID 模型是 fast-reid 裡的 SBS50。

MOT17 和 MOT20 上,aw=0.75a_w = 0.75、ϵ=0.5\epsilon = 0.5。DanceTrack 上則是 aw=1.25a_w = 1.25、ϵ=1.0\epsilon = 1.0,作者的說明是,在那裡外觀比 IoU 更有幫助。

討論

每個模組的貢獻

設定MOT17 HOTAMOT17 IDF1MOT20 HOTADanceTrack HOTADanceTrack AssA
OC-SORT68.1379.5258.3553.0735.93
+CMC69.6682.4458.3353.5736.68
+外觀68.5980.1859.1058.0342.37
+外觀+DA68.6580.4559.1658.3643.00
+外觀+DA+CMC69.8082.5659.3558.4643.33
全部(再+AW)70.2082.7859.4558.5343.41

整理自原論文 Table 3,三個資料集的驗證集;「外觀」指以固定權重 EMA 更新的外觀特徵。MOT20 的 IDF1 依序為 74.77、74.63、75.71、75.87、76.11、76.30。

相機運動補償 單獨加上去,MOT17 的 IDF1 多了將近 3 分,DanceTrack 也有小幅提升;MOT20 則沒有提升,因為 MOT20 的影片都是固定鏡頭。

外觀特徵 是 DanceTrack 上最大的一步。光是加上固定 EMA 的外觀,HOTA 就從 53.07 跳到 58.03,AssA 多了 6 分多。

動態外觀 和 適應性加權 的提升都不大,但在三個資料集、所有指標上都是正的。

外觀在 DanceTrack 上到底有沒有用

這個結果和 DanceTrack 論文的發現很不一樣。DanceTrack 的作者在固定 YOLOX 偵測、只比較關聯方法時,DeepSORT 比 SORT 差,加上外觀反而變糟;用真實框做的 oracle 實驗也一樣,加了外觀,所有指標都下降。

Jinkun Cao 是兩篇論文共同的作者。在 OC-SORT 的基礎上,外觀反而成了 DanceTrack 上提升最多的元件。

兩篇的設定差很多,re-ID 模型不同,運動模型也不同。DanceTrack 論文裡的 DeepSORT,是在 SORT 那套容易在遮擋後失準的運動模型上,用外觀當作主要配對依據;Deep OC-SORT 則是把外觀當作 IoU 之外的輔助成本,加在一個本來就很穩的運動追蹤器上。舞者長得很像,但並不是完全一樣,只要用的方式對,外觀還是有資訊可以榨。

測試集

資料集方法HOTAMOTAIDF1ID 切換AssA
MOT17OC-SORT63.278.077.51,95063.2
MOT17StrongSORT++(離線)64.479.679.51,19464.4
MOT17Deep OC-SORT64.979.480.61,02365.9
MOT20OC-SORT62.175.575.991362.0
MOT20StrongSORT++(離線)62.673.877.077064.0
MOT20Deep OC-SORT63.975.679.277965.7

整理自原論文 Table 1,MOT17 與 MOT20 測試集。

MOT17 上,Deep OC-SORT 的 HOTA 64.9,在當時的排行榜上第二;MOT20 上 63.9,排第一。和 OC-SORT 比,ID 切換在 MOT17 上幾乎少了一半。

StrongSORT++ 用了離線的後處理(AFLink、GSI),Deep OC-SORT 是純線上的方法,關聯準確度 AssA 仍然比它高。

原論文 Table 2:DanceTrack 測試集的比較,欄位為 HOTA、DetA、AssA、MOTA、IDF1。上半部是各自使用不同偵測的方法,MOTR 的 HOTA 54.2 最高;下半部使用相同的 YOLOX 偵測:SORT 47.9、DeepSORT 45.6、ByteTrack 47.3、OC-SORT 55.1、StrongSORT++ 55.6,Deep OC-SORT 為 HOTA 61.3、DetA 82.2、AssA 45.8、MOTA 92.3、IDF1 61.5。
原論文 Table 2(Maggiolino 等人),取自 PDF 第 3 頁,arXiv 授權,學術引用。

DanceTrack 上,使用同樣 YOLOX 偵測的方法裡,Deep OC-SORT 的 HOTA 61.3,比 OC-SORT 高 6.2 分,AssA 從 38.3 升到 45.8。DeepSORT 比 SORT 差、Deep OC-SORT 比 OC-SORT 好,這兩組對照放在同一張表上,正好說明了外觀加法的差別。

作者宣稱這是已發表方法中的最佳結果。不過三個月前上傳 arXiv 的 MOTRv2,已經在 DanceTrack 上報告了高得多的成績,只是當時還沒正式發表,也不在這張表裡。

限制

這是一篇 4 頁的會議短文,分析的深度有限。

三個新模組都是手工設計的規則,外觀權重 awa_w 和上限 ϵ\epsilon 在不同資料集要分開調,DanceTrack 的設定和 MOT17 差很多。論文也沒有報告速度。多了一個 re-ID 模型,每個偵測都要抽一次特徵,比純運動的 OC-SORT 慢是一定的。

結論

Deep OC-SORT 在 OC-SORT 上加回了外觀,但加得很節制。偵測信心低的時候不更新外觀,外觀沒有鑑別力的時候不放大外觀的權重,鏡頭動了就把所有用到的舊框一起修正。

每個模組都很小,加起來卻在三個資料集上都有穩定的提升。

DanceTrack 的論文告訴大家,舞者撞衫,外觀沒用。一年多後,同一位作者在 DanceTrack 上把外觀權重調得比 MOT17 還高。