返回論文筆記資料庫
arXiv 2022IEEE TMM 2023多目標追蹤論文筆記

StrongSORT

讓 DeepSORT 再次偉大

原始論文

StrongSORT: Make DeepSORT Great Again

論文作者

Yunhao Du · Zhicheng Zhao · Yang Song …

查看全部 7 位作者

Yunhao Du · Zhicheng Zhao · Yang Song · Yanyun Zhao · Fei Su · Tao Gong · Hongying Meng

arXiv 首次提交
arXiv:2202.13514
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingstrongsort2022,
  title = {{StrongSORT: Make DeepSORT Great Again}},
  author = {Yunhao Du and Zhicheng Zhao and Yang Song and Yanyun Zhao and Fei Su and Tao Gong and Hongying Meng},
  year = {2022},
  eprint = {2202.13514},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2202.13514}
}
本頁內容

多目標追蹤的排行榜,越來越難讀了。

每篇論文用的偵測器不一樣,有的用 Faster R-CNN,有的用 CenterNet,有的用 YOLOX;re-ID 模型也各不相同;額外的訓練資料多寡不一;推論時還各自加了不同的小技巧。一個方法比另一個方法高兩分,很難說清楚是關聯演算法比較好,還是偵測器比較強,還是哪個技巧多加了一點。

北京郵電大學的 Yunhao Du 等人決定回頭看看老朋友 DeepSORT。

這個 2017 年的追蹤器簡單、容易擴充,在工程上用得很廣,但在排行榜上早就被甩在後面。作者認為,它落後的原因在於零件太舊,跟追蹤的框架無關。那就把零件一個一個換新,看看它能跑多快。

論文標題叫「Make DeepSORT Great Again」。

論文看多了就會發現,這年頭大家都很忙著讓東西再次偉大。RepVGG 要讓 VGG 再次偉大,隔年馬上有人要讓 RepVGG「更」偉大;GCN、FCN、編碼器-解碼器、LoRA,連 Sigmoid 配 MSE 都排著隊,等著再偉大一次。好好一句競選口號,被研究圈拿來用到都快發霉了。(各位作者,這個梗真的可以讓它退休了。)

好在這次輪到的 DeepSORT,後面是真的拿出了成績。

定義問題

作者想解決兩件事。

第一件是公平比較。他們要提供一個強而公平的基準,用目前好的偵測器和 re-ID 模型,加上一組整理過的推論技巧。新方法拿來和這個基準比,才知道自己的貢獻在哪裡。作者也特別說明,這一部分不主張任何演算法上的新意,貢獻在於把 DeepSORT 拆清楚、裝上新零件。

第二件是多目標追蹤裡兩種固有的「遺失」:

  • 遺失的關聯(missing association): 同一個物體被切成好幾段短軌跡。線上追蹤器缺乏全域資訊,特別容易發生。
  • 遺失的偵測(missing detection): 物體被當成背景,也就是漏檢,通常來自遮擋或解析度太低。

既有的解法各有代價。要把短軌跡接成長軌跡,常見作法是離線的全域連結模型,但它們大多依賴外觀特徵,運算量很大。要補上漏檢,常用線性插值,但線性插值完全不考慮運動資訊。

解決問題

先把 DeepSORT 拆開

原論文 Fig. 2:上半是 DeepSORT 的框架:外觀分支是一個簡單的 CNN 加特徵庫,輸出成本;運動分支是卡爾曼濾波,輸出門檻;兩者交給匹配級聯。在 MOT17 驗證集上(使用 YOLOX 偵測)IDF1 77.3、MOTA 76.7、HOTA 66.3。下半是 StrongSORT:外觀分支換成 BoT 加 ResNeSt50 和 EMA 更新,運動分支是 ECC 加 NSA 卡爾曼濾波,運動資訊同時進入成本與門檻,最後用一般的匹配。IDF1 82.3(+5.0)、MOTA 77.1(+0.4)、HOTA 69.6(+3.3)。
原論文 Fig. 2(Du 等人),取自 PDF 第 4 頁,CC BY 4.0。

作者把 DeepSORT 看成兩個分支。

外觀分支: 一個在 MARS 行人資料集上預訓練的簡單 CNN,替每個偵測框抽特徵。每條軌跡保留最近 100 幀的特徵,組成特徵庫;新偵測和軌跡的外觀距離,取它和特徵庫中最像的那一個之間的餘弦距離。

運動分支: 卡爾曼濾波預測軌跡在這一幀的位置,再用馬氏距離當作門檻,排除不可能的配對。

最後,匹配級聯把配對拆成幾個子問題,讓最近才看過的軌跡先挑。

要公平比較,偵測器得先統一。上圖上半的分數,是作者把 DeepSORT 的偵測器換成和 ByteTrack 相同的 YOLOX-X 之後的結果。偵測一致之後,剩下的差距就都來自追蹤器本身。

一個零件一個零件換

更強的外觀模型(BoT)。 原本的簡單 CNN 換成 BoT,這是 re-ID 領域一個整理了許多訓練技巧的強基準,骨幹用 ResNeSt50,先在 DukeMTMC 上預訓練。

EMA 特徵更新。 DeepSORT 的特徵庫會把偶爾品質很差的偵測特徵也存進去。作者改成用指數移動平均維護每條軌跡的外觀狀態:

eit=α eit−1+(1−α) fite_i^t = \alpha\, e_i^{t-1} + (1 - \alpha)\, f_i^t

fitf_i^t 是這一幀配上的偵測特徵,α=0.9\alpha = 0.9。舊的外觀狀態占九成,新的一幀只占一成,單一幀的雜訊就不容易把外觀帶偏。這樣也不用再對特徵庫裡的 100 個特徵逐一算距離,速度更快。

相機運動補償(ECC)。 MOTChallenge、DanceTrack、KITTI 都有相機移動的影片。作者沿用增強相關係數(ECC)做影像對齊,估計相鄰兩幀間的整體旋轉與平移,先把軌跡的預測位置跟著相機搬過去。這和 Tracktor++ 用的是同一套方法。

NSA 卡爾曼濾波。 一般的卡爾曼濾波把每個偵測框的觀測雜訊都當成一樣。NSA(Noise Scale Adaptive)卡爾曼濾波借自 GIAOTracker,讓觀測雜訊隨偵測分數調整:

R~k=(1−ck) Rk\tilde{R}_k = (1 - c_k)\, R_k

ckc_k 是偵測分數。分數 0.9 的框,觀測雜訊只剩原本的一成,濾波器會更相信它;分數 0.6 的框,雜訊還有四成,濾波器就比較依賴自己的預測。

運動成本。 DeepSORT 實驗時讓成本只有外觀距離,運動只當門檻。StrongSORT 把兩者加權成成本:

C=λAa+(1−λ)Am,λ=0.98C = \lambda A_a + (1 - \lambda) A_m, \quad \lambda = 0.98

這個權重沿用 FairMOT 等方法的設定。

一般匹配。 最後,把匹配級聯拿掉,換回單一的全域線性指派。理由後面看消融時再談。

裝完這些零件的追蹤器就叫 StrongSORT。作者另外提出兩個輕量、與模型無關、也不用外觀特徵的後處理演算法,加上之後稱為 StrongSORT++。這兩個演算法都需要看到整段影片的軌跡,所以 StrongSORT++ 是離線方法。

AFLink(Appearance-Free Link):把斷掉的軌跡接起來。

AFLink 只看兩段短軌跡的時空資訊,判斷它們是不是同一個物體。每段短軌跡取最近 30 幀,每幀三個數:幀號 ff、位置 xx、yy;不足 30 幀的補零。所以一段短軌跡就是一個 30×330 \times 3 的小矩陣。

兩段短軌跡各自進入一個分支,兩個分支的權重不共用:

  1. 時間模組: 四層 Conv-BN-ReLU,卷積核 7×17 \times 1,只沿時間方向卷積,通道數依序是 32、64、128、256。
  2. 融合模組: 一層 1×31 \times 3 的卷積,把幀號、xx、yy 三個維度的資訊融合在一起。

兩個分支的輸出經過池化、壓平後串接,送進兩層全連接的分類器,輸出這兩段軌跡屬於同一個物體的機率。

訓練資料直接從真實軌跡切出來。把標註軌跡切成短軌跡、加上隨機的時空雜訊,正負樣本比例 1:3,用二元交叉熵訓練 20 個 epoch。整個訓練只要十幾秒。

推論時,先排除時間相隔超過 30 幀或空間距離超過 75 像素的軌跡對,再把 AFLink 的分數當成相似度,做一次線性指派;分數要高於 0.95 才接起來。

GSI(Gaussian-Smoothed Interpolation):補洞,也順便抹平抖動。

線性插值在缺口兩端畫一條直線,不管物體實際怎麼移動。GSI 把每條軌跡的框位置看成時間的函數,用高斯過程迴歸擬合:

pt=f(i)(t)+ϵf(i)∼GP(0,k(⋅,⋅))k(x,x′)=exp⁡(−∥x−x′∥22λ2)\begin{aligned} p_t &= f^{(i)}(t) + \epsilon \\ f^{(i)} &\sim \mathcal{GP}\big(0, k(\cdot, \cdot)\big) \\ k(x, x') &= \exp\left(-\frac{\|x - x'\|^2}{2\lambda^2}\right) \end{aligned}

ptp_t 是第 tt 幀框的 (x,y,w,h)(x, y, w, h),ϵ\epsilon 是高斯雜訊。給定要預測的幀,平滑後的位置由高斯過程的後驗平均算出:

P∗=K(F∗,F)(K(F,F)+σ2I)−1PP^* = K(F^*, F)\left(K(F, F) + \sigma^2 I\right)^{-1} P

核函數的寬度 λ\lambda 控制軌跡有多平滑,作者讓它隨軌跡長度 ll 調整:λ=τlog⁡(τ3/l)\lambda = \tau \log(\tau^3 / l),τ=10\tau = 10。插值的最大缺口是 20 幀。

GSI 做的不只是補洞。它重新擬合整條軌跡,原本偵測框逐幀的小抖動也會被抹平。作者把它看成一種偵測雜訊的濾波器:用線性插值的軌跡,速度曲線抖得很厲害,用 GSI 之後就平穩得多,對後續要估計速度的應用有幫助。

討論

偵測器是 YOLOX-X,訓練方式沿用 ByteTrack。推論時 NMS 門檻 0.8、偵測分數門檻 0.6、配對距離門檻 0.45。消融實驗切 MOT17 訓練集每段影片的前後兩半,所有實驗都在一張 V100 上跑。

每個零件值多少

原論文 Table I:MOT17 驗證集上,從 Baseline(換上 YOLOX 的 DeepSORT)逐步加入 BoT、ECC、NSA、EMA、MC、woC 的結果。Baseline 的 IDF1 77.3、MOTA 76.7、HOTA 66.3、FPS 13.8;StrongSORTv1(加 BoT)為 79.5、76.8、67.8、8.3;v2(加 ECC)為 79.7、77.1、67.9、6.3;v3(加 NSA)為 79.7、77.1、68.3、6.2;v4(加 EMA)為 80.1、77.0、68.2、7.4;v5(加運動成本)為 80.9、77.0、68.9、7.4;v6(拿掉級聯)為 82.3、77.1、69.6、7.5。
原論文 Table I(Du 等人),取自 PDF 第 7 頁,CC BY 4.0。

從上往下讀,每一列多加一個零件:

  1. BoT: IDF1 +2.2,HOTA +1.5。更好的外觀特徵,是所有改動中幫助最大的一項,但 FPS 從 13.8 掉到 8.3。
  2. ECC: IDF1 +0.2、MOTA +0.3,FPS 再掉到 6.3。
  3. NSA: HOTA +0.4,MOTA 和 IDF1 不變。改善的是定位準確度,這正好是 HOTA 會算、MOTA 和 IDF1 不太算的部分。
  4. EMA: IDF1 +0.4,FPS 回升到 7.4。
  5. 運動成本: IDF1 +0.8。
  6. 拿掉匹配級聯: IDF1 +1.4,HOTA +0.7。

六步走完,IDF1 從 77.3 到 82.3,HOTA 從 66.3 到 69.6,MOTA 只多了 0.4。這些零件改善的主要是關聯,偵測沒有變。

速度則幾乎掉了一半。

匹配級聯為什麼要拿掉

原論文 Table III:MOT17 驗證集上,DeepSORT 與 StrongSORTv1 到 v5 分別使用匹配級聯(Cascade)與一般匹配(Vanilla)的比較。DeepSORT 換成一般匹配後 IDF1 從 77.3 降到 76.2(−1.1);StrongSORTv1 為 +0.1,v2 為 +0.0,v3 為 +0.2,v4 為 +1.8,v5 為 +1.4。MOTA 的變化都在 ±0.1 以內。
原論文 Table III(Du 等人),取自 PDF 第 8 頁,CC BY 4.0。

這張表在每一個版本上都比較了級聯和一般匹配。

對原版 DeepSORT,級聯是有用的,拿掉之後 IDF1 掉 1.1。但追蹤器越強,級聯的好處越小;到了 v4、v5,拿掉級聯反而讓 IDF1 多了 1.8 和 1.4。

我們在 DeepSORT 那篇看過級聯的動機。馬氏距離會偏袒不確定的軌跡,所以讓最近才看過的軌跡先挑。作者的結論是,這個先驗在弱追蹤器上能減少混淆的配對,但當外觀特徵夠強、成本裡也加了運動資訊之後,追蹤器本來就不容易認錯,這個額外的限制反而綁住了它。

原論文 Table II:把 AFLink 與 GSI 套用到六個追蹤器上,MOT17 驗證集的結果。StrongSORTv1 加兩者後 IDF1 80.4(+0.9)、MOTA 78.2(+1.4)、HOTA 68.9(+1.1);StrongSORTv6 為 83.3(+1.0)、78.7(+1.6)、70.8(+1.2);CenterTrack 只加 AFLink 時 IDF1 從 64.6 升到 68.3,兩者都加為 68.4(+3.8)、66.9(+0.1)、57.6(+2.3);TransTrack 為 69.9(+1.3)、69.6(+1.9)、59.4(+1.3);FairMOT 為 74.2(+1.5)、71.1(+2.0)、59.0(+1.7)。加入兩者後 FPS 下降 0.2 到 1.6。
原論文 Table II(Du 等人),取自 PDF 第 7 頁,CC BY 4.0。

每個追蹤器有三列:原始、加 AFLink、再加 GSI。

AFLink 對越弱的追蹤器幫助越大。CenterTrack 只做相鄰幀的局部配對,被擋住的人一斷就是一條新軌跡,加上 AFLink 後 IDF1 多了 3.7;StrongSORTv6 本身斷得少,只多 0.2。

作者的說法是,GSI 則相反,對越強的追蹤器越有用。它同時改善 MOTA 和 HOTA,補上的框減少了漏檢,平滑後的框更貼近真實位置。但如果軌跡本身就有很多錯誤的關聯,GSI 會把錯的軌跡也平滑得很漂亮。

兩者在 MOT17 上的成本分別是每張影像 1.7 毫秒和 7.1 毫秒。

排行榜

MOT17 測試集上,StrongSORT 的 HOTA 63.5、IDF1 78.5、MOTA 78.3,ID 切換 1446。作者用 YOLOX 重現的 DeepSORT 是 61.2、74.5、78.0,重現的 ByteTrack(不含線性插值)是 62.8、77.2、78.9。在同樣的偵測器下,StrongSORT 的關聯比兩者都好,MOTA 則和 ByteTrack 差不多。

加上 AFLink 和 GSI 的 StrongSORT++ 是 64.4、79.5、79.6,HOTA、IDF1、AssA、DetA 都是當時第一,IDF1 和 AssA 都比第二名高出 2.1。

MOT20 上,StrongSORT++ 的 HOTA 62.6、IDF1 77.0,ID 切換只有 770 次;但 MOTA 73.8 低於 ByteTrack 論文報告的 77.8。作者的解釋是,他們沿用 MOT17 的偵測分數門檻,在擁擠的 MOT20 中漏掉了很多人:StrongSORT++ 的 FN 是 117,920,ByteTrack 只有 87,594。這正好是 ByteTrack 那篇論文想解決的問題。

DanceTrack 上,StrongSORT++ 的 HOTA 55.6,略高於 OC-SORT 的 55.1。有意思的是,作者在 DanceTrack 上拿掉了 BoT 和 EMA 這兩個和外觀有關的改進。舞者穿得都差不多,外觀特徵幫不上忙。

作者承認的限制

第一,速度慢。DeepSORT 式的框架需要額外的 re-ID 模型,StrongSORT 在 MOT17 上只有 7.5 FPS,MOT20 只有 1.5 FPS。第二,偵測門檻太高,在 MOT17、MOT20 上的 MOTA 偏低。第三,AFLink 只能把斷掉的軌跡接起來,無法把混在一起的軌跡拆開。

後來

StrongSORT 確實成了常見的比較基準,Deep OC-SORT 等後續方法都把它放進比較表。同年稍晚的 BoT-SORT 也走了類似的路,在 ByteTrack 上加入相機運動補償和 re-ID 融合;BoxMOT 這類開源追蹤套件,也把 StrongSORT 收進了可替換的追蹤器清單。

結論

沒有新的追蹤框架,只有一個個換新的零件。StrongSORT 把 DeepSORT 的偵測器、外觀模型、特徵更新、卡爾曼濾波、成本和匹配都換過一輪,證明 2017 年的框架在 2022 年仍然能排上前段。真正的新東西是 AFLink 和 GSI,兩個不用外觀、幾毫秒就能跑完、可以接到任何追蹤器後面的後處理。

它把一個「強追蹤器」拆成了一步一步的增量。換 re-ID 模型值 2.2 分 IDF1,拿掉匹配級聯值 1.4 分,整套換完,速度從 13.8 FPS 掉到 7.5 FPS。挑技巧的時候,這份價目表很好用。

四個月後,BoT-SORT 把類似的相機補償和 re-ID 裝到 ByteTrack 上,在 MOT17 上又往前推了一點。