StrongSORT: Make DeepSORT Great Again
- arXiv 首次提交
- arXiv:2202.13514
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multiobjecttrackingstrongsort2022,
title = {{StrongSORT: Make DeepSORT Great Again}},
author = {Yunhao Du and Zhicheng Zhao and Yang Song and Yanyun Zhao and Fei Su and Tao Gong and Hongying Meng},
year = {2022},
eprint = {2202.13514},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2202.13514}
}
多目標追蹤的排行榜,越來越難讀了。
每篇論文用的偵測器不一樣,有的用 Faster R-CNN,有的用 CenterNet,有的用 YOLOX;re-ID 模型也各不相同;額外的訓練資料多寡不一;推論時還各自加了不同的小技巧。一個方法比另一個方法高兩分,很難說清楚是關聯演算法比較好,還是偵測器比較強,還是哪個技巧多加了一點。
北京郵電大學的 Yunhao Du 等人決定回頭看看老朋友 DeepSORT。
這個 2017 年的追蹤器簡單、容易擴充,在工程上用得很廣,但在排行榜上早就被甩在後面。作者認為,它落後的原因在於零件太舊,跟追蹤的框架無關。那就把零件一個一個換新,看看它能跑多快。
論文標題叫「Make DeepSORT Great Again」。
論文看多了就會發現,這年頭大家都很忙著讓東西再次偉大。RepVGG 要讓 VGG 再次偉大,隔年馬上有人要讓 RepVGG「更」偉大;GCN、FCN、編碼器-解碼器、LoRA,連 Sigmoid 配 MSE 都排著隊,等著再偉大一次。好好一句競選口號,被研究圈拿來用到都快發霉了。(各位作者,這個梗真的可以讓它退休了。)
好在這次輪到的 DeepSORT,後面是真的拿出了成績。
定義問題
作者想解決兩件事。
第一件是公平比較。他們要提供一個強而公平的基準,用目前好的偵測器和 re-ID 模型,加上一組整理過的推論技巧。新方法拿來和這個基準比,才知道自己的貢獻在哪裡。作者也特別說明,這一部分不主張任何演算法上的新意,貢獻在於把 DeepSORT 拆清楚、裝上新零件。
第二件是多目標追蹤裡兩種固有的「遺失」:
- 遺失的關聯(missing association): 同一個物體被切成好幾段短軌跡。線上追蹤器缺乏全域資訊,特別容易發生。
- 遺失的偵測(missing detection): 物體被當成背景,也就是漏檢,通常來自遮擋或解析度太低。
既有的解法各有代價。要把短軌跡接成長軌跡,常見作法是離線的全域連結模型,但它們大多依賴外觀特徵,運算量很大。要補上漏檢,常用線性插值,但線性插值完全不考慮運動資訊。
解決問題
先把 DeepSORT 拆開

作者把 DeepSORT 看成兩個分支。
外觀分支: 一個在 MARS 行人資料集上預訓練的簡單 CNN,替每個偵測框抽特徵。每條軌跡保留最近 100 幀的特徵,組成特徵庫;新偵測和軌跡的外觀距離,取它和特徵庫中最像的那一個之間的餘弦距離。
運動分支: 卡爾曼濾波預測軌跡在這一幀的位置,再用馬氏距離當作門檻,排除不可能的配對。
最後,匹配級聯把配對拆成幾個子問題,讓最近才看過的軌跡先挑。
要公平比較,偵測器得先統一。上圖上半的分數,是作者把 DeepSORT 的偵測器換成和 ByteTrack 相同的 YOLOX-X 之後的結果。偵測一致之後,剩下的差距就都來自追蹤器本身。
一個零件一個零件換
更強的外觀模型(BoT)。 原本的簡單 CNN 換成 BoT,這是 re-ID 領域一個整理了許多訓練技巧的強基準,骨幹用 ResNeSt50,先在 DukeMTMC 上預訓練。
EMA 特徵更新。 DeepSORT 的特徵庫會把偶爾品質很差的偵測特徵也存進去。作者改成用指數移動平均維護每條軌跡的外觀狀態:
是這一幀配上的偵測特徵,。舊的外觀狀態占九成,新的一幀只占一成,單一幀的雜訊就不容易把外觀帶偏。這樣也不用再對特徵庫裡的 100 個特徵逐一算距離,速度更快。
相機運動補償(ECC)。 MOTChallenge、DanceTrack、KITTI 都有相機移動的影片。作者沿用增強相關係數(ECC)做影像對齊,估計相鄰兩幀間的整體旋轉與平移,先把軌跡的預測位置跟著相機搬過去。這和 Tracktor++ 用的是同一套方法。
NSA 卡爾曼濾波。 一般的卡爾曼濾波把每個偵測框的觀測雜訊都當成一樣。NSA(Noise Scale Adaptive)卡爾曼濾波借自 GIAOTracker,讓觀測雜訊隨偵測分數調整:
是偵測分數。分數 0.9 的框,觀測雜訊只剩原本的一成,濾波器會更相信它;分數 0.6 的框,雜訊還有四成,濾波器就比較依賴自己的預測。
運動成本。 DeepSORT 實驗時讓成本只有外觀距離,運動只當門檻。StrongSORT 把兩者加權成成本:
這個權重沿用 FairMOT 等方法的設定。
一般匹配。 最後,把匹配級聯拿掉,換回單一的全域線性指派。理由後面看消融時再談。
兩個外掛:AFLink 與 GSI
裝完這些零件的追蹤器就叫 StrongSORT。作者另外提出兩個輕量、與模型無關、也不用外觀特徵的後處理演算法,加上之後稱為 StrongSORT++。這兩個演算法都需要看到整段影片的軌跡,所以 StrongSORT++ 是離線方法。
AFLink(Appearance-Free Link):把斷掉的軌跡接起來。
AFLink 只看兩段短軌跡的時空資訊,判斷它們是不是同一個物體。每段短軌跡取最近 30 幀,每幀三個數:幀號 、位置 、;不足 30 幀的補零。所以一段短軌跡就是一個 的小矩陣。
兩段短軌跡各自進入一個分支,兩個分支的權重不共用:
- 時間模組: 四層 Conv-BN-ReLU,卷積核 ,只沿時間方向卷積,通道數依序是 32、64、128、256。
- 融合模組: 一層 的卷積,把幀號、、 三個維度的資訊融合在一起。
兩個分支的輸出經過池化、壓平後串接,送進兩層全連接的分類器,輸出這兩段軌跡屬於同一個物體的機率。
訓練資料直接從真實軌跡切出來。把標註軌跡切成短軌跡、加上隨機的時空雜訊,正負樣本比例 1:3,用二元交叉熵訓練 20 個 epoch。整個訓練只要十幾秒。
推論時,先排除時間相隔超過 30 幀或空間距離超過 75 像素的軌跡對,再把 AFLink 的分數當成相似度,做一次線性指派;分數要高於 0.95 才接起來。
GSI(Gaussian-Smoothed Interpolation):補洞,也順便抹平抖動。
線性插值在缺口兩端畫一條直線,不管物體實際怎麼移動。GSI 把每條軌跡的框位置看成時間的函數,用高斯過程迴歸擬合:
是第 幀框的 , 是高斯雜訊。給定要預測的幀,平滑後的位置由高斯過程的後驗平均算出:
核函數的寬度 控制軌跡有多平滑,作者讓它隨軌跡長度 調整:,。插值的最大缺口是 20 幀。
GSI 做的不只是補洞。它重新擬合整條軌跡,原本偵測框逐幀的小抖動也會被抹平。作者把它看成一種偵測雜訊的濾波器:用線性插值的軌跡,速度曲線抖得很厲害,用 GSI 之後就平穩得多,對後續要估計速度的應用有幫助。
討論
偵測器是 YOLOX-X,訓練方式沿用 ByteTrack。推論時 NMS 門檻 0.8、偵測分數門檻 0.6、配對距離門檻 0.45。消融實驗切 MOT17 訓練集每段影片的前後兩半,所有實驗都在一張 V100 上跑。
每個零件值多少

從上往下讀,每一列多加一個零件:
- BoT: IDF1 +2.2,HOTA +1.5。更好的外觀特徵,是所有改動中幫助最大的一項,但 FPS 從 13.8 掉到 8.3。
- ECC: IDF1 +0.2、MOTA +0.3,FPS 再掉到 6.3。
- NSA: HOTA +0.4,MOTA 和 IDF1 不變。改善的是定位準確度,這正好是 HOTA 會算、MOTA 和 IDF1 不太算的部分。
- EMA: IDF1 +0.4,FPS 回升到 7.4。
- 運動成本: IDF1 +0.8。
- 拿掉匹配級聯: IDF1 +1.4,HOTA +0.7。
六步走完,IDF1 從 77.3 到 82.3,HOTA 從 66.3 到 69.6,MOTA 只多了 0.4。這些零件改善的主要是關聯,偵測沒有變。
速度則幾乎掉了一半。
匹配級聯為什麼要拿掉

這張表在每一個版本上都比較了級聯和一般匹配。
對原版 DeepSORT,級聯是有用的,拿掉之後 IDF1 掉 1.1。但追蹤器越強,級聯的好處越小;到了 v4、v5,拿掉級聯反而讓 IDF1 多了 1.8 和 1.4。
我們在 DeepSORT 那篇看過級聯的動機。馬氏距離會偏袒不確定的軌跡,所以讓最近才看過的軌跡先挑。作者的結論是,這個先驗在弱追蹤器上能減少混淆的配對,但當外觀特徵夠強、成本裡也加了運動資訊之後,追蹤器本來就不容易認錯,這個額外的限制反而綁住了它。
AFLink 和 GSI 能接到誰身上

每個追蹤器有三列:原始、加 AFLink、再加 GSI。
AFLink 對越弱的追蹤器幫助越大。CenterTrack 只做相鄰幀的局部配對,被擋住的人一斷就是一條新軌跡,加上 AFLink 後 IDF1 多了 3.7;StrongSORTv6 本身斷得少,只多 0.2。
作者的說法是,GSI 則相反,對越強的追蹤器越有用。它同時改善 MOTA 和 HOTA,補上的框減少了漏檢,平滑後的框更貼近真實位置。但如果軌跡本身就有很多錯誤的關聯,GSI 會把錯的軌跡也平滑得很漂亮。
兩者在 MOT17 上的成本分別是每張影像 1.7 毫秒和 7.1 毫秒。
排行榜
MOT17 測試集上,StrongSORT 的 HOTA 63.5、IDF1 78.5、MOTA 78.3,ID 切換 1446。作者用 YOLOX 重現的 DeepSORT 是 61.2、74.5、78.0,重現的 ByteTrack(不含線性插值)是 62.8、77.2、78.9。在同樣的偵測器下,StrongSORT 的關聯比兩者都好,MOTA 則和 ByteTrack 差不多。
加上 AFLink 和 GSI 的 StrongSORT++ 是 64.4、79.5、79.6,HOTA、IDF1、AssA、DetA 都是當時第一,IDF1 和 AssA 都比第二名高出 2.1。
MOT20 上,StrongSORT++ 的 HOTA 62.6、IDF1 77.0,ID 切換只有 770 次;但 MOTA 73.8 低於 ByteTrack 論文報告的 77.8。作者的解釋是,他們沿用 MOT17 的偵測分數門檻,在擁擠的 MOT20 中漏掉了很多人:StrongSORT++ 的 FN 是 117,920,ByteTrack 只有 87,594。這正好是 ByteTrack 那篇論文想解決的問題。
DanceTrack 上,StrongSORT++ 的 HOTA 55.6,略高於 OC-SORT 的 55.1。有意思的是,作者在 DanceTrack 上拿掉了 BoT 和 EMA 這兩個和外觀有關的改進。舞者穿得都差不多,外觀特徵幫不上忙。
作者承認的限制
第一,速度慢。DeepSORT 式的框架需要額外的 re-ID 模型,StrongSORT 在 MOT17 上只有 7.5 FPS,MOT20 只有 1.5 FPS。第二,偵測門檻太高,在 MOT17、MOT20 上的 MOTA 偏低。第三,AFLink 只能把斷掉的軌跡接起來,無法把混在一起的軌跡拆開。
後來
StrongSORT 確實成了常見的比較基準,Deep OC-SORT 等後續方法都把它放進比較表。同年稍晚的 BoT-SORT 也走了類似的路,在 ByteTrack 上加入相機運動補償和 re-ID 融合;BoxMOT 這類開源追蹤套件,也把 StrongSORT 收進了可替換的追蹤器清單。
結論
沒有新的追蹤框架,只有一個個換新的零件。StrongSORT 把 DeepSORT 的偵測器、外觀模型、特徵更新、卡爾曼濾波、成本和匹配都換過一輪,證明 2017 年的框架在 2022 年仍然能排上前段。真正的新東西是 AFLink 和 GSI,兩個不用外觀、幾毫秒就能跑完、可以接到任何追蹤器後面的後處理。
它把一個「強追蹤器」拆成了一步一步的增量。換 re-ID 模型值 2.2 分 IDF1,拿掉匹配級聯值 1.4 分,整套換完,速度從 13.8 FPS 掉到 7.5 FPS。挑技巧的時候,這份價目表很好用。
四個月後,BoT-SORT 把類似的相機補償和 re-ID 裝到 ByteTrack 上,在 MOT17 上又往前推了一點。