Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking
- 發表版本
- CVPR 2023會議
- arXiv 首次提交
- arXiv:2203.14360
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multiobjecttrackingocsort2022,
title = {{Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking}},
author = {Jinkun Cao and Jiangmiao Pang and Xinshuo Weng and Rawal Khirodkar and Kris Kitani},
year = {2022},
eprint = {2203.14360},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2203.14360}
}
ByteTrack 證明了,只要偵測器夠強,卡爾曼濾波加 IoU 配對就能在 MOT17 上拿第一。
可是一換到 DanceTrack,情況就不一樣了。這個資料集拍的是群舞,舞者穿著幾乎一樣的衣服,轉圈、交錯、跳躍、互換位置。偵測一點都不難,難在每個人的動作都不是直線。ByteTrack 在這裡的 HOTA 不到 48,輸給端到端的 MOTR 一大截。
這樣看起來,靠運動模型的追蹤器好像走到頭了?
卡內基美隆大學的 Jinkun Cao、Kris Kitani 等人不這麼認為。他們認為,卡爾曼濾波本身沒有錯,錯在 SORT 使用它的方式。只要處理好「看不見目標的那幾幀」累積的誤差,最基本的卡爾曼濾波一樣能做到當時最好的成績。
這篇論文把 SORT 從頭拆開檢查,最後端出的追蹤器,不需要訓練任何網路,給定偵測框之後在一顆 CPU 上每秒能跑 700 多幀。
定義問題
先複習一下 SORT 怎麼用卡爾曼濾波。
每個目標的狀態是 ,分別是框中心、面積、寬高比,以及前三者的速度。每一幀先預測,用等速度模型把狀態往前推:
如果這一幀有偵測框配給它,再用偵測框更新,修正預測。
問題出在沒有偵測框的時候,例如目標被擋住。SORT 的作法是直接把預測當成更新後的結果:
作者把這個步驟叫做「假更新」(dummy update)。它背後的想法是,沒有觀測的時候,就相信自己的估計。軌跡永遠由估計往前延伸,偵測框只是拿來修正估計的輔助資訊。作者把這種設計稱為以估計為中心(estimation-centric)。
重新審視 SORT 的侷限
作者從這個設計出發,指出三個環環相扣的問題。
一、對狀態雜訊太敏感。
假設估計的中心位置帶有標準差 的雜訊,而且每一幀的雜訊互相獨立。速度是兩個位置相減再除以時間間隔:
越小,速度的雜訊越大。
偏偏多目標追蹤的影片幀率都很高。作者統計 MOT17 訓練集,相鄰兩幀之間,目標的平均位移在水平方向只有 1.93 像素,垂直方向只有 0.65 像素。我們算一下。假設位置雜訊只有 1 像素,相鄰兩幀算出來的速度,雜訊標準差就有 像素/幀,和真實的速度差不多大。
這是一個很弔詭的現象。幀率越高,等速度的線性假設越合理;但兩幀之間的位移也越小,小到和雜訊同一個量級,估出來的速度反而越不可靠。
二、誤差隨時間放大。
有偵測框的時候,就算速度估得不準,下一次更新也能把位置拉回來。但目標一被擋住,卡爾曼濾波只能一直用假更新往前推。被擋住 幀之後:
位置誤差的標準差和 成正比。位置雜訊 1 像素、被擋 10 幀,位置的標準差就有 像素。附錄的分析還指出,實際的卡爾曼濾波連速度項也有過程雜訊,累積得比這個簡化版本更快。在擁擠的場景裡,偏移十幾個像素,很可能就已經框到隔壁的人了。
三、以估計為中心。
前兩個問題的根源,是 SORT 把估計放在觀測前面。但偵測器每一幀的雜訊大致是獨立的,不會隨時間累積;現代偵測器又很準,單幀的定位誤差通常比卡爾曼濾波一路推出來的估計還小。
也就是說,偵測器已經明確告訴你「人在這裡」,追蹤器卻還是照著自己的估計,把軌跡延伸到另一個地方。
這簡直是本末倒置。
為什麼重新配上了還會再丟
附錄裡還有一個更細的觀察,解釋了為什麼這三個問題在實務上特別麻煩。
照理說,目標重新出現、配上偵測框之後,卡爾曼濾波的更新應該能把累積的偏差修回來。但實務上,SORT 把速度項的過程雜訊設得非常小(官方程式只有 0.01,面積的速度更只有 0.0001),因為速度估計本來就太敏感,不壓住會亂跳。代價是,濾波器對速度的修正非常保守。
結果,目標被擋住期間,速度的方向早就偏了;重新配上的那一次更新,位置拉回來了,速度方向卻幾乎沒變。下一幀照著錯的方向預測,目標又丟了。
那麼,與其更相信估計,乾脆讓追蹤以觀測為中心,會不會是一個好主意呢?
解決問題

OC-SORT(Observation-Centric SORT)保留了 SORT 的整個骨架,卡爾曼濾波、IoU、匈牙利演算法都還在。它在三個地方改成以觀測為中心。
我們跟著圖上的芭蕾舞者 1 號走一次:
- frame t: 1 號正常被追蹤。配對時,除了 IoU,還加上一項「運動方向是否一致」的成本,這是 OCM。
- frame t+1: 1 號被其他舞者擋住,沒有任何偵測框配給它,軌跡變成暫時遺失(藍框)。
- frame t+2: 1 號重新出現。卡爾曼濾波的預測已經跑偏,和新的偵測框對不上;但 OC-SORT 會再拿 1 號在 frame t 的最後一次觀測,和還沒配上的偵測框試一次,把它找回來,這是 OCR。
- 找回之後: 1 號從遺失狀態恢復,觸發 ORU,把 frame t 到 t+2 這段期間的卡爾曼濾波參數倒回去重算一遍。
Observation-Centric Re-Update (ORU)
ORU 專門處理「重新配上之後又丟掉」的問題。
當一條軌跡在遺失一段時間後重新配上偵測框,ORU 會回頭檢查遺失的這段期間。設最後一次看到的觀測是 ,重新配上的觀測是 。用這兩個真實的觀測當端點,在中間生成一條虛擬軌跡:
其中 。
這就是等速度假設下的線性插值。接著,卡爾曼濾波從 開始,沿著這些虛擬觀測重新跑一次「預測、更新」的迴圈:
用一個數字例子來看它和 SORT 的差別(數字是為了說明而設的)。假設某人在第 10 幀最後一次被看到,中心在 ;被擋了 5 幀,第 16 幀在 重新出現。他在被擋住時加快了腳步,但卡爾曼濾波手上的速度還是原本的每幀 2 像素。
- SORT: 第 11 到 15 幀都是假更新,預測一路推到第 16 幀的 。和 130 配上之後只做一次更新;因為速度項的雜訊設得很小,位置拉回去了,速度還是接近 2。下一幀,它又往錯的地方猜。
- ORU: 用 100 和 130 當端點,生成第 11 到 15 幀的虛擬觀測 105、110、115、120、125。卡爾曼濾波把這段重新走一遍,每一步都看到每幀 5 像素的移動,速度會被一步一步拉向 5。
ORU 不是讓預測變聰明,而是讓濾波器在重新上路之前,先用「看得見的頭尾」把中間補齊,多更新幾次。

這是論文裡的真實例子。舞龍隊員在第二、三個時間點之間被擋住,第三個時間點重新被找到。沒有 ORU 時,估計的中心(白色星號)沿著舊的方向偏出去,到第四個時間點(灰色星號)已經和觀測配不上;ORU 修正後的估計(黃色星號)一直跟在人身上。
Observation-Centric Momentum (OCM)
等速度假設除了「速度不變」,其實還隱含了「方向不變」。一個人往左走,下一幀不太可能突然配到右邊的框。SORT 沒辦法用這個線索,因為它的速度方向是從估計算出來的,雜訊太大。
OCM 改用觀測來算方向,並把方向一致性加進配對的成本矩陣:
是負的 IoU, 是方向差,。 是所有現有軌跡過去的觀測, 是這一幀新的偵測。

圖中,綠色是一條既有軌跡,紅點是這一幀的新偵測。對每一組軌跡和偵測,計算兩個方向:
- (藍線):軌跡上相隔 幀的兩個觀測連成的方向,也就是這條軌跡一直以來往哪走。
- (黃線):軌跡的歷史觀測連到這個新偵測的方向,也就是「如果把這個偵測配給它」,它接下來要往哪走。
方向用 以弧度計算,兩者的差 就是方向成本。方向越一致,成本越低,越容易配上。
這裡有一個取捨。附錄 A 推導了方向雜訊的機率分布,結論是兩個觀測相隔越久,方向估計的雜訊越小,所以 應該大一點;但隔得太久,線性運動的假設就不成立了。實作中,作者取 。
Observation-Centric Recovery (OCR)
最後是一個經驗上的小技巧。正常的關聯結束後,對還沒配上的軌跡,拿它最後一次的觀測,和還沒配上的偵測框再做一次 IoU 配對。
這一步不靠卡爾曼濾波的預測,所以目標停下來、或只被擋住一下下時特別有用。預測已經跑掉了,但人其實還在原地附近。
討論
作者在 MOT17、MOT20、KITTI 和 DanceTrack 上評估,人頭追蹤資料集 CroHD 的結果放在附錄。
為了只比較追蹤演算法,OC-SORT 不訓練自己的偵測器。MOT17、MOT20 和 DanceTrack 直接用 ByteTrack 公開的 YOLOX 權重,KITTI 用 PermaTrack 公開的偵測結果。所有資料集共用一組參數,偵測分數門檻 0.6(MOT20 是 0.4),IoU 門檻 0.3。
主要指標是 HOTA,另外強調衡量關聯的 AssA 和 IDF1。作者特別提醒,MOTA 和偵測品質的關係太密切,只有在大家用同一組偵測時才適合拿來比;這也是為什麼每張表最下面,都把共用偵測的方法另外框成一組。
DanceTrack 結果

DanceTrack 是這篇論文的主場,我們先看它。
淺藍色區塊裡的四個方法用的是同一組偵測。SORT 的 HOTA 是 47.9,ByteTrack 是 47.3,加了外觀特徵的 DeepSORT 還更低,只有 45.6。舞者穿著一樣,外觀幫不上忙。OC-SORT 則是 54.6,AssA 從 31 左右一口氣升到 40.2,IDF1 也是四者最高。
再和表上方的 MOTR 比。MOTR 是端到端的 Transformer 追蹤器,HOTA 54.2、AssA 40.2;OC-SORT 不用訓練任何追蹤網路,HOTA 54.6、AssA 也是 40.2。兩者的偵測器不同,OC-SORT 的 DetA 高出許多,但衡量關聯的 AssA 一模一樣。在最考驗關聯的資料集上,一個純運動模型的追蹤器,追平了端到端的學習方法。
MOT17 結果

MOT17 的行人大多走直線,SORT 的假設在這裡本來就還算合理。和共用偵測的 ByteTrack 相比,OC-SORT 的 HOTA 63.2 對 63.1、IDF1 77.5 對 77.3,幾乎打平;ID 切換從 2196 降到 1950。
但 MOTA 低了 2.3 分(78.0 對 80.3)。原因在 FP 和 FN 兩欄。OC-SORT 的誤報少很多(1.51 萬對 2.55 萬),漏檢卻多很多(10.8 萬對 8.37 萬)。ByteTrack 會把低分框撈回來配對,OC-SORT 則照一般作法丟掉低分框,不另外調整門檻。漏掉的框直接反映在 MOTA 上。
MOT20 結果

MOT20 擠得多,遮擋也多,正是誤差累積最嚴重的場景。這裡 OC-SORT 的優勢就拉開了。HOTA 62.1 對 61.3,AssA 62.0 對 59.6,ID 切換從 1223 降到 913,HOTA 是論文發表時 MOT20 上的最高分。MOTA 同樣因為漏檢較多而低於 ByteTrack。
這兩張表在 MOT17、MOT20 上都沿用了基準方法的線性插值後處理。為了排除偵測器的影響,作者也在附錄報告了使用官方公用偵測的結果,OC-SORT 在這個設定下同樣領先。
KITTI 結果

KITTI 是車載影片,幀率只有 10 FPS,結果一半好、一半壞。
行人的部分,用同一組偵測,OC-SORT 的 HOTA 52.95,比 PermaTrack 的 47.43 高出 5 分多,速度還快 10 倍。表中的 HP 是離線的「頭部補齊」。SORT 系列的軌跡要連續配上幾幀才會開始輸出,這些初期沒輸出的框,等線上追蹤結束後再補寫回去,補完行人 HOTA 是 54.69。
汽車就不行了。OC-SORT 的 HOTA 74.64,加上 HP 也只有 76.54,都低於 PermaTrack 的 77.42。作者的解釋很坦白,車子開得快、幀率又低,相鄰兩幀的框幾乎不重疊,IoU 接近零,而 OC-SORT 預設的關聯靠的正是 IoU。這不是觀測中心設計的問題,所有靠 IoU 關聯的方法都會遇到;加入其他關聯線索或外觀特徵,可以緩解。
模組貢獻分析

三個模組依序加上去:
- ORU 在兩個資料集都有用。 MOT17 驗證集的 HOTA 從 64.9 升到 66.3,DanceTrack 從 47.8 升到 48.5。
- OCM 的效果看場景。 在 DanceTrack 上,OCM 讓 HOTA 從 48.5 跳到 52.1,是三個模組中最大的一步;在 MOT17 上只從 66.3 升到 66.4。行人大多走直線時,方向一致這個線索本來就沒多少資訊量;舞者轉來轉去時,它才派上用場。
- OCR 是收尾。 MOT17 的 HOTA 多 0.1;DanceTrack 的 HOTA 不變,IDF1 從 50.6 升到 51.6。
ORU 的虛擬軌跡生成方式

虛擬軌跡一定要用直線嗎?作者試了等加速度、線性迴歸,以及用 RBF 核的高斯過程迴歸(GPR)。
結果最簡單的等速度在六個數字上都最好,等加速度次之;線性迴歸和 GPR 明顯比較差,GPR 在 MOT17 上甚至掉了 3.4 分 HOTA。作者推測,ORU 是在線上執行的,手上只有有限的歷史觀測,用全域性的擬合方法很難得到可靠的軌跡;只看頭尾兩個點的局部假設反而穩。
附錄另外比較了離線的插值後處理,結論類似。在 MOT17 驗證集上,線性插值讓 HOTA 從 66.5 升到 68.0,GPR 插值卻降到 65.2。有趣的是,同一時期的 StrongSORT,它的 GSI 同樣用高斯過程補洞,卻能帶來進步;兩篇的設定並不相同,GSI 讓核的寬度隨軌跡長度調整。同一個工具,用法不同,結果可以差很多。
OCM 的 Δt 選擇

這張表驗證了前面那個取捨。 從 1 增加到 2、3,兩個資料集的表現都變好,因為方向估計的雜訊變小了。
但再拉長到 6,MOT17 的 HOTA 又從 66.5 掉回 66.0。間隔太長,目標早就不是直線運動。DanceTrack 上, 的 HOTA 略高(52.2), 和 6 都是 52.1,差異很小。作者最後在所有資料集統一使用 。
速度
給定偵測框之後,OC-SORT 在一顆 Intel i9-9980XE CPU 上每秒跑 793 幀。新增的三個模組都只是幾何計算,沒有任何神經網路,幾乎不增加成本。
後來
作者在附錄提到,OC-SORT 是純運動模型,但很容易加入外觀線索。同一個研究室隔年發表的 Deep OC-SORT,就在 OC-SORT 上加入了自適應的 re-ID,在 MOT17、MOT20 和 DanceTrack 上進一步提升。2023 年的 Hybrid-SORT 則沿用 OC-SORT 的觀測中心動量與關聯,再加入框角的方向、偵測信心和高度等弱線索。
同年稍晚的 BoT-SORT 也把 OC-SORT 放進比較表。它選擇在 ByteTrack 上補相機運動補償,處理的是另一種「預測跑偏」,人沒動,鏡頭在動。
結論
OC-SORT 沒有換掉卡爾曼濾波,只改了它在看不見目標時的行為。ORU 在目標回來時,用頭尾兩個真實觀測補齊中間、重新校正速度;OCM 用觀測算出的方向幫忙配對;OCR 用最後一次觀測再找一次。結果在 DanceTrack 上,一個不需要訓練的運動模型追蹤器,追平了端到端的 MOTR。
放到應用上,這篇論文帶來的啟發可以濃縮成一句話。
當偵測器已足夠可靠時,追蹤的核心不在於更複雜的預測模型,而在於如何更有效地運用觀測。
如果你手上的系統已經是 SORT 或 ByteTrack,這三個模組都不用重新訓練任何東西。只是記得,車子一快、幀率一低,IoU 配對還是會先撐不住。
被擋住的那幾幀,與其讓濾波器一路瞎猜,不如等人回來,再倒帶重算一次。