返回論文筆記資料庫
arXiv 2022CVPR 2023多目標追蹤論文筆記

OC-SORT

掙脫卡爾曼的囚籠

原始論文

Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking

論文作者

Jinkun Cao · Jiangmiao Pang · Xinshuo Weng · Rawal Khirodkar · Kris Kitani

發表版本
CVPR 2023會議
arXiv 首次提交
arXiv:2203.14360
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingocsort2022,
  title = {{Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking}},
  author = {Jinkun Cao and Jiangmiao Pang and Xinshuo Weng and Rawal Khirodkar and Kris Kitani},
  year = {2022},
  eprint = {2203.14360},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2203.14360}
}
本頁內容

ByteTrack 證明了,只要偵測器夠強,卡爾曼濾波加 IoU 配對就能在 MOT17 上拿第一。

可是一換到 DanceTrack,情況就不一樣了。這個資料集拍的是群舞,舞者穿著幾乎一樣的衣服,轉圈、交錯、跳躍、互換位置。偵測一點都不難,難在每個人的動作都不是直線。ByteTrack 在這裡的 HOTA 不到 48,輸給端到端的 MOTR 一大截。

這樣看起來,靠運動模型的追蹤器好像走到頭了?

卡內基美隆大學的 Jinkun Cao、Kris Kitani 等人不這麼認為。他們認為,卡爾曼濾波本身沒有錯,錯在 SORT 使用它的方式。只要處理好「看不見目標的那幾幀」累積的誤差,最基本的卡爾曼濾波一樣能做到當時最好的成績。

這篇論文把 SORT 從頭拆開檢查,最後端出的追蹤器,不需要訓練任何網路,給定偵測框之後在一顆 CPU 上每秒能跑 700 多幀。

定義問題

先複習一下 SORT 怎麼用卡爾曼濾波。

每個目標的狀態是 x=[u,v,s,r,u˙,v˙,s˙]⊤\mathbf{x} = [u, v, s, r, \dot{u}, \dot{v}, \dot{s}]^\top,分別是框中心、面積、寬高比,以及前三者的速度。每一幀先預測,用等速度模型把狀態往前推:

ut+1=ut+u˙tΔt,vt+1=vt+v˙tΔtu_{t+1} = u_t + \dot{u}_t \Delta t, \qquad v_{t+1} = v_t + \dot{v}_t \Delta t

如果這一幀有偵測框配給它,再用偵測框更新,修正預測。

問題出在沒有偵測框的時候,例如目標被擋住。SORT 的作法是直接把預測當成更新後的結果:

x^t∣t=x^t∣t−1,Pt∣t=Pt∣t−1\hat{\mathbf{x}}_{t|t} = \hat{\mathbf{x}}_{t|t-1}, \qquad P_{t|t} = P_{t|t-1}

作者把這個步驟叫做「假更新」(dummy update)。它背後的想法是,沒有觀測的時候,就相信自己的估計。軌跡永遠由估計往前延伸,偵測框只是拿來修正估計的輔助資訊。作者把這種設計稱為以估計為中心(estimation-centric)。

重新審視 SORT 的侷限

作者從這個設計出發,指出三個環環相扣的問題。

一、對狀態雜訊太敏感。

假設估計的中心位置帶有標準差 σu\sigma_u 的雜訊,而且每一幀的雜訊互相獨立。速度是兩個位置相減再除以時間間隔:

u˙=ut+Δt−utΔtδu˙∼N ⁣(0, 2σu2(Δt)2)\begin{aligned} \dot{u} &= \frac{u_{t+\Delta t} - u_t}{\Delta t} \\ \delta\dot{u} &\sim \mathcal{N}\!\left(0,\ \frac{2\sigma_u^2}{(\Delta t)^2}\right) \end{aligned}

Δt\Delta t 越小,速度的雜訊越大。

偏偏多目標追蹤的影片幀率都很高。作者統計 MOT17 訓練集,相鄰兩幀之間,目標的平均位移在水平方向只有 1.93 像素,垂直方向只有 0.65 像素。我們算一下。假設位置雜訊只有 1 像素,相鄰兩幀算出來的速度,雜訊標準差就有 2≈1.41\sqrt{2} \approx 1.41 像素/幀,和真實的速度差不多大。

這是一個很弔詭的現象。幀率越高,等速度的線性假設越合理;但兩幀之間的位移也越小,小到和雜訊同一個量級,估出來的速度反而越不可靠。

二、誤差隨時間放大。

有偵測框的時候,就算速度估得不準,下一次更新也能把位置拉回來。但目標一被擋住,卡爾曼濾波只能一直用假更新往前推。被擋住 TT 幀之後:

ut+T=ut+Tu˙tδut+T∼N(0, 2T2σu2)\begin{aligned} u_{t+T} &= u_t + T\dot{u}_t \\ \delta u_{t+T} &\sim \mathcal{N}(0,\ 2T^2\sigma_u^2) \end{aligned}

位置誤差的標準差和 TT 成正比。位置雜訊 1 像素、被擋 10 幀,位置的標準差就有 200≈14\sqrt{200} \approx 14 像素。附錄的分析還指出,實際的卡爾曼濾波連速度項也有過程雜訊,累積得比這個簡化版本更快。在擁擠的場景裡,偏移十幾個像素,很可能就已經框到隔壁的人了。

三、以估計為中心。

前兩個問題的根源,是 SORT 把估計放在觀測前面。但偵測器每一幀的雜訊大致是獨立的,不會隨時間累積;現代偵測器又很準,單幀的定位誤差通常比卡爾曼濾波一路推出來的估計還小。

也就是說,偵測器已經明確告訴你「人在這裡」,追蹤器卻還是照著自己的估計,把軌跡延伸到另一個地方。

這簡直是本末倒置。

為什麼重新配上了還會再丟

附錄裡還有一個更細的觀察,解釋了為什麼這三個問題在實務上特別麻煩。

照理說,目標重新出現、配上偵測框之後,卡爾曼濾波的更新應該能把累積的偏差修回來。但實務上,SORT 把速度項的過程雜訊設得非常小(官方程式只有 0.01,面積的速度更只有 0.0001),因為速度估計本來就太敏感,不壓住會亂跳。代價是,濾波器對速度的修正非常保守。

結果,目標被擋住期間,速度的方向早就偏了;重新配上的那一次更新,位置拉回來了,速度方向卻幾乎沒變。下一幀照著錯的方向預測,目標又丟了。

那麼,與其更相信估計,乾脆讓追蹤以觀測為中心,會不會是一個好主意呢?

解決問題

原論文 Figure 2:OC-SORT 的流程,橫跨 frame t、t+1、t+2 三幀。每一幀上方是偵測結果(紅框),下方是追蹤結果(橘框為正在追蹤的軌跡,藍框為暫時遺失的軌跡,虛線框為卡爾曼濾波的預測)。在 t+1,芭蕾舞者 1 號被擋住,沒有配到偵測框;到了 t+2,未使用 OCR 的追蹤結果裡 1 號仍是遺失狀態,使用 OCR 之後,1 號用 t 時刻的最後一次觀測重新配上。右上角圖例:綠色箭頭是卡爾曼預測,淺藍色是 OCR,藍色是使用 OCM 的關聯,紫色是 ORU;紫色箭頭從 t+2 回到 t,表示重新配上後觸發 ORU。
原論文 Figure 2(Cao 等人),取自 PDF 第 4 頁,arXiv 授權,學術引用。

OC-SORT(Observation-Centric SORT)保留了 SORT 的整個骨架,卡爾曼濾波、IoU、匈牙利演算法都還在。它在三個地方改成以觀測為中心。

我們跟著圖上的芭蕾舞者 1 號走一次:

  1. frame t: 1 號正常被追蹤。配對時,除了 IoU,還加上一項「運動方向是否一致」的成本,這是 OCM。
  2. frame t+1: 1 號被其他舞者擋住,沒有任何偵測框配給它,軌跡變成暫時遺失(藍框)。
  3. frame t+2: 1 號重新出現。卡爾曼濾波的預測已經跑偏,和新的偵測框對不上;但 OC-SORT 會再拿 1 號在 frame t 的最後一次觀測,和還沒配上的偵測框試一次,把它找回來,這是 OCR。
  4. 找回之後: 1 號從遺失狀態恢復,觸發 ORU,把 frame t 到 t+2 這段期間的卡爾曼濾波參數倒回去重算一遍。

Observation-Centric Re-Update (ORU)

ORU 專門處理「重新配上之後又丟掉」的問題。

當一條軌跡在遺失一段時間後重新配上偵測框,ORU 會回頭檢查遺失的這段期間。設最後一次看到的觀測是 zt1\mathbf{z}_{t_1},重新配上的觀測是 zt2\mathbf{z}_{t_2}。用這兩個真實的觀測當端點,在中間生成一條虛擬軌跡:

z~t=zt1+t−t1t2−t1(zt2−zt1)\tilde{\mathbf{z}}_t = \mathbf{z}_{t_1} + \frac{t - t_1}{t_2 - t_1}\left(\mathbf{z}_{t_2} - \mathbf{z}_{t_1}\right)

其中 t1<t<t2t_1 < t < t_2。

這就是等速度假設下的線性插值。接著,卡爾曼濾波從 t1t_1 開始,沿著這些虛擬觀測重新跑一次「預測、更新」的迴圈:

Kt=Pt∣t−1Ht⊤(HtPt∣t−1Ht⊤+Rt)−1x^t∣t=x^t∣t−1+Kt(z~t−Htx^t∣t−1)Pt∣t=(I−KtHt) Pt∣t−1\begin{aligned} K_t &= P_{t|t-1}H_t^\top\left(H_t P_{t|t-1} H_t^\top + R_t\right)^{-1} \\ \hat{\mathbf{x}}_{t|t} &= \hat{\mathbf{x}}_{t|t-1} + K_t\left(\tilde{\mathbf{z}}_t - H_t\hat{\mathbf{x}}_{t|t-1}\right) \\ P_{t|t} &= (I - K_t H_t)\,P_{t|t-1} \end{aligned}

用一個數字例子來看它和 SORT 的差別(數字是為了說明而設的)。假設某人在第 10 幀最後一次被看到,中心在 u=100u = 100;被擋了 5 幀,第 16 幀在 u=130u = 130 重新出現。他在被擋住時加快了腳步,但卡爾曼濾波手上的速度還是原本的每幀 2 像素。

  • SORT: 第 11 到 15 幀都是假更新,預測一路推到第 16 幀的 u=112u = 112。和 130 配上之後只做一次更新;因為速度項的雜訊設得很小,位置拉回去了,速度還是接近 2。下一幀,它又往錯的地方猜。
  • ORU: 用 100 和 130 當端點,生成第 11 到 15 幀的虛擬觀測 105、110、115、120、125。卡爾曼濾波把這段重新走一遍,每一步都看到每幀 5 像素的移動,速度會被一步一步拉向 5。

ORU 不是讓預測變聰明,而是讓濾波器在重新上路之前,先用「看得見的頭尾」把中間補齊,多更新幾次。

原論文 Figure 3:舞龍表演中一名被追蹤者在五個時間點的畫面。黃框是偵測器的觀測。第二到第三個時間點之間他被擋住(Occluded),第三個時間點重新被找到。白色星號是沒有 ORU 時的估計中心,黃色星號是經過 ORU 修正後的估計中心;第四個時間點的灰色星號是沒有 ORU 時的估計,已經偏離觀測而配不上。
原論文 Figure 3(Cao 等人),取自 PDF 第 5 頁,arXiv 授權,學術引用。

這是論文裡的真實例子。舞龍隊員在第二、三個時間點之間被擋住,第三個時間點重新被找到。沒有 ORU 時,估計的中心(白色星號)沿著舊的方向偏出去,到第四個時間點(灰色星號)已經和觀測配不上;ORU 修正後的估計(黃色星號)一直跟在人身上。

Observation-Centric Momentum (OCM)

等速度假設除了「速度不變」,其實還隱含了「方向不變」。一個人往左走,下一幀不太可能突然配到右邊的框。SORT 沒辦法用這個線索,因為它的速度方向是從估計算出來的,雜訊太大。

OCM 改用觀測來算方向,並把方向一致性加進配對的成本矩陣:

C(X^,Z)=CIoU(X^,Z)+λ Cv(Z,Z)C(\hat{\mathbf{X}}, \mathbf{Z}) = C_{\text{IoU}}(\hat{\mathbf{X}}, \mathbf{Z}) + \lambda\, C_v(\mathcal{Z}, \mathbf{Z})

CIoUC_{\text{IoU}} 是負的 IoU,CvC_v 是方向差,λ=0.2\lambda = 0.2。Z\mathcal{Z} 是所有現有軌跡過去的觀測,Z\mathbf{Z} 是這一幀新的偵測。

原論文 Figure 4:OCM 計算方向差的示意。綠色虛線與綠點是一條既有軌跡及其觀測,紅點是這一幀等待配對的新偵測。藍線連接軌跡上兩個觀測,代表軌跡的方向 θ_track;黃線連接軌跡的歷史觀測和一個新偵測,代表「如果配給它」的方向 θ_intention;兩線的夾角就是 Δθ。
原論文 Figure 4(Cao 等人),取自 PDF 第 5 頁,arXiv 授權,學術引用。

圖中,綠色是一條既有軌跡,紅點是這一幀的新偵測。對每一組軌跡和偵測,計算兩個方向:

  • θtrack\theta_{\text{track}}(藍線):軌跡上相隔 Δt\Delta t 幀的兩個觀測連成的方向,也就是這條軌跡一直以來往哪走。
  • θintention\theta_{\text{intention}}(黃線):軌跡的歷史觀測連到這個新偵測的方向,也就是「如果把這個偵測配給它」,它接下來要往哪走。

方向用 θ=arctan⁡v1−v2u1−u2\theta = \arctan\frac{v_1 - v_2}{u_1 - u_2} 以弧度計算,兩者的差 Δθ=∣θtrack−θintention∣\Delta\theta = |\theta_{\text{track}} - \theta_{\text{intention}}| 就是方向成本。方向越一致,成本越低,越容易配上。

這裡有一個取捨。附錄 A 推導了方向雜訊的機率分布,結論是兩個觀測相隔越久,方向估計的雜訊越小,所以 Δt\Delta t 應該大一點;但隔得太久,線性運動的假設就不成立了。實作中,作者取 Δt=3\Delta t = 3。

Observation-Centric Recovery (OCR)

最後是一個經驗上的小技巧。正常的關聯結束後,對還沒配上的軌跡,拿它最後一次的觀測,和還沒配上的偵測框再做一次 IoU 配對。

這一步不靠卡爾曼濾波的預測,所以目標停下來、或只被擋住一下下時特別有用。預測已經跑掉了,但人其實還在原地附近。

討論

作者在 MOT17、MOT20、KITTI 和 DanceTrack 上評估,人頭追蹤資料集 CroHD 的結果放在附錄。

為了只比較追蹤演算法,OC-SORT 不訓練自己的偵測器。MOT17、MOT20 和 DanceTrack 直接用 ByteTrack 公開的 YOLOX 權重,KITTI 用 PermaTrack 公開的偵測結果。所有資料集共用一組參數,偵測分數門檻 0.6(MOT20 是 0.4),IoU 門檻 0.3。

主要指標是 HOTA,另外強調衡量關聯的 AssA 和 IDF1。作者特別提醒,MOTA 和偵測品質的關係太密切,只有在大家用同一組偵測時才適合拿來比;這也是為什麼每張表最下面,都把共用偵測的方法另外框成一組。

DanceTrack 結果

原論文 Table 3:DanceTrack 測試集結果,欄位為 HOTA、DetA、AssA、MOTA、IDF1。上半是其他方法,例如 CenterTrack 41.8/78.1/22.6/86.8/35.7、MOTR 54.2/73.5/40.2/79.7/51.5、GTR 48.0、DST-Tracker 51.9。下半淺藍色區塊是共用同一組偵測的方法:SORT 47.9/72.0/31.2/91.8/50.8,DeepSORT 45.6/71.0/29.7/87.8/47.9,ByteTrack 47.3/71.6/31.4/89.5/52.5,OC-SORT 54.6/80.4/40.2/89.6/54.6,OC-SORT 加線性插值 55.1/80.4/40.4/92.2/54.9。
原論文 Table 3(Cao 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。

DanceTrack 是這篇論文的主場,我們先看它。

淺藍色區塊裡的四個方法用的是同一組偵測。SORT 的 HOTA 是 47.9,ByteTrack 是 47.3,加了外觀特徵的 DeepSORT 還更低,只有 45.6。舞者穿著一樣,外觀幫不上忙。OC-SORT 則是 54.6,AssA 從 31 左右一口氣升到 40.2,IDF1 也是四者最高。

再和表上方的 MOTR 比。MOTR 是端到端的 Transformer 追蹤器,HOTA 54.2、AssA 40.2;OC-SORT 不用訓練任何追蹤網路,HOTA 54.6、AssA 也是 40.2。兩者的偵測器不同,OC-SORT 的 DetA 高出許多,但衡量關聯的 AssA 一模一樣。在最考驗關聯的資料集上,一個純運動模型的追蹤器,追平了端到端的學習方法。

MOT17 結果

原論文 Table 1:MOT17 測試集(private detection)結果,欄位為 HOTA、MOTA、IDF1、FP、FN(單位為萬)、ID 切換、Frag、AssA、AssR。ByteTrack 為 63.1、80.3、77.3、2.55、8.37、2196、2277、62.0、68.2;OC-SORT 為 63.2、78.0、77.5、1.51、10.8、1950、2040、63.2、67.5。兩者共用同一組偵測。
原論文 Table 1(Cao 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。

MOT17 的行人大多走直線,SORT 的假設在這裡本來就還算合理。和共用偵測的 ByteTrack 相比,OC-SORT 的 HOTA 63.2 對 63.1、IDF1 77.5 對 77.3,幾乎打平;ID 切換從 2196 降到 1950。

但 MOTA 低了 2.3 分(78.0 對 80.3)。原因在 FP 和 FN 兩欄。OC-SORT 的誤報少很多(1.51 萬對 2.55 萬),漏檢卻多很多(10.8 萬對 8.37 萬)。ByteTrack 會把低分框撈回來配對,OC-SORT 則照一般作法丟掉低分框,不另外調整門檻。漏掉的框直接反映在 MOTA 上。

MOT20 結果

原論文 Table 2:MOT20 測試集(private detection)結果,欄位同 Table 1。ByteTrack 為 61.3、77.8、75.2、2.62、8.76、1223、1460、59.6、66.2;OC-SORT 為 62.1、75.5、75.9、1.80、10.8、913、1198、62.0、67.5。兩者共用同一組偵測。
原論文 Table 2(Cao 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。

MOT20 擠得多,遮擋也多,正是誤差累積最嚴重的場景。這裡 OC-SORT 的優勢就拉開了。HOTA 62.1 對 61.3,AssA 62.0 對 59.6,ID 切換從 1223 降到 913,HOTA 是論文發表時 MOT20 上的最高分。MOTA 同樣因為漏檢較多而低於 ByteTrack。

這兩張表在 MOT17、MOT20 上都沿用了基準方法的線性插值後處理。為了排除偵測器的影響,作者也在附錄報告了使用官方公用偵測的結果,OC-SORT 在這個設定下同樣領先。

KITTI 結果

原論文 Table 4:KITTI 測試集結果,分成汽車(Car)與行人(Pedestrian)兩組,欄位為 HOTA、MOTA、AssA、ID 切換、Frag。共用 PermaTrack 偵測的三列:PermaTr 汽車 HOTA 77.42、行人 47.43;OC-SORT 汽車 74.64、行人 52.95;OC-SORT 加 HP 汽車 76.54、行人 54.69。
原論文 Table 4(Cao 等人),取自 PDF 第 8 頁,arXiv 授權,學術引用。

KITTI 是車載影片,幀率只有 10 FPS,結果一半好、一半壞。

行人的部分,用同一組偵測,OC-SORT 的 HOTA 52.95,比 PermaTrack 的 47.43 高出 5 分多,速度還快 10 倍。表中的 HP 是離線的「頭部補齊」。SORT 系列的軌跡要連續配上幾幀才會開始輸出,這些初期沒輸出的框,等線上追蹤結束後再補寫回去,補完行人 HOTA 是 54.69。

汽車就不行了。OC-SORT 的 HOTA 74.64,加上 HP 也只有 76.54,都低於 PermaTrack 的 77.42。作者的解釋很坦白,車子開得快、幀率又低,相鄰兩幀的框幾乎不重疊,IoU 接近零,而 OC-SORT 預設的關聯靠的正是 IoU。這不是觀測中心設計的問題,所有靠 IoU 關聯的方法都會遇到;加入其他關聯線索或外觀特徵,可以緩解。

模組貢獻分析

原論文 Table 5:在 MOT17 與 DanceTrack 驗證集上,逐步加入 ORU、OCM、OCR 的消融。MOT17-val 的 HOTA/AssA/IDF1:都不加 64.9/66.8/76.9,加 ORU 66.3/68.0/77.2,再加 OCM 66.4/69.0/77.8,再加 OCR 66.5/68.9/77.7。DanceTrack-val:47.8/31.0/48.3,48.5/32.2/49.8,52.1/35.0/50.6,52.1/35.3/51.6。
原論文 Table 5(Cao 等人),取自 PDF 第 8 頁,arXiv 授權,學術引用。

三個模組依序加上去:

  1. ORU 在兩個資料集都有用。 MOT17 驗證集的 HOTA 從 64.9 升到 66.3,DanceTrack 從 47.8 升到 48.5。
  2. OCM 的效果看場景。 在 DanceTrack 上,OCM 讓 HOTA 從 48.5 跳到 52.1,是三個模組中最大的一步;在 MOT17 上只從 66.3 升到 66.4。行人大多走直線時,方向一致這個線索本來就沒多少資訊量;舞者轉來轉去時,它才派上用場。
  3. OCR 是收尾。 MOT17 的 HOTA 多 0.1;DanceTrack 的 HOTA 不變,IDF1 從 50.6 升到 51.6。

ORU 的虛擬軌跡生成方式

原論文 Table 6:ORU 使用不同虛擬軌跡假設的比較。MOT17-val 的 HOTA/AssA/IDF1:等速度 66.5/68.9/77.7,高斯過程迴歸(GPR)63.1/65.2/75.7,線性迴歸 64.3/66.5/76.0,等加速度 66.2/67.9/77.4。DanceTrack-val:等速度 52.1/35.3/51.6,GPR 49.5/33.7/49.6,線性迴歸 49.3/33.4/49.2,等加速度 51.3/34.8/50.9。
原論文 Table 6(Cao 等人),取自 PDF 第 8 頁,arXiv 授權,學術引用。

虛擬軌跡一定要用直線嗎?作者試了等加速度、線性迴歸,以及用 RBF 核的高斯過程迴歸(GPR)。

結果最簡單的等速度在六個數字上都最好,等加速度次之;線性迴歸和 GPR 明顯比較差,GPR 在 MOT17 上甚至掉了 3.4 分 HOTA。作者推測,ORU 是在線上執行的,手上只有有限的歷史觀測,用全域性的擬合方法很難得到可靠的軌跡;只看頭尾兩個點的局部假設反而穩。

附錄另外比較了離線的插值後處理,結論類似。在 MOT17 驗證集上,線性插值讓 HOTA 從 66.5 升到 68.0,GPR 插值卻降到 65.2。有趣的是,同一時期的 StrongSORT,它的 GSI 同樣用高斯過程補洞,卻能帶來進步;兩篇的設定並不相同,GSI 讓核的寬度隨軌跡長度調整。同一個工具,用法不同,結果可以差很多。

OCM 的 Δt 選擇

原論文 Table 7:OCM 中 Δt 的影響。MOT17-val 的 HOTA/AssA/IDF1:Δt=1 為 66.1/67.5/76.9,Δt=2 為 66.3/68.0/77.3,Δt=3 為 66.5/68.9/77.7,Δt=6 為 66.0/67.5/76.9。DanceTrack-val:Δt=1 為 51.3/34.3/51.3,Δt=2 為 52.2/35.4/51.4,Δt=3 為 52.1/35.3/51.6,Δt=6 為 52.1/35.4/51.8。
原論文 Table 7(Cao 等人),取自 PDF 第 8 頁,arXiv 授權,學術引用。

這張表驗證了前面那個取捨。Δt\Delta t 從 1 增加到 2、3,兩個資料集的表現都變好,因為方向估計的雜訊變小了。

但再拉長到 6,MOT17 的 HOTA 又從 66.5 掉回 66.0。間隔太長,目標早就不是直線運動。DanceTrack 上,Δt=2\Delta t = 2 的 HOTA 略高(52.2),Δt=3\Delta t = 3 和 6 都是 52.1,差異很小。作者最後在所有資料集統一使用 Δt=3\Delta t = 3。

速度

給定偵測框之後,OC-SORT 在一顆 Intel i9-9980XE CPU 上每秒跑 793 幀。新增的三個模組都只是幾何計算,沒有任何神經網路,幾乎不增加成本。

後來

作者在附錄提到,OC-SORT 是純運動模型,但很容易加入外觀線索。同一個研究室隔年發表的 Deep OC-SORT,就在 OC-SORT 上加入了自適應的 re-ID,在 MOT17、MOT20 和 DanceTrack 上進一步提升。2023 年的 Hybrid-SORT 則沿用 OC-SORT 的觀測中心動量與關聯,再加入框角的方向、偵測信心和高度等弱線索。

同年稍晚的 BoT-SORT 也把 OC-SORT 放進比較表。它選擇在 ByteTrack 上補相機運動補償,處理的是另一種「預測跑偏」,人沒動,鏡頭在動。

結論

OC-SORT 沒有換掉卡爾曼濾波,只改了它在看不見目標時的行為。ORU 在目標回來時,用頭尾兩個真實觀測補齊中間、重新校正速度;OCM 用觀測算出的方向幫忙配對;OCR 用最後一次觀測再找一次。結果在 DanceTrack 上,一個不需要訓練的運動模型追蹤器,追平了端到端的 MOTR。

放到應用上,這篇論文帶來的啟發可以濃縮成一句話。

當偵測器已足夠可靠時,追蹤的核心不在於更複雜的預測模型,而在於如何更有效地運用觀測。

如果你手上的系統已經是 SORT 或 ByteTrack,這三個模組都不用重新訓練任何東西。只是記得,車子一快、幀率一低,IoU 配對還是會先撐不住。

被擋住的那幾幀,與其讓濾波器一路瞎猜,不如等人回來,再倒帶重算一次。