返回論文筆記資料庫
arXiv 2026CVPR 2026多目標追蹤論文筆記

OA-SORT

前排蹲下

原始論文

Occlusion-Aware SORT: Observing Occlusion for Robust Multi-Object Tracking

論文作者

Chunjiang Li · Jianbo Ma · Li Shen · Yanru Chen · Liangyin Chen

發表版本
CVPR 2026會議
arXiv 首次提交
arXiv:2603.06034
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingoasort2026,
  title = {{Occlusion-Aware SORT: Observing Occlusion for Robust Multi-Object Tracking}},
  author = {Chunjiang Li and Jianbo Ma and Li Shen and Yanru Chen and Liangyin Chen},
  year = {2026},
  eprint = {2603.06034},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2603.06034}
}
本頁內容

兩個身形差不多的人一前一後走過,後面那個被擋住大半。這時候偵測器給出的框,常常只框到後面那人露出來的一小塊,或者乾脆框歪到前面那人身上。

卡爾曼濾波接著拿這些不準的框去更新自己,預測也跟著歪。到了配對的時候,前面那人的偵測框,和後面那人的預測框,IoU 可能比它和自己的預測框還高。匈牙利演算法只看成本,兩人的身分就這樣對調了。

四川大學的 Chunjiang Li、Yanru Chen 等人把這種現象叫做成本混淆。他們先把「誰擋住了誰、擋了多少」算出來,再用它來修正配對和卡爾曼濾波。整套方法不需要訓練,可以直接裝到現有的追蹤器上。

定義問題

位置關聯有三個零件:卡爾曼濾波預測位置,IoU 衡量偵測框和預測框有多吻合,匈牙利演算法找成本最低的配對。

作者把偵測框和預測框都寫成「真實位置加誤差」:

d=P+Δd,e=P+Δed = P + \Delta_d,\qquad e = P + \Delta_e

部分遮擋時,物體的外觀少了一塊,偵測誤差 Δd\Delta_d 變大,IoU 可能在一兩幀內突然跳動。遮擋持續下去,不準的偵測一再被拿來更新卡爾曼濾波,預測誤差 Δe\Delta_e 也跟著累積。兩種誤差疊在一起,成本矩陣就不再能穩定反映誰跟誰是同一個人。

很多追蹤器靠外觀特徵、運動方向、偵測信心來補救。可是這些線索在遮擋時一樣不可靠:被擋住的人,抽出來的外觀特徵混進了前面那人的樣子;偵測信心也被壓低。作者因此回到位置本身,直接處理遮擋。

解決問題

原論文 Figure 2:OA-SORT 的流程,以 DanceTrack 的群舞畫面為例。每一幀先由卡爾曼濾波產生預測框(Estimations),OAM 搭配高斯圖算出每個預測框的遮擋程度(熱圖);OAO 把遮擋程度加進配對的成本(紫色箭頭);配對完成後,BAM 用上一次觀測的遮擋程度調整卡爾曼濾波的更新(藍色箭頭)。
原論文 Figure 2(Li 等人),取自 PDF 第 3 頁,arXiv 授權,學術引用。

OA-SORT 由三個零件組成。OAM 負責估計遮擋程度,OAO 把它用在配對,BAM 把它用在卡爾曼濾波的更新。

OAM:誰在前面,擋了多少

原論文 Figure 3:深度順序的示意。畫面下緣是基準線,每個框的底邊到基準線的垂直距離記為 P̂d。1 號框的底邊比 2 號框更靠近基準線,所以 1 號離鏡頭比較近,站在 2 號前面。
原論文 Figure 3(Li 等人),取自 PDF 第 4 頁,arXiv 授權,學術引用。

要知道誰擋住誰,先要知道誰在前面。一般的監視器從斜上方往下拍,站在地上的人,腳越靠近畫面下緣,就離鏡頭越近。所以只要比較兩個框的底邊,就能排出前後。為了避免框抖動造成誤判,底邊至少要差 5 個像素才算數。

知道前後之後,被擋住的比例就是「前方所有框和它的交集面積」除以「它自己的面積」:

Oci=A(Oi)A(Di)Oc_i = \frac{A(\mathcal{O}_i)}{A(\mathcal{D}_i)}

不過框裡不全是人。舞者張開手臂、跨出一大步時,框的邊緣大多是背景,被擋到邊緣不太要緊。作者加了一張高斯圖,每個像素依它到框中心的距離給權重,中心是 1,往外遞減。被擋住的面積改成按權重加總。

衰減的速度依資料集調整。DanceTrack 的設定下,框左右邊緣的權重只有 e−2.25≈0.105e^{-2.25} \approx 0.105。同樣被擋住一條,擋在邊上大約只算擋在中間的十分之一。

OAO:被擋住的,配對時讓一讓

OAO 把遮擋程度加進配對的分數:

S=τ(1−Oc^X)+(1−τ) IoU(D,X)S = \tau\left(1 - \hat{Oc}^{X}\right) + (1 - \tau)\, IoU(D, X)

這裡的遮擋程度算在卡爾曼濾波的預測框 XX 上,而不是偵測框上。被擋住的偵測框底邊常常亂跳,前後關係反而判斷不準;預測框比較平滑。

被擋得越嚴重的軌跡,對所有偵測框的分數都會打一點折扣。當兩條軌跡搶同一個偵測框時,站在前面、沒被擋住的那條就佔了優勢。

用一個例子看。舞者 j 站在前面,舞者 i 在後面被擋住六成。這一幀 j 的偵測框是 djd_j,它和 i 的預測框 IoU 是 0.70,和 j 自己的預測框只有 0.65,因為 j 的預測已經被前幾幀的誤差帶偏了。τ\tau 取 DanceTrack 的 0.15:

預測框遮擋程度IoU只看 IoU加入遮擋後的分數
後方的 i0.60.700.700.15 × 0.4 + 0.85 × 0.70 = 0.655
前方的 j00.650.650.15 × 1 + 0.85 × 0.65 ≈ 0.703

本文整理的算例。

只看 IoU,djd_j 會被分給後面的 i,兩人換了身分。加入遮擋程度後,djd_j 回到 j 身上。

OAO 只用在第一階段,也就是高分偵測框的配對。

BAM:不可靠的觀測,少聽一點

被擋住的人,偵測分數通常偏低,會在第二階段才被配上。這些低分框不太準,如果卡爾曼濾波照單全收,速度估計就會被帶歪,下一幀的預測跟著出錯。

BAM 在更新之前,先把觀測往預測拉回一些:

BAM=IoU(Xt∣t−1,Zt)⋅(1−Oc^Zt−1)Z^t=BAM⋅Zt+(1−BAM)⋅HXt∣t−1\begin{aligned} \mathrm{BAM} &= IoU\left(X_{t|t-1}, Z_t\right)\cdot\left(1 - \hat{Oc}^{Z_{t-1}}\right) \\ \hat{Z}_t &= \mathrm{BAM}\cdot Z_t + (1 - \mathrm{BAM})\cdot H X_{t|t-1} \end{aligned}

觀測和預測差越多,或者這條軌跡上一次被擋得越嚴重,BAM 就越小,更新時就越相信預測。作者在附錄裡指出,這等於把卡爾曼增益乘上 BAM,不用另外去估計遮擋下的雜訊共變異數。

例如預測的 xx 座標是 100,低分偵測框是 120,兩者 IoU 0.5,這條軌跡上一次被擋住六成。BAM 是 0.5×0.4=0.20.5 \times 0.4 = 0.2,拿去更新的觀測變成 0.2×120+0.8×100=1040.2 \times 120 + 0.8 \times 100 = 104。

討論

每個零件的貢獻

設定HOTAAssAIDF1每幀時間
Hybrid-SORT59.444.960.79.57 ms
+OAO59.945.660.9+1.96 ms
+OAO、高斯圖60.646.762.0+9.25 ms
+OAO、BAM60.546.562.2+3.81 ms
全部61.548.063.7+14.99 ms

整理自原論文 Table 4,DanceTrack 驗證集;時間不含偵測。

三個零件合起來,HOTA 多了 2.1。高斯圖的影響不小:OAO 加上它,HOTA 從 59.9 到 60.6。代價也主要在它身上,逐像素計算讓每幀的追蹤時間從 9.57 毫秒增加到 24.56 毫秒,仍然可以即時。

BAM 裡的 IoU 項也有作用。把它換成固定常數,最好的情況是 0.4,HOTA 61.26;用 IoU 是 61.49。

裝到其他追蹤器上

追蹤器原本 HOTA加上遮擋感知原本 IDF1加上遮擋感知
ByteTrack47.149.051.955.9
OC-SORT54.656.554.657.6
SparseTrack55.557.858.360.2
PD-SORT58.260.457.560.8
Hybrid-SORT62.263.163.064.2

整理自原論文 Table 1,DanceTrack 測試集,使用 OC-SORT 的偵測結果。

四個外加的追蹤器,HOTA 平均多 2.08,IDF1 平均多 3.05。SparseTrack 和 PD-SORT 本身已經用了框底邊推估的「偽深度」,加上遮擋感知還是有進步。基準 Hybrid-SORT 的進步最小,它本來就用運動方向處理遮擋,只多了 0.9。

驗證集上,作者也試著裝到 TrackTrack,HOTA 從 59.3 到 59.9,IDF1 從 61.1 到 62.0。TrackTrack 的配對方式不是匈牙利演算法,也用了被 NMS 刪掉的框,OA-SORT 一樣能疊上去。

其他資料集

SportsMOT 上,只用訓練集訓練偵測器的設定下,HOTA 從 73.0 到 73.4,IDF1 從 73.3 到 74.1,而且完全沒用相機運動補償。作者的解釋是,遮擋關係是物體之間的相對位置,鏡頭轉動時仍然成立。

MOT17 上,HOTA 從 63.6 到 64.2,IDF1 從 78.4 到 79.1,甚至略高於加了 ReID 的 Hybrid-SORT。不過 MOTA 從 80.6 掉到 79.6。

什麼時候會失靈

原論文 Figure 1:OA-SORT 相對 Hybrid-SORT 在 DanceTrack 驗證集各段影片上的 HOTA 提升(藍線),紅色長條是遮擋嚴重度。上圖是遮擋較少的八段(嚴重度低於 5%),平均提升 2.4%,其中 0026 段是負的;下圖是遮擋嚴重的五段(高於 15%),平均提升 2.14%。
原論文 Figure 1(Li 等人),取自 PDF 第 1 頁,arXiv 授權,學術引用。

大部分影片都有進步,但上圖的 0026 段是負的。作者在限制裡提到,整套方法靠框的底邊判斷前後,當一個人的下半身被擋住,或者舞者跳起來雙腳離地,底邊就不再代表他站在哪裡,前後關係會判斷錯。

此外,遮擋程度只看當下這一幀,沒有建模遮擋隨時間的變化,長時間的遮擋仍然會讓關聯不穩。

結論

遮擋是位置關聯出錯的主因,OA-SORT 就從把遮擋程度算出來開始。用框的底邊排前後,用交集面積和高斯權重算被擋了多少,再把這個數字分別放進配對的分數和卡爾曼濾波的更新裡。

它不需要訓練,也不需要外觀特徵,裝到五種不同的追蹤器上,HOTA 和 IDF1 都有進步。代價是一個靠「腳踩在地上」成立的假設:舞台上的舞者一跳起來,這個假設就不管用了。