返回论文笔记资料库
arXiv 2026CVPR 2026多目标跟踪论文笔记

OA-SORT

前排蹲下

原始论文

Occlusion-Aware SORT: Observing Occlusion for Robust Multi-Object Tracking

论文作者

Chunjiang Li · Jianbo Ma · Li Shen · Yanru Chen · Liangyin Chen

发表版本
CVPR 2026会议
arXiv 首次提交
arXiv:2603.06034
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingoasort2026,
  title = {{Occlusion-Aware SORT: Observing Occlusion for Robust Multi-Object Tracking}},
  author = {Chunjiang Li and Jianbo Ma and Li Shen and Yanru Chen and Liangyin Chen},
  year = {2026},
  eprint = {2603.06034},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2603.06034}
}
本页内容

两个身形差不多的人一前一后走过,后面那个被挡住大半。这时候检测器给出的框,常常只框到后面那人露出来的一小块,或者干脆框歪到前面那人身上。

卡尔曼滤波接着拿这些不准的框去更新自己,预测也跟着歪。到了配对的时候,前面那人的检测框,和后面那人的预测框,IoU 可能比它和自己的预测框还高。匈牙利算法只看代价,两人的身份就这样对调了。

四川大学的 Chunjiang Li、Yanru Chen 等人把这种现象叫做代价混淆。他们先把「谁挡住了谁、挡了多少」算出来,再用它来修正配对和卡尔曼滤波。整套方法不需要训练,可以直接装到现有的跟踪器上。

定义问题

位置关联有三个零件:卡尔曼滤波预测位置,IoU 衡量检测框和预测框有多吻合,匈牙利算法找代价最低的配对。

作者把检测框和预测框都写成「真实位置加误差」:

d=P+Δd,e=P+Δed = P + \Delta_d,\qquad e = P + \Delta_e

部分遮挡时,物体的外观少了一块,检测误差 Δd\Delta_d 变大,IoU 可能在一两帧内突然跳动。遮挡持续下去,不准的检测一再被拿来更新卡尔曼滤波,预测误差 Δe\Delta_e 也跟着累积。两种误差叠在一起,代价矩阵就不再能稳定反映谁跟谁是同一个人。

很多跟踪器靠外观特征、运动方向、检测置信度来补救。可是这些线索在遮挡时一样不可靠:被挡住的人,提取出来的外观特征混进了前面那人的样子;检测置信度也被压低。作者因此回到位置本身,直接处理遮挡。

解决问题

原论文 Figure 2:OA-SORT 的流程,以 DanceTrack 的群舞画面为例。每一帧先由卡尔曼滤波产生预测框(Estimations),OAM 配合高斯图算出每个预测框的遮挡程度(热图);OAO 把遮挡程度加进配对的代价(紫色箭头);配对完成后,BAM 用上一次观测的遮挡程度调整卡尔曼滤波的更新(蓝色箭头)。
原论文 Figure 2(Li 等人),取自 PDF 第 3 页,arXiv 许可,学术引用。

OA-SORT 由三个零件组成。OAM 负责估计遮挡程度,OAO 把它用在配对,BAM 把它用在卡尔曼滤波的更新。

OAM:谁在前面,挡了多少

原论文 Figure 3:深度顺序的示意。画面下缘是基准线,每个框的底边到基准线的垂直距离记为 P̂d。1 号框的底边比 2 号框更靠近基准线,所以 1 号离镜头比较近,站在 2 号前面。
原论文 Figure 3(Li 等人),取自 PDF 第 4 页,arXiv 许可,学术引用。

要知道谁挡住谁,先要知道谁在前面。一般的监控摄像头从斜上方往下拍,站在地上的人,脚越靠近画面下缘,就离镜头越近。所以只要比较两个框的底边,就能排出前后。为了避免框抖动造成误判,底边至少要差 5 个像素才算数。

知道前后之后,被挡住的比例就是「前方所有框和它的交集面积」除以「它自己的面积」:

Oci=A(Oi)A(Di)Oc_i = \frac{A(\mathcal{O}_i)}{A(\mathcal{D}_i)}

不过框里不全是人。舞者张开手臂、跨出一大步时,框的边缘大多是背景,被挡到边缘不太要紧。作者加了一张高斯图,每个像素按它到框中心的距离给权重,中心是 1,往外递减。被挡住的面积改成按权重加总。

衰减的速度按数据集调整。DanceTrack 的设置下,框左右边缘的权重只有 e−2.25≈0.105e^{-2.25} \approx 0.105。同样被挡住一条,挡在边上大约只算挡在中间的十分之一。

OAO:被挡住的,配对时让一让

OAO 把遮挡程度加进配对的分数:

S=τ(1−Oc^X)+(1−τ) IoU(D,X)S = \tau\left(1 - \hat{Oc}^{X}\right) + (1 - \tau)\, IoU(D, X)

这里的遮挡程度算在卡尔曼滤波的预测框 XX 上,而不是检测框上。被挡住的检测框底边常常乱跳,前后关系反而判断不准;预测框比较平滑。

被挡得越严重的轨迹,对所有检测框的分数都会打一点折扣。当两条轨迹抢同一个检测框时,站在前面、没被挡住的那条就占了优势。

用一个例子看。舞者 j 站在前面,舞者 i 在后面被挡住六成。这一帧 j 的检测框是 djd_j,它和 i 的预测框 IoU 是 0.70,和 j 自己的预测框只有 0.65,因为 j 的预测已经被前几帧的误差带偏了。τ\tau 取 DanceTrack 的 0.15:

预测框遮挡程度IoU只看 IoU加入遮挡后的分数
后方的 i0.60.700.700.15 × 0.4 + 0.85 × 0.70 = 0.655
前方的 j00.650.650.15 × 1 + 0.85 × 0.65 ≈ 0.703

本文整理的算例。

只看 IoU,djd_j 会被分给后面的 i,两人换了身份。加入遮挡程度后,djd_j 回到 j 身上。

OAO 只用在第一阶段,也就是高分检测框的配对。

BAM:不可靠的观测,少听一点

被挡住的人,检测分数通常偏低,会在第二阶段才被配上。这些低分框不太准,如果卡尔曼滤波照单全收,速度估计就会被带歪,下一帧的预测跟着出错。

BAM 在更新之前,先把观测往预测拉回一些:

BAM=IoU(Xt∣t−1,Zt)⋅(1−Oc^Zt−1)Z^t=BAM⋅Zt+(1−BAM)⋅HXt∣t−1\begin{aligned} \mathrm{BAM} &= IoU\left(X_{t|t-1}, Z_t\right)\cdot\left(1 - \hat{Oc}^{Z_{t-1}}\right) \\ \hat{Z}_t &= \mathrm{BAM}\cdot Z_t + (1 - \mathrm{BAM})\cdot H X_{t|t-1} \end{aligned}

观测和预测差得越多,或者这条轨迹上一次被挡得越严重,BAM 就越小,更新时就越相信预测。作者在附录里指出,这等于把卡尔曼增益乘上 BAM,不用另外去估计遮挡下的噪声协方差。

例如预测的 xx 坐标是 100,低分检测框是 120,两者 IoU 0.5,这条轨迹上一次被挡住六成。BAM 是 0.5×0.4=0.20.5 \times 0.4 = 0.2,拿去更新的观测变成 0.2×120+0.8×100=1040.2 \times 120 + 0.8 \times 100 = 104。

讨论

每个零件的贡献

设置HOTAAssAIDF1每帧时间
Hybrid-SORT59.444.960.79.57 ms
+OAO59.945.660.9+1.96 ms
+OAO、高斯图60.646.762.0+9.25 ms
+OAO、BAM60.546.562.2+3.81 ms
全部61.548.063.7+14.99 ms

整理自原论文 Table 4,DanceTrack 验证集;时间不含检测。

三个零件合起来,HOTA 多了 2.1。高斯图的影响不小:OAO 加上它,HOTA 从 59.9 到 60.6。代价也主要在它身上,逐像素计算让每帧的跟踪时间从 9.57 毫秒增加到 24.56 毫秒,仍然可以实时。

BAM 里的 IoU 项也有作用。把它换成固定常数,最好的情况是 0.4,HOTA 61.26;用 IoU 是 61.49。

装到其他跟踪器上

跟踪器原本 HOTA加上遮挡感知原本 IDF1加上遮挡感知
ByteTrack47.149.051.955.9
OC-SORT54.656.554.657.6
SparseTrack55.557.858.360.2
PD-SORT58.260.457.560.8
Hybrid-SORT62.263.163.064.2

整理自原论文 Table 1,DanceTrack 测试集,使用 OC-SORT 的检测结果。

四个外加的跟踪器,HOTA 平均多 2.08,IDF1 平均多 3.05。SparseTrack 和 PD-SORT 本身已经用了框底边推估的「伪深度」,加上遮挡感知还是有进步。作为基础的 Hybrid-SORT 进步最小,它本来就用运动方向处理遮挡,只多了 0.9。

验证集上,作者也试着装到 TrackTrack,HOTA 从 59.3 到 59.9,IDF1 从 61.1 到 62.0。TrackTrack 的配对方式不是匈牙利算法,也用了被 NMS 删掉的框,OA-SORT 一样能叠上去。

其他数据集

SportsMOT 上,只用训练集训练检测器的设置下,HOTA 从 73.0 到 73.4,IDF1 从 73.3 到 74.1,而且完全没用相机运动补偿。作者的解释是,遮挡关系是物体之间的相对位置,镜头转动时仍然成立。

MOT17 上,HOTA 从 63.6 到 64.2,IDF1 从 78.4 到 79.1,甚至略高于加了 ReID 的 Hybrid-SORT。不过 MOTA 从 80.6 掉到 79.6。

什么时候会失灵

原论文 Figure 1:OA-SORT 相对 Hybrid-SORT 在 DanceTrack 验证集各段视频上的 HOTA 提升(蓝线),红色柱条是遮挡严重度。上图是遮挡较少的八段(严重度低于 5%),平均提升 2.4%,其中 0026 段是负的;下图是遮挡严重的五段(高于 15%),平均提升 2.14%。
原论文 Figure 1(Li 等人),取自 PDF 第 1 页,arXiv 许可,学术引用。

大部分视频都有进步,但上图的 0026 段是负的。作者在局限里提到,整套方法靠框的底边判断前后,当一个人的下半身被挡住,或者舞者跳起来双脚离地,底边就不再代表他站在哪里,前后关系会判断错。

此外,遮挡程度只看当下这一帧,没有建模遮挡随时间的变化,长时间的遮挡仍然会让关联不稳。

结论

遮挡是位置关联出错的主因,OA-SORT 就从把遮挡程度算出来开始。用框的底边排前后,用交集面积和高斯权重算被挡了多少,再把这个数字分别放进配对的分数和卡尔曼滤波的更新里。

它不需要训练,也不需要外观特征,装到五种不同的跟踪器上,HOTA 和 IDF1 都有进步。代价是一个靠「脚踩在地上」成立的假设:舞台上的舞者一跳起来,这个假设就不管用了。