返回论文笔记资料库
arXiv 2023ICIP 2023多目标跟踪论文笔记

Deep OC-SORT

把外观请回来

原始论文

Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification

论文作者

Gerard Maggiolino · Adnan Ahmad · Jinkun Cao · Kris Kitani

发表版本
ICIP 2023会议
arXiv 首次提交
arXiv:2302.11813
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingdeepocsort2023,
  title = {{Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification}},
  author = {Gerard Maggiolino and Adnan Ahmad and Jinkun Cao and Kris Kitani},
  year = {2023},
  eprint = {2302.11813},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2302.11813}
}
本页内容

2022 年前后,靠运动关联的跟踪器又火了起来。

检测器越来越强,ByteTrack 只用卡尔曼滤波和 IoU,就在 MOT17 上打败了一堆学习外观特征的方法。OC-SORT 修正了卡尔曼滤波在遮挡后误差累积的问题,在 DanceTrack 这种外观难以区分、动作又很复杂的场景,也比各种 re-ID 方法好。

但外观线索并不是没用,只是不好用。BoT-SORT、StrongSORT 也把外观加回来了,做法却都很简单。轨迹的外观特征用固定权重的指数移动平均更新,外观距离再用固定权重和运动代价相加。

卡内基梅隆大学的 Gerard Maggiolino、Adnan Ahmad,与 OC-SORT 的作者 Jinkun Cao、Kris Kitani,想把外观加进 OC-SORT,让外观特征在不可靠的时候少用、可靠的时候多用。

因为是在 OC-SORT 上加深度外观特征,所以叫 Deep OC-SORT。作者特别说明,这不是照着 DeepSORT 对 SORT 做的那套再做一次。

定义问题

从框里提取出来的外观特征,就算 re-ID 模型很强,还是有很多噪声:人被挡住一半、动作太快造成模糊、旁边刚好有人穿得很像。

以往的做法有两个地方是写死的:

  • 更新权重固定。 指数移动平均的权重 α\alpha 是常数,不管这一帧的检测质量如何,新特征都以同样的比例混进轨迹的外观模型。一个被挡住一半的框,照样会污染轨迹的外观。
  • 融合权重固定。 外观代价以固定比例加到运动代价上。一个检测和某条轨迹长得特别像、和其他轨迹都不像,跟一个检测和好几条轨迹都差不多像,两者的外观代价分量是一样的。

作者要让这两个权重都能随情况调整。另外,OC-SORT 非常依赖检测的位置,镜头一动,位置就跟着乱,所以再加上相机运动补偿。

解决问题

原论文 Fig. 1:Deep OC-SORT 流程。图像一路送进 ReID 模型提取外观特征,外观特征的更新由动态外观(DA)模块控制;另一路经过相机运动补偿(CMC)后,送进 OC-SORT 的卡尔曼滤波。两路的结果由自适应加权(AW)模块合并成代价矩阵,再交给线性分配求解。
原论文 Fig. 1(Maggiolino 等人),取自 PDF 第 2 页,arXiv 许可,学术引用。

Deep OC-SORT 沿用 OC-SORT 的整个流程,包括以观测为中心的动量(OCM)、以观测为中心的找回(OCR)和在线平滑(OOS),以及最后的匈牙利算法。新增三个模块:相机运动补偿(CMC)、动态外观(DA)、自适应加权(AW)。

相机运动补偿

相机运动补偿用 OpenCV 的 VidStab 模块估计相邻两帧之间的相似变换,先提取特征点、算光流,再用 RANSAC 求出一个缩放旋转矩阵 Mt=stRtM_t = s_t R_t 和平移 TtT_t。

BoT-SORT 也做了相机运动补偿,但只修正卡尔曼滤波的状态。OC-SORT 还有好几个地方直接用到过去的观测框,这些也都得一起修正:

  1. OOS: 物体重新出现时,OC-SORT 会从最后一次观测线性插值出一条虚拟轨迹,重新更新卡尔曼滤波。最后一次观测的框中心,先经过 c←Mtc+Ttc \leftarrow M_t c + T_t 修正,再开始插值。
  2. OCM: OC-SORT 用最近 Δt=3\Delta t = 3 个框算出运动方向。这些框的左上、右下角点,每一帧都经过 p←Mtp+Ttp \leftarrow M_t p + T_t 修正。
  3. OCR: 用最后一次看到的框找回丢失的轨迹,这个框的位置也每一帧修正。

卡尔曼滤波的状态是 x=[xc,yc,a,s,x˙c,y˙c,a˙]\mathbf{x} = [x_c, y_c, a, s, \dot{x}_c, \dot{y}_c, \dot{a}],中心位置、面积、长宽比,以及前三者的速度。修正方式是

x[0:2]←Mt x[0:2]+Ttx[4:6]←Mt x[4:6]P[0:2,0:2]←Mt P[0:2,0:2] Mt⊤P[4:6,4:6]←Mt P[4:6,4:6] Mt⊤\begin{aligned} \mathbf{x}[0{:}2] &\leftarrow M_t\,\mathbf{x}[0{:}2] + T_t \\ \mathbf{x}[4{:}6] &\leftarrow M_t\,\mathbf{x}[4{:}6] \\ P[0{:}2,0{:}2] &\leftarrow M_t\,P[0{:}2,0{:}2]\,M_t^\top \\ P[4{:}6,4{:}6] &\leftarrow M_t\,P[4{:}6,4{:}6]\,M_t^\top \end{aligned}

只修正中心位置和中心速度,以及它们的协方差。理论上也可以把变换的缩放套到面积上、把旋转近似成长宽比的变化,但旋转后的外接框不是线性关系,要有物体的掩码才算得准。作者发现 OCM 和 OCR 对这种近似还算耐受,卡尔曼滤波就敏感得多,所以只修正中心。修正在卡尔曼滤波的预测步之前进行。

动态外观

一般的指数移动平均是

et=α et−1+(1−α) enewe_t = \alpha\, e_{t-1} + (1 - \alpha)\, e^{new}

enewe^{new} 是这一帧匹配上的检测的外观特征。作者把固定的 α\alpha 换成随检测置信度变动的 αt\alpha_t:

αt=αf+(1−αf)(1−sdet−σ1−σ)\alpha_t = \alpha_f + (1 - \alpha_f)\left(1 - \frac{s_{det} - \sigma}{1 - \sigma}\right)

sdets_{det} 是检测置信度,σ\sigma 是过滤噪声检测用的置信度阈值,αf=0.95\alpha_f = 0.95。

想法很直接,检测置信度低,通常说明物体被挡住或图像模糊,这时提取出来的外观特征也不可信。

  • 当 sdet=σs_{det} = \sigma,刚好在阈值上,αt=1\alpha_t = 1,新特征完全被忽略。
  • 当 sdet=1s_{det} = 1,αt=αf\alpha_t = \alpha_f,新特征以最大比例加入。
  • 中间的置信度,线性插值。

σ\sigma 本来就是跟踪器的参数,αf\alpha_f 就是原本固定的 α\alpha。动态外观没有引入新的超参数,计算量也几乎为零。

自适应加权

外观代价矩阵 AcA_c 大小是 M×NM \times N,MM 条轨迹、NN 个检测,每格是轨迹和检测的余弦相似度。一般的做法是和 IoU 矩阵以固定权重 awa_w 相加:C=IoU+awAcC = \text{IoU} + a_w A_c。

作者的观察是,外观匹配可不可信,要看它有没有「区分度」。一个真正的外观匹配,最高分和第二高分之间会有明显的差距。如果一条轨迹和好几个检测都差不多像,外观就不该有太大的发言权。

对第 mm 条轨迹,区分度定义为这一行的最高分 am(1)a^{(1)}_m 减第二高分 am(2)a^{(2)}_m,并设一个上限 ϵ\epsilon:

zmtrack=min⁡(am(1)−am(2), ϵ)z^{track}_{m} = \min\big(a^{(1)}_m - a^{(2)}_m,\ \epsilon\big)

对第 nn 个检测,用同样的方式计算那一列的 zndetz^{det}_{n}。两者平均,就是这一格的额外权重:

wb(m,n)=zmtrack+zndet2w_b(m, n) = \frac{z^{track}_{m} + z^{det}_{n}}{2}

最后的代价矩阵是

C[m,n]=IoU[m,n]+[aw+wb(m,n)] Ac[m,n]\begin{aligned} C[m, n] = {} & \text{IoU}[m, n] \\ & + \big[a_w + w_b(m, n)\big]\, A_c[m, n] \end{aligned}

作者刻意只看前两名,而不是用 KL 散度之类的分布指标。排在后面的那些低分彼此差多少,和这一次匹配可不可信无关。

实现

检测器沿用 ByteTrack 等方法的 YOLOX,re-ID 模型是 fast-reid 里的 SBS50。

MOT17 和 MOT20 上,aw=0.75a_w = 0.75、ϵ=0.5\epsilon = 0.5。DanceTrack 上则是 aw=1.25a_w = 1.25、ϵ=1.0\epsilon = 1.0,作者的说明是,在那里外观比 IoU 更有帮助。

讨论

每个模块的贡献

设置MOT17 HOTAMOT17 IDF1MOT20 HOTADanceTrack HOTADanceTrack AssA
OC-SORT68.1379.5258.3553.0735.93
+CMC69.6682.4458.3353.5736.68
+外观68.5980.1859.1058.0342.37
+外观+DA68.6580.4559.1658.3643.00
+外观+DA+CMC69.8082.5659.3558.4643.33
全部(再+AW)70.2082.7859.4558.5343.41

整理自原论文 Table 3,三个数据集的验证集;「外观」指以固定权重 EMA 更新的外观特征。MOT20 的 IDF1 依次为 74.77、74.63、75.71、75.87、76.11、76.30。

相机运动补偿 单独加上去,MOT17 的 IDF1 多了将近 3 分,DanceTrack 也有小幅提升;MOT20 则没有提升,因为 MOT20 的视频都是固定镜头。

外观特征 是 DanceTrack 上最大的一步。光是加上固定 EMA 的外观,HOTA 就从 53.07 跳到 58.03,AssA 多了 6 分多。

动态外观 和 自适应加权 的提升都不大,但在三个数据集、所有指标上都是正的。

外观在 DanceTrack 上到底有没有用

这个结果和 DanceTrack 论文的发现很不一样。DanceTrack 的作者在固定 YOLOX 检测、只比较关联方法时,DeepSORT 比 SORT 差,加上外观反而变糟;用真实框做的 oracle 实验也一样,加了外观,所有指标都下降。

Jinkun Cao 是两篇论文共同的作者。在 OC-SORT 的基础上,外观反而成了 DanceTrack 上提升最多的组件。

两篇的设置差很多,re-ID 模型不同,运动模型也不同。DanceTrack 论文里的 DeepSORT,是在 SORT 那套容易在遮挡后失准的运动模型上,用外观当作主要的匹配依据;Deep OC-SORT 则是把外观当作 IoU 之外的辅助代价,加在一个本来就很稳的运动跟踪器上。舞者长得很像,但并不是完全一样,只要用的方式对,外观还是有信息可以榨。

测试集

数据集方法HOTAMOTAIDF1ID 切换AssA
MOT17OC-SORT63.278.077.51,95063.2
MOT17StrongSORT++(离线)64.479.679.51,19464.4
MOT17Deep OC-SORT64.979.480.61,02365.9
MOT20OC-SORT62.175.575.991362.0
MOT20StrongSORT++(离线)62.673.877.077064.0
MOT20Deep OC-SORT63.975.679.277965.7

整理自原论文 Table 1,MOT17 与 MOT20 测试集。

MOT17 上,Deep OC-SORT 的 HOTA 64.9,在当时的排行榜上排第二;MOT20 上 63.9,排第一。和 OC-SORT 比,ID 切换在 MOT17 上几乎少了一半。

StrongSORT++ 用了离线的后处理(AFLink、GSI),Deep OC-SORT 是纯在线的方法,关联准确度 AssA 仍然比它高。

原论文 Table 2:DanceTrack 测试集的比较,各列为 HOTA、DetA、AssA、MOTA、IDF1。上半部分是各自使用不同检测的方法,MOTR 的 HOTA 54.2 最高;下半部分使用相同的 YOLOX 检测:SORT 47.9、DeepSORT 45.6、ByteTrack 47.3、OC-SORT 55.1、StrongSORT++ 55.6,Deep OC-SORT 为 HOTA 61.3、DetA 82.2、AssA 45.8、MOTA 92.3、IDF1 61.5。
原论文 Table 2(Maggiolino 等人),取自 PDF 第 3 页,arXiv 许可,学术引用。

DanceTrack 上,使用同样 YOLOX 检测的方法里,Deep OC-SORT 的 HOTA 61.3,比 OC-SORT 高 6.2 分,AssA 从 38.3 升到 45.8。DeepSORT 比 SORT 差、Deep OC-SORT 比 OC-SORT 好,这两组对照放在同一张表上,正好说明了外观加法的差别。

作者宣称这是已发表方法中的最佳结果。不过三个月前上传 arXiv 的 MOTRv2,已经在 DanceTrack 上报告了高得多的成绩,只是当时还没正式发表,也不在这张表里。

局限

这是一篇 4 页的会议短文,分析的深度有限。

三个新模块都是手工设计的规则,外观权重 awa_w 和上限 ϵ\epsilon 在不同数据集上要分开调,DanceTrack 的设置和 MOT17 差很多。论文也没有报告速度。多了一个 re-ID 模型,每个检测都要提取一次特征,比纯运动的 OC-SORT 慢是一定的。

结论

Deep OC-SORT 在 OC-SORT 上加回了外观,但加得很节制。检测置信度低的时候不更新外观,外观没有区分度的时候不放大外观的权重,镜头动了就把所有用到的旧框一起修正。

每个模块都很小,加起来却在三个数据集上都有稳定的提升。

DanceTrack 的论文告诉大家,舞者撞衫,外观没用。一年多后,同一位作者在 DanceTrack 上把外观权重调得比 MOT17 还高。