返回论文笔记资料库
arXiv 2022IEEE TMM 2023多目标跟踪论文笔记

StrongSORT

让 DeepSORT 再次伟大

原始论文

StrongSORT: Make DeepSORT Great Again

论文作者

Yunhao Du · Zhicheng Zhao · Yang Song …

查看全部 7 位作者

Yunhao Du · Zhicheng Zhao · Yang Song · Yanyun Zhao · Fei Su · Tao Gong · Hongying Meng

arXiv 首次提交
arXiv:2202.13514
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingstrongsort2022,
  title = {{StrongSORT: Make DeepSORT Great Again}},
  author = {Yunhao Du and Zhicheng Zhao and Yang Song and Yanyun Zhao and Fei Su and Tao Gong and Hongying Meng},
  year = {2022},
  eprint = {2202.13514},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2202.13514}
}
本页内容

多目标跟踪的排行榜,越来越难读了。

每篇论文用的检测器不一样,有的用 Faster R-CNN,有的用 CenterNet,有的用 YOLOX;re-ID 模型也各不相同;额外的训练数据多少不一;推理时还各自加了不同的小技巧。一个方法比另一个方法高两分,很难说清楚是关联算法比较好,还是检测器比较强,还是哪个技巧多加了一点。

北京邮电大学的 Yunhao Du 等人决定回头看看老朋友 DeepSORT。

这个 2017 年的跟踪器简单、容易扩展,在工程上用得很广,但在排行榜上早就被甩在了后面。作者认为,它落后的原因在于零件太旧,和跟踪的框架无关。那就把零件一个一个换新,看看它能跑多快。

论文标题叫「Make DeepSORT Great Again」。

论文看多了就会发现,这年头大家都很忙着让东西再次伟大。RepVGG 要让 VGG 再次伟大,隔年马上有人要让 RepVGG「更」伟大;GCN、FCN、编码器-解码器、LoRA,连 Sigmoid 配 MSE 都排着队,等着再伟大一次。好好一句竞选口号,被研究圈用得都快发霉了。(各位作者,这个梗真的可以让它退休了。)

好在这次轮到的 DeepSORT,后面是真的拿出了成绩。

定义问题

作者想解决两件事。

第一件是公平比较。他们要提供一个强而公平的基线,用目前好的检测器和 re-ID 模型,加上一组整理过的推理技巧。新方法拿来和这个基线比,才知道自己的贡献在哪里。作者也特别说明,这一部分不主张任何算法上的新意,贡献在于把 DeepSORT 拆清楚、装上新零件。

第二件是多目标跟踪里两种固有的「缺失」:

  • 缺失的关联(missing association): 同一个物体被切成好几段短轨迹。在线跟踪器缺乏全局信息,特别容易发生。
  • 缺失的检测(missing detection): 物体被当成背景,也就是漏检,通常来自遮挡或分辨率太低。

已有的解法各有代价。要把短轨迹接成长轨迹,常见做法是离线的全局链接模型,但它们大多依赖外观特征,计算量很大。要补上漏检,常用线性插值,但线性插值完全不考虑运动信息。

解决问题

先把 DeepSORT 拆开

原论文 Fig. 2:上半是 DeepSORT 的框架:外观分支是一个简单的 CNN 加特征库,输出代价;运动分支是卡尔曼滤波,输出门控;两者交给匹配级联。在 MOT17 验证集上(使用 YOLOX 检测)IDF1 77.3、MOTA 76.7、HOTA 66.3。下半是 StrongSORT:外观分支换成 BoT 加 ResNeSt50 和 EMA 更新,运动分支是 ECC 加 NSA 卡尔曼滤波,运动信息同时进入代价与门控,最后用普通匹配。IDF1 82.3(+5.0)、MOTA 77.1(+0.4)、HOTA 69.6(+3.3)。
原论文 Fig. 2(Du 等人),取自 PDF 第 4 页,CC BY 4.0。

作者把 DeepSORT 看成两个分支。

外观分支: 一个在 MARS 行人数据集上预训练的简单 CNN,给每个检测框提取特征。每条轨迹保留最近 100 帧的特征,组成特征库;新检测和轨迹的外观距离,取它和特征库中最像的那一个之间的余弦距离。

运动分支: 卡尔曼滤波预测轨迹在这一帧的位置,再用马氏距离做门控,排除不可能的匹配。

最后,匹配级联把匹配拆成几个子问题,让最近才看到过的轨迹先挑。

要公平比较,检测器得先统一。上图上半的分数,是作者把 DeepSORT 的检测器换成和 ByteTrack 相同的 YOLOX-X 之后的结果。检测一致之后,剩下的差距就都来自跟踪器本身。

一个零件一个零件地换

更强的外观模型(BoT)。 原本的简单 CNN 换成 BoT,这是 re-ID 领域一个整理了许多训练技巧的强基线,骨干用 ResNeSt50,先在 DukeMTMC 上预训练。

EMA 特征更新。 DeepSORT 的特征库会把偶尔质量很差的检测特征也存进去。作者改成用指数移动平均维护每条轨迹的外观状态:

eit=α eit−1+(1−α) fite_i^t = \alpha\, e_i^{t-1} + (1 - \alpha)\, f_i^t

fitf_i^t 是这一帧匹配上的检测特征,α=0.9\alpha = 0.9。旧的外观状态占九成,新的一帧只占一成,单一帧的噪声就不容易把外观带偏。这样也不用再对特征库里的 100 个特征逐一算距离,速度更快。

相机运动补偿(ECC)。 MOTChallenge、DanceTrack、KITTI 都有相机移动的视频。作者沿用增强相关系数(ECC)做图像对齐,估计相邻两帧间的整体旋转与平移,先把轨迹的预测位置跟着相机搬过去。这和 Tracktor++ 用的是同一套方法。

NSA 卡尔曼滤波。 一般的卡尔曼滤波把每个检测框的观测噪声都当成一样。NSA(Noise Scale Adaptive)卡尔曼滤波借自 GIAOTracker,让观测噪声随检测分数调整:

R~k=(1−ck) Rk\tilde{R}_k = (1 - c_k)\, R_k

ckc_k 是检测分数。分数 0.9 的框,观测噪声只剩原本的一成,滤波器会更相信它;分数 0.6 的框,噪声还有四成,滤波器就比较依赖自己的预测。

运动代价。 DeepSORT 实验时让代价只有外观距离,运动只做门控。StrongSORT 把两者加权成代价:

C=λAa+(1−λ)Am,λ=0.98C = \lambda A_a + (1 - \lambda) A_m, \quad \lambda = 0.98

这个权重沿用 FairMOT 等方法的设置。

普通匹配。 最后,把匹配级联去掉,换回单一的全局线性分配。理由后面看消融时再谈。

装完这些零件的跟踪器就叫 StrongSORT。作者另外提出两个轻量、与模型无关、也不用外观特征的后处理算法,加上之后称为 StrongSORT++。这两个算法都需要看到整段视频的轨迹,所以 StrongSORT++ 是离线方法。

AFLink(Appearance-Free Link):把断掉的轨迹接起来。

AFLink 只看两段短轨迹的时空信息,判断它们是不是同一个物体。每段短轨迹取最近 30 帧,每帧三个数:帧号 ff、位置 xx、yy;不足 30 帧的补零。所以一段短轨迹就是一个 30×330 \times 3 的小矩阵。

两段短轨迹各自进入一个分支,两个分支的权重不共享:

  1. 时间模块: 四层 Conv-BN-ReLU,卷积核 7×17 \times 1,只沿时间方向卷积,通道数依次是 32、64、128、256。
  2. 融合模块: 一层 1×31 \times 3 的卷积,把帧号、xx、yy 三个维度的信息融合在一起。

两个分支的输出经过池化、展平后拼接,送进两层全连接的分类器,输出这两段轨迹属于同一个物体的概率。

训练数据直接从真实轨迹切出来。把标注轨迹切成短轨迹、加上随机的时空噪声,正负样本比例 1:3,用二元交叉熵训练 20 个 epoch。整个训练只要十几秒。

推理时,先排除时间相隔超过 30 帧或空间距离超过 75 像素的轨迹对,再把 AFLink 的分数当成相似度,做一次线性分配;分数要高于 0.95 才接起来。

GSI(Gaussian-Smoothed Interpolation):补洞,也顺便抹平抖动。

线性插值在缺口两端画一条直线,不管物体实际怎么移动。GSI 把每条轨迹的框位置看成时间的函数,用高斯过程回归来拟合:

pt=f(i)(t)+ϵf(i)∼GP(0,k(⋅,⋅))k(x,x′)=exp⁡(−∥x−x′∥22λ2)\begin{aligned} p_t &= f^{(i)}(t) + \epsilon \\ f^{(i)} &\sim \mathcal{GP}\big(0, k(\cdot, \cdot)\big) \\ k(x, x') &= \exp\left(-\frac{\|x - x'\|^2}{2\lambda^2}\right) \end{aligned}

ptp_t 是第 tt 帧框的 (x,y,w,h)(x, y, w, h),ϵ\epsilon 是高斯噪声。给定要预测的帧,平滑后的位置由高斯过程的后验均值算出:

P∗=K(F∗,F)(K(F,F)+σ2I)−1PP^* = K(F^*, F)\left(K(F, F) + \sigma^2 I\right)^{-1} P

核函数的宽度 λ\lambda 控制轨迹有多平滑,作者让它随轨迹长度 ll 调整:λ=τlog⁡(τ3/l)\lambda = \tau \log(\tau^3 / l),τ=10\tau = 10。插值的最大缺口是 20 帧。

GSI 做的不只是补洞。它重新拟合整条轨迹,原本检测框逐帧的小抖动也会被抹平。作者把它看成一种检测噪声的滤波器:用线性插值的轨迹,速度曲线抖得很厉害,用 GSI 之后就平稳得多,对后续要估计速度的应用有帮助。

讨论

检测器是 YOLOX-X,训练方式沿用 ByteTrack。推理时 NMS 阈值 0.8、检测分数阈值 0.6、匹配距离阈值 0.45。消融实验切分 MOT17 训练集每段视频的前后两半,所有实验都在一张 V100 上跑。

每个零件值多少

原论文 Table I:MOT17 验证集上,从 Baseline(换上 YOLOX 的 DeepSORT)逐步加入 BoT、ECC、NSA、EMA、MC、woC 的结果。Baseline 的 IDF1 77.3、MOTA 76.7、HOTA 66.3、FPS 13.8;StrongSORTv1(加 BoT)为 79.5、76.8、67.8、8.3;v2(加 ECC)为 79.7、77.1、67.9、6.3;v3(加 NSA)为 79.7、77.1、68.3、6.2;v4(加 EMA)为 80.1、77.0、68.2、7.4;v5(加运动代价)为 80.9、77.0、68.9、7.4;v6(去掉级联)为 82.3、77.1、69.6、7.5。
原论文 Table I(Du 等人),取自 PDF 第 7 页,CC BY 4.0。

从上往下读,每一行多加一个零件:

  1. BoT: IDF1 +2.2,HOTA +1.5。更好的外观特征,是所有改动中帮助最大的一项,但 FPS 从 13.8 掉到 8.3。
  2. ECC: IDF1 +0.2、MOTA +0.3,FPS 再掉到 6.3。
  3. NSA: HOTA +0.4,MOTA 和 IDF1 不变。改善的是定位准确度,这正好是 HOTA 会算、MOTA 和 IDF1 不太算的部分。
  4. EMA: IDF1 +0.4,FPS 回升到 7.4。
  5. 运动代价: IDF1 +0.8。
  6. 去掉匹配级联: IDF1 +1.4,HOTA +0.7。

六步走完,IDF1 从 77.3 到 82.3,HOTA 从 66.3 到 69.6,MOTA 只多了 0.4。这些零件改善的主要是关联,检测没有变。

速度则几乎掉了一半。

匹配级联为什么要去掉

原论文 Table III:MOT17 验证集上,DeepSORT 与 StrongSORTv1 到 v5 分别使用匹配级联(Cascade)与普通匹配(Vanilla)的比较。DeepSORT 换成普通匹配后 IDF1 从 77.3 降到 76.2(−1.1);StrongSORTv1 为 +0.1,v2 为 +0.0,v3 为 +0.2,v4 为 +1.8,v5 为 +1.4。MOTA 的变化都在 ±0.1 以内。
原论文 Table III(Du 等人),取自 PDF 第 8 页,CC BY 4.0。

这张表在每一个版本上都比较了级联和普通匹配。

对原版 DeepSORT,级联是有用的,去掉之后 IDF1 掉 1.1。但跟踪器越强,级联的好处越小;到了 v4、v5,去掉级联反而让 IDF1 多了 1.8 和 1.4。

我们在 DeepSORT 那篇看过级联的动机。马氏距离会偏袒不确定的轨迹,所以让最近才看到过的轨迹先挑。作者的结论是,这个先验在弱跟踪器上能减少混淆的匹配,但当外观特征够强、代价里也加了运动信息之后,跟踪器本来就不容易认错,这个额外的限制反而绑住了它。

原论文 Table II:把 AFLink 与 GSI 套用到六个跟踪器上,MOT17 验证集的结果。StrongSORTv1 加两者后 IDF1 80.4(+0.9)、MOTA 78.2(+1.4)、HOTA 68.9(+1.1);StrongSORTv6 为 83.3(+1.0)、78.7(+1.6)、70.8(+1.2);CenterTrack 只加 AFLink 时 IDF1 从 64.6 升到 68.3,两者都加为 68.4(+3.8)、66.9(+0.1)、57.6(+2.3);TransTrack 为 69.9(+1.3)、69.6(+1.9)、59.4(+1.3);FairMOT 为 74.2(+1.5)、71.1(+2.0)、59.0(+1.7)。加入两者后 FPS 下降 0.2 到 1.6。
原论文 Table II(Du 等人),取自 PDF 第 7 页,CC BY 4.0。

每个跟踪器有三行:原始、加 AFLink、再加 GSI。

AFLink 对越弱的跟踪器帮助越大。CenterTrack 只做相邻帧的局部匹配,被挡住的人一断就是一条新轨迹,加上 AFLink 后 IDF1 多了 3.7;StrongSORTv6 本身断得少,只多 0.2。

作者的说法是,GSI 则相反,对越强的跟踪器越有用。它同时改善 MOTA 和 HOTA,补上的框减少了漏检,平滑后的框更贴近真实位置。但如果轨迹本身就有很多错误的关联,GSI 会把错的轨迹也平滑得很漂亮。

两者在 MOT17 上的开销分别是每张图像 1.7 毫秒和 7.1 毫秒。

排行榜

MOT17 测试集上,StrongSORT 的 HOTA 63.5、IDF1 78.5、MOTA 78.3,ID 切换 1446。作者用 YOLOX 复现的 DeepSORT 是 61.2、74.5、78.0,复现的 ByteTrack(不含线性插值)是 62.8、77.2、78.9。在同样的检测器下,StrongSORT 的关联比两者都好,MOTA 则和 ByteTrack 差不多。

加上 AFLink 和 GSI 的 StrongSORT++ 是 64.4、79.5、79.6,HOTA、IDF1、AssA、DetA 都是当时第一,IDF1 和 AssA 都比第二名高出 2.1。

MOT20 上,StrongSORT++ 的 HOTA 62.6、IDF1 77.0,ID 切换只有 770 次;但 MOTA 73.8 低于 ByteTrack 论文报告的 77.8。作者的解释是,他们沿用 MOT17 的检测分数阈值,在拥挤的 MOT20 中漏掉了很多人:StrongSORT++ 的 FN 是 117,920,ByteTrack 只有 87,594。这正好是 ByteTrack 那篇论文想解决的问题。

DanceTrack 上,StrongSORT++ 的 HOTA 55.6,略高于 OC-SORT 的 55.1。有意思的是,作者在 DanceTrack 上去掉了 BoT 和 EMA 这两个和外观有关的改进。舞者穿得都差不多,外观特征帮不上忙。

作者承认的局限

第一,速度慢。DeepSORT 式的框架需要额外的 re-ID 模型,StrongSORT 在 MOT17 上只有 7.5 FPS,MOT20 只有 1.5 FPS。第二,检测阈值太高,在 MOT17、MOT20 上的 MOTA 偏低。第三,AFLink 只能把断掉的轨迹接起来,无法把混在一起的轨迹拆开。

后来

StrongSORT 确实成了常见的比较基线,Deep OC-SORT 等后续方法都把它放进比较表。同年稍晚的 BoT-SORT 也走了类似的路,在 ByteTrack 上加入相机运动补偿和 re-ID 融合;BoxMOT 这类开源跟踪工具包,也把 StrongSORT 收进了可替换的跟踪器列表。

结论

没有新的跟踪框架,只有一个个换新的零件。StrongSORT 把 DeepSORT 的检测器、外观模型、特征更新、卡尔曼滤波、代价和匹配都换了一轮,证明 2017 年的框架在 2022 年仍然能排进前列。真正的新东西是 AFLink 和 GSI,两个不用外观、几毫秒就能跑完、可以接到任何跟踪器后面的后处理。

它把一个「强跟踪器」拆成了一步一步的增量。换 re-ID 模型值 2.2 分 IDF1,去掉匹配级联值 1.4 分,整套换完,速度从 13.8 FPS 掉到 7.5 FPS。挑技巧的时候,这份价目表很好用。

四个月后,BoT-SORT 把类似的相机补偿和 re-ID 装到 ByteTrack 上,在 MOT17 上又往前推了一点。