StrongSORT: Make DeepSORT Great Again
- arXiv 首次提交
- arXiv:2202.13514
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multiobjecttrackingstrongsort2022,
title = {{StrongSORT: Make DeepSORT Great Again}},
author = {Yunhao Du and Zhicheng Zhao and Yang Song and Yanyun Zhao and Fei Su and Tao Gong and Hongying Meng},
year = {2022},
eprint = {2202.13514},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2202.13514}
}
多目标跟踪的排行榜,越来越难读了。
每篇论文用的检测器不一样,有的用 Faster R-CNN,有的用 CenterNet,有的用 YOLOX;re-ID 模型也各不相同;额外的训练数据多少不一;推理时还各自加了不同的小技巧。一个方法比另一个方法高两分,很难说清楚是关联算法比较好,还是检测器比较强,还是哪个技巧多加了一点。
北京邮电大学的 Yunhao Du 等人决定回头看看老朋友 DeepSORT。
这个 2017 年的跟踪器简单、容易扩展,在工程上用得很广,但在排行榜上早就被甩在了后面。作者认为,它落后的原因在于零件太旧,和跟踪的框架无关。那就把零件一个一个换新,看看它能跑多快。
论文标题叫「Make DeepSORT Great Again」。
论文看多了就会发现,这年头大家都很忙着让东西再次伟大。RepVGG 要让 VGG 再次伟大,隔年马上有人要让 RepVGG「更」伟大;GCN、FCN、编码器-解码器、LoRA,连 Sigmoid 配 MSE 都排着队,等着再伟大一次。好好一句竞选口号,被研究圈用得都快发霉了。(各位作者,这个梗真的可以让它退休了。)
好在这次轮到的 DeepSORT,后面是真的拿出了成绩。
定义问题
作者想解决两件事。
第一件是公平比较。他们要提供一个强而公平的基线,用目前好的检测器和 re-ID 模型,加上一组整理过的推理技巧。新方法拿来和这个基线比,才知道自己的贡献在哪里。作者也特别说明,这一部分不主张任何算法上的新意,贡献在于把 DeepSORT 拆清楚、装上新零件。
第二件是多目标跟踪里两种固有的「缺失」:
- 缺失的关联(missing association): 同一个物体被切成好几段短轨迹。在线跟踪器缺乏全局信息,特别容易发生。
- 缺失的检测(missing detection): 物体被当成背景,也就是漏检,通常来自遮挡或分辨率太低。
已有的解法各有代价。要把短轨迹接成长轨迹,常见做法是离线的全局链接模型,但它们大多依赖外观特征,计算量很大。要补上漏检,常用线性插值,但线性插值完全不考虑运动信息。
解决问题
先把 DeepSORT 拆开

作者把 DeepSORT 看成两个分支。
外观分支: 一个在 MARS 行人数据集上预训练的简单 CNN,给每个检测框提取特征。每条轨迹保留最近 100 帧的特征,组成特征库;新检测和轨迹的外观距离,取它和特征库中最像的那一个之间的余弦距离。
运动分支: 卡尔曼滤波预测轨迹在这一帧的位置,再用马氏距离做门控,排除不可能的匹配。
最后,匹配级联把匹配拆成几个子问题,让最近才看到过的轨迹先挑。
要公平比较,检测器得先统一。上图上半的分数,是作者把 DeepSORT 的检测器换成和 ByteTrack 相同的 YOLOX-X 之后的结果。检测一致之后,剩下的差距就都来自跟踪器本身。
一个零件一个零件地换
更强的外观模型(BoT)。 原本的简单 CNN 换成 BoT,这是 re-ID 领域一个整理了许多训练技巧的强基线,骨干用 ResNeSt50,先在 DukeMTMC 上预训练。
EMA 特征更新。 DeepSORT 的特征库会把偶尔质量很差的检测特征也存进去。作者改成用指数移动平均维护每条轨迹的外观状态:
是这一帧匹配上的检测特征,。旧的外观状态占九成,新的一帧只占一成,单一帧的噪声就不容易把外观带偏。这样也不用再对特征库里的 100 个特征逐一算距离,速度更快。
相机运动补偿(ECC)。 MOTChallenge、DanceTrack、KITTI 都有相机移动的视频。作者沿用增强相关系数(ECC)做图像对齐,估计相邻两帧间的整体旋转与平移,先把轨迹的预测位置跟着相机搬过去。这和 Tracktor++ 用的是同一套方法。
NSA 卡尔曼滤波。 一般的卡尔曼滤波把每个检测框的观测噪声都当成一样。NSA(Noise Scale Adaptive)卡尔曼滤波借自 GIAOTracker,让观测噪声随检测分数调整:
是检测分数。分数 0.9 的框,观测噪声只剩原本的一成,滤波器会更相信它;分数 0.6 的框,噪声还有四成,滤波器就比较依赖自己的预测。
运动代价。 DeepSORT 实验时让代价只有外观距离,运动只做门控。StrongSORT 把两者加权成代价:
这个权重沿用 FairMOT 等方法的设置。
普通匹配。 最后,把匹配级联去掉,换回单一的全局线性分配。理由后面看消融时再谈。
两个插件:AFLink 与 GSI
装完这些零件的跟踪器就叫 StrongSORT。作者另外提出两个轻量、与模型无关、也不用外观特征的后处理算法,加上之后称为 StrongSORT++。这两个算法都需要看到整段视频的轨迹,所以 StrongSORT++ 是离线方法。
AFLink(Appearance-Free Link):把断掉的轨迹接起来。
AFLink 只看两段短轨迹的时空信息,判断它们是不是同一个物体。每段短轨迹取最近 30 帧,每帧三个数:帧号 、位置 、;不足 30 帧的补零。所以一段短轨迹就是一个 的小矩阵。
两段短轨迹各自进入一个分支,两个分支的权重不共享:
- 时间模块: 四层 Conv-BN-ReLU,卷积核 ,只沿时间方向卷积,通道数依次是 32、64、128、256。
- 融合模块: 一层 的卷积,把帧号、、 三个维度的信息融合在一起。
两个分支的输出经过池化、展平后拼接,送进两层全连接的分类器,输出这两段轨迹属于同一个物体的概率。
训练数据直接从真实轨迹切出来。把标注轨迹切成短轨迹、加上随机的时空噪声,正负样本比例 1:3,用二元交叉熵训练 20 个 epoch。整个训练只要十几秒。
推理时,先排除时间相隔超过 30 帧或空间距离超过 75 像素的轨迹对,再把 AFLink 的分数当成相似度,做一次线性分配;分数要高于 0.95 才接起来。
GSI(Gaussian-Smoothed Interpolation):补洞,也顺便抹平抖动。
线性插值在缺口两端画一条直线,不管物体实际怎么移动。GSI 把每条轨迹的框位置看成时间的函数,用高斯过程回归来拟合:
是第 帧框的 , 是高斯噪声。给定要预测的帧,平滑后的位置由高斯过程的后验均值算出:
核函数的宽度 控制轨迹有多平滑,作者让它随轨迹长度 调整:,。插值的最大缺口是 20 帧。
GSI 做的不只是补洞。它重新拟合整条轨迹,原本检测框逐帧的小抖动也会被抹平。作者把它看成一种检测噪声的滤波器:用线性插值的轨迹,速度曲线抖得很厉害,用 GSI 之后就平稳得多,对后续要估计速度的应用有帮助。
讨论
检测器是 YOLOX-X,训练方式沿用 ByteTrack。推理时 NMS 阈值 0.8、检测分数阈值 0.6、匹配距离阈值 0.45。消融实验切分 MOT17 训练集每段视频的前后两半,所有实验都在一张 V100 上跑。
每个零件值多少

从上往下读,每一行多加一个零件:
- BoT: IDF1 +2.2,HOTA +1.5。更好的外观特征,是所有改动中帮助最大的一项,但 FPS 从 13.8 掉到 8.3。
- ECC: IDF1 +0.2、MOTA +0.3,FPS 再掉到 6.3。
- NSA: HOTA +0.4,MOTA 和 IDF1 不变。改善的是定位准确度,这正好是 HOTA 会算、MOTA 和 IDF1 不太算的部分。
- EMA: IDF1 +0.4,FPS 回升到 7.4。
- 运动代价: IDF1 +0.8。
- 去掉匹配级联: IDF1 +1.4,HOTA +0.7。
六步走完,IDF1 从 77.3 到 82.3,HOTA 从 66.3 到 69.6,MOTA 只多了 0.4。这些零件改善的主要是关联,检测没有变。
速度则几乎掉了一半。
匹配级联为什么要去掉

这张表在每一个版本上都比较了级联和普通匹配。
对原版 DeepSORT,级联是有用的,去掉之后 IDF1 掉 1.1。但跟踪器越强,级联的好处越小;到了 v4、v5,去掉级联反而让 IDF1 多了 1.8 和 1.4。
我们在 DeepSORT 那篇看过级联的动机。马氏距离会偏袒不确定的轨迹,所以让最近才看到过的轨迹先挑。作者的结论是,这个先验在弱跟踪器上能减少混淆的匹配,但当外观特征够强、代价里也加了运动信息之后,跟踪器本来就不容易认错,这个额外的限制反而绑住了它。
AFLink 和 GSI 能接到谁身上

每个跟踪器有三行:原始、加 AFLink、再加 GSI。
AFLink 对越弱的跟踪器帮助越大。CenterTrack 只做相邻帧的局部匹配,被挡住的人一断就是一条新轨迹,加上 AFLink 后 IDF1 多了 3.7;StrongSORTv6 本身断得少,只多 0.2。
作者的说法是,GSI 则相反,对越强的跟踪器越有用。它同时改善 MOTA 和 HOTA,补上的框减少了漏检,平滑后的框更贴近真实位置。但如果轨迹本身就有很多错误的关联,GSI 会把错的轨迹也平滑得很漂亮。
两者在 MOT17 上的开销分别是每张图像 1.7 毫秒和 7.1 毫秒。
排行榜
MOT17 测试集上,StrongSORT 的 HOTA 63.5、IDF1 78.5、MOTA 78.3,ID 切换 1446。作者用 YOLOX 复现的 DeepSORT 是 61.2、74.5、78.0,复现的 ByteTrack(不含线性插值)是 62.8、77.2、78.9。在同样的检测器下,StrongSORT 的关联比两者都好,MOTA 则和 ByteTrack 差不多。
加上 AFLink 和 GSI 的 StrongSORT++ 是 64.4、79.5、79.6,HOTA、IDF1、AssA、DetA 都是当时第一,IDF1 和 AssA 都比第二名高出 2.1。
MOT20 上,StrongSORT++ 的 HOTA 62.6、IDF1 77.0,ID 切换只有 770 次;但 MOTA 73.8 低于 ByteTrack 论文报告的 77.8。作者的解释是,他们沿用 MOT17 的检测分数阈值,在拥挤的 MOT20 中漏掉了很多人:StrongSORT++ 的 FN 是 117,920,ByteTrack 只有 87,594。这正好是 ByteTrack 那篇论文想解决的问题。
DanceTrack 上,StrongSORT++ 的 HOTA 55.6,略高于 OC-SORT 的 55.1。有意思的是,作者在 DanceTrack 上去掉了 BoT 和 EMA 这两个和外观有关的改进。舞者穿得都差不多,外观特征帮不上忙。
作者承认的局限
第一,速度慢。DeepSORT 式的框架需要额外的 re-ID 模型,StrongSORT 在 MOT17 上只有 7.5 FPS,MOT20 只有 1.5 FPS。第二,检测阈值太高,在 MOT17、MOT20 上的 MOTA 偏低。第三,AFLink 只能把断掉的轨迹接起来,无法把混在一起的轨迹拆开。
后来
StrongSORT 确实成了常见的比较基线,Deep OC-SORT 等后续方法都把它放进比较表。同年稍晚的 BoT-SORT 也走了类似的路,在 ByteTrack 上加入相机运动补偿和 re-ID 融合;BoxMOT 这类开源跟踪工具包,也把 StrongSORT 收进了可替换的跟踪器列表。
结论
没有新的跟踪框架,只有一个个换新的零件。StrongSORT 把 DeepSORT 的检测器、外观模型、特征更新、卡尔曼滤波、代价和匹配都换了一轮,证明 2017 年的框架在 2022 年仍然能排进前列。真正的新东西是 AFLink 和 GSI,两个不用外观、几毫秒就能跑完、可以接到任何跟踪器后面的后处理。
它把一个「强跟踪器」拆成了一步一步的增量。换 re-ID 模型值 2.2 分 IDF1,去掉匹配级联值 1.4 分,整套换完,速度从 13.8 FPS 掉到 7.5 FPS。挑技巧的时候,这份价目表很好用。
四个月后,BoT-SORT 把类似的相机补偿和 re-ID 装到 ByteTrack 上,在 MOT17 上又往前推了一点。