返回论文笔记资料库
arXiv 2021ECCV 2022多目标跟踪论文笔记

ByteTrack

一个都不能少

原始论文

ByteTrack: Multi-Object Tracking by Associating Every Detection Box

论文作者

Yifu Zhang · Peize Sun · Yi Jiang …

查看全部 9 位作者

Yifu Zhang · Peize Sun · Yi Jiang · Dongdong Yu · Fucheng Weng · Zehuan Yuan · Ping Luo · Wenyu Liu · Xinggang Wang

发表版本
ECCV 2022会议
arXiv 首次提交
arXiv:2110.06864
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingbytetrack2021,
  title = {{ByteTrack: Multi-Object Tracking by Associating Every Detection Box}},
  author = {Yifu Zhang and Peize Sun and Yi Jiang and Dongdong Yu and Fucheng Weng and Zehuan Yuan and Ping Luo and Wenyu Liu and Xinggang Wang},
  year = {2021},
  eprint = {2110.06864},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2110.06864}
}
本页内容

这篇论文的引言,开头引了一句黑格尔:「凡是合理的都是现实的,凡是现实的都是合理的。」

跟踪论文引哲学家,不太常见。作者想说的是,检测器给出的低分框,有些其实是真的。

从 SORT 开始,几乎所有的跟踪器都有一个习惯,先把检测分数低于某个阈值的框丢掉,只拿高分框去匹配。理由很合理,低分框里有很多背景和误报,留着只会干扰跟踪。

可是一个人被别人挡住一半时,检测器的分数也会掉下来。把这些框丢掉,这个人的轨迹就断了。

FairMOT 的第一作者张一夫,这次和华中科技大学、香港大学、字节跳动的团队一起,把注意力从网络架构移到了这个阈值上。

定义问题

原论文 Figure 2:连续三帧 t1、t2、t3 的跟踪例子。(a) 检测框与分数:左边的女子一直是 0.9,中间偏右的老人是 0.9 和 0.8,女子身后被挡住的人从 0.8 掉到 0.4 再掉到 0.1,最右边的背景区域一直有一个 0.1 的框。(b) 只关联分数高于 0.5 的检测框:被挡住的人(红框)在 t2、t3 消失了。(c) 关联每一个检测框:被挡住的人在 t2、t3 以低分框接回原本的红色轨迹,虚线是卡尔曼滤波的预测框;最右边的背景框则因为没有任何轨迹与之重叠而被丢掉。
原论文 Figure 2(Zhang 等人),取自 PDF 第 2 页,arXiv 许可,学术引用。

我们先看 (a) 这一排。第一帧有四个框,其中三个人的分数都在 0.8 以上,最右边那个 0.1 的框是背景。

到了第二帧,左边的女子走到中间那个人前面,把他挡住了一部分,他的分数从 0.8 掉到 0.4;第三帧挡得更多,分数只剩 0.1。

(b) 是一般的做法,只用分数高于 0.5 的框去匹配。被挡住的那个人在第二帧就失去了观测,红色轨迹跟着消失;等他从女子身后走出来,就会被当成一个新的人。

那全部留下来呢?最右边那个 0.1 的背景框也会被留下来,变成一条假的轨迹。

这就是检测阈值的两难。阈值高,漏掉被遮挡的人;阈值低,引入背景误报。作者指出,很少有方法真正处理这个两难。

他们注意到的线索,是和已有轨迹的相似度。被挡住的那个人,虽然分数很低,但他的框和卡尔曼滤波预测的红色轨迹位置高度重叠;最右边的背景框,附近没有任何轨迹。只要拿低分框去和「上一轮没匹配上的轨迹」比对,就能把真实物体捞回来,同时把背景过滤掉。

(c) 就是这样做的结果。

解决问题

作者把这个关联方法命名为 BYTE。名字来自计算机里的字节,每一个检测框都是轨迹的一个基本单位,就像字节是程序的基本单位。

整个流程只有两次关联:

准备: 用检测分数阈值 τ\tau 把这一帧的检测框分成两组,高分框 Dhigh\mathcal{D}_{high} 和低分框 Dlow\mathcal{D}_{low}。用卡尔曼滤波预测每条轨迹在这一帧的位置。

第一次关联: 拿高分框和所有轨迹匹配,包括暂时丢失的轨迹。相似度可以用预测框和检测框的 IoU,也可以用 re-ID 特征的距离,用匈牙利算法求解。没匹配上的高分框记为 Dremain\mathcal{D}_{remain},没匹配上的轨迹记为 Tremain\mathcal{T}_{remain}。

第二次关联: 拿低分框和 Tremain\mathcal{T}_{remain} 匹配,相似度只用 IoU。这一步结束后,仍然没匹配上的低分框直接丢掉,当作背景。

收尾: 两次都没匹配上的轨迹移到丢失集合,保留 30 帧,期间如果在第一次关联中被匹配上,就恢复原本的 ID;超过 30 帧才删除。第一次关联中没匹配上的高分框,则开启新的轨迹。丢失中的轨迹不输出。

为什么第二次关联只用 IoU?低分框之所以低分,通常是因为严重遮挡或运动模糊,这时候的外观特征不可靠。位置反而比较可靠:被挡住的人不会在一帧内跑太远。

BYTE 和检测器无关,也不限定第一次关联用什么相似度,可以接到任何跟踪器的后面。

作者再把 BYTE 接上当时很强的检测器 YOLOX,命名为 ByteTrack。在 MOT17、MOT20 这些行人数据集上,ByteTrack 两次关联都只用 IoU,没有任何 re-ID 特征。

讨论

ByteTrack 的检测器是 YOLOX-X,在 COCO 预训练后,用 MOT17、CrowdHuman、CityPersons、ETHZ 一起训练 80 个 epoch,输入尺寸 1440×8001440 \times 800,8 张 V100 约 12 小时。速度以 V100、FP16、批大小 1 测量。

消融实验把 MOT17 训练集每段视频切成前后两半,前半训练、后半验证,训练数据另外加上 CrowdHuman。

和其他关联方法比

原论文 Table 2:在 MOT17 与 BDD100K 验证集上,比较 SORT、DeepSORT、MOTDT 与 BYTE(不用或使用 re-ID)。MOT17 上 SORT 的 MOTA 74.6、IDF1 76.9、ID 切换 291;DeepSORT 为 75.4、77.2、239;MOTDT 为 75.8、77.6、273;BYTE 为 76.6、79.3、159;BYTE 加 re-ID 为 76.3、80.5、216。BDD100K 上 mMOTA 依次为 30.9、24.5、26.7、39.4、45.5。FPS 依次为 30.1、13.5、11.1、29.6、11.8。
原论文 Table 2(Zhang 等人),取自 PDF 第 6 页,arXiv 许可,学术引用。

这张表的检测器都一样,差别只在关联方法。

SORT 可以看成 BYTE 的基线,两者都只用卡尔曼滤波和 IoU,差别只在有没有第二次关联。BYTE 把 MOTA 从 74.6 提升到 76.6,IDF1 从 76.9 提升到 79.3,ID 切换从 291 降到 159,速度几乎不变(30.1 对 29.6 FPS)。这就是低分框的价值。

更让作者意外的是 DeepSORT。它多了 re-ID 模型,但 MOTA、IDF1 和 ID 切换都输给只用 IoU 的 BYTE,速度也只有一半不到。作者的解读是,检测框够准的时候,简单的卡尔曼滤波就能做好长距离的关联;遇到严重遮挡,re-ID 特征反而容易出错,运动模型比较可靠。

BYTE 加上 re-ID 之后,IDF1 升到 80.5,但 MOTA 略降、ID 切换增加。

BDD100K 的情况则不同。这是车载视频,相机移动大、标注帧率低,卡尔曼滤波在这里会失效,所以作者在 BDD100K 上不用卡尔曼滤波。只用 IoU 的 BYTE 虽然比 SORT 高出很多(39.4 对 30.9),ID 切换却高达 27902;加上 re-ID 后 mMOTA 升到 45.5,ID 切换降到 9140。

作者也比较了两次关联该用什么相似度。在 MOT17 上,第一次用 IoU 或 re-ID 都可以,IoU 的 MOTA 和 ID 切换比较好,re-ID 的 IDF1 比较高;在 BDD100K 上,第一次关联用 re-ID 好得多。但两个数据集的第二次关联都是 IoU 比较好,用 IoU 比用 re-ID 大约多 1 分 MOTA。这支持了低分框的外观特征不可靠的判断。

对阈值不再那么敏感

原论文 Figure 3:MOT17 验证集上,检测分数阈值从 0.2 到 0.8 时,BYTE(红线)和 SORT(蓝线)的 MOTA 与 IDF1。BYTE 的 MOTA 在 0.2 到 0.7 间大致维持在 76 附近,到 0.8 才降到约 74;SORT 的 MOTA 在 0.4 附近最高,约 74.5,之后一路下降,到 0.8 只剩约 66。IDF1 也有类似趋势:BYTE 大多在 78 到 79 之间,0.8 时降到约 77;SORT 在 0.8 时掉到约 73。
原论文 Figure 3(Zhang 等人),取自 PDF 第 6 页,arXiv 许可,学术引用。

检测阈值通常是跟踪器最敏感、最需要仔细调的超参数。作者把阈值从 0.2 调到 0.8。SORT 的 MOTA 在阈值变高后快速下滑,从 0.4 时的约 74.5 掉到 0.8 时的约 66;BYTE 则相对平稳。

道理很直接。BYTE 的第二次关联会把低于阈值的框捞回来,阈值调高,被丢掉的框其实还有第二次机会。

作者也统计了低分框里的真阳性与误报。在所有分数介于下限和阈值之间的框中,有些视频(例如 MOT17-02)误报远多于真阳性;但 BYTE 从中捞回来的框,真阳性明显多于误报。和已有轨迹的相似度确实是一个有效的筛子。

接到别人的跟踪器上

原论文 Table 3:把 BYTE 套用到九个跟踪器上,MOT17 验证集的结果。大多数跟踪器各有三行:原始方法、把 BYTE 的第二次关联插入原本的关联流程、直接用该跟踪器的检测框跑完整的 BYTE(Motion(K) 表示卡尔曼滤波)。例如 FairMOT 从 MOTA 69.1、IDF1 72.8、ID 切换 299,变为 70.4、74.2、232 和 70.3、73.2、236;CenterTrack 从 66.1、64.2、528,变为 66.3、64.8、334 和 67.4、74.0、144;MOTR 从 64.7、67.2、346,变为 64.3、69.3、263 和 65.7、68.4、260。绿色标示至少提升 1 分的项目。
原论文 Table 3(Zhang 等人),取自 PDF 第 7 页,arXiv 许可,学术引用。

这是全篇最有说服力的一张表。作者把 BYTE 套到九个各式各样的跟踪器上:JDE、CSTrack、FairMOT、TraDeS 这类运动加 re-ID 的方法;只用 re-ID 的 QDTrack;用学习式运动的 CenterTrack;链式结构的 Chained-Tracker;用注意力传递框的 TransTrack 和 MOTR。

套用的方式有两种:

  1. 插入模式: 原本的关联照做,结束后把没匹配上的轨迹拿去和低分框做一次 IoU 匹配。
  2. 替换模式: 只拿该跟踪器的检测框,关联全部换成 BYTE。

几乎每一个跟踪器、每一项指标都有进步。最明显的是 CenterTrack,替换模式下 MOTA 多 1.3、IDF1 多 9.8,ID 切换从 528 降到 144。CenterTrack 原本只靠位移反推做局部匹配,被挡住的人一断就换 ID,BYTE 的丢失轨迹保留机制正好补上了这一块。

不过也不是全面进步。TraDeS 在替换模式下 MOTA 少了 0.3;MOTR 在插入模式下 MOTA 少了 0.4,IDF1 则多了 2.1。这张表比较的是同一个检测器下关联方法的差异,BYTE 的贡献主要在 IDF1 和 ID 切换。

排行榜

基准MOTAIDF1HOTAID 切换FPS
MOT1780.377.363.1219629.6
MOT2077.875.261.3122317.5

整理自原论文 Table 4、Table 5 的 ByteTrack 行。

MOT17 测试集上,ByteTrack 比当时第二名的 ReMOT 高出 3.3 MOTA、5.3 IDF1、3.4 HOTA,速度也是全表最快。作者特别提到,ByteTrack 的训练数据约 2.9 万张图像,比许多方法用的 7.3 万张少。

MOT20 平均每张测试图像有 170 个人,拥挤得多。论文写道,ByteTrack 把 MOTA 从 68.6 提升到 77.8,ID 切换从 4209 降到 1223,少了 71%。在 HiEve 上,MOTA 61.7、IDF1 63.1;在 BDD100K 测试集上,mMOTA 从 35.5 提升到 40.1。四个基准都排第一。

这里要分清楚两件事。ByteTrack 在排行榜上的大幅领先,有相当一部分来自 YOLOX-X 这个强检测器;BYTE 本身在同一个检测器下的贡献,要看前面那两组消融:和 SORT 比是 MOTA 多 2 分、IDF1 多 2.4 分,套到其他跟踪器上则是 MOTA 约 1 到 2 分、IDF1 最多将近 10 分。附录另外用 YOLOX 的小模型比较,BYTE 在每一种检测器大小下都赢过 DeepSORT,在最小的 YOLOX-Nano 上 MOTA 高了 3 分。

后来

ByteTrack 很快成了工程上的默认选项。Ultralytics 的跟踪模块提供 ByteTrack 和 BoT-SORT 两种跟踪器,并把 ByteTrack 定位成最快、最简单的基线;OC-SORT 和 BoT-SORT 都直接沿用 ByteTrack 的 YOLOX 权重来比较,等于把它当成了新一代的 SORT。

它的弱点也很早就被看见了。DanceTrack 论文报告的 ByteTrack HOTA 只有 47.7,AssA 32.1。舞者穿着相似、动作非线性,卡尔曼滤波加 IoU 的匹配顶不住,MOTR 和 OC-SORT 都在这个数据集上赢过它。只靠位置把人接起来,在人走直线的时候很好用,在人转圈的时候就不够了。

结论

被阈值丢掉的低分框,拿去和上一轮没匹配上的轨迹再匹配一次,只用 IoU。ByteTrack 的方法就这一个改动,SORT 的 ID 切换少了将近一半,九个不同的跟踪器套上去几乎都进步,配上 YOLOX 之后在四个基准拿下第一。

下次调跟踪器的检测阈值调到心烦时,可以先试试 BYTE。它让阈值从一刀切的生死线,变成只决定「谁先匹配」。

黑格尔大概没想过,自己有一天会在跟踪论文里替低分框背书。