MOT20: A benchmark for multi object tracking in crowded scenes
- 发表版本
- 正式发表信息尚未核实
- arXiv 首次提交
- arXiv:2003.09003
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multiobjecttrackingmot202020,
title = {{MOT20: A benchmark for multi object tracking in crowded scenes}},
author = {Patrick Dendorfer and Hamid Rezatofighi and Anton Milan and Javen Shi and Daniel Cremers and Ian Reid and Stefan Roth and Konrad Schindler and Laura Leal-Taixé},
year = {2020},
eprint = {2003.09003},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2003.09003}
}
读过 ByteTrack、OC-SORT、StrongSORT 的主表,你一定看过 MOT20 这一列。它通常紧跟在 MOT17 后面,数字普遍比较低,速度也慢得多。
MOT20 的论文本身只有 7 页,大半篇幅在说明标注规则和评估方式,和四年前的 MOT16 几乎一样。真正新的东西,是 8 段极度拥挤的视频。
作者们是 MOTChallenge 的维护团队,来自慕尼黑工业大学、阿德莱德大学、苏黎世联邦理工学院和达姆施塔特工业大学。根据论文的统计,MOTChallenge 从 2014 年上线以来,已有超过 1,000 名用户,5 个挑战共用了 44 段视频、270 万个框。MOT20 的视频在 2019 年先用来办了一场研讨会挑战赛,这篇论文是之后补上的完整说明。
定义问题
MOT15 到 MOT17 让多目标跟踪有了干净的数据和一致的评估。但作者的经验是,大多数方法都可能被过度调整到某一个数据集上,换一个完全不同的场景,不大改参数、甚至不换模型,就应付不来。
拥挤是其中一个还没被好好测试的场景。人一多,框变小、互相遮挡,检测器开始漏人,跟踪器要在一大群长得差不多的框里分辨谁是谁。作者想要一组能把方法「推到极限」的视频。
解决问题
8 段视频,3 个场景

8 段视频拍自 3 个场景,训练和测试各 4 段,全部从高处俯拍。场景 1 和场景 2 在训练和测试中都有,场景 3 只出现在测试中。作者刻意留一个没见过的场景,用来测试方法能不能泛化到新环境。测试的标注不公开,避免方法被调得过度贴合特定视频。
各段视频的统计如下:
| 视频 | 场景 | 分辨率 | 长度(帧) | 轨迹 | 行人框 | 每帧人数 |
|---|---|---|---|---|---|---|
| 01 | 室内 | 1920×1080 | 429 | 74 | 19,870 | 46.3 |
| 02 | 室内 | 1920×1080 | 2,782 | 270 | 154,742 | 55.6 |
| 03 | 户外、夜 | 1173×880 | 2,405 | 702 | 313,658 | 130.4 |
| 05 | 户外、夜 | 1654×1080 | 3,315 | 1,169 | 646,344 | 195.0 |
| 04 | 户外、夜 | 1545×1080 | 2,080 | 669 | 274,084 | 131.8 |
| 06 | 户外、日 | 1920×734 | 1,008 | 271 | 132,757 | 131.7 |
| 07 | 室内 | 1920×1080 | 585 | 111 | 33,101 | 56.6 |
| 08 | 户外、日 | 1920×734 | 806 | 191 | 77,484 | 96.1 |
整理自原论文 Table 1;粗体是测试视频。全部视频都是每秒 25 帧。
这张表有几个地方值得多看一眼。
第一,视频很短。训练视频加起来不到 6 分钟,测试不到 3 分钟,但训练集有 113 万个行人框,测试集也有 52 万个。
第二,数据集被少数几段视频主导。光是 MOT20-05 就有 64.6 万个框,占整个训练集的 57%;测试集里的 MOT20-04 占了 53%。MOTChallenge 是把所有测试视频串在一起算一个 MOTA,所以 MOT20-04 这一段夜间广场的表现,大致就决定了测试分数。MOT16 笔记里提过 MOT16-03 也有同样的情况。
第三,没见过的场景 3(MOT20-06、08),分辨率是 1920×734,和其他视频的比例都不同。
平均每帧几个人?
论文和后来的引用,对「有多挤」给过好几个数字。论文正文说密度可以达到每帧 246 人;ByteTrack 的论文写测试集平均每张图像 170 人;上表的测试集平均则是每帧 115.5 人。
这些数字的差别,在于算了哪些东西。MOT20 不只标行人,还标了下面这些类别:
| 类别 | 数量 |
|---|---|
| 行人 | 1,652,040 |
| 静止的人 | 335,891 |
| 地上的遮挡物 | 87,786 |
| 非机动车辆 | 22,365 |
| 人群 | 4,303 |
| 合计 | 2,102,385 |
整理自原论文 Table 2。
把测试集所有类别的标注加起来,共 765,465 条,除以 4,479 帧,大约是每帧 170.9 条,这就是常被引用的 170。真正会被拿来评估的只有行人,每帧 115.5 人。
至于 246,正文有一处称它是平均密度,但没有说明怎么算;表上各段视频的平均最高是 MOT20-05 的 195 人,所以 246 比较可能是单帧的最大值。不管用哪个数字,MOT20 都远比 MOT17 拥挤。
标注规则
标注沿用 MOT16 的规则,把画面里的东西分成三组:
- 移动中的行人。 所有看得出是行人、正在移动的人。短暂弯腰捡东西、蹲下跟小孩说话,仍然算在这一类。跟踪器要跟踪的就是这一组。
- 类别模棱两可的人形。 坐着、躺着、整段视频站在原地不动的人,以及人的人工表示(像海报上的人)。评估时,跟踪到这些人不加分,没跟踪到也不扣分。
- 车辆和遮挡物。 不参与评估,提供给用户训练,或用来计算行人被遮挡的程度。停着的车和自行车,只有在挡住行人时才会标。

「不罚也不奖」这一组在 MOT20 特别重要。静止的人一共有 33.6 万条,是行人框的五分之一。在测试视频 MOT20-08 里,静止的人有 52,998 条,行人是 77,484 条;换句话说,画面里大约每 10 个人就有 4 个不在评估范围内。
检测器当然不会管一个人有没有在走路。一个依赖检测的跟踪器,很可能会把这些站着不动的人也跟得好好的;要是这些人算误报,跟踪器就会被冤枉。反过来,一个靠运动线索的跟踪器没跟踪坐着的人,也不该被罚漏检。
另外,跟踪目标的定义也很具体:沿着视线可以直接走到、中间没有实体阻隔的直立行人。倒影、玻璃后面的人、骑自行车或坐在车上的人,都不算。
公开检测
和 MOT17 一样,MOT20 提供一组公开检测,让大家在同样的输入上比较跟踪算法。这次用的是以 ResNet-101 为骨干网络的 Faster R-CNN,在 MOT20 的训练视频上训练。MOT20 挑战一开始只接受用公开检测的结果;之后开放常规提交时,才同时接受自己的检测器。
这个检测器在测试视频上的表现,正好说明了作者为什么要留一个没见过的场景:
| 视频 | 场景 | AP | 召回率 | 精确率 | 每帧误报 |
|---|---|---|---|---|---|
| 04 | 夜间广场(见过) | 0.63 | 69.7 | 98.0 | 1.55 |
| 07 | 室内(见过) | 0.78 | 83.6 | 92.5 | 1.89 |
| 06 | 白天街道(没见过) | 0.43 | 57.9 | 74.4 | 12.64 |
| 08 | 白天街道(没见过) | 0.38 | 55.2 | 61.6 | 13.93 |
整理自原论文 Table 6,测试视频。
在见过的场景,精确率都在九成以上,每帧误报不到 2 个。换到没见过的白天街道,精确率掉到六七成,每帧误报暴增到 12 到 14 个,AP 也只剩 0.4 左右。
这组公开检测,等于把泛化失败直接交给了跟踪器。用公开检测的跟踪器,在 MOT20-06 和 08 上一开始就得处理大量的假框。
检测统计也显示了框有多小。四段测试视频里,检测框最矮的只有 21 到 37 像素;训练视频 MOT20-03 更有矮到 16 像素的框。
文件格式和评估
MOT20 的文件是简单的 CSV,每一行一个物体,9 个字段依次为帧号、ID、框的左上角 x 和 y、宽、高、置信度分数、类别、可见度。检测文件的 ID 填 −1;真值文件的置信度分数字段改作标志位用,0 表示这一条不纳入评估。坐标从 1 开始算。
评估也沿用 MOT16:IoU 至少 0.5 才算匹配上,指标是 CLEAR MOT 和 Wu 与 Nevatia 的轨迹质量指标(MT、ML、FM)。作者特别说明,这里的 ID 切换定义比原始的 CLEAR MOT 严格:一个真实目标这一次配到的轨迹,只要和它上一次的配对不同,就算一次。所有测试视频串在一起计算,而不是各段平均。
针对拥挤场景,MOT20 还加了一条 MOT17 没有的规则。结果框和静止的人、倒影、骑车的人、干扰物这些类别重叠超过 75%,就从结果中去掉,论文把这一条写在检测挑战的评估步骤里。
MOTA 仍是主要指标,作者照样补了一句,这个数字能不能单独作为唯一的性能指标「非常值得商榷」。为了看出方法有没有被调到只适合某几段视频,排行榜也会列出各段视频 MOTA 的标准差。
论文本身没有任何跟踪器的结果,只有上面的检测器表现。跟踪器在 MOT20 上表现如何,要到之后的论文和排行榜去看。
讨论
把站内笔记里 MOT20 出现过的地方串起来,这组视频考的东西大致有四项。
拥挤拖慢了需要外观特征的方法。 FairMOT 在 MOT20 上只剩 13.2 FPS,StrongSORT 只有 1.5 FPS。每一帧上百个人,每个人都要提取一次外观特征、和每条轨迹比一次。
拥挤让运动模型的误差累积更明显。 OC-SORT 在 MOT20 上和 ByteTrack 拉开的差距,比在 MOT17 上大。遮挡多、一被挡住就是好几帧,卡尔曼滤波没有观测可以修正,误差就一路累积。
固定镜头。 MOT20 的视频都是固定的摄像机拍的,所以相机运动补偿在这里没有用处。Deep OC-SORT 的消融就显示,加上相机运动补偿后,MOT17 有明显提升,MOT20 则没有。
拥挤和难认是两回事。 DanceTrack 的作者特别指出,MOT20 虽然人很多,但行人移动很规律,彼此的相对位置和遮挡区域几乎不变,这样的拥挤对外观比对并不构成障碍。DanceTrack 于是换个方向出题,人很少,但长得一样、动作又乱。
结论
MOT20 在 MOTChallenge 已有的规则上,换上 8 段极度拥挤的视频:每帧平均一百多个行人、最小的框只有十几个像素,还留了一个只在测试中出现的白天街道。论文本身很短,没有方法,也没有跟踪结果,但它把「拥挤」变成了之后每一篇跟踪论文都得交代的一列。
读它的数字时,有两件事可以记着:测试分数大半由 MOT20-04 一段夜间广场决定;常听到的「每帧 170 人」包含了不参与评估的类别,真正被评估的行人是每帧 115.5 人。