返回论文笔记资料库
arXiv 2020多目标跟踪论文笔记

MOT20

沙丁鱼罐头

原始论文

MOT20: A benchmark for multi object tracking in crowded scenes

论文作者

Patrick Dendorfer · Hamid Rezatofighi · Anton Milan …

查看全部 9 位作者

Patrick Dendorfer · Hamid Rezatofighi · Anton Milan · Javen Shi · Daniel Cremers · Ian Reid · Stefan Roth · Konrad Schindler · Laura Leal-Taixé

发表版本
正式发表信息尚未核实
arXiv 首次提交
arXiv:2003.09003
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingmot202020,
  title = {{MOT20: A benchmark for multi object tracking in crowded scenes}},
  author = {Patrick Dendorfer and Hamid Rezatofighi and Anton Milan and Javen Shi and Daniel Cremers and Ian Reid and Stefan Roth and Konrad Schindler and Laura Leal-Taixé},
  year = {2020},
  eprint = {2003.09003},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2003.09003}
}
本页内容

读过 ByteTrack、OC-SORT、StrongSORT 的主表,你一定看过 MOT20 这一列。它通常紧跟在 MOT17 后面,数字普遍比较低,速度也慢得多。

MOT20 的论文本身只有 7 页,大半篇幅在说明标注规则和评估方式,和四年前的 MOT16 几乎一样。真正新的东西,是 8 段极度拥挤的视频。

作者们是 MOTChallenge 的维护团队,来自慕尼黑工业大学、阿德莱德大学、苏黎世联邦理工学院和达姆施塔特工业大学。根据论文的统计,MOTChallenge 从 2014 年上线以来,已有超过 1,000 名用户,5 个挑战共用了 44 段视频、270 万个框。MOT20 的视频在 2019 年先用来办了一场研讨会挑战赛,这篇论文是之后补上的完整说明。

定义问题

MOT15 到 MOT17 让多目标跟踪有了干净的数据和一致的评估。但作者的经验是,大多数方法都可能被过度调整到某一个数据集上,换一个完全不同的场景,不大改参数、甚至不换模型,就应付不来。

拥挤是其中一个还没被好好测试的场景。人一多,框变小、互相遮挡,检测器开始漏人,跟踪器要在一大群长得差不多的框里分辨谁是谁。作者想要一组能把方法「推到极限」的视频。

解决问题

8 段视频,3 个场景

原论文 Fig. 1:MOT20 的 8 段视频来自 3 个场景。上排是训练视频,下排是测试视频。场景 1 是明亮的室内大厅,训练两段、测试一段;场景 2 是夜间的户外广场,人群极度密集,训练两段、测试一段;场景 3 是白天的户外街道,只出现在测试中,共两段。
原论文 Fig. 1(Dendorfer 等人),取自 PDF 第 2 页,arXiv 许可,学术引用。

8 段视频拍自 3 个场景,训练和测试各 4 段,全部从高处俯拍。场景 1 和场景 2 在训练和测试中都有,场景 3 只出现在测试中。作者刻意留一个没见过的场景,用来测试方法能不能泛化到新环境。测试的标注不公开,避免方法被调得过度贴合特定视频。

各段视频的统计如下:

视频场景分辨率长度(帧)轨迹行人框每帧人数
01室内1920×10804297419,87046.3
02室内1920×10802,782270154,74255.6
03户外、夜1173×8802,405702313,658130.4
05户外、夜1654×10803,3151,169646,344195.0
04户外、夜1545×10802,080669274,084131.8
06户外、日1920×7341,008271132,757131.7
07室内1920×108058511133,10156.6
08户外、日1920×73480619177,48496.1

整理自原论文 Table 1;粗体是测试视频。全部视频都是每秒 25 帧。

这张表有几个地方值得多看一眼。

第一,视频很短。训练视频加起来不到 6 分钟,测试不到 3 分钟,但训练集有 113 万个行人框,测试集也有 52 万个。

第二,数据集被少数几段视频主导。光是 MOT20-05 就有 64.6 万个框,占整个训练集的 57%;测试集里的 MOT20-04 占了 53%。MOTChallenge 是把所有测试视频串在一起算一个 MOTA,所以 MOT20-04 这一段夜间广场的表现,大致就决定了测试分数。MOT16 笔记里提过 MOT16-03 也有同样的情况。

第三,没见过的场景 3(MOT20-06、08),分辨率是 1920×734,和其他视频的比例都不同。

平均每帧几个人?

论文和后来的引用,对「有多挤」给过好几个数字。论文正文说密度可以达到每帧 246 人;ByteTrack 的论文写测试集平均每张图像 170 人;上表的测试集平均则是每帧 115.5 人。

这些数字的差别,在于算了哪些东西。MOT20 不只标行人,还标了下面这些类别:

类别数量
行人1,652,040
静止的人335,891
地上的遮挡物87,786
非机动车辆22,365
人群4,303
合计2,102,385

整理自原论文 Table 2。

把测试集所有类别的标注加起来,共 765,465 条,除以 4,479 帧,大约是每帧 170.9 条,这就是常被引用的 170。真正会被拿来评估的只有行人,每帧 115.5 人。

至于 246,正文有一处称它是平均密度,但没有说明怎么算;表上各段视频的平均最高是 MOT20-05 的 195 人,所以 246 比较可能是单帧的最大值。不管用哪个数字,MOT20 都远比 MOT17 拥挤。

标注规则

标注沿用 MOT16 的规则,把画面里的东西分成三组:

  1. 移动中的行人。 所有看得出是行人、正在移动的人。短暂弯腰捡东西、蹲下跟小孩说话,仍然算在这一类。跟踪器要跟踪的就是这一组。
  2. 类别模棱两可的人形。 坐着、躺着、整段视频站在原地不动的人,以及人的人工表示(像海报上的人)。评估时,跟踪到这些人不加分,没跟踪到也不扣分。
  3. 车辆和遮挡物。 不参与评估,提供给用户训练,或用来计算行人被遮挡的程度。停着的车和自行车,只有在挡住行人时才会标。
原论文 Fig. 4:MOT20 标注类别的例子。从左到右依次是两个行人(ped 6、ped 7)、一个静止的人(static_person)、两个骑自行车的人(non_mot_vhcl,非机动车辆),以及一座完全挡住后方的信息亭(occluder_full)。每个框上标了类别、ID 和框的高度。
原论文 Fig. 4(Dendorfer 等人),取自 PDF 第 7 页,arXiv 许可,学术引用。

「不罚也不奖」这一组在 MOT20 特别重要。静止的人一共有 33.6 万条,是行人框的五分之一。在测试视频 MOT20-08 里,静止的人有 52,998 条,行人是 77,484 条;换句话说,画面里大约每 10 个人就有 4 个不在评估范围内。

检测器当然不会管一个人有没有在走路。一个依赖检测的跟踪器,很可能会把这些站着不动的人也跟得好好的;要是这些人算误报,跟踪器就会被冤枉。反过来,一个靠运动线索的跟踪器没跟踪坐着的人,也不该被罚漏检。

另外,跟踪目标的定义也很具体:沿着视线可以直接走到、中间没有实体阻隔的直立行人。倒影、玻璃后面的人、骑自行车或坐在车上的人,都不算。

公开检测

和 MOT17 一样,MOT20 提供一组公开检测,让大家在同样的输入上比较跟踪算法。这次用的是以 ResNet-101 为骨干网络的 Faster R-CNN,在 MOT20 的训练视频上训练。MOT20 挑战一开始只接受用公开检测的结果;之后开放常规提交时,才同时接受自己的检测器。

这个检测器在测试视频上的表现,正好说明了作者为什么要留一个没见过的场景:

视频场景AP召回率精确率每帧误报
04夜间广场(见过)0.6369.798.01.55
07室内(见过)0.7883.692.51.89
06白天街道(没见过)0.4357.974.412.64
08白天街道(没见过)0.3855.261.613.93

整理自原论文 Table 6,测试视频。

在见过的场景,精确率都在九成以上,每帧误报不到 2 个。换到没见过的白天街道,精确率掉到六七成,每帧误报暴增到 12 到 14 个,AP 也只剩 0.4 左右。

这组公开检测,等于把泛化失败直接交给了跟踪器。用公开检测的跟踪器,在 MOT20-06 和 08 上一开始就得处理大量的假框。

检测统计也显示了框有多小。四段测试视频里,检测框最矮的只有 21 到 37 像素;训练视频 MOT20-03 更有矮到 16 像素的框。

文件格式和评估

MOT20 的文件是简单的 CSV,每一行一个物体,9 个字段依次为帧号、ID、框的左上角 x 和 y、宽、高、置信度分数、类别、可见度。检测文件的 ID 填 −1;真值文件的置信度分数字段改作标志位用,0 表示这一条不纳入评估。坐标从 1 开始算。

评估也沿用 MOT16:IoU 至少 0.5 才算匹配上,指标是 CLEAR MOT 和 Wu 与 Nevatia 的轨迹质量指标(MT、ML、FM)。作者特别说明,这里的 ID 切换定义比原始的 CLEAR MOT 严格:一个真实目标这一次配到的轨迹,只要和它上一次的配对不同,就算一次。所有测试视频串在一起计算,而不是各段平均。

针对拥挤场景,MOT20 还加了一条 MOT17 没有的规则。结果框和静止的人、倒影、骑车的人、干扰物这些类别重叠超过 75%,就从结果中去掉,论文把这一条写在检测挑战的评估步骤里。

MOTA 仍是主要指标,作者照样补了一句,这个数字能不能单独作为唯一的性能指标「非常值得商榷」。为了看出方法有没有被调到只适合某几段视频,排行榜也会列出各段视频 MOTA 的标准差。

论文本身没有任何跟踪器的结果,只有上面的检测器表现。跟踪器在 MOT20 上表现如何,要到之后的论文和排行榜去看。

讨论

把站内笔记里 MOT20 出现过的地方串起来,这组视频考的东西大致有四项。

拥挤拖慢了需要外观特征的方法。 FairMOT 在 MOT20 上只剩 13.2 FPS,StrongSORT 只有 1.5 FPS。每一帧上百个人,每个人都要提取一次外观特征、和每条轨迹比一次。

拥挤让运动模型的误差累积更明显。 OC-SORT 在 MOT20 上和 ByteTrack 拉开的差距,比在 MOT17 上大。遮挡多、一被挡住就是好几帧,卡尔曼滤波没有观测可以修正,误差就一路累积。

固定镜头。 MOT20 的视频都是固定的摄像机拍的,所以相机运动补偿在这里没有用处。Deep OC-SORT 的消融就显示,加上相机运动补偿后,MOT17 有明显提升,MOT20 则没有。

拥挤和难认是两回事。 DanceTrack 的作者特别指出,MOT20 虽然人很多,但行人移动很规律,彼此的相对位置和遮挡区域几乎不变,这样的拥挤对外观比对并不构成障碍。DanceTrack 于是换个方向出题,人很少,但长得一样、动作又乱。

结论

MOT20 在 MOTChallenge 已有的规则上,换上 8 段极度拥挤的视频:每帧平均一百多个行人、最小的框只有十几个像素,还留了一个只在测试中出现的白天街道。论文本身很短,没有方法,也没有跟踪结果,但它把「拥挤」变成了之后每一篇跟踪论文都得交代的一列。

读它的数字时,有两件事可以记着:测试分数大半由 MOT20-04 一段夜间广场决定;常听到的「每帧 170 人」包含了不参与评估的类别,真正被评估的行人是每帧 115.5 人。