Tracking without bells and whistles
- 发表版本
- ICCV 2019会议
- arXiv 首次提交
- arXiv:1903.05625
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multiobjecttrackingtracktor2019,
title = {{Tracking without bells and whistles}},
author = {Philipp Bergmann and Tim Meinhardt and Laura Leal-Taixe},
year = {2019},
eprint = {1903.05625},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1903.05625}
}
多目标跟踪的论文越写越复杂。图模型、多割、条件随机场、社会力模型,各种精巧的全局优化轮番上阵。
但 MOT16 上的 MOTA,两年只进步了 2.4 分。
慕尼黑工业大学的 Philipp Bergmann、Tim Meinhardt 和 Laura Leal-Taixé 想试试另一个方向。Leal-Taixé 也是 MOTChallenge 的发起人之一,对这张排行榜再熟悉不过。他们把跟踪里所有专门的东西都拿掉,只留一个检测器,看看能走多远。
结果这个「没有花招」的跟踪器,在三个 MOTChallenge 基准的 public detection 赛道上,MOTA 都超过了当时所有已发表的方法。
这就让人好奇了。如果一个检测器就能解决大部分的跟踪问题,那专门的跟踪算法到底在解决什么?
定义问题
前面读过的 SORT 和 DeepSORT,都把跟踪拆成两个独立的步骤。检测器在每一帧各自找出框,跟踪器再想办法把框连起来。连的时候需要预测物体下一帧在哪里,需要判断两个框是不是同一个人,还需要处理遮挡、漏检与误报。
这些子问题各自衍生出一整套方法。但作者注意到,目标检测器里其实早就有一个「预测位置」的组件。
以 Faster R-CNN 为例,它先用区域提议网络(RPN)生成大量候选框,再对每个候选框做两件事:分类头判断框里是不是人,回归头把框微调到紧贴物体的位置。
回归头的工作,就是「给你一个大概的框,把它修正到物体真正的位置」。
如果把上一帧的框丢给它呢?
只要物体在两帧之间移动得不多,上一帧的框在这一帧仍然大致框住同一个人,回归头就会把它拉到这个人的新位置。框的 ID 直接沿用,轨迹就延伸了一帧。
不需要卡尔曼滤波,也不需要匈牙利算法。
解决问题
作者把这个跟踪器叫做 Tracktor,用的是在 MOT17Det 行人检测数据上训练的 Faster R-CNN,骨干是 ResNet-101 加 FPN。
整个流程只有两步。我们跟着原论文的图,看第 帧发生了什么:

第一步:回归,把旧框推到新位置
先看左上角那个穿深色衣服的行人。第 帧,他的框是 。
到了第 帧,Tracktor 把同样的坐标直接放到新图像上,就是图中的蓝色虚线框。人已经往前走了一点,虚线框没有完全框住他。
接下来,Faster R-CNN 在第 帧的特征图上,用这个虚线框做 RoI pooling,就像处理一个普通的候选框一样,送进回归头和分类头。回归头输出修正后的框 ,紧贴着人的新位置;分类头输出分数 ,表示这个框里还有没有人。
框的 ID 从 直接传给 。跟踪这件事就这样完成了,中间没有任何匹配。
回归之后,有两种情况要把轨迹结束(kill):
- 分数太低。 如果 ,说明框里已经没有人了。物体可能走出了画面,或被柱子、车子这类非行人的东西挡住。
- 跟别人撞在一起。 两个人交错时,两条轨迹的框可能被回归到同一个人身上。作者对所有轨迹的新框做一次非极大值抑制(NMS),IoU 阈值是 ,被压掉的那条轨迹就结束。
第二步:用检测框补上新人
轨迹只会延续旧的物体,新走进画面的人要靠检测器找出来。检测器在整张第 帧上跑一次,得到检测结果 。
一个检测框只有在和所有现有轨迹的 IoU 都小于 时,才会开启新轨迹。也就是说,它必须覆盖到一个还没有任何轨迹解释的物体。图中右下角那个红框,就是这样被加进来的。
论文附录给的设置是 、、,在所有基准上都没有另外调整。 比 宽松,让已有轨迹较不容易被 NMS 结束,新轨迹也较不容易冒出来,跟踪因此比较稳定。
整个 Tracktor 没有在任何跟踪标注上训练过。检测器只学过「每一帧哪里有人」,从来没学过「谁是谁」。
两个小扩展
回归能成立,前提是物体在相邻两帧之间移动得不多。相机大幅移动或视频帧率很低时,这个前提就会失效。极端情况下,上一帧的框在这一帧可能完全没框到人。
作者加了两个简单的运动模型:
- 相机运动补偿(CMC)。 用增强相关系数(Enhanced Correlation Coefficient, ECC)对相邻两帧做图像对齐,先把旧框按相机的移动搬过去,再交给回归头。
- 匀速假设(CVA)。 给低帧率的视频用。整个实验中,只有 MOT15 的 AVG-TownCentre 这一段用到。
另一个扩展是短期的重识别(reID)。被结束的轨迹不会马上丢掉,而是保留一段时间。期间如果有新的检测框出现,就用一个 Siamese 网络比较外观距离,低于阈值就把旧 ID 接回去。为了避免认错人,作者还要求两个框的 IoU 足够大,而运动模型会持续推动这些被保留的旧框。
这个 reID 网络是以 ResNet-50 为骨干的 TriNet,用 triplet loss 在 MOT17 的跟踪标注上训练。所以加上 reID 之后,严格说来就不是「完全没用跟踪标注」了,论文也明确写出了这一点。
加上 CMC 和 reID 的版本叫做 Tracktor++。
讨论
消融:每个扩展值多少

这张表有三组比较,各说明一件事:
- 用检测器跟踪,比专门训练的检测跟踪器好。 D&T 是一个在跟踪标注上训练、生成两帧短轨迹,再离线串成长轨迹的方法。它的 MOTA 是 50.1,IDF1 只有 24.9;没碰过跟踪标注的 Tracktor 是 61.5 和 61.1。
- 检测器变好,跟踪就变好。 拿掉 FPN 的 Tracktor-no-FPN,MOTA 从 61.5 掉到 57.4。检测器的质量直接决定了回归的质量。
- 两个扩展主要在救 ID。 从 Tracktor 到 Tracktor++,MOTA 只多 0.4,ID 切换却从 1747 降到 326,IDF1 从 61.1 升到 64.7。其中 CMC 的效果比 reID 更大:单加 CMC,ID 切换就降到 458。MOT17 有好几段是移动相机拍的,旧框跟不上相机的晃动,是 ID 断掉的主因之一。
测试集
在三个基准的测试集上,Tracktor++ 的 MOTA 分别是 MOT17 的 53.5、MOT16 的 54.4、MOT15 的 44.1,都是当时 public detection 已发表方法中最高的。三个基准用的是同一个在 MOT17Det 上训练的检测器,MOT15 的训练数据完全没用。
在 MOT17 上,Tracktor++ 的 FP 是 12201,第二名的 eHAF 是 33212,误报少了一大截;IDF1 52.3 则略低于 eHAF 的 54.7 和 jCC 的 54.5。MOTA 的优势主要来自少报错,身份保持只算跟得上。
真正难的情况
作者没有停在排行榜上。他们拿 MOT17 训练集,把 Tracktor 和其他顶尖方法放在一起,按物体的可见度、大小、检测缺口长度分组比较。

这张图的彩色柱是各方法在不同可见度下跟踪到的比例,淡红色柱是真实标注里各可见度的框有多少个。
先看右半边。可见度超过 0.6 的物体,所有方法都跟踪得不错,而且淡红色柱告诉我们,这一区的框数最多。再看左半边。可见度低于 0.3 的物体,所有方法都只跟踪到两成以下,不管它是在线还是离线、有没有外观模型、有没有插值。
Tracktor 在 0.3 到 0.6 之间明显领先,靠的是回归头还能把半遮挡的人框回来;到了被严重遮挡的区域,就没有任何一个方法处理得好。作者据此指出,测试集上那些不错的 MOTA,很大一部分来自数据的分布。大部分的框本来就很清楚。
物体大小的分析也是同样的结论。在可见度高于 0.9 的物体中,身高超过 250 像素的人,所有方法都跟踪得好;物体越小,所有方法都越差。检测缺口的分析则显示,在 DPM 和 Faster R-CNN 这两组公开检测上,缺口超过 15 帧时,Tracktor 靠回归补洞的能力比其他方法强得多;换成较好的 SDP 检测后,受益最多的反而是离线插值的方法。所有方法的覆盖率都随缺口变长而下降。
上限在哪里
最后,作者用真实标注替换 Tracktor 的各个组件,做成一系列 oracle,估计每个方向最多能进步多少:

几个值得看的数字:
- 完美的 reID(Oracle-reID)不改变 MOTA,但 IDF1 多了 10 分。重识别只管认人,不管框准不准。
- 完美的运动模型加 reID(Oracle-MM-reID),IDF1 多 13.9。作者把它当成 Tracktor++ 这条扩展路线的上限。
- 再加上遮挡期间的线性插值(Oracle-MM-reID-INTER),IDF1 多 15.9,FN 也少了 6769,但 FP 多了 3774。插值补出来的框,有不少在相机移动或长时间遮挡时补错了位置。
- 全部换成标注(Oracle-ALL),MOTA 多 10.7,也就是 72.2。这是 Faster R-CNN 加 FPN 这个检测器的绝对上限。
Oracle-Kill 也很有意思。用标注决定何时结束轨迹,MOTA 虽然升了 0.7,ID 切换却多了 129。轨迹留得越久,回归头就越常遇到被遮住、看不清楚的框,反而拉错了人。
作者的提议
作者主张把 Tracktor 当成新的出发点。大而清楚的物体,交给逐帧回归处理;剩下的困难情况,再交给专门的方法。他们建议了两个方向,一是能在长时间遮挡中「脑补」物体位置的运动模型,二是从「tracking-by-detection」转向「tracking-by-tracklet」,让检测器直接产出短轨迹,再由后续方法处理难的部分。
回头看,这两个方向都有人接手。把检测与跟踪放进同一个网络的 CenterTrack、FairMOT 很快就出现了;Tim Meinhardt 自己两年后也和 Leal-Taixé 等人发表了 TrackFormer,让上一帧的物体以「轨迹查询」的形式带进下一帧的 Transformer 解码器,延续的仍是「用上一帧的物体去找这一帧的物体」这个思路。
结论
一个训练好的检测器,把上一帧的框交给回归头,就在三个 MOTChallenge 基准上拿到最高的 public detection MOTA;加上相机运动补偿和短期 reID,ID 切换再少八成。
比起排行榜,后半段的分析更耐读。被遮住大半的物体、很小的物体,当时没有任何一个方法处理得好,排行榜上漂亮的 MOTA,大多来自那些本来就清楚、好跟踪的框。
标题说不要花招,作者自己还是加了两个。加完之后,他们也老实承认,最难跟踪的那些人,当时谁都还没能跟住。