返回论文笔记资料库
arXiv 2019ICCV 2019多目标跟踪论文笔记

Tracktor

简单的都会了

原始论文

Tracking without bells and whistles

论文作者

Philipp Bergmann · Tim Meinhardt · Laura Leal-Taixe

发表版本
ICCV 2019会议
arXiv 首次提交
arXiv:1903.05625
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingtracktor2019,
  title = {{Tracking without bells and whistles}},
  author = {Philipp Bergmann and Tim Meinhardt and Laura Leal-Taixe},
  year = {2019},
  eprint = {1903.05625},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1903.05625}
}
本页内容

多目标跟踪的论文越写越复杂。图模型、多割、条件随机场、社会力模型,各种精巧的全局优化轮番上阵。

但 MOT16 上的 MOTA,两年只进步了 2.4 分。

慕尼黑工业大学的 Philipp Bergmann、Tim Meinhardt 和 Laura Leal-Taixé 想试试另一个方向。Leal-Taixé 也是 MOTChallenge 的发起人之一,对这张排行榜再熟悉不过。他们把跟踪里所有专门的东西都拿掉,只留一个检测器,看看能走多远。

结果这个「没有花招」的跟踪器,在三个 MOTChallenge 基准的 public detection 赛道上,MOTA 都超过了当时所有已发表的方法。

这就让人好奇了。如果一个检测器就能解决大部分的跟踪问题,那专门的跟踪算法到底在解决什么?

定义问题

前面读过的 SORT 和 DeepSORT,都把跟踪拆成两个独立的步骤。检测器在每一帧各自找出框,跟踪器再想办法把框连起来。连的时候需要预测物体下一帧在哪里,需要判断两个框是不是同一个人,还需要处理遮挡、漏检与误报。

这些子问题各自衍生出一整套方法。但作者注意到,目标检测器里其实早就有一个「预测位置」的组件。

以 Faster R-CNN 为例,它先用区域提议网络(RPN)生成大量候选框,再对每个候选框做两件事:分类头判断框里是不是人,回归头把框微调到紧贴物体的位置。

回归头的工作,就是「给你一个大概的框,把它修正到物体真正的位置」。

如果把上一帧的框丢给它呢?

只要物体在两帧之间移动得不多,上一帧的框在这一帧仍然大致框住同一个人,回归头就会把它拉到这个人的新位置。框的 ID 直接沿用,轨迹就延伸了一帧。

不需要卡尔曼滤波,也不需要匈牙利算法。

解决问题

作者把这个跟踪器叫做 Tracktor,用的是在 MOT17Det 行人检测数据上训练的 Faster R-CNN,骨干是 ResNet-101 加 FPN。

整个流程只有两步。我们跟着原论文的图,看第 tt 帧发生了什么:

原论文 Figure 1:Tracktor 处理第 t 帧的流程。上排蓝色路径:第 t−1 帧行人的蓝框 b(t−1),原封不动放到第 t 帧的图像上(虚线框),送进检测器的回归与分类头,得到修正后的新框 b(t) 和分类分数 s(t),再依分数决定是否结束这条轨迹。下排红色路径:检测器在整张第 t 帧上生成检测结果 D(t),和现有轨迹的框比对 IoU,没被任何轨迹覆盖的检测框(红框)才开启新轨迹。
原论文 Figure 1(Bergmann 等人),取自 PDF 第 2 页,arXiv 许可,学术引用。

第一步:回归,把旧框推到新位置

先看左上角那个穿深色衣服的行人。第 t−1t-1 帧,他的框是 bt−1k=(x,y,w,h)\mathbf{b}^k_{t-1} = (x, y, w, h)。

到了第 tt 帧,Tracktor 把同样的坐标直接放到新图像上,就是图中的蓝色虚线框。人已经往前走了一点,虚线框没有完全框住他。

接下来,Faster R-CNN 在第 tt 帧的特征图上,用这个虚线框做 RoI pooling,就像处理一个普通的候选框一样,送进回归头和分类头。回归头输出修正后的框 btk\mathbf{b}^k_t,紧贴着人的新位置;分类头输出分数 stks^k_t,表示这个框里还有没有人。

框的 ID 从 bt−1k\mathbf{b}^k_{t-1} 直接传给 btk\mathbf{b}^k_t。跟踪这件事就这样完成了,中间没有任何匹配。

回归之后,有两种情况要把轨迹结束(kill):

  1. 分数太低。 如果 stk<σactives^k_t < \sigma_{active},说明框里已经没有人了。物体可能走出了画面,或被柱子、车子这类非行人的东西挡住。
  2. 跟别人撞在一起。 两个人交错时,两条轨迹的框可能被回归到同一个人身上。作者对所有轨迹的新框做一次非极大值抑制(NMS),IoU 阈值是 λactive\lambda_{active},被压掉的那条轨迹就结束。

第二步:用检测框补上新人

轨迹只会延续旧的物体,新走进画面的人要靠检测器找出来。检测器在整张第 tt 帧上跑一次,得到检测结果 Dt\mathcal{D}_t。

一个检测框只有在和所有现有轨迹的 IoU 都小于 λnew\lambda_{new} 时,才会开启新轨迹。也就是说,它必须覆盖到一个还没有任何轨迹解释的物体。图中右下角那个红框,就是这样被加进来的。

论文附录给的设置是 σactive=0.5\sigma_{active} = 0.5、λactive=0.6\lambda_{active} = 0.6、λnew=0.3\lambda_{new} = 0.3,在所有基准上都没有另外调整。λactive\lambda_{active} 比 λnew\lambda_{new} 宽松,让已有轨迹较不容易被 NMS 结束,新轨迹也较不容易冒出来,跟踪因此比较稳定。

整个 Tracktor 没有在任何跟踪标注上训练过。检测器只学过「每一帧哪里有人」,从来没学过「谁是谁」。

两个小扩展

回归能成立,前提是物体在相邻两帧之间移动得不多。相机大幅移动或视频帧率很低时,这个前提就会失效。极端情况下,上一帧的框在这一帧可能完全没框到人。

作者加了两个简单的运动模型:

  • 相机运动补偿(CMC)。 用增强相关系数(Enhanced Correlation Coefficient, ECC)对相邻两帧做图像对齐,先把旧框按相机的移动搬过去,再交给回归头。
  • 匀速假设(CVA)。 给低帧率的视频用。整个实验中,只有 MOT15 的 AVG-TownCentre 这一段用到。

另一个扩展是短期的重识别(reID)。被结束的轨迹不会马上丢掉,而是保留一段时间。期间如果有新的检测框出现,就用一个 Siamese 网络比较外观距离,低于阈值就把旧 ID 接回去。为了避免认错人,作者还要求两个框的 IoU 足够大,而运动模型会持续推动这些被保留的旧框。

这个 reID 网络是以 ResNet-50 为骨干的 TriNet,用 triplet loss 在 MOT17 的跟踪标注上训练。所以加上 reID 之后,严格说来就不是「完全没用跟踪标注」了,论文也明确写出了这一点。

加上 CMC 和 reID 的版本叫做 Tracktor++。

讨论

消融:每个扩展值多少

原论文 Table 1:在 MOT17 训练集、使用 Faster R-CNN 公开检测的消融。D&T 的 MOTA 50.1、IDF1 24.9、ID 切换 2715;Tracktor-no-FPN 为 57.4、58.7、1981;Tracktor 为 61.5、61.1、1747;加 reID 后 IDF1 62.8、ID 切换 921;加 CMC 后 MOTA 61.9、IDF1 64.1、ID 切换 458;两者都加的 Tracktor++ 为 61.9、64.7、326。
原论文 Table 1(Bergmann 等人),取自 PDF 第 5 页,arXiv 许可,学术引用。

这张表有三组比较,各说明一件事:

  1. 用检测器跟踪,比专门训练的检测跟踪器好。 D&T 是一个在跟踪标注上训练、生成两帧短轨迹,再离线串成长轨迹的方法。它的 MOTA 是 50.1,IDF1 只有 24.9;没碰过跟踪标注的 Tracktor 是 61.5 和 61.1。
  2. 检测器变好,跟踪就变好。 拿掉 FPN 的 Tracktor-no-FPN,MOTA 从 61.5 掉到 57.4。检测器的质量直接决定了回归的质量。
  3. 两个扩展主要在救 ID。 从 Tracktor 到 Tracktor++,MOTA 只多 0.4,ID 切换却从 1747 降到 326,IDF1 从 61.1 升到 64.7。其中 CMC 的效果比 reID 更大:单加 CMC,ID 切换就降到 458。MOT17 有好几段是移动相机拍的,旧框跟不上相机的晃动,是 ID 断掉的主因之一。

测试集

在三个基准的测试集上,Tracktor++ 的 MOTA 分别是 MOT17 的 53.5、MOT16 的 54.4、MOT15 的 44.1,都是当时 public detection 已发表方法中最高的。三个基准用的是同一个在 MOT17Det 上训练的检测器,MOT15 的训练数据完全没用。

在 MOT17 上,Tracktor++ 的 FP 是 12201,第二名的 eHAF 是 33212,误报少了一大截;IDF1 52.3 则略低于 eHAF 的 54.7 和 jCC 的 54.5。MOTA 的优势主要来自少报错,身份保持只算跟得上。

真正难的情况

作者没有停在排行榜上。他们拿 MOT17 训练集,把 Tracktor 和其他顶尖方法放在一起,按物体的可见度、大小、检测缺口长度分组比较。

原论文 Figure 2:横轴是物体可见度(0 到 1),左侧纵轴是被成功跟踪的比例,彩色柱是 Tracktor、Tracktor++、FWT、jCC、MOTDT17、MHT_DAM 六个方法;淡红色柱对应右侧纵轴,表示真实标注中各可见度的框数。可见度 0.6 以上,多数方法的跟踪比例都在 0.7 以上;可见度 0.3 到 0.6 之间,Tracktor 明显高于其他方法;可见度低于 0.3 时,所有方法都只跟踪到两成以下。淡红色柱在高可见度处最高,在 0 附近也有一段。
原论文 Figure 2(Bergmann 等人),取自 PDF 第 6 页,arXiv 许可,学术引用。

这张图的彩色柱是各方法在不同可见度下跟踪到的比例,淡红色柱是真实标注里各可见度的框有多少个。

先看右半边。可见度超过 0.6 的物体,所有方法都跟踪得不错,而且淡红色柱告诉我们,这一区的框数最多。再看左半边。可见度低于 0.3 的物体,所有方法都只跟踪到两成以下,不管它是在线还是离线、有没有外观模型、有没有插值。

Tracktor 在 0.3 到 0.6 之间明显领先,靠的是回归头还能把半遮挡的人框回来;到了被严重遮挡的区域,就没有任何一个方法处理得好。作者据此指出,测试集上那些不错的 MOTA,很大一部分来自数据的分布。大部分的框本来就很清楚。

物体大小的分析也是同样的结论。在可见度高于 0.9 的物体中,身高超过 250 像素的人,所有方法都跟踪得好;物体越小,所有方法都越差。检测缺口的分析则显示,在 DPM 和 Faster R-CNN 这两组公开检测上,缺口超过 15 帧时,Tracktor 靠回归补洞的能力比其他方法强得多;换成较好的 SDP 检测后,受益最多的反而是离线插值的方法。所有方法的覆盖率都随缺口变长而下降。

上限在哪里

最后,作者用真实标注替换 Tracktor 的各个组件,做成一系列 oracle,估计每个方向最多能进步多少:

原论文 Table 4:以 Tracktor 为基准(MOTA 61.5、IDF1 61.1、FP 367、FN 42903、ID 切换 1747)的增减量。Tracktor++ 为 MOTA +0.4、IDF1 +3.6、ID 切换 −1421;Oracle-Kill 为 +0.7、−0.7、+129;Oracle-REG 为 +1.4、+5.6、−1463;Oracle-MM 为 +0.9、+5.2、−1332;Oracle-reID 为 0.0、+10.0、−1094;Oracle-MM-reID 为 +0.9、+13.9、−1706;Oracle-MM-reID-INTER 为 +2.6、+15.9,但 FP +3774;Oracle-ALL 为 +10.7、+22.5、−1743。
原论文 Table 4(Bergmann 等人),取自 PDF 第 8 页,arXiv 许可,学术引用。

几个值得看的数字:

  • 完美的 reID(Oracle-reID)不改变 MOTA,但 IDF1 多了 10 分。重识别只管认人,不管框准不准。
  • 完美的运动模型加 reID(Oracle-MM-reID),IDF1 多 13.9。作者把它当成 Tracktor++ 这条扩展路线的上限。
  • 再加上遮挡期间的线性插值(Oracle-MM-reID-INTER),IDF1 多 15.9,FN 也少了 6769,但 FP 多了 3774。插值补出来的框,有不少在相机移动或长时间遮挡时补错了位置。
  • 全部换成标注(Oracle-ALL),MOTA 多 10.7,也就是 72.2。这是 Faster R-CNN 加 FPN 这个检测器的绝对上限。

Oracle-Kill 也很有意思。用标注决定何时结束轨迹,MOTA 虽然升了 0.7,ID 切换却多了 129。轨迹留得越久,回归头就越常遇到被遮住、看不清楚的框,反而拉错了人。

作者的提议

作者主张把 Tracktor 当成新的出发点。大而清楚的物体,交给逐帧回归处理;剩下的困难情况,再交给专门的方法。他们建议了两个方向,一是能在长时间遮挡中「脑补」物体位置的运动模型,二是从「tracking-by-detection」转向「tracking-by-tracklet」,让检测器直接产出短轨迹,再由后续方法处理难的部分。

回头看,这两个方向都有人接手。把检测与跟踪放进同一个网络的 CenterTrack、FairMOT 很快就出现了;Tim Meinhardt 自己两年后也和 Leal-Taixé 等人发表了 TrackFormer,让上一帧的物体以「轨迹查询」的形式带进下一帧的 Transformer 解码器,延续的仍是「用上一帧的物体去找这一帧的物体」这个思路。

结论

一个训练好的检测器,把上一帧的框交给回归头,就在三个 MOTChallenge 基准上拿到最高的 public detection MOTA;加上相机运动补偿和短期 reID,ID 切换再少八成。

比起排行榜,后半段的分析更耐读。被遮住大半的物体、很小的物体,当时没有任何一个方法处理得好,排行榜上漂亮的 MOTA,大多来自那些本来就清楚、好跟踪的框。

标题说不要花招,作者自己还是加了两个。加完之后,他们也老实承认,最难跟踪的那些人,当时谁都还没能跟住。