返回论文笔记资料库
arXiv 2020ECCV 2020多目标跟踪论文笔记

CenterTrack

点到为止

原始论文

Tracking Objects as Points

论文作者

Xingyi Zhou · Vladlen Koltun · Philipp Krähenbühl

发表版本
ECCV 2020会议
arXiv 首次提交
arXiv:2004.01177
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingcentertrack2020,
  title = {{Tracking Objects as Points}},
  author = {Xingyi Zhou and Vladlen Koltun and Philipp Krähenbühl},
  year = {2020},
  eprint = {2004.01177},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2004.01177}
}
本页内容

2020 年 4 月初,arXiv 上相隔两天出现了两篇以 CenterNet 为基础的跟踪论文。

一篇是 FairMOT,在 CenterNet 上加一个 re-ID 分支,让检测器顺便输出外观特征,再交给 DeepSORT 式的流程去匹配。另一篇就是这篇 CenterTrack,第一作者 Xingyi Zhou 正是 CenterNet 的作者,合著者是他在得克萨斯大学奥斯汀分校的导师 Philipp Krähenbühl,以及 Intel Labs 的 Vladlen Koltun。他们走了另一个方向,不学外观,直接让检测器看两帧图像,顺便告诉你每个物体从哪里来。

同一个检测器,两种截然不同的改法。

定义问题

在计算机视觉的早期,跟踪指的是跟踪图像里的兴趣点,例如角点,看它在下一帧移到了哪里。这种方法简单、快,但遇到没有明显角点或亮度峰值的地方就失灵。

深度检测器变强之后,tracking-by-detection 成了主流,先在每一帧检测,再把框连起来。作者认为这套流程有两个麻烦。第一,最好的跟踪器往往依赖缓慢又复杂的关联策略;用外观特征的,还要再跑一个昂贵的特征网络。第二,检测和跟踪是分开的,检测器在第 tt 帧找物体时,完全不知道第 t−1t-1 帧发生过什么。

Tracktor 已经把检测和跟踪合在一起,但它把上一帧的框当成候选框交给 Faster R-CNN 回归,前提是物体在相邻两帧之间的框还有足够的重叠。在帧率低的视频里,这个前提就站不住,Tracktor 必须另外加运动模型。

如果把物体表示成一个点,事情会简单很多。CenterTrack 的出发点,就是让物体的中心点在时间上被跟踪,回到早期「跟踪点」的思路,但这个点是由检测器找出来的。

作者也很早就划清了边界。CenterTrack 只做局部跟踪,只关联相邻两帧的物体;物体离开画面或被挡住再出现,就给一个新的 ID。这是用长距离重新连接的能力,换取简单、速度和局部的准确度。

解决问题

先复习 CenterNet

CenterNet 是一个以点表示物体的检测器。输入一张图像,输出缩小 4 倍的热图 Y^\hat{Y},每个类别一个通道;热图上的每个局部最大值(在 3×33\times3 邻域中最强的点)就是一个物体的中心,峰值高度是置信度分数。另外两个输出分支在同一个位置读出框的宽高,以及补回取整误差的局部偏移。

训练时,每个物体的中心被画成一个高斯峰,高斯的宽度随物体大小调整;损失用 focal loss,α=2\alpha = 2、β=4\beta = 4。框大小和局部偏移则只在中心点上用 L1 损失监督。

CenterTrack 多看了什么

原论文 Fig. 2:CenterTrack 的输入与输出。输入有三样:当前这一帧图像 I(t)、上一帧图像 I(t−1),以及上一帧跟踪结果 T(t−1) 画成的热图,图上是三个行人中心的蓝色高斯点。中间是 CenterTrack 网络。输出有三样:这一帧的检测热图 Y(t)、框大小 S(t),以及偏移 O(t);偏移图上的红色箭头从每个人当前的位置指向他在上一帧的位置。
原论文 Fig. 2(Zhou 等人),取自 PDF 第 5 页,arXiv 许可,学术引用。

CenterTrack 的网络和 CenterNet 几乎一样,只多了四个输入通道和两个输出通道。

多出来的输入: 上一帧的图像 I(t−1)I^{(t-1)},三个通道;上一帧已跟踪物体的中心,画成一张单通道、不分类别的热图 H(t−1)H^{(t-1)},一个通道。为了不让误报一路传下去,只有置信度分数高于阈值 τ\tau 的物体才会被画进这张热图。

看到上一帧的图像,网络就能估计场景的变化;看到上一帧的物体在哪里,就算这一帧某个人被挡住一半,网络也更有机会把他找回来。

多出来的输出: 一张两通道的位移图 D^(t)\hat{D}^{(t)}。在每个检测到的中心 p^(t)\hat{\mathbf{p}}^{(t)} 上,读出来的二维向量 d^(t)\hat{\mathbf{d}}^{(t)} 代表这个物体从上一帧到这一帧的位移:

d^(t)=p^(t)−p^(t−1)\hat{\mathbf{d}}^{(t)} = \hat{\mathbf{p}}^{(t)} - \hat{\mathbf{p}}^{(t-1)}

训练方式和框大小一样,在真实中心点上用 L1 损失回归真实的位移。

跟着一辆车走一步

位移预测好了,关联几乎不用做什么。我们用一个例子走一遍。

假设上一帧有两条轨迹,A 的中心在特征图上的 (100,50)(100, 50),B 的中心在 (130,52)(130, 52)。这一帧,网络检测到一个置信度分数 0.9 的中心 p^=(108,51)\hat{\mathbf{p}} = (108, 51),在这个位置读出的位移是 d^=(7.5,1.2)\hat{\mathbf{d}} = (7.5, 1.2)。

把位移倒推回去,这个物体在上一帧应该在

p^−d^=(108−7.5, 51−1.2)=(100.5, 49.8)\begin{aligned} \hat{\mathbf{p}} - \hat{\mathbf{d}} &= (108 - 7.5,\ 51 - 1.2) \\ &= (100.5,\ 49.8) \end{aligned}

离 A 的距离约 0.5,离 B 约 29.6。只要 A 还没被别人匹配走,而且距离在半径 κ\kappa 之内,就把这个检测接到 A 上,沿用 A 的 ID。κ\kappa 取预测框宽高的几何平均 wh\sqrt{wh},也就是大物体容许大一点的误差。

所有检测按置信度分数从高到低,依次做这个贪心匹配。找不到半径内的上一帧物体,就新建一条轨迹。

没有卡尔曼滤波、没有外观距离,也没有匈牙利算法。

和 Tracktor 相比,差别在于上一帧的物体以热图的形式成为网络的输入,而不是当成候选框。网络在整个感受野内推理两帧物体的对应关系,就算两帧的框完全不重叠,也能接得起来。

训练的关键:别让它抄答案

听起来很简单,但作者说细节很重要。

相邻两帧的物体几乎一模一样。训练时,如果直接用真实标注画出上一帧的热图 H(t−1)H^{(t-1)},网络很快就会发现,把输入的热图照抄一遍到输出,损失就很低了。它学会的不是跟踪,而是复制。

但到了推理时,H(t−1)H^{(t-1)} 来自网络自己上一帧的预测,会有漏掉的物体、位置偏掉的物体,也会有误报。作者在训练时刻意模拟这三种错误:

  1. 位置抖动。 每个上一帧的中心加上高斯噪声,幅度是框宽高的 λjt=0.05\lambda_{jt} = 0.05 倍。
  2. 假的峰值。 以概率 λfp\lambda_{fp} 在真实物体附近多画一个噪声峰。
  3. 漏掉的峰值。 以概率 λfn\lambda_{fn} 随机拿掉一些物体。

在 MOT17 上,λfp=0.1\lambda_{fp} = 0.1、λfn=0.4\lambda_{fn} = 0.4,也就是上一帧的热图平均有四成的物体会被故意拿掉。另外,上一帧不一定是真的前一帧,而是从前后两帧以内随机挑一帧(∣k−t∣<3|k - t| < 3),避免网络过度适应特定帧率。

这套数据增强强到 CenterTrack 可以完全不用视频训练。拿一张静态图像,随机缩放、平移,当成「上一帧」,用原本的检测标注模拟出位移,就能训练出跟踪器。

其他细节

  • 3D 跟踪。 换成 CenterNet 的单目 3D 检测版本,多加深度、旋转和 3D 尺寸的输出头,就能做单目 3D 跟踪。
  • 轨迹重生(track rebirth)。 没匹配上的轨迹保留 KK 帧,期间仍可被重新匹配、拿回原 ID,但不画进热图,也不输出。只有 MOT17 测试集用到,K=32K = 32;其他实验都是 K=0K = 0。

讨论

作者在三个数据集上评估:

  • MOT17: 拥挤场景的行人跟踪,帧率 25 到 30 FPS。没有官方验证集,消融实验把每段训练视频切成前后两半。
  • KITTI: 车载相机,帧率 10 FPS,帧间位移大,只评估汽车。
  • nuScenes: 自动驾驶场景的单目 3D 跟踪,评估的关键帧只有 2 FPS,帧间位移非常大。主指标是 AMOTA,也就是在不同置信度阈值下 MOTA 的加权平均。

主要结果

MOT17 官方排行榜只开放 public detection。CenterTrack 默认会自己检测,所以作者另外做了一个 public 版本,沿用 Tracktor 的规则,保留靠近上一帧已跟踪框的框,新轨迹只能在公开检测框附近开启。

在这个设置下,MOTA 是 61.5,比当时已发表的最佳方法 Tracktor v2(56.5)高了 5 分,FN 从 235449 降到 200672。作者认为原因有两个,上一帧热图让已跟踪的物体不容易漏掉,学出来的位移又让关联更稳。IDF1 是 59.6,低于离线方法 LSST17 的 62.3,但高于其他在线方法。

private 版本的 MOTA 是 67.8,IDF1 64.7,每帧 57 毫秒,包含检测。

KITTI 上,MOTA 89.44,比排行榜上第二名的 MASS(85.04)高出 4 分多。nuScenes 测试集上,[email protected] 是 27.8,官方单目基线是 6.9。

原论文 Fig. 3:CenterTrack 的定性结果。第一行是 MOT17 的拥挤街景,第二行是 KITTI 的车载画面,第三、四行是 nuScenes 的自动驾驶场景,每行三张连续帧。框的颜色代表不同的轨迹,箭头是预测的位移。
原论文 Fig. 3(Zhou 等人),取自 PDF 第 14 页,arXiv 许可,学术引用。

同一套网络,换个数据集训练,就能处理行人、车辆和单目 3D 物体。

两个设计各自贡献多少

原论文 Table 4:MOT17、KITTI、nuScenes 验证集上的消融。detection only 在 MOT17 为 MOTA 63.6、IDSW 2.5%,KITTI 84.3、IDSW 1.5%,nuScenes AMOTA@0.2 18.1;w/o offset 为 65.8、1.3%,87.1、1.6%,17.8;w/o heatmap 为 63.9、2.3%,85.4、0.4%,26.5;完整模型为 66.1、1.0%,88.7、0.1%,28.3。
原论文 Table 4(Zhou 等人),取自 PDF 第 12 页,arXiv 许可,学术引用。

这张表比较四种设置:

  • detection only: 每一帧各自跑 CenterNet,用中心点距离关联。
  • w/o offset: 有上一帧热图,但位移设为零,直接找上一帧最近的物体。
  • w/o heatmap: 有位移预测,但不给上一帧热图。
  • Ours: 两者都有。

先看热图的效果。比较 detection only 和 w/o offset,或 w/o heatmap 和 Ours,加上热图后,MOT17 的 MOTA 多约 2 分,KITTI 多约 3 分。FN 下降、FP 上升。有了上一帧的提示,网络倾向于在旧峰值附近多找出物体,有时是找回被挡住的人,有时则是被误导。整体还是划算的。

再看位移的效果。在高帧率的 MOT17 和 KITTI 上,有没有位移,MOTA 差不多,但 ID 切换明显减少(MOT17 从 1.3% 到 1.0%,KITTI 从 1.6% 到 0.1%)。到了 2 FPS 的 nuScenes,差距就拉开了,没有位移的 w/o offset 只有 17.8,完整模型是 28.3。帧率越低,物体在两帧之间移动越多,「直接找最近的」就越不可靠。

噪声、静态图像、匹配算法与重生

原论文 Table 5:MOT17 验证集上的其他实验。完整模型 MOTA 66.1、IDF1 64.2、FN 28.4%、IDSW 1.0%;不加热图噪声训练 MOTA 34.4、IDF1 46.2、FN 57.4%;只用静态图像训练 MOTA 66.1、IDF1 65.4;改用匈牙利算法 MOTA 66.1、IDF1 61.0;加上轨迹重生 MOTA 66.2、IDF1 69.4、IDSW 0.4%。
原论文 Table 5(Zhou 等人),取自 PDF 第 13 页,arXiv 许可,学术引用。
  1. 不加噪声,模型就坏了。 训练时不模拟热图错误,MOTA 从 66.1 掉到 34.4,FN 从 28.4% 暴增到 57.4%。作者指出的一个原因,是第一帧的输入热图是空的,而这个模型只学过照着热图找人,热图上没标的新物体,它很难自己发现。
  2. 静态图像就够了。 只用静态图像训练,MOTA 一样是 66.1,IDF1 甚至略高。不过作者也提到,在低帧率的 nuScenes 上,静态图像训练的效果比较差。
  3. 匈牙利算法没有帮助。 换成全局最优匹配,MOTA 不变,IDF1 反而从 64.2 降到 61.0。作者因此保留简单的贪心匹配。
  4. 重生大幅改善 ID。 加上 K=32K = 32 的轨迹重生,MOTA 几乎不变,IDF1 从 64.2 升到 69.4,ID 切换从 1.0% 降到 0.4%。纯局部跟踪丢掉的身份,在 MOT17 这种遮挡频繁的场景里,影响其实不小。

学出来的位移,比运动模型多做了什么

原论文 Table 6:以同一个检测器比较四种运动模型。MOT17 上 no motion 为 MOTA 65.8、IDSW 1.3%,Kalman filter、optical flow 与 ours 都是 66.1、1.0%;KITTI 上分别为 87.1、87.9、88.4、88.7,IDSW 1.6%、0.9%、0.4%、0.1%;nuScenes AMOTA@0.2 分别为 17.8、18.3、26.6、28.3。
原论文 Table 6(Zhou 等人),取自 PDF 第 13 页,arXiv 许可,学术引用。

作者把学出来的位移换成三种运动模型:不动(位移为零)、SORT 的卡尔曼滤波、FlowNet2 的光流(在每个预测中心读取光流向量)。检测器完全相同。

在 MOT17 上,四者几乎没有差别,连不用运动模型都差不多。行人在 30 FPS 下每帧只移动一点点,怎么猜都猜得到。

在 KITTI 和 nuScenes 上,卡尔曼滤波的手工运动规则就明显不够了,在 nuScenes 只有 18.3,几乎和不动一样。光流好很多(26.6),但仍输给 CenterTrack 的 28.3,而且 FlowNet2 每对图像要跑约 150 毫秒。

作者的解释是,CenterTrack 的位移不只是在估计运动。网络看得到上一帧的物体在哪里,训练又一直逼它在有噪声的热图上做对,所以它学会的是把位移「对齐」到上一帧确实存在的那个物体上。位移同时完成了运动估计和关联。

后来

FairMOT 的论文评论 CenterTrack,说它不提取外观特征、只关联相邻的帧;FairMOT 自己则能用外观做长距离关联、处理遮挡。不重新初始化丢失的长距离轨迹,本来就是 CenterTrack 在引言里自己划下的边界,前面的重生实验也显示了它的代价:保留丢失轨迹 32 帧,IDF1 就从 64.2 升到 69.4。作者在 MOT17 的结果讨论里也提到,把这种局部跟踪器和长距离的 re-ID 方法结合,是值得做的方向。

之后的 ByteTrack 把 CenterTrack 当成可以替换关联方法的基线之一;在 KITTI 这类低帧率数据上,以 CenterTrack 为基础延伸的方法也持续出现。用位移把两帧的检测接起来,成了「检测与跟踪一体」这条路线的标准组件。

结论

把物体表示成点,让检测器多看一张上一帧图像和一张上一帧物体的热图,再多输出一张位移图。CenterTrack 的关联只剩下「往回推、找最近的」,却在 MOT17、KITTI 和 nuScenes 上都超过了当时已发表的方法。

那段训练时故意弄坏热图的数据增强,可以直接带进自己的项目。不加的话,MOTA 从 66 掉到 34;加了之后,连静态图像都能拿来训练跟踪器。

一年半后,ByteTrack 只拿 CenterTrack 的检测框,换上自己的关联、让丢失的轨迹多留 30 帧,IDF1 就多了将近 10 分。