返回论文笔记资料库
arXiv 2020CVPR 2021多目标跟踪论文笔记

QDTrack

负样本不嫌多

原始论文

Quasi-Dense Similarity Learning for Multiple Object Tracking

论文作者

Jiangmiao Pang · Linlu Qiu · Xia Li …

查看全部 7 位作者

Jiangmiao Pang · Linlu Qiu · Xia Li · Haofeng Chen · Qi Li · Trevor Darrell · Fisher Yu

发表版本
CVPR 2021会议
arXiv 首次提交
arXiv:2006.06664
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingqdtrack2020,
  title = {{Quasi-Dense Similarity Learning for Multiple Object Tracking}},
  author = {Jiangmiao Pang and Linlu Qiu and Xia Li and Haofeng Chen and Qi Li and Trevor Darrell and Fisher Yu},
  year = {2020},
  eprint = {2006.06664},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2006.06664}
}
本页内容

到了 2020 年,多目标跟踪的关联主要靠位置。

SORT 用 IoU,CenterTrack 预测中心点位移,Tracktor 让检测器的回归头把框推到下一帧。只要检测够准,相邻两帧之间的位置关系就是很强的线索。外观特征通常只在旁边帮忙,用来找回消失了一阵子的目标,而且搜索范围还得限制在附近,因为外观特征不够可靠,范围一放大反而容易认错。

但人类跟踪物体,常常只看长相就够了。浙江大学的 Jiangmiao Pang、ETH Zürich 的 Fisher Yu、UC Berkeley 的 Trevor Darrell 等人认为,外观特征不可靠,是因为训练的方式太浪费。

定义问题

原论文 Figure 1:四种学习外观相似度的方式。(a) 与检测器分开的 re-ID 模型,只用稀疏的真实框做身份分类。(b) 和检测器共享网络,但同样用稀疏的身份分类。(c) 共享网络,在两张图像的真实框之间做三元组损失。(d) 本文的准密集匹配:在两张图像上取出大量候选框,彼此全部配对。
原论文 Figure 1(Pang 等人),取自 PDF 第 1 页,arXiv 许可,学术引用。

当时学外观特征的方法,大致分成这几种:

  • 身份分类: 把训练集里的每个身份当成一类,例如 DeepSORT 的 re-ID 模型,以及 JDE、FairMOT 加在检测器上的嵌入分支。数据集越大,类别数越多,越难扩展。
  • 三元组损失: 每个样本只和一个正样本、一个负样本比较。

不管哪一种,训练样本都只有真实框,一张图像上可能就十几个。

可是检测器在每张图像上会提出几百个候选区域。靠近真实框的那些,可以当作额外的正样本;落在背景上的,就是现成的困难负样本。这些区域原本只用来训练检测,学外观时全被丢掉了。

作者想把这些候选区域全部拿来学外观。如果特征空间学得够好,关联时就不需要位置、运动、位移预测,只要在特征空间里找最近邻就好。

解决问题

准密集采样

原论文 Figure 2:训练流程。关键帧与参考帧经过共享的骨干网络与样本生成器,得到大量准密集样本(绿色),真实框以橙色表示;共享的嵌入头为每个样本提取特征,两帧之间所有样本两两比对,以多正样本的对比学习训练。
原论文 Figure 2(Pang 等人),取自 PDF 第 3 页,arXiv 许可,学术引用。

作者把「稠密匹配」定义为在所有像素位置上比对候选框;「准密集」只取可能有物体、有信息量的区域,也就是 RPN 提出的候选框。

检测器是标准的 Faster R-CNN 加 FPN,骨干 ResNet-50。在原本的框分类与框回归头旁边,并行加了一个轻量的嵌入头(4 层卷积加 1 层全连接),每个候选框输出一个 256 维的特征。

训练时,每次取一张关键帧,再从它前后 3 帧内随机挑一张参考帧。两张图像各自跑 RPN,得到候选框:

  • 一个候选框和某个真实物体的 IoU 大于 0.7,就算是那个物体的样本;IoU 小于 0.3 就算背景。
  • 关键帧上的候选框和参考帧上的候选框,如果属于同一个物体,这一对就是正样本,否则是负样本。

关键帧取 128 个候选框当训练样本,参考帧取 256 个当对比目标,正负各半。每个训练样本要和参考帧上的全部 256 个目标比较。

多正样本的对比损失

只有一个正样本时,可以用标准的 softmax 交叉熵。设 vv 是训练样本的特征,k+k^+ 是正样本,k−k^- 是负样本:

Lembed=−log⁡ev⋅k+ev⋅k++∑k−ev⋅k−\mathcal{L}_{embed} = -\log\frac{e^{v\cdot k^+}}{e^{v\cdot k^+} + \sum_{k^-} e^{v\cdot k^-}}

但准密集采样之后,一个训练样本在参考帧上会有好几个正样本,同一个物体附近的候选框都算。直接把正样本求和放进分子,会让每个负样本被重复计算好几次,正样本却只算一次。

作者先把上式改写成

Lembed=log⁡[1+∑k−e v⋅k−−v⋅k+]\mathcal{L}_{embed} = \log\Big[1 + \sum_{k^-} e^{\,v\cdot k^- - v\cdot k^+}\Big]

再把正样本也一起累加:

Lembed=log⁡[1+∑k+∑k−e v⋅k−−v⋅k+]\mathcal{L}_{embed} = \log\Big[1 + \sum_{k^+}\sum_{k^-} e^{\,v\cdot k^- - v\cdot k^+}\Big]

这样每一组正负样本都被公平地比较一次。

另外加一个辅助的 L2 损失,约束特征的余弦相似度:

Laux=(v⋅k∥v∥ ∥k∥−c)2\mathcal{L}_{aux} = \left(\frac{v\cdot k}{\|v\|\,\|k\|} - c\right)^2

正样本对 c=1c = 1,负样本对 c=0c = 0。作者说明这个损失的作用是约束 logit 的大小和余弦相似度,并不直接提升效果。

整体损失是

L=Ldet+γ1Lembed+γ2Laux\mathcal{L} = \mathcal{L}_{det} + \gamma_1\mathcal{L}_{embed} + \gamma_2\mathcal{L}_{aux}

其中 γ1=0.25\gamma_1 = 0.25、γ2=1.0\gamma_2 = 1.0。附录提到 γ1\gamma_1 超过 0.5 时效果会下降。

只靠外观的关联

原论文 Figure 3:推理流程。参考帧保留的匹配候选包括轨迹(黄色)、暂时消失的轨迹(蓝色)和背景框(粉红色),关键帧的检测(绿色)和它们两两计算双向 softmax。双向一致时相似度高;新出现的物体或消失的物体不一致,相似度低。右侧比较有无背景框的情况:没有背景框时,一个误报可能找不到对象而被硬配给别人;保留背景框后,它会配到上一帧的背景框。
原论文 Figure 3(Pang 等人),取自 PDF 第 4 页,arXiv 许可,学术引用。

推理时,关联完全不用位置。但只靠特征找最近邻,碰到一个检测根本没有对应的轨迹(新物体、误报),或是有好几个看起来都像的候选,就很麻烦。作者用三个设计来处理。

双向 softmax。 当前帧有 NN 个检测,特征为 nn;匹配候选有 MM 个,特征为 mm。两者的相似度取两个方向 softmax 的平均:

f(i,j)=12[exp⁡(ni⋅mj)∑kexp⁡(ni⋅mk)+exp⁡(ni⋅mj)∑kexp⁡(nk⋅mj)]\begin{aligned} f(i,j) = \frac{1}{2}\Bigg[ & \frac{\exp(n_i\cdot m_j)}{\sum_{k}\exp(n_i\cdot m_k)} \\ & + \frac{\exp(n_i\cdot m_j)}{\sum_{k}\exp(n_k\cdot m_j)}\Bigg] \end{aligned}

第一项问的是「在所有候选里,检测 ii 最像谁」,第二项问的是「在所有检测里,候选 jj 最像谁」。只有两边互为最近邻时,分数才会高。新出现的物体在候选里找不到真正的对象,两个方向的分数很难同时高,自然不会被匹配上。

保留背景框(backdrops)。 以往的方法会直接丢掉没匹配上任何轨迹的检测。作者认为这些框虽然大多是误报,但下一帧的误报很可能长得跟它一样。把它们保留一帧,当作匹配候选,下一帧的误报就会去配这些背景框,不会被硬塞给真正的轨迹。

跨类别去重。 一般的检测器只在同一类别内做非极大值抑制,同一个位置可能同时出现「行人」和「骑行者」两个框,各自带着几乎一样的特征。作者在关联前再做一次跨类别的非极大值抑制,高置信度框阈值 0.7,低置信度框 0.3。

剩下的都是常见的阈值。检测置信度大于 0.8 才新建轨迹,消失的轨迹保留 10 帧,轨迹特征用动量 0.8 更新,只有同类别的物体可以互相匹配。

讨论

哪些设计有用

训练相似度去重背景框MOTAIDF1行人 MOTA行人 IDF1
稀疏cosine60.463.037.649.7
准密集、单正样本cosine61.566.840.552.7
准密集、多正样本cosine62.567.844.054.3
准密集、多正样本bi-softmax62.970.045.558.8
准密集、多正样本bi-softmax✓63.270.145.558.3
准密集、多正样本bi-softmax✓✓63.571.546.760.2

整理自原论文 Table 4,BDD100K 跟踪验证集。

消融做在 BDD100K 的验证集上。这是一个行车记录仪数据集,有 8 个类别,比 MOT17 大得多。

从稀疏改成准密集,IDF1 从 63.0 升到 67.8。其中光是增加负样本、仍用单正样本的损失,就贡献了 3.8 分,约占这段改善的八成。对比目标越多,就算大部分是负样本,特征也学得更好。多正样本的损失再加 1 分。

推理端,双向 softmax 让 IDF1 再多 2.2 分,行人类别多了 4.5 分。去重和背景框再加 1.5 分。从头到尾,IDF1 总共提升了 8.5 分,ID 切换少了 30%。行人这一类最明显,MOTA 和 IDF1 分别多了 9.1 和 10.5 分。

位置还有没有用

外观IoU运动回归mMOTAmIDF1
✓26.336.0
✓✓27.738.5
✓✓28.639.3
✓36.650.8
✓✓36.349.8
✓✓✓36.449.9
✓✓✓36.450.1

整理自原论文 Table 5,BDD100K 跟踪验证集;mMOTA、mIDF1 是 8 个类别的平均。

作者照 Tracktor 的做法,用同一个检测器加上 IoU、运动模型、框回归等位置线索。

没有外观特征时,每多一种位置线索,效果都会提升。但有了准密集学到的外观特征之后,再加任何位置线索都没有帮助,甚至略降。最好的结果就是只用外观。

外观特征学得够好,就不需要位置线索,这是这篇最核心的主张。不过这是在 BDD100K 上的结果。它的跟踪标注是每秒 5 帧,相机又装在行进中的车上,相邻两个标注帧之间,物体的位置和大小都可能变化很大,位置线索本来就没那么可靠。

各个基准

QDTrack 在四个基准上都报告了结果,除了 COCO 预训练以外,没有用额外的训练数据。

  • MOT17(私有检测): MOTA 68.7、IDF1 66.3,每秒 20.3 帧。比当时的 CenterTrack 高 0.9 和 1.6 分,而 CenterTrack 还用了额外数据。ID 切换 3,378 比 CenterTrack 的 3,039 多,作者的解释是它的召回率更高,FN 少了 1.4 万个,跟踪到的轨迹越多,换 ID 的机会也越多。
  • BDD100K: 测试集 mMOTA 35.5、mIDF1 52.3,比官方基线高出 9.2 和 7.6 分,也赢过 2020 年 BDD100K 跟踪挑战赛的冠军。
  • Waymo: 验证集的车辆类别 MOTA 55.6,比 RetinaTrack 高 10.7 分。换上 ResNet-101 和可变形卷积后,测试集上的成绩和 2020 年 Waymo 2D 跟踪挑战赛的冠军相当,而它只是一个单一模型。
  • TAO: 这个数据集有数百个类别,长尾分布很严重。整体 AP50 只比基线高 2 到 3 分,但行人这个常见类别是 38.6 对 18.5。

瓶颈在检测

附录里的两个 oracle 实验很有参考价值。

把检测换成真实框,再用 QDTrack 的特征去关联,8 个类别的平均 IDF1 是 88.8,比原本高了 38 分。反过来,检测保持原样、改用真实的跟踪标签去关联,mIDF1 只多 4.3 分。

也就是说,在 BDD100K 上,QDTrack 的关联已经很接近上限,大部分的误差来自检测。失败案例也是如此。漏掉的大多是很小或被挤住的物体,误报是镜子或广告牌里的人。还有一种情况是类别跳变,例如自行车被遮住时,「骑行者」被检测成「行人」,QDTrack 只允许同类别匹配,ID 就断了。

后来

「只用外观就够」这个结论,后来在 MOT17 上被重新检验过。ByteTrack 在 MOT17 的半验证集上,在 QDTrack 的 re-ID 相似度上加入卡尔曼滤波的运动线索,再套上自己的 BYTE 关联。MOTA 从 67.3 变成 67.7,IDF1 从 67.8 升到 72.0,ID 切换从 377 降到 281。行人在监控画面里走得慢又规律,运动线索在这里还是很有用。

DanceTrack 则是另一个极端。那里的舞者穿着相似,外观很难区分,DanceTrack 的作者在自己的关联实验里也发现,直接加上外观比对反而会变差。但在同一篇论文里,换上 YOLOX 检测器重新训练的 QDTrack,HOTA 拿到 54.2,比 ByteTrack 的 47.7 还高,关联准确度 AssA 也是 36.8 对 32.1。准密集学出来的特征,在外观几乎一样的场景里,还是分得出一些差别。

结论

QDTrack 换掉的是学外观特征的采样方式。原本只用十几个真实框,现在把几百个候选框全部拿来互相比较,再配上一个公平处理多个正样本的对比损失。

推理时只剩外观,加上双向 softmax、保留一帧的背景框、跨类别去重这几条简单规则。没有卡尔曼滤波,没有 IoU,在 BDD100K 上加了位置线索反而略差。

背景框那一招特别有意思。大部分跟踪器都在想办法把误报丢掉,QDTrack 却把它们留下来,让下一帧的误报有个地方可以去。