返回论文笔记资料库
arXiv 2020IJCV 2021多目标跟踪论文笔记

FairMOT

锚框惹的祸

原始论文

FairMOT: On the Fairness of Detection and Re-Identification in Multiple Object Tracking

论文作者

Yifu Zhang · Chunyu Wang · Xinggang Wang · Wenjun Zeng · Wenyu Liu

arXiv 首次提交
arXiv:2004.01888
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingfairmot2020,
  title = {{FairMOT: On the Fairness of Detection and Re-Identification in Multiple Object Tracking}},
  author = {Yifu Zhang and Chunyu Wang and Xinggang Wang and Wenjun Zeng and Wenyu Liu},
  year = {2020},
  eprint = {2004.01888},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2004.01888}
}
本页内容

DeepSORT 让跟踪器学会认人,代价是每个检测框都要再过一次 re-ID 网络。画面里有十个人,就裁十张图、跑十次特征;有一百个人,就跑一百次。检测器和 re-ID 网络各自从原始图像提取特征,什么都不共享。

人一多,这套系统就慢下来了。

很自然的想法是把两件事放进同一个网络。2019 年前后,Track R-CNN 在 Mask R-CNN 上多接一个 re-ID 头,JDE(Joint Detection and Embedding)在 YOLOv3 上多接一个 re-ID 头,一次前向传播同时输出框和特征。这类方法叫做 one-shot 跟踪器,速度确实上来了,检测也还不错。

但 ID 切换暴增。

华中科技大学与微软亚洲研究院的张一夫、王春雨等人想知道问题出在哪里。他们的答案是,这两个任务在同一个网络里没有被公平对待:检测永远是主角,re-ID 只是陪衬。这篇论文的 arXiv 第一版原本叫「A Simple Baseline for Multi-Object Tracking」,后来才改成现在这个强调「公平」的名字。

定义问题

作者把 one-shot 跟踪器学不好 re-ID 的原因,归纳成三种「不公平」。

锚框造成的不公平

原论文 Fig. 2:(a) 三种 one-shot 跟踪器提取 re-ID 特征的方式。Track R-CNN 以锚框为基础,先经 RPN 生成候选框,再用 RoI 特征输出框、类别与 re-ID;JDE 也以锚框为基础,在每个正样本锚框的中心提取特征;FairMOT 不用锚框,只在物体中心的那一点提取特征。(b) 一个红色锚框同时框到两名短跑运动员。(c) 三个不同的锚框都要负责同一名运动员的身份。(d) FairMOT 只在运动员的中心点取一个特征。
原论文 Fig. 2(Zhang 等人),取自 PDF 第 6 页,arXiv 许可,学术引用。

Track R-CNN 和 JDE 都改自以锚框(anchor)为基础的检测器,re-ID 特征也跟着锚框走。这带来三个麻烦:

  1. re-ID 被当成次要任务。 Track R-CNN 先用 RPN 生成候选框,再从候选框提取 re-ID 特征。候选框不准,特征就没用,所以训练时网络会优先把候选框学好,re-ID 排在后面。
  2. 一个锚框对应多个人。 图 (b) 的红框同时框到两名运动员。用 RoI-Align 在框里采样,很多采样点落在别人身上或背景上,提取出来的特征就混进了好几个人。
  3. 多个锚框对应同一个人。 图 (c) 里,三个位置不同的锚框,因为和同一名运动员的 IoU 都够大,都被要求输出同一个身份。这三个锚框看到的图像区域其实不一样,却要学出同一个特征;数据增强稍微平移一下图像,同一个锚框又可能被分配给另一个人。

另外,检测器的特征图通常缩小 8、16、32 倍,对检测还能接受,对 re-ID 就太粗了,锚框的位置很可能没对准物体中心。

特征造成的不公平

检测和 re-ID 要的特征很不一样。检测希望同一类物体的特征越像越好,不管这个人穿什么衣服,都要认出「这是人」;re-ID 却要把同一类的不同个体分开,需要更多底层的外观细节。

两个任务共用同一份特征,就会互相拉扯。

维度造成的不公平

re-ID 领域习惯用 512 或 1024 维的特征,而检测头的输出只有类别数加上几个框坐标。作者认为,两边维度差这么多,会让 re-ID 的损失压过检测。

更重要的是,多目标跟踪的 re-ID 和一般的 re-ID 不一样。一般的 re-ID 要拿一张查询图像去比对上万张候选,需要很高的判别力;跟踪只需要在相邻两帧之间,做少量一对一的匹配。跟踪用不到那么高的维度。

解决问题

原论文 Fig. 1:FairMOT 总览。输入图像先经过编码器-解码器网络,得到缩小 4 倍的高分辨率特征图;网络中各层特征经下采样、上采样后相加融合。接着分成两个结构相同的分支:检测分支输出热图、框大小与中心偏移,re-ID 分支输出每个位置的 re-ID 特征。跟踪时,在预测的物体中心取出 re-ID 特征。
原论文 Fig. 1(Zhang 等人),取自 PDF 第 3 页,arXiv 许可,学术引用。

FairMOT 对三个不公平各补一刀。不用锚框,改用 CenterNet 那种以中心点表示物体的检测方式;用多层特征融合的骨干,让两个任务各取所需;把 re-ID 特征的维度压低。

两个分支的结构完全相同,都直接接在骨干输出的同一张特征图上,不分先后。

骨干

骨干是 DLA-34,由 ResNet-34 加上深层聚合(Deep Layer Aggregation)的多层融合结构组成,上采样模块里的卷积全换成可变形卷积(deformable convolution),让感受野能随物体的大小和姿态调整。

输出特征图是输入的 1/4。训练和推理时,输入图像统一缩放到 1088×6081088 \times 608,特征图就是 272×152272 \times 152。

跟着一个人走一遍

我们用一个人来看两个分支怎么在同一张特征图上分工。

假设在 1088×6081088 \times 608 的输入图像上,某个人的真实框是 (x1,y1,x2,y2)=(402,200,482,402)(x_1, y_1, x_2, y_2) = (402, 200, 482, 402)。

第一步,找中心。 框的中心是 (442,301)(442, 301)。特征图缩小 4 倍,中心落在 (110.5,75.25)(110.5, 75.25),取整后是特征图上的格子 (110,75)(110, 75)。

第二步,热图。 热图分支输出一张 1×152×2721 \times 152 \times 272 的图。训练目标是在 (110,75)(110, 75) 放一个值为 1 的峰,周围以高斯函数往外递减。如果有 NN 个物体,目标热图是

Mxy=∑i=1Nexp⁡(−(x−c~xi)2+(y−c~yi)22σc2)M_{xy} = \sum_{i=1}^{N} \exp\left(-\frac{(x-\tilde{c}^i_x)^2 + (y-\tilde{c}^i_y)^2}{2\sigma_c^2}\right)

损失用 CenterNet 的 focal loss 形式。峰值位置要预测得接近 1,其他位置要接近 0,但离峰值越近的位置,预测错了扣得越少。

第三步,偏移与大小。 取整时丢掉了 (0.5,0.25)(0.5, 0.25),最多会有 4 个像素的误差。偏移分支在 (110,75)(110, 75) 这个格子要预测出 (0.5,0.25)(0.5, 0.25),把中心补回精确位置;大小分支在同一个格子预测框的宽高 (80,202)(80, 202)。两者都用 L1 损失,大小项的权重 λs=0.1\lambda_s = 0.1,沿用 CenterNet 的设置。

第四步,re-ID。 re-ID 分支用一层 128 个卷积核的卷积,输出 E∈R128×152×272E \in \mathbb{R}^{128 \times 152 \times 272},每个格子都有一个 128 维的特征。这个人的特征,就是 EE 在 (110,75)(110, 75) 的那一根向量 E110,75E_{110, 75}。

FairMOT 的关键设计就在这里。一个人只对应特征图上的一个点,热图、偏移、大小、re-ID 全部从这一点读出来。没有锚框,也就没有「一个锚框两个人」或「三个锚框一个人」的问题。

re-ID 怎么训练

re-ID 的训练被当成分类问题。训练集里每一个身份都是一类,共 KK 类。从物体中心取出的特征,经过一层全连接和 softmax,得到这个物体属于各个身份的概率 p(k)p(k),再用交叉熵计算损失:

Lidentity=−∑i=1N∑k=1KLi(k)log⁡p(k)L_{identity} = -\sum_{i=1}^{N}\sum_{k=1}^{K} L^i(k)\log p(k)

训练时只用真实中心点上的特征。推理时,物体中心由热图决定,取出来的特征直接拿去做比对,分类层用不到。

两个任务怎么平衡

检测损失是热图加上框的损失,Ldetection=Lheat+LboxL_{detection} = L_{heat} + L_{box}。两个任务的损失不是直接相加,而是用 Kendall 等人提出的不确定性加权:

Ltotal=12(1ew1Ldetection+1ew2Lidentity+w1+w2)\begin{aligned} L_{total} = \frac{1}{2}\Big(&\frac{1}{e^{w_1}}L_{detection} + \frac{1}{e^{w_2}}L_{identity} \\ &+ w_1 + w_2\Big) \end{aligned}

w1w_1 和 w2w_2 是可学习的参数。某个任务的损失越大、越不确定,它的权重就会被调小,但 w1+w2w_1 + w_2 这两项又惩罚权重无限缩小。网络自己决定两边各拿多少。

只用单张图像也能训练

跟踪数据需要跨帧的身份标注,很贵。作者另外提出「单张图像训练」,拿 CrowdHuman 这种只有框、没有身份的行人检测数据,把每一个框都当成一个独立的身份,再对整张图像做旋转、缩放、平移、色彩等增强。

这样训练出来的 re-ID,学的是「这个人和画面里其他人不同」。论文把这个方法称为自监督,官方代码的说明则写成弱监督;不管叫什么,它用的是框标注,省下的是身份标注。

推理与关联

推理时,对热图做一次 3×33 \times 3 的最大池化当作非极大值抑制,保留分数高于阈值的峰值,再从偏移和大小分支算出框,从 re-ID 分支取出特征。

关联沿用 MOTDT 的两阶段做法:

  1. 第一阶段:外观为主。 用卡尔曼滤波预测每条轨迹的位置,计算马氏距离 DmD_m;再算轨迹与检测之间 re-ID 特征的余弦距离 DrD_r。两者加权成 D=λDr+(1−λ)DmD = \lambda D_r + (1-\lambda) D_m,λ=0.98\lambda = 0.98,马氏距离太大的匹配直接排除。用匈牙利算法匹配,阈值 0.4。
  2. 第二阶段:IoU 补漏。 剩下没匹配上的检测框和轨迹,改用框的 IoU 再匹配一次,阈值 0.5。

轨迹的外观特征每一帧都会更新,以适应外观变化。最后还没匹配上的检测框成为新轨迹;没匹配上的轨迹保留 30 帧,等它可能回来。

讨论

训练数据和 JDE 相同,称为 MIX。其中 ETH 和 CityPersons 只有框,只训练检测分支;CalTech、MOT17、CUHK-SYSU、PRW 有身份标注,两个分支一起训练。消融实验都在 MOT17 验证集上进行。

re-ID 的质量用 TPR@FAR=0.1 衡量,也就是用真实框位置的特征做检索,在误接受率 0.1 时的真阳性率。这个指标不受检测结果影响,只看特征本身好不好。

特征要在哪里取

原论文 Table 1:在 MOT17 验证集比较五种 re-ID 特征采样方式。ROI-Align(用锚框)MOTA 68.7、IDF1 71.0、ID 切换 331、TPR 93.1;POS-Anchor(用锚框)69.0、70.3、434、93.9;Center 69.1、72.8、299、94.4;Center-BI 68.8、74.3、303、94.9;Two-Stage(用锚框)69.0、68.2、388、90.5。
原论文 Table 1(Zhang 等人),取自 PDF 第 9 页,arXiv 许可,学术引用。

五种方法都建立在 FairMOT 上,唯一的差别是 re-ID 特征从哪里取。ROI-Align 是 Track R-CNN 的做法,POS-Anchor 是 JDE 的做法,Center 是 FairMOT 的做法,Center-BI 在中心用双线性插值取得更精确的位置,Two-Stage 则是先检测、再用检测框做 ROI-Align。

MOTA 几乎都在 69 上下,因为检测分支是一样的。差别在 IDF1 和 ID 切换。Center 的 ID 切换 299,比 POS-Anchor 的 434 少了三成;Center-BI 的 TPR 最高。最差的是 Two-Stage,IDF1 只有 68.2,TPR 掉到 90.5。训练时让 re-ID 依赖检测结果,特征质量确实会被拖累。

检测和 re-ID 真的会打架吗

作者做了一个很直接的实验。拿 ResNet-34 当骨干,一组两个分支一起训练,另一组只训练检测分支、re-ID 分支保持随机初始化。

只训练检测时,AP 从 75.1 升到 76.1;两个任务一起训练,检测确实会被拖累。有意思的是,只训练检测的那组 MOTA 还略高(63.7 对 63.6),但 IDF1 从 67.2 掉到 60.4,TPR 从 90.9 掉到 36.7。MOTA 主要看检测,re-ID 的特征几乎没用时,它也看不出来。

换成有多层融合的 DLA-34 之后,AP 是 81.2、TPR 是 94.4,两边都比 ResNet-34 好。作者的解读是,多层融合让两个任务能从不同层取各自需要的特征,冲突就小了。

骨干的比较也支持这一点。ResNet-50 比 ResNet-34 大,ImageNet 准确度也更高,但 MOTA 只从 63.6 到 63.7,ID 切换反而从 435 增加到 501;加上 FPN 的 ResNet-34 参数比 ResNet-50 少,TPR 却从 90.9 升到 94.2。DLA-34 如果把可变形卷积换回普通卷积,MOTA 会从 69.1 掉到 65.0,AP 从 81.2 掉到 78.1。只从中心一点取特征的方法,很依赖感受野能跟着物体大小调整。

维度低一点更好

把 re-ID 特征从 512 维降到 64 维:

  • JDE: MOTA 59.9 → 60.3,IDF1 64.1 → 65.0,ID 切换 536 → 474,TPR 76.8 → 82.0。每一项都变好。
  • FairMOT: MOTA 68.5 → 69.2,AP 80.9 → 81.3,ID 切换 312 → 283;但 IDF1 从 73.7 略降到 73.3,TPR 从 94.6 略降到 94.3。

FairMOT 这组结果更细致。高维特征本身的判别力确实稍强,但它会拖累检测,检测一差,整体跟踪就跟着差。作者最后采用 128 维。

损失要怎么加权

固定权重(网格搜索得出)的 MOTA 和 AP 最高,TPR 最低,模型偏向检测;MGDA-UB 的 TPR 最高,MOTA 和 AP 最低,偏向 re-ID。GradNorm 的 IDF1 最高,整体最均衡,但训练时间较长。作者最后选择了稍逊一点、也简单得多的不确定性加权。

关联的三个组件

只用 IoU 关联,ID 切换有 648 次;只用 re-ID 特征,降到 435;re-ID 加卡尔曼滤波,342;三者都用,299。在拥挤或相机快速移动的场景,光靠 IoU 会一直换 ID;物体被部分遮挡时,re-ID 特征又不可靠,这时候需要框和运动来补。

单张图像训练

只用 CrowdHuman 单张图像训练、完全没看过身份标注的模型,直接拿去跟踪 MOT17 验证集,MOTA 是 64.1,IDF1 64.9。先在 CrowdHuman 上预训练、再用 MOT17 微调,MOTA 71.1、IDF1 75.6,比只用 MOT17 训练的 67.5、69.9 高出一截,甚至超过用 MIX 加 MOT17 的 69.1、72.8。

MOTChallenge

原论文 Table 10:private detector 规则下 MOT15、MOT16、MOT17、MOT20 测试集的比较,标星号的是 one-shot 跟踪器。MOT17 上 FairMOT 的 MOTA 73.7、IDF1 72.3、MT 43.2%、ML 17.3%、ID 切换 3303、FPS 25.9;CenterTrack 为 67.8、64.7、34.6%、24.6%、2583、17.5。MOT16 上 FairMOT 为 74.9、72.8、ID 切换 1074;DeepSORT_2 为 61.4、62.2、781。MOT20 上 FairMOT 为 61.8、67.3、ID 切换 5243、FPS 13.2。
原论文 Table 10(Zhang 等人),取自 PDF 第 14 页,arXiv 许可,学术引用。

这张表是 private detector 规则,也就是各家用自己的检测器。FPS 同时计入检测和关联,这对 two-step 方法比较严格,也正是 one-shot 跟踪器想证明的事。

FairMOT 在四个数据集上都排第一。MOT17 的 MOTA 73.7、IDF1 72.3,比同为 one-shot 的 CenterTrack 高出约 6 分和 8 分,速度 25.9 FPS。在 MOT16 上,和 DeepSORT(表中的 DeepSORT_2)相比,MOTA 从 61.4 升到 74.9,速度从不到 6.4 FPS 升到 25.9。

不过 ID 切换那一列要细看。MOT16 上,FairMOT 的 1074 次比 DeepSORT_2 的 781 次多。FairMOT 检测得多、MT 高、ML 低,跟踪到的轨迹本来就更多,ID 切换的绝对次数也跟着增加。比较 ID 保持能力时,IDF1 是更合适的指标。

速度方面,FairMOT 在 MOT20 只剩 13.2 FPS。作者分析各部分的耗时发现,检测与 re-ID 的网络推理几乎不受人数影响,卡尔曼滤波和 IoU 匹配只要 1、2 毫秒;随着人数线性增长的,是 re-ID 比对时更新每条轨迹外观特征的时间。

后来

社区后来的批评大多集中在拥挤场景。例如 2023 年的 CSMOT 指出,FairMOT 在拥挤场景中检测不够准,re-ID 特征的判别力也不足,跟踪性能明显下降。本文推测,这和只在中心一点取特征的设计有关。人挤在一起时,一个人的中心点附近,常常就是别人的身体。

结论

one-shot 跟踪器 ID 切换暴增,FairMOT 找到了三个原因。锚框让 re-ID 学到混杂的特征,共享特征让两个任务互相拉扯,高维特征压过检测;对应的解法是以中心点表示物体、用多层融合的骨干、把 re-ID 降到 128 维。结果在四个 MOTChallenge 数据集上都排第一,整个系统每秒约 26 帧。

同一个网络里塞两个任务时,记得另外测 re-ID 的指标。只训练检测的那组,特征已经几乎没用了,MOTA 却还是不动如山。

有趣的是,一年半后张一夫写 ByteTrack 时,在 MOT17 上干脆连 re-ID 都不用了。