返回论文笔记资料库
arXiv 2024CVPR 2024多目标跟踪论文笔记

DiffMOT

一步到位

原始论文

DiffMOT: A Real-time Diffusion-based Multiple Object Tracker with Non-linear Prediction

论文作者

Weiyi Lv · Yuhang Huang · Ning Zhang · Ruei-Sung Lin · Mei Han · Dan Zeng

发表版本
CVPR 2024会议
arXiv 首次提交
arXiv:2403.02075
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingdiffmot2024,
  title = {{DiffMOT: A Real-time Diffusion-based Multiple Object Tracker with Non-linear Prediction}},
  author = {Weiyi Lv and Yuhang Huang and Ning Zhang and Ruei-Sung Lin and Mei Han and Dan Zeng},
  year = {2024},
  eprint = {2403.02075},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2403.02075}
}
本页内容

SORT 之后这些年,大部分跟踪器用的运动模型都是卡尔曼滤波。它假设物体在短时间内匀速直线前进,计算快、参数少,在 MOT17 这种以行人为主的数据上非常好用。

可是到了 DanceTrack 的舞台、SportsMOT 的球场,人不再好好走路。舞者会突然转身、蹲下、跳起来;球员会急停、变向、加速冲刺。匀速直线的假设一失效,预测框就对不准检测框,轨迹断掉,新的 ID 冒出来。

上海大学的 Weiyi Lv、Yuhang Huang、Dan Zeng 等人想用扩散模型来预测这些不规则的运动。扩散模型擅长拟合复杂的分布,问题是它通常要跑上千步才能生成结果,跟踪却需要实时。

定义问题

原论文 Figure 1:(a) DanceTrack 上几位舞者 200 帧的中心轨迹,画在三维坐标中,轨迹弯弯曲曲。右边是第 30、31 帧:上排用卡尔曼滤波,预测框和检测框的 IoU 从 0.71 掉到 0.41,跟踪失败;下排用 D²MP,IoU 是 0.83 和 0.88。(b) DanceTrack 测试集上各跟踪器的 HOTA 与 FPS,DiffMOT-X 的 HOTA 最高,速度约 23 FPS。(c) 卡尔曼滤波在四个数据集上的预测框与真值框平均 IoU:MOT17 和 MOT20 在 0.9 以上,DanceTrack 约 0.82,SportsMOT 约 0.78。
原论文 Figure 1(Lv 等人),取自 PDF 第 1 页,arXiv 许可,学术引用。

右边的 (c) 是这篇论文的出发点。作者用卡尔曼滤波预测下一帧的框,再和真值框算 IoU。MOT17、MOT20 的平均 IoU 都在 0.9 以上;DanceTrack 只有约 0.82,SportsMOT 约 0.78。

对跟踪来说,预测框对不准,关联就要靠其他线索硬撑。换成神经网络来预测,MLP、LSTM 这类简单的网络拟合不了这么复杂的运动;用光流或 Transformer 的方法拟合得比较好,却慢到无法实时。

DiffMOT 要让非线性运动预测得准,速度又要够快。

解决问题

整体架构

DiffMOT 是一个标准的「先检测、再关联」跟踪器,分成三步:

  1. 检测。 用 YOLOX 找出这一帧的所有框。
  2. 运动预测。 对每条已有的轨迹,用它过去 5 帧的信息,预测这一帧的位置。这一步就是 DiffMOT 的核心,叫做 D²MP(decoupled diffusion-based motion predictor)。
  3. 关联。 沿用 ByteTrack 的两阶段匹配:高分检测框先用外观和 IoU 和预测框配对,剩下的再和低分框用 IoU 配一次。外观的部分则借用 Deep OC-SORT 的动态外观和自适应权重。

除了第二步,其他都是现成的组件。所以这篇论文的实验,可以看成是在同一个框架里,把卡尔曼滤波换成扩散模型。

要生成的是「位移」

D²MP 生成的不是框,而是框的变化量。第 ff 帧的运动定义为:

Mf=Bf−Bf−1=(Δxf,Δyf,Δwf,Δhf)\begin{aligned} M_f &= B_f - B_{f-1} \\ &= (\Delta x_f, \Delta y_f, \Delta w_f, \Delta h_f) \end{aligned}

预测出运动之后,加到上一帧的框上,就是这一帧的预测框。

模型学的是整个数据集里所有物体的运动分布,预测时再以某一个物体自己的历史作为条件。作者认为,这比为每条轨迹单独拟合一个运动模型更稳:舞者的动作千变万化,但「舞者会怎么动」本身是有规律的。

解耦的扩散过程

一般的扩散模型,前向过程是一步一步把数据变成噪声。D²MP 沿用一种「解耦扩散」的做法,把这个过程拆成同时进行的两半:

  1. 数据归零。 干净的运动数据随时间 tt 线性衰减,到 t=1t=1 时变成零。
  2. 噪声增长。 从零开始加入高斯噪声,到 t=1t=1 时变成纯噪声。

两者相加,就是加了噪声的运动:

Mf,t=Mf,0+t c+t z,c=−Mf,0M_{f,t} = M_{f,0} + t\,c + \sqrt{t}\,z,\qquad c = -M_{f,0}

cc 是衰减的速度,zz 是标准正态噪声。t=0t=0 时是干净的运动,t=1t=1 时只剩 zz。

反向过程要从噪声还原运动。原本的解耦扩散需要一个双分支的网络,同时预测 cc 和 zz。作者发现,从上面的式子可以把 zz 用 cc 和 Mf,tM_{f,t} 表示出来,所以网络只需要预测 cc 一个量。

更重要的是,这个过程可以一步完成。

一步是怎么走的

用一个例子把前向和反向都走一遍。

假设某个舞者上一帧的框是 (300,200,80,220)(300, 200, 80, 220),依次是中心 xx、中心 yy、宽、高,单位是像素。这一帧他往右移了 12、往上移了 3,大小不变,所以真实的运动是 Mf,0=(12,−3,0,0)M_{f,0} = (12, -3, 0, 0)。

前向过程里,c=−Mf,0c = -M_{f,0}。在 t=0.25t = 0.25 时:

Mf,0.25=0.75 Mf,0+0.5 z=(9,−2.25,0,0)+0.5 z\begin{aligned} M_{f,0.25} &= 0.75\,M_{f,0} + 0.5\,z \\ &= (9, -2.25, 0, 0) + 0.5\,z \end{aligned}

运动被衰减了四分之一,同时混入一半标准差的噪声。到 t=1t=1,只剩下 zz。

反向时,从 t=1t=1 一步跳到 t=0t=0。代入反向过程的公式,均值刚好等于 −cΘ-c_\Theta,方差是 0。如果网络从历史推出 cΘ=(−12,3,0,0)c_\Theta = (-12, 3, 0, 0),预测的运动就是 (12,−3,0,0)(12, -3, 0, 0),预测框是 (312,197,80,220)(312, 197, 80, 220)。

本文整理的算例。

一般的扩散模型要跑几百到上千步;解耦扩散的衰减是解析的,可以一步走完,运动预测的时间就短到可以忽略。

条件从哪里来

网络要预测 cΘc_\Theta,靠的是一个叫 HMINet 的网络。它读入这条轨迹过去 5 帧的信息,每一帧八个数字:框的四个值,加上那一帧的位移。

这 5 帧先和一个可学习的 class token 一起,经过 6 层多头自注意力,class token 最后就是条件嵌入。接着,噪声运动和条件嵌入一起进入「运动融合层」:条件嵌入经过 MLP 产生缩放和平移,调整噪声运动的特征。再叠几层自注意力和融合层,最后一个 MLP 输出 cΘc_\Theta。

原论文 Figure 3:D²MP 的架构。左边从相邻两帧的真值框相减得到运动 M_f,0。上方的前向过程里,「数据归零」和「噪声增长」两部分相加,得到加了噪声的运动。下方的反向过程是 HMINet:条件 C_f(过去几帧的运动信息)经过 6 层多头自注意力得到条件嵌入 E_ce,再和噪声运动一起经过运动融合层与自注意力,输出预测的运动,加回上一帧的框,就是这一帧的预测框。右边是多头自注意力和运动融合层的细节。
原论文 Figure 3(Lv 等人),取自 PDF 第 4 页,arXiv 许可,学术引用。

训练时,损失是预测的 cΘc_\Theta 和真实 cc 之间的 smooth L1。

讨论

换掉运动模型

消融都在 DanceTrack 验证集上,检测器和关联方式不变,只换运动模型:

运动模型HOTAIDF1AssA
只用 IoU44.736.825.3
卡尔曼滤波46.852.131.3
LSTM51.251.634.3
Transformer54.654.638.1
D²MP55.755.239.5

整理自原论文 Table 5,DanceTrack 验证集。

卡尔曼滤波比完全不预测只好 2.1 HOTA;换成 D²MP,又比卡尔曼滤波高了 8.9。Transformer 也不差,HOTA 54.6,但论文没有列出它在同一框架下的速度。

一步够不够

架构采样步数HOTAFPS
双分支144.520.9
双分支1052.313.1
双分支2054.67.5
单分支155.722.7

整理自原论文 Table 6,DanceTrack 验证集,速度含 YOLOX-X 检测。

这张表说明了单分支的好处。同时预测 cc 和 zz 的双分支版本,一步采样只有 44.5,要跑 20 步才追到 54.6,速度掉到 7.5 FPS。只预测 cc 的单分支版本,一步就有 55.7。少学一个量,网络反而学得更好。

历史要多长

条件用的历史长度 nn,从 1 帧到 10 帧,HOTA 依次是 51.7、52.5、53.0、55.7(5 帧)、52.5、51.1。太短,看不出物体的动向;太长,旧的信息反而干扰预测。5 帧最好。

条件的内容也试过三种:只用上一帧的框、只用上一帧的位移,或两者都用。两者都用的 HOTA 最高,不过三者最多只差 1.3。

测试集上的成绩

数据集DiffMOT表中其他方法最高该方法
DanceTrack62.361.3Deep OC-SORT
SportsMOT76.274.1MixSort-OC
MOT1764.565.1SparseTrack
MOT2061.763.9Deep OC-SORT

测试集 HOTA。DanceTrack 整理自原论文 Table 1;SportsMOT 整理自原论文 Table 2,检测器用训练集加验证集训练;MOT17 整理自原论文 Table 3;MOT20 整理自原论文附录 Table 9。

在以非线性运动为主的 DanceTrack 和 SportsMOT,DiffMOT 都是第一。DanceTrack 上 IDF1 63.0、AssA 47.2,也比 Deep OC-SORT 高了 1.5 和 1.4,进步主要在关联。

到了以行人为主的 MOT17、MOT20,DiffMOT 就不是最好的了,比 Deep OC-SORT、SparseTrack 低一些。行人的运动本来就接近直线,卡尔曼滤波已经够用,扩散模型没有太多可以发挥的地方。

速度方面,用 YOLOX-X 时是 22.7 FPS,换成 YOLOX-S 可以到 30.3 FPS,HOTA 则掉到 53.3。

跨数据集

附录里,作者把在 DanceTrack 上训练的 D²MP 直接拿到其他数据集。SportsMOT 上 HOTA 75.6,只比在 SportsMOT 上训练的版本低 0.6,仍然高于 MixSort-OC 的 74.1。MOT17 上则低了 2.7。

从结果看,舞者和球员的运动,彼此比和行人更接近。

失败的时候

附录列了两种失败。第一种是两个人交错走过时互换 ID,作者认为是因为模型没有约束速度的方向。第二种是长时间消失的人找不回来:D²MP 一次只预测下一帧,一条断掉很久的轨迹,没有办法往前推好几帧去等它。

结论

DiffMOT 只动了一个零件,把「先检测、再关联」框架里的卡尔曼滤波,换成一个扩散模型。

让它能用在实时跟踪上的关键,是解耦扩散。数据衰减是解析的,反向过程可以一步走完;网络只需要预测衰减的速度 cc,比同时预测 cc 和噪声更好学。结果是一个能拟合舞者、球员不规则运动的预测器,加上检测还能跑到 20 多 FPS。

和半年前的 DiffusionTrack 比,两篇都用扩散模型,DiffusionTrack 拿它生成两帧的配对框,DiffMOT 只拿它生成位移。在 DanceTrack 上,后者的 HOTA 高了将近 10。