DiffMOT: A Real-time Diffusion-based Multiple Object Tracker with Non-linear Prediction
- 发表版本
- CVPR 2024会议
- arXiv 首次提交
- arXiv:2403.02075
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multiobjecttrackingdiffmot2024,
title = {{DiffMOT: A Real-time Diffusion-based Multiple Object Tracker with Non-linear Prediction}},
author = {Weiyi Lv and Yuhang Huang and Ning Zhang and Ruei-Sung Lin and Mei Han and Dan Zeng},
year = {2024},
eprint = {2403.02075},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2403.02075}
}
SORT 之后这些年,大部分跟踪器用的运动模型都是卡尔曼滤波。它假设物体在短时间内匀速直线前进,计算快、参数少,在 MOT17 这种以行人为主的数据上非常好用。
可是到了 DanceTrack 的舞台、SportsMOT 的球场,人不再好好走路。舞者会突然转身、蹲下、跳起来;球员会急停、变向、加速冲刺。匀速直线的假设一失效,预测框就对不准检测框,轨迹断掉,新的 ID 冒出来。
上海大学的 Weiyi Lv、Yuhang Huang、Dan Zeng 等人想用扩散模型来预测这些不规则的运动。扩散模型擅长拟合复杂的分布,问题是它通常要跑上千步才能生成结果,跟踪却需要实时。
定义问题

右边的 (c) 是这篇论文的出发点。作者用卡尔曼滤波预测下一帧的框,再和真值框算 IoU。MOT17、MOT20 的平均 IoU 都在 0.9 以上;DanceTrack 只有约 0.82,SportsMOT 约 0.78。
对跟踪来说,预测框对不准,关联就要靠其他线索硬撑。换成神经网络来预测,MLP、LSTM 这类简单的网络拟合不了这么复杂的运动;用光流或 Transformer 的方法拟合得比较好,却慢到无法实时。
DiffMOT 要让非线性运动预测得准,速度又要够快。
解决问题
整体架构
DiffMOT 是一个标准的「先检测、再关联」跟踪器,分成三步:
- 检测。 用 YOLOX 找出这一帧的所有框。
- 运动预测。 对每条已有的轨迹,用它过去 5 帧的信息,预测这一帧的位置。这一步就是 DiffMOT 的核心,叫做 D²MP(decoupled diffusion-based motion predictor)。
- 关联。 沿用 ByteTrack 的两阶段匹配:高分检测框先用外观和 IoU 和预测框配对,剩下的再和低分框用 IoU 配一次。外观的部分则借用 Deep OC-SORT 的动态外观和自适应权重。
除了第二步,其他都是现成的组件。所以这篇论文的实验,可以看成是在同一个框架里,把卡尔曼滤波换成扩散模型。
要生成的是「位移」
D²MP 生成的不是框,而是框的变化量。第 帧的运动定义为:
预测出运动之后,加到上一帧的框上,就是这一帧的预测框。
模型学的是整个数据集里所有物体的运动分布,预测时再以某一个物体自己的历史作为条件。作者认为,这比为每条轨迹单独拟合一个运动模型更稳:舞者的动作千变万化,但「舞者会怎么动」本身是有规律的。
解耦的扩散过程
一般的扩散模型,前向过程是一步一步把数据变成噪声。D²MP 沿用一种「解耦扩散」的做法,把这个过程拆成同时进行的两半:
- 数据归零。 干净的运动数据随时间 线性衰减,到 时变成零。
- 噪声增长。 从零开始加入高斯噪声,到 时变成纯噪声。
两者相加,就是加了噪声的运动:
是衰减的速度, 是标准正态噪声。 时是干净的运动, 时只剩 。
反向过程要从噪声还原运动。原本的解耦扩散需要一个双分支的网络,同时预测 和 。作者发现,从上面的式子可以把 用 和 表示出来,所以网络只需要预测 一个量。
更重要的是,这个过程可以一步完成。
一步是怎么走的
用一个例子把前向和反向都走一遍。
假设某个舞者上一帧的框是 ,依次是中心 、中心 、宽、高,单位是像素。这一帧他往右移了 12、往上移了 3,大小不变,所以真实的运动是 。
前向过程里,。在 时:
运动被衰减了四分之一,同时混入一半标准差的噪声。到 ,只剩下 。
反向时,从 一步跳到 。代入反向过程的公式,均值刚好等于 ,方差是 0。如果网络从历史推出 ,预测的运动就是 ,预测框是 。
本文整理的算例。
一般的扩散模型要跑几百到上千步;解耦扩散的衰减是解析的,可以一步走完,运动预测的时间就短到可以忽略。
条件从哪里来
网络要预测 ,靠的是一个叫 HMINet 的网络。它读入这条轨迹过去 5 帧的信息,每一帧八个数字:框的四个值,加上那一帧的位移。
这 5 帧先和一个可学习的 class token 一起,经过 6 层多头自注意力,class token 最后就是条件嵌入。接着,噪声运动和条件嵌入一起进入「运动融合层」:条件嵌入经过 MLP 产生缩放和平移,调整噪声运动的特征。再叠几层自注意力和融合层,最后一个 MLP 输出 。

训练时,损失是预测的 和真实 之间的 smooth L1。
讨论
换掉运动模型
消融都在 DanceTrack 验证集上,检测器和关联方式不变,只换运动模型:
| 运动模型 | HOTA | IDF1 | AssA |
|---|---|---|---|
| 只用 IoU | 44.7 | 36.8 | 25.3 |
| 卡尔曼滤波 | 46.8 | 52.1 | 31.3 |
| LSTM | 51.2 | 51.6 | 34.3 |
| Transformer | 54.6 | 54.6 | 38.1 |
| D²MP | 55.7 | 55.2 | 39.5 |
整理自原论文 Table 5,DanceTrack 验证集。
卡尔曼滤波比完全不预测只好 2.1 HOTA;换成 D²MP,又比卡尔曼滤波高了 8.9。Transformer 也不差,HOTA 54.6,但论文没有列出它在同一框架下的速度。
一步够不够
| 架构 | 采样步数 | HOTA | FPS |
|---|---|---|---|
| 双分支 | 1 | 44.5 | 20.9 |
| 双分支 | 10 | 52.3 | 13.1 |
| 双分支 | 20 | 54.6 | 7.5 |
| 单分支 | 1 | 55.7 | 22.7 |
整理自原论文 Table 6,DanceTrack 验证集,速度含 YOLOX-X 检测。
这张表说明了单分支的好处。同时预测 和 的双分支版本,一步采样只有 44.5,要跑 20 步才追到 54.6,速度掉到 7.5 FPS。只预测 的单分支版本,一步就有 55.7。少学一个量,网络反而学得更好。
历史要多长
条件用的历史长度 ,从 1 帧到 10 帧,HOTA 依次是 51.7、52.5、53.0、55.7(5 帧)、52.5、51.1。太短,看不出物体的动向;太长,旧的信息反而干扰预测。5 帧最好。
条件的内容也试过三种:只用上一帧的框、只用上一帧的位移,或两者都用。两者都用的 HOTA 最高,不过三者最多只差 1.3。
测试集上的成绩
| 数据集 | DiffMOT | 表中其他方法最高 | 该方法 |
|---|---|---|---|
| DanceTrack | 62.3 | 61.3 | Deep OC-SORT |
| SportsMOT | 76.2 | 74.1 | MixSort-OC |
| MOT17 | 64.5 | 65.1 | SparseTrack |
| MOT20 | 61.7 | 63.9 | Deep OC-SORT |
测试集 HOTA。DanceTrack 整理自原论文 Table 1;SportsMOT 整理自原论文 Table 2,检测器用训练集加验证集训练;MOT17 整理自原论文 Table 3;MOT20 整理自原论文附录 Table 9。
在以非线性运动为主的 DanceTrack 和 SportsMOT,DiffMOT 都是第一。DanceTrack 上 IDF1 63.0、AssA 47.2,也比 Deep OC-SORT 高了 1.5 和 1.4,进步主要在关联。
到了以行人为主的 MOT17、MOT20,DiffMOT 就不是最好的了,比 Deep OC-SORT、SparseTrack 低一些。行人的运动本来就接近直线,卡尔曼滤波已经够用,扩散模型没有太多可以发挥的地方。
速度方面,用 YOLOX-X 时是 22.7 FPS,换成 YOLOX-S 可以到 30.3 FPS,HOTA 则掉到 53.3。
跨数据集
附录里,作者把在 DanceTrack 上训练的 D²MP 直接拿到其他数据集。SportsMOT 上 HOTA 75.6,只比在 SportsMOT 上训练的版本低 0.6,仍然高于 MixSort-OC 的 74.1。MOT17 上则低了 2.7。
从结果看,舞者和球员的运动,彼此比和行人更接近。
失败的时候
附录列了两种失败。第一种是两个人交错走过时互换 ID,作者认为是因为模型没有约束速度的方向。第二种是长时间消失的人找不回来:D²MP 一次只预测下一帧,一条断掉很久的轨迹,没有办法往前推好几帧去等它。
结论
DiffMOT 只动了一个零件,把「先检测、再关联」框架里的卡尔曼滤波,换成一个扩散模型。
让它能用在实时跟踪上的关键,是解耦扩散。数据衰减是解析的,反向过程可以一步走完;网络只需要预测衰减的速度 ,比同时预测 和噪声更好学。结果是一个能拟合舞者、球员不规则运动的预测器,加上检测还能跑到 20 多 FPS。
和半年前的 DiffusionTrack 比,两篇都用扩散模型,DiffusionTrack 拿它生成两帧的配对框,DiffMOT 只拿它生成位移。在 DanceTrack 上,后者的 HOTA 高了将近 10。