返回论文笔记资料库
arXiv 2023AAAI 2024多目标跟踪论文笔记

DiffusionTrack

拨云见日

原始论文

DiffusionTrack: Diffusion Model For Multi-Object Tracking

论文作者

Run Luo · Zikai Song · Lintao Ma · Jinlin Wei · Wei Yang · Min Yang

发表版本
AAAI 2024会议
arXiv 首次提交
arXiv:2308.09905
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingdiffusiontrack2023,
  title = {{DiffusionTrack: Diffusion Model For Multi-Object Tracking}},
  author = {Run Luo and Zikai Song and Lintao Ma and Jinlin Wei and Wei Yang and Min Yang},
  year = {2023},
  eprint = {2308.09905},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2308.09905}
}
本页内容

扩散模型最有名的用途是生成图片:从一张纯噪声开始,一步一步去掉噪声,最后得到一张清晰的图。

2022 年底,DiffusionDet 把这个想法搬到了目标检测上。它不生成图片,而是生成框:在画面上撒一堆随机框,让网络一步一步把它们修正到物体上。

深圳先进院和华中科大的 Run Luo、Zikai Song 等人想再往前走一步。如果一次生成的不是一个框,而是一对框,一个在前一帧、一个在这一帧,而且两个框框住的是同一个人,那检测和跟踪就在同一个去噪过程里一起完成了。

定义问题

作者把当时的跟踪器分成两类,认为它们有三个共同的毛病:

  1. 不一致。 先检测再跟踪的方法,检测器和跟踪器是分开训练的。联合检测与跟踪的方法虽然放在同一个网络里,检测和跟踪还是各走各的分支。
  2. 鲁棒性和复杂度难以兼顾。 先检测再跟踪的方法结构简单,但检测一有偏差,跟踪就跟着出错。联合的方法比较稳,结构却复杂,检测准确度也比不上专门的检测器。
  3. 不够灵活。 同一段视频里,有的片段人很少、有的很挤,有的人走得慢、有的跑得快,但大部分方法整段视频只能用同一组设置。

DiffusionTrack 想用一个统一的框架同时处理这三件事。

解决问题

一次生成一对框

原论文 Figure 2:DiffusionTrack 的架构。相邻两帧(frame t−1 与 frame t)先经过冻结的骨干网络提取特征;ROI Pooler 按照配对的噪声框,从两帧的特征图上各取一块特征,送进扩散头。扩散头由多个基本块组成,每块依次是自注意力、时空融合模块(SFT)和预测头。训练时用 focal loss、L1 loss 和 3D GIoU loss。
原论文 Figure 2(Luo 等人),取自 PDF 第 3 页,CC BY 4.0。

DiffusionTrack 处理的数据单位是一对框:同一个物体在第 t−1t-1 帧和第 tt 帧的框,一共八个数字。网络的工作,是从一对被噪声弄乱的框,还原出真正的那一对。

如果两帧是同一张图,这个问题就退化成一般的目标检测。作者强调这一点,因为它说明检测和跟踪真的是在同一个模型、同一个目标下训练的。

网络分成两部分:

  1. 骨干网络。 用 ByteTrack 预训练好的 YOLOX,加上 FPN,两帧各跑一次,之后冻结不动。
  2. 扩散头。 按照每一对噪声框,从两帧的特征图上各取一块 RoI 特征,经过好几个块反复修正。每个块输出框的位置、类别,和一个关联分数,表示这对框是不是同一个物体。

每个块里有一个时空融合模块,让配对的两个框交换信息。前一帧的框看得到这一帧,这一帧的框也看得到前一帧,两边一起决定这对框该往哪里修。

训练:把正确答案弄脏

训练时,从同一段视频里取两帧,相隔最多 5 帧。两帧都出现的物体,各组成一对正确的框,再补一些额外的框,凑满 500 对。

接着按照扩散模型的噪声调度,在这 500 对框上加入不同程度的高斯噪声,让网络学着把它们还原。匹配时用匈牙利算法,损失有三项:类别用 focal loss、坐标用 L1,还有一项 3D GIoU。

3D GIoU 是 GIoU 的延伸。一对框在时间轴上叠起来,像一个棱台;两个棱台的交集和并集,用两帧的面积加总来算。这让网络同时顾及两帧的框,而不是各算各的。

推理:用上一帧的框起头

检测从纯随机的框开始;跟踪不必,因为上一帧已经知道每个人在哪里。

原论文 Figure 3:推理流程。左边是上一帧已经跟踪到的三个人。把这些先验框重复几次,再补上一些随机的噪声框,凑到固定的数量;接着按照比例 α_t 混入高斯噪声,得到两帧的配对框;最后经过去噪,得到同一个人在两帧的配对框。
原论文 Figure 3(Luo 等人),取自 PDF 第 4 页,CC BY 4.0。

推理分三步:

  1. 凑框。 把上一帧的框重复几次,剩下的位置补上随机的高斯框,凑满固定数量。
  2. 加噪声。 按照 B=(1−αt)B+αtBnoiseB = (1-\alpha_t) B + \alpha_t B_{\text{noise}} 混入噪声。
  3. 去噪。 用 DDIM 跑几步,得到配对框。

举个例子。MOT17 上设置 800 个框,其中 25% 用上一帧的框。如果上一帧跟踪到 40 个人,就有 200 个先验框,每个人重复 5 次;剩下 600 个是随机框。

从先验框出发的那几对,负责把已经在跟踪的人延续到这一帧;从随机框出发的那几对,负责找新出现的人,或把之前跟丢的人捡回来。

本文整理的算例。

去噪之后,关联分数低于 0.25 的配对先丢掉,再做两次 NMS 去掉重复。剩下的配对,用 IoU 接上已有的轨迹。因遮挡而跟丢的轨迹,则用一个简单的卡尔曼滤波推算位置,和新找到的框再配一次。

噪声要加多少,取决于物体动得多快。作者让扩散的时间步 tt 随着两帧之间的平均移动量变化:动得越多,噪声越大,让网络有更大的空间去修正。同一段视频的不同片段,因此可以用不同的噪声量,这就是前面说的「灵活」。

讨论

多少先验、什么噪声

消融都在 MOT17 训练集的前半训练、后半测试:

先验框比例MOTAIDF1HOTA
0%71.265.958.1
25%73.670.060.7
50%74.571.261.8
75%74.171.461.9
100%72.966.858.4

整理自原论文 Table 1(a),MOT17 验证集。

0% 等于完全不用上一帧的信息,每一帧都从头检测;100% 则完全不补随机框。两个极端都比较差,中间的比例最好。前者少了跟踪的线索,后者没有随机框去找新出现的人。

补框用什么噪声也有差别。高斯噪声最好,HOTA 60.7;改成泊松或均匀分布,或者干脆补整张图大小的框,HOTA 都掉到 59 以下。

噪声量和移动量的关系,用对数函数最好,HOTA 62.6;用线性函数是 60.7,用固定值是 58.2。

框越多、步数越多

框数去噪步数MOTAHOTA计算量FPS
500171.558.4229.6G21.05
500271.759.5459.2G10.47
800173.660.7367.3G15.89
1000174.161.3459.1G13.37

整理自原论文 Table 1(d),MOT17 验证集,单张 RTX 3090、FP16。

扩散模型的一个好处是,训练完之后,框的数量和去噪步数都可以在推理时调整。多一点框、多走几步,成绩就好一点,速度就慢一点,不用重新训练。

不过从表上看,加框比加步数划算。同样大约 459G 的计算量,1000 个框走 1 步的 HOTA 是 61.3,500 个框走 2 步只有 59.5。附录里作者也承认,多步去噪带来的提升有限。

检测被干扰的时候

原论文 Figure 4(b):检测框受到扰动时的 MOTA。横轴是扰动比例 α_t,从 0 到 0.1。ByteTrack 掉得最快,0.04 时是 −1.8,0.1 时是 −37.5;TrackFormer 从约 73 掉到 16.0;CenterTrack 维持在 65 左右;DiffusionTrack 一直在 87 到 89 之间。
原论文 Figure 4(b)(Luo 等人),取自 PDF 第 5 页,CC BY 4.0。

这是论文里最醒目的一张图。作者在检测框上混入噪声,比例从 0 加到 0.1。ByteTrack 完全依赖检测框,扰动到 0.04 时 MOTA 已经变成负的;DiffusionTrack 几乎不受影响。

这个结果不难理解。对 DiffusionTrack 来说,带噪声的框本来就是它的输入,去噪是它每天在做的事。

读这张图时要注意实验设置。按照图注,四个跟踪器都用 MOT17 训练集训练,再在 val-half 上评估,而 val-half 本来就是训练集的后半。所以 DiffusionTrack 在没有扰动时的 MOTA 接近 89,比前面消融的 73.6 高出许多。能比较的是曲线的走势,数值本身不能和其他表格对照。

和其他方法比

数据集方法MOTAIDF1HOTAAssA
MOT17ByteTrack80.377.363.162.0
MOT17DiffusionTrack77.973.860.858.8
MOT20ByteTrack77.875.261.359.6
MOT20DiffusionTrack72.866.355.351.3
DanceTrackOC-SORT89.654.654.640.2
DanceTrackDiffusionTrack89.347.552.433.5

MOT17、MOT20 整理自原论文 Table 2,DanceTrack 整理自原论文 Table 3,均为测试集、私有检测。

在联合检测与跟踪的方法里,DiffusionTrack 是原论文表上最好的:MOT17 的 MOTA 77.9,高于 TrackFormer 的 74.1 和 MOTR 的 71.9。但和先检测再跟踪的 ByteTrack、OC-SORT 相比,三个数据集上都还落后。

拆开来看,DiffusionTrack 强在检测。DanceTrack 上它的 DetA 是 82.2,比 OC-SORT 的 80.4 还高;AssA 却只有 33.5,比 OC-SORT 低了 6.7。MOT17 上它的 ID 切换是 3,819 次,ByteTrack 只有 2,196 次。

作者也做了只在第 tt 帧加噪声的基准版本。它在 MOT17 上的 HOTA 是 55.9,比 DiffusionTrack 低 4.9;到了拥挤的 MOT20 只有 42.5,到了动作复杂的 DanceTrack 只有 44.0。作者的解释是,基准版本只学到从上一帧的框回归到这一帧,两帧一起加噪声的过程,则逼着网络学会分辨不同的物体。

代价

扩散头有 2.36 亿个可训练参数,在 8 张 RTX 3090 上要训练约 30 小时。推理时 800 个框走一步,每帧 367G 的计算量,大约 16 FPS。作者在附录里也提到,MOT20 的小物体处理得不好。

结论

DiffusionTrack 把跟踪写成一个去噪问题:同一个人在两帧的框,是从一对噪声框慢慢修出来的。检测和跟踪用同一个网络、同一个目标训练;框的数量和去噪步数可以在推理时调;检测框被干扰时也很稳。

它的弱点在关联。检测的指标很好,身份的指标却还追不上几个靠卡尔曼滤波和 IoU 的方法,而它自己最后也用了 IoU 和卡尔曼滤波来接轨迹。

扩散模型在跟踪里还有另一种用法。半年后的 DiffMOT 不拿它来生成框,而是拿来预测人下一步往哪里走。