返回论文笔记资料库
arXiv 2024CVPR 2025多目标跟踪论文笔记

MOTIP

你是几号?

原始论文

Multiple Object Tracking as ID Prediction

论文作者

Ruopeng Gao · Ji Qi · Limin Wang

发表版本
CVPR 2025会议
arXiv 首次提交
arXiv:2403.16848
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingmotip2024,
  title = {{Multiple Object Tracking as ID Prediction}},
  author = {Ruopeng Gao and Ji Qi and Limin Wang},
  year = {2024},
  eprint = {2403.16848},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2403.16848}
}
本页内容

读到这里,我们已经看过两大类跟踪器。

一类是先检测、再关联。检测交给专门的检测器,关联则靠人设计的规则:卡尔曼滤波预测位置,IoU 或外观距离算代价,匈牙利算法做匹配,再加上一堆阈值。这些规则在行人身上很好用,但每遇到一种新情境,就要有人分析、修改、重新调参。从 SORT 到 Deep OC-SORT,再到 C-BIoU、UCMCTrack,走的都是这条路。

另一类是端到端的 MOTR 系列,用一个轨迹查询在帧与帧之间传递,检测和跟踪一起在解码器里完成。关联不再靠人写规则,但两种查询挤在同一个解码器里会互相干扰,检测常常因此吃亏。MOTRv2 干脆把检测交还给 YOLOX。

南京大学的 Ruopeng Gao、王利民,和中国移动(苏州)软件技术公司的 Ji Qi 想知道,能不能保留「先检测、再关联」的分工,同时把关联整个交给模型去学。

他们的答案是 MOTIP。这是 Ruopeng Gao 继 MeMOTR 之后的下一篇,方法简单得出乎意料。

定义问题

关联看起来很像分类问题。训练数据里,每一条轨迹都有一个 ID,给定一个检测框,判断它属于哪一条轨迹,不就是预测它的 ID 吗?

问题出在推理。测试视频里出现的都是没见过的人,ID 也是新的,模型不可能把一个人分类到训练时从没出现过的类别。

所以像 FairMOT 这种方法,训练时虽然用分类损失来学外观特征,推理时却得换一套做法:把特征拿出来算余弦相似度,再用人写的规则匹配。训练和推理,做的其实是两件事。

作者认为,卡住的地方在于,跟踪的 ID 和一般分类的标签,本质上不一样。

原论文 Figure 1:上下文 ID 预测的示意。左下是历史轨迹里的四名舞者,以黄、绿、蓝、紫色框标出;右下是当前这一帧的四个人。上方三行是三种标签分配。历史轨迹标成 1、2、3、4 时,当前的四人依次应预测为 1、4、3、2,正确;标成 8、5、7、3 时,应预测为 8、3、7、5,也正确;标成 9、4、5、8 时,若预测为 9、5、8、4,蓝色和紫色的人被对调,标为 ID switch,错误。
原论文 Figure 1(Gao 等人),取自 PDF 第 1 页,CC BY 4.0。

一般分类里的「猫」就是猫,标签有语义。跟踪的 ID 没有。真值文件里写着 1、2、3、4 的四个人,换成 8、5、7、3 也完全可以,只要每个人从头到尾都用同一个号码。ID 只是一张号码牌,代表「这几个框是同一个人」,号码本身是多少并不重要。

解决问题

上下文 ID 预测

既然号码本身不重要,就让模型看着「历史轨迹上挂的号码牌」,去预测新检测该拿哪一张。

具体来说,对过去的每一条轨迹 TmT^m,随机发给它一个号码 kmk_m,1≤km≤K1 \le k_m \le K。新的一帧进来,如果某个检测属于第 mm 条轨迹,正确答案就是 kmk_m。

号码是发给轨迹的提示,所以作者称之为上下文 ID 预测(in-context ID prediction)。这样一来,不管测试时遇到多少新面孔,要预测的永远是 1 到 KK 之间的号码,都在训练过的范围里。号码怎么发都可以,只要预测和历史一致就算对,Figure 1 的三行说的就是这件事。

三个组件

原论文 Figure 2:MOTIP 的整体架构。每一帧各自经过 DETR,得到物体的输出嵌入(灰色)。左边是可学习的 ID 字典,有 1 到 K 个普通号码和一个代表新物体的特殊符号 S。过去几帧的物体,嵌入接上各自轨迹的号码,组成历史轨迹;当前这一帧的物体则全部接上 S。两者一起送进 ID 解码器,输出每个物体的号码预测,以 ID 损失监督;DETR 的分类头和框回归头则以检测损失监督。
原论文 Figure 2(Gao 等人),取自 PDF 第 4 页,CC BY 4.0。

整个架构只有三个组件。

DETR 检测器。 用以 ResNet-50 为骨干网络的 Deformable DETR。它的好处是解码器的输出嵌入本身就可以当作物体的特征,不需要另外裁剪框、做 RoI 池化。每个物体得到一个 256 维的特征 ff。

ID 字典。 一组 K+1K + 1 个可学习的 256 维嵌入:

I={i1,i2,⋯ ,iK,ispec}\mathcal{I} = \{i_1, i_2, \cdots, i_K, i_{spec}\}

前 KK 个代表普通号码,最后一个 ispeci_{spec} 代表「新物体」。作者没有用 one-hot 编码,理由是它不利于训练,而且号码的上限会被向量维度绑死。默认 K=50K = 50,只要不少于一帧里最多的物体数就行。

ID 解码器。 一个标准的 Transformer 解码器,自注意力和交叉注意力交错排列,最后接一个线性分类头,输出 K+1K + 1 类的概率。

一个物体怎么变成一个 token

我们沿着一条轨迹走一遍。

一条已经在跟踪的轨迹,被发了号码 kmk_m。它过去 TT 帧里的每一个框,都有一个 DETR 特征 fmf^m。把特征和号码的嵌入直接拼接起来:

τtm,km=concat(ftm, ikm)\tau^{m, k_m}_t = \text{concat}\left(f^m_t,\ i_{k_m}\right)

每个 token 都是 512 维,前半是「长什么样子」,后半是「挂着几号」。这条轨迹在过去 TT 帧的所有 token,组成它的历史。TT 在 DanceTrack 上是 29 帧,SportsMOT 上是 59 帧。

当前这一帧的检测,还不知道是谁,所以统一接上新物体的符号:

τtn=concat(ftn, ispec)\tau^n_t = \text{concat}\left(f^n_t,\ i_{spec}\right)

接着,当前的检测当作查询、所有历史 token 当作键和值,送进 ID 解码器。解码器里的交叉注意力,让每个检测去历史里找「长得最像的那串 token 挂着几号」;自注意力则让同一帧的检测彼此交换信息,避免两个长得很像的人抢同一个号码。最后分类头输出每个检测属于每个号码的概率。

如果检测属于第 mm 条轨迹,答案是 kmk_m;如果是新出现的人,答案是新物体那一类。关联就这样变成了一个 K+1K + 1 类的分类问题,可以直接用交叉熵训练,和 DETR 的检测损失加在一起:

L=λclsLcls+λL1LL1+λgiouLgiou+λidLid\begin{aligned} \mathcal{L} = {} & \lambda_{cls}\mathcal{L}_{cls} + \lambda_{L1}\mathcal{L}_{L1} \\ & + \lambda_{giou}\mathcal{L}_{giou} + \lambda_{id}\mathcal{L}_{id} \end{aligned}

四个权重分别是 2、5、2、1。

推理:号码牌怎么发、怎么收

推理时的流程很直接:

  1. 号码从 1 到 KK 依次发给轨迹,彼此不重复。轨迹结束了,它的号码就收回来给新轨迹用。所以视频再长、出现的人再多,只要同一时间在跟踪的轨迹不超过 KK 条就行。
  2. DETR 的输出先用置信度 0.3 过滤。
  3. 剩下的检测送进 ID 解码器,各自挑概率最高、而且超过 0.2 的号码。
  4. 同一帧里如果两个检测挑了同一个号码,只留置信度比较高的那个。
  5. 没拿到号码、检测置信度又超过 0.6 的,当作新物体,发一张新的号码牌。

默认不用匈牙利算法。作者认为,更复杂的分配策略也许能再提升一点,但他们想验证的是模型本身的能力。

作者也统计过,大多数情况下号码的使用率不到 40%。真遇到极度拥挤的场景,把 KK 调大即可,就像 DETR 默认用 300 个查询一样。

训练时,故意制造错误

训练时,历史轨迹是用真值建起来的,每一条都干干净净。推理时却不是这样。人会被挡住,模型也会发错号码,错误还会写进之后的历史。

原论文 Figure 3:两种轨迹增强。左边是轨迹随机遮挡:绿色轨迹中间连续几个 token 被掩码盖掉。右边是轨迹随机交换:绿色和蓝色两条轨迹在某些帧的号码被互换。
原论文 Figure 3(Gao 等人),取自 PDF 第 5 页,CC BY 4.0。

为了让模型习惯不完美的历史,作者加了两种轨迹增强:

  • 随机遮挡: 以概率 λocc\lambda_{occ} 把一条轨迹中间的一段 token 拿掉,模拟人被挡住。
  • 随机交换: 以概率 λsw\lambda_{sw} 把同一帧里两条轨迹的号码互换,模拟模型把相似的人配错。

两者都设为 0.5。

另外,因为检测和关联是分开的两个模块,训练可以并行。每次取一段 T+1T + 1 帧的片段,每一帧的 DETR 可以同时做前向计算,ID 解码器则用注意力掩码确保看不到未来;只有其中 4 帧的 DETR 需要反向传播。作者用 8 张 RTX 4090,在 DanceTrack 上训练不到一天。

讨论

作者刻意让比较的条件一致,主要结果都用 Deformable DETR 加 ResNet-50,而且不用额外的检测数据集。他们认为,把 CrowdHuman 这类静态图片平移成假视频来训练,对端到端、特别是需要长时间建模的方法并不好。

DanceTrack

方法HOTADetAAssAIDF1
OC-SORT55.180.338.354.6
C-BIoU60.681.345.461.6
DiffMOT62.382.547.263.0
MeMOTR63.477.052.365.5
CO-MOT65.380.153.566.5
MOTIP69.680.460.474.7
MOTRv2(额外数据)69.983.059.071.7
MOTIP(额外数据)72.081.863.576.8

整理自原论文 Table 1,DanceTrack 测试集。

MOTIP 不用额外数据就拿到 69.6,比同样用 Deformable DETR 的 CO-MOT 高 4.3 分,AssA 高 6.9 分,IDF1 更是高出 8 分以上。用了额外数据的版本则到 72.0,超过 MOTRv2。

表上 MeMOTR 的 63.4,是它换成标准 Deformable DETR 的版本;MeMOTR 论文主表用 DAB-Deformable-DETR 报告的是 68.5。即使和 68.5 比,MOTIP 还是高出一截,但两者的检测框架并不相同。

SportsMOT 与鸟群

在 SportsMOT 上,只用训练集,MOTIP 的 HOTA 是 72.6、AssA 63.2,高于同样条件的 OC-SORT(68.1)和 MeMOTR 的 Deformable DETR 版本(68.8),也高于用了额外数据的 DiffMOT(72.1)。

不过,SportsMOT 上表现最好的是 Deep-EIoU 那一派的做法:它用 YOLOX 在训练集加验证集上训练检测器,再加上 ReID 模型,HOTA 是 77.2。两者的训练数据和检测器都不同,不能直接比,但也提醒我们,在体育场景里,一个强的检测器加上简单的规则,仍然很有竞争力。

作者另外测了一个鸟类跟踪数据集 BFT,有 22 种鸟、106 段视频。鸟在三维空间里飞,动作比地面上的人更不规则,彼此也没有衣服可以分辨。MOTIP 的 HOTA 是 70.5,OC-SORT 是 66.8,ByteTrack 是 62.5。

自注意力和匈牙利算法

消融在 DanceTrack 的验证集上做:

自注意力匈牙利轨迹增强HOTAAssA
57.743.9
✓59.747.2
✓59.547.2
✓✓59.947.9
✓✓62.251.5
✓✓✓62.251.8

整理自原论文 Table 4,DanceTrack 验证集。

  1. 没有自注意力时,匈牙利算法有用。 从 57.7 升到 59.7。没有自注意力,每个检测各自挑号码,彼此不知道对方挑了什么,需要一个全局的分配来避免冲突。
  2. 有了自注意力,匈牙利算法就几乎没用了。 只多 0.4 分,加上轨迹增强后更是完全一样。作者的解释是,自注意力让同一帧的检测在解码时就互相交换了身份信息,模型自己学会了做全局的分配。
  3. 轨迹增强加了 2.7 分。 从 59.5 到 62.2,是这张表上最大的一步。

轨迹增强的比例也要拿捏。只加随机遮挡时,0.5 最好(60.7),遮到 1.0 反而降到 58.6;在遮挡 0.5 的基础上加随机交换,0.5 最好(62.2),0.8 就掉到 59.8。

和 ReID 比

MOTIP 也是用物体特征来跟踪,看起来很像一种 ReID 方法。作者把它和两种常见的 ReID 训练方式比较,一种是 FairMOT 的分类式,一种是对比学习式,推理时都用余弦相似度。

在冻结 DETR、只训练关联部分的设置下,FairMOT 式的 HOTA 只有 29.4,对比学习式是 41.0,MOTIP 的 ID 预测是 55.4。全部参数一起训练时,ReID 方法即使加上匈牙利算法、再加一个和 ID 解码器结构相同的轨迹强化模块,最好也只有 54.5,MOTIP 是 59.5。

同样的特征,换成「看着上下文预测号码」的训练方式,差了 5 分以上。作者认为,ReID 方法用人写的规则整合历史信息、各自计算相似度,限制了模型的灵活性;MOTIP 则让模型自己决定怎么看历史轨迹。

局限

在 MOT17 上,MOTIP 的 HOTA 是 59.3,在端到端方法中和 CO-MOT(60.1)、MOTRv3(60.2)差不多,但明显落后于 ByteTrack(63.1)这类启发式方法。作者的解释是,MOT17 只有 7 段训练视频,对需要从数据中学习的方法来说太少;而启发式方法已经针对行人的线性运动打磨了将近十年。

速度方面,在一张 RTX A5000 上,MOTIP 用 FP32 是每秒 12.7 帧,和 MOTR 的 13.1 差不多;改用 FP16 可以到 22.8 帧。

作者也说明,这个设计刻意保持简单,目的是验证「把跟踪当成 ID 预测」这个想法可行,还有很多空间可以加上运动、深度等其他线索。

结论

MOTIP 把多目标跟踪的关联,改写成一个上下文 ID 预测问题。号码随机发给历史轨迹,模型只要看着这些号码,预测新检测该拿哪一张。整个模型只有 DETR、一本 ID 字典和一个标准的 Transformer 解码器,没有卡尔曼滤波,没有代价矩阵,连匈牙利算法都不需要,却在 DanceTrack、SportsMOT 和鸟类跟踪上都超过了先前的方法。

消融里最有意思的,是匈牙利算法的失效。这个从 SORT 开始就一直在的组件,在 MOTIP 里被一层自注意力取代了。

回头看,评估指标其实早就是这样看待 ID 的。CLEAR MOT 一帧一帧地建立对应,IDF1 在整段视频上把真实身份和计算身份一对一匹配,它们都不在乎跟踪器给的是 3 号还是 87 号,只在乎同一个人有没有一直拿着同一张号码牌。MOTIP 只是让模型也用同样的方式理解 ID。