返回论文笔记资料库
arXiv 2023ICCV 2023多目标跟踪论文笔记

MeMOTR

念旧的查询

原始论文

MeMOTR: Long-Term Memory-Augmented Transformer for Multi-Object Tracking

论文作者

Ruopeng Gao · Limin Wang

发表版本
ICCV 2023会议
arXiv 首次提交
arXiv:2307.15700
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingmemotr2023,
  title = {{MeMOTR: Long-Term Memory-Augmented Transformer for Multi-Object Tracking}},
  author = {Ruopeng Gao and Limin Wang},
  year = {2023},
  eprint = {2307.15700},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2307.15700}
}
本页内容

MOTR 用一个轨迹查询代表一条轨迹,这个查询在每一帧经过解码器、更新,再传给下一帧。物体的身份,就靠这一连串的传递维持下去。

问题是,每一帧的查询只看得到上一帧。舞者被挡住几帧、转个身、和穿一样衣服的人擦肩而过,这一帧的输出就可能变得不可靠,而下一帧的查询就是从这个不可靠的输出来的。

南京大学的 Ruopeng Gao 和王利民(也是 SportsMOT 的通讯作者)想让轨迹查询多记住一点过去。他们给每一条轨迹加上一份长期记忆,更新得很慢,用来稳住轨迹查询。这就是 MeMOTR。

定义问题

作者指出 MOTR 这类基于查询的跟踪方法有两个问题。

只用到相邻两帧。 不管是融合查询还是融合特征,大多数方法只显式利用了相邻两帧的信息。轨迹查询虽然一直在更新,却没有一个稳定的长期表示。同一个人的查询在几帧之间变化太大,就容易在关联时出错。先前的 MeMOT 用一个很大的记忆库存下过去的特征,但存储成本很高。

检测查询和轨迹查询不在同一个层次。 DETR 的可学习目标查询,作用比较像一个可学习的锚框,本身没什么语义。轨迹查询则是从上一帧的输出来的,已经知道自己代表什么类别、在哪个位置。把这两种查询从头一起丢进同一个解码器,两者之间有一段语义上的落差。

解决问题

原论文 Figure 1:MeMOTR 的整体架构。视频的每一帧经过骨干网络和编码器提取特征。可学习的检测查询 Q_det 先经过检测解码器,得到检测嵌入 E_det,再和上一帧产生的轨迹嵌入 E_tck 拼接,送进联合解码器。输出的嵌入 O_tck(新物体以蓝色虚线箭头复制进来)、上一帧的输出 O_tck^{t-1} 和长期记忆 M_tck,一起送进时间交互模块,生成下一帧的轨迹嵌入和长期记忆。
原论文 Figure 1(Gao 与 Wang),取自 PDF 第 3 页,CC BY 4.0。

整体架构和 MOTR 很像,ResNet-50 骨干网络加上 Transformer 编码器提取图像特征,解码器同时处理检测和跟踪。不同的地方有三个:解码器拆成两段、每条轨迹多一份长期记忆,以及一个生成下一帧轨迹嵌入的时间交互模块。检测框架用的是 DAB-Deformable-DETR,作者也提供了标准 Deformable-DETR 的版本,方便和 MOTR 公平比较。

先让检测查询有点概念

原本的解码器有 6 层。MeMOTR 把第 1 层拿出来,作为检测解码器,只处理检测查询。检测查询经过这一层,大致找到物体的位置和类别,变成带有语义的检测嵌入 EdettE^t_{det}。

接着把检测嵌入和轨迹嵌入 EtcktE^t_{tck} 拼在一起,送进剩下 5 层组成的联合解码器。这时两种查询都已经「知道自己在找什么」,起点比较一致。

长期记忆

每一条新出现的轨迹,用它当下的输出初始化一份长期记忆 MtcktM^t_{tck}。之后每一帧这样更新:

M~tckt+1=(1−λ) Mtckt+λ⋅Otckt\widetilde{M}^{t+1}_{tck} = (1 - \lambda)\, M^t_{tck} + \lambda \cdot O^t_{tck}

OtcktO^t_{tck} 是这条轨迹在第 tt 帧的解码器输出。这是一个指数加权移动平均,λ=0.01\lambda = 0.01。

0.01 是一个很小的数字。作者的假设是,物体在连续几帧之间只有轻微的形变和移动,语义特征应该变化得很慢,记忆也应该平稳地更新。

我们算一下它能记多久。某一帧的输出放进记忆时权重是 λ\lambda,之后每过一帧就乘上 0.99。0.9969≈0.50.99^{69} \approx 0.5,所以大约 69 帧之后,这一帧的影响就只剩一半。DanceTrack 的视频是每秒 20 帧,也就是 3 秒半左右。整体来说,这份记忆大约是最近 100 帧、5 秒的平均。

一个舞者转身、被挡住两三秒,这份记忆几乎不会被那几帧的噪声带偏。

时间交互模块

长期记忆要怎么用到下一帧的跟踪上?靠的是时间交互模块。

原论文 Figure 2:时间交互模块。左上虚线框是对每条轨迹各自进行的运算:这一帧的输出 O_tck^t 经过 MLP 和 Sigmoid 生成逐通道的权重 W_tck^t,与 O_tck^t 相乘后,和上一帧的输出 O_tck^{t-1} 拼接,再经 MLP 得到聚合结果 Ô_tck^t。右上按 (1 − λ)M + λO 更新长期记忆。下方的记忆注意力层以 Ô_tck^t 为 Q、长期记忆 M_tck^t 为 K、O_tck^t 为 V,输出加上长期记忆后经 FFN,生成下一帧的轨迹嵌入。
原论文 Figure 2(Gao 与 Wang),取自 PDF 第 4 页,CC BY 4.0。

它分成两步。

第一步,融合相邻两帧。 这一帧的输出可能因为遮挡或模糊而不可靠,所以先用一个小网络为它生成逐通道的权重:

Wtckt=Sigmoid(MLP(Otckt))W^t_{tck} = \text{Sigmoid}\left(\text{MLP}(O^t_{tck})\right)

把权重乘上这一帧的输出,再和上一帧的输出 Otckt−1O^{t-1}_{tck} 拼接,经过两层 MLP,得到融合后的 O^tckt\hat{O}^t_{tck}。上一帧的输出不用乘权重,因为它能留下来,说明置信度已经过了阈值,相对可靠。

第二步,让轨迹之间互相比较。 同一帧里有好几个长得很像的人,作者希望每条轨迹的表示能和别人分得更开。所以用一个多头注意力,称为记忆注意力层,让所有轨迹交互:查询(Q)是融合后的 O^tckt\hat{O}^t_{tck},键(K)是长期记忆 MtcktM^t_{tck},值(V)是这一帧的输出 OtcktO^t_{tck}。

注意力的输出再加上长期记忆,经过一个前馈网络,就是下一帧的轨迹嵌入 E~tckt+1\widetilde{E}^{t+1}_{tck}。因为加进了变化缓慢的长期记忆,轨迹嵌入也不容易在相邻两帧之间突然改变。

什么时候更新

推理时有三个阈值,都设成 0.5:

  • 检测的置信度超过 τdet\tau_{det},就成为新轨迹。
  • 已跟踪物体的置信度低于 τtck\tau_{tck},不直接删掉,而是标成暂时丢失;连续 TmissT_{miss} 帧都找不回来才删除。DanceTrack 上 TmissT_{miss} 是 30 帧,MOT17 是 15 帧。
  • 只有置信度 citc^t_i 超过 τnext\tau_{next},才用时间交互模块的输出 E~it+1\widetilde{E}^{t+1}_i、M~it+1\widetilde{M}^{t+1}_i 更新轨迹嵌入和长期记忆;否则沿用旧的 EitE^t_i、MitM^t_i。

一个人被挡住、置信度掉下来的那几帧,他的记忆就先冻结,不让不可靠的输出写进去。

训练时,沿用 MOTR 一次输入一段视频片段的做法,并让片段逐步加长。在 DanceTrack 上训练 18 个 epoch,片段从 2 帧开始,在第 6、10、14 个 epoch 分别加长到 3、4、5 帧。

讨论

DanceTrack

作者主要在 DanceTrack 上评估,因为它的关联问题最难。

方法HOTADetAAssAIDF1
ByteTrack47.771.032.153.9
MOTR54.273.540.251.5
OC-SORT55.180.338.354.6
C-BIoU60.681.345.461.6
MeMOTR(Deformable-DETR)63.477.052.365.5
MeMOTR68.580.558.471.2
MOTRv2(额外数据)69.983.059.071.7

整理自原论文 Table 1,DanceTrack 测试集。

MeMOTR 的 HOTA 比先前不用额外数据的最佳方法 C-BIoU 高 7.9 分,AssA 高 13.0 分。即使换回和 MOTR 一样的标准 Deformable-DETR,HOTA 也有 63.4,比 MOTR 高了 9 分以上。

用了额外数据、又借了 YOLOX 检测结果的 MOTRv2 仍然略高。但 MeMOTR 的 AssA 只差 0.6,差距主要在检测。

从 MOTR 一步步走到 MeMOTR

作者在附录把每一步的改动列成一张表,从 MOTR 开始累加:

步骤验证集 HOTA测试集 HOTA
MOTR51.754.2
+长期记忆与时间交互模块56.562.5
+检测解码器(1 层+5 层)61.063.4
改用 DAB-Deformable-DETR(不拆解码器)62.165.9
+检测解码器(1 层+5 层)63.968.5
+YOLOX 候选框66.870.0

整理自原论文 Table 8,DanceTrack。除了第一行的 MOTR,其余都去掉了 MOTR 的两个训练技巧(随机删除轨迹查询、插入误报查询)。

最大的一步是第一步。只加上长期记忆和时间交互模块,测试集的 HOTA 就从 54.2 跳到 62.5,多了 8.3 分。换成 DAB-Deformable-DETR 也很有帮助;作者认为基于锚框的位置先验,很适合在时间上平滑移动的轨迹框。最后一行仿照 MOTRv2 加入 YOLOX 候选框,HOTA 到 70.0,但这样就不再是完全端到端的方法了。

每个部件的消融

消融都在 DanceTrack 的验证集上做,因为它的训练数据约是 MOT17 的 10 倍,比较不容易过拟合。

  1. 检测解码器用 1 层最好。 不拆是 62.1,拆出 1 层是 63.9,AssA 从 52.2 到 55.0;拆出 2 层反而降到 63.2,因为联合解码器少了一层,轨迹嵌入修正的次数也少了。
  2. 相邻两帧融合要两样一起用。 只加逐通道权重或只加上一帧的输出,HOTA 都只多 0.1 到 0.4;两者一起用才到 63.9,比都不用高 1.6。作者的解释是,只压低不可靠的通道、却没有上一帧补上信息,相当于只是把信息丢掉。
  3. 记忆注意力层需要长期记忆。 没有长期记忆时,加上记忆注意力层反而变差,AssA 从 52.1 掉到 50.7。有了长期记忆,加上注意力层则让 AssA 从 52.9 升到 55.0。作者认为,没有记忆的轨迹嵌入本身就不稳定,让它们互相比较只会放大噪声。
  4. λ=0.01\lambda = 0.01 最好。 0.005、0.02、0.04 的 HOTA 分别是 62.6、63.2、63.5。作者也提醒,λ\lambda 可能要根据数据集调整,例如物体形变很大的场景,可能需要更新得快一点。
原论文 Figure 4:DanceTrack 验证集 dancetrack0063 前 50 帧的轨迹嵌入,用 t-SNE 投影到平面,不同颜色和形状代表不同的轨迹。(a) 没有记忆也没有注意力,各轨迹的点混在一起;(b) 只有注意力,混得更严重;(c) 只有记忆,各轨迹开始分成较紧的簇;(d) 两者都有,各轨迹分成最清楚、最紧密的簇。
原论文 Figure 4(Gao 与 Wang),取自 PDF 第 8 页,CC BY 4.0。

这张图把第 3 点画了出来。(b) 只加注意力时,不同轨迹的点混得比 (a) 还乱;(d) 记忆和注意力都有时,每条轨迹在 50 帧内的嵌入聚成一团,彼此分得最开。

最难的那几段

作者挑出 MOTR 在 DanceTrack 验证集上 AssA 最低的 8 段视频,单独比较。MOTR 在这 8 段的平均 AssA 只有 23.6,MeMOTR 提升到 35.5。

进步很明显,但和 MeMOTR 整体的 58.4 相比还差得远。作者也承认,关联问题远没有解决。

MOT17 与其他数据集

在 MOT17 上,MeMOTR 的 HOTA 是 58.8,在 Transformer 类方法中最高,AssA 58.4、IDF1 71.5 都比先前的 MeMOT 好;但检测的 DetA 只有 59.6,远低于用 YOLOX 的 ByteTrack(64.5),HOTA 也落后于 ByteTrack 的 63.1。

作者给了两个原因。一是 MOT17 的行人又小又密,DETR 类的检测本来就吃力,检测查询在自注意力中还会被轨迹查询压制。二是 MOT17 的训练集只有大约 5,000 帧,即使加上 CrowdHuman 做成的伪视频,模型在训练集上 HOTA 约 90,测试集只有 58.8,过拟合非常严重。

在多类别的 BDD100K 验证集上,以 TETA 指标衡量,MeMOTR 是 53.6,高于 TETer 的 50.8 和 MOTR 的 50.7。

v3 版本另外补上了 SportsMOT 的结果。只用 SportsMOT 的训练集,MeMOTR 的 HOTA 是 70.0、AssA 59.1,高于同样只用训练集、用官方代码重跑的 OC-SORT(68.1)。作者刻意不用额外数据,理由是 SportsMOT 的训练集已经有 2 万 5 千多帧,而把静态图片平移成假视频,偏离了真实的跟踪场景,对直接从数据学习的端到端方法并不好。

结论

MeMOTR 给每一条轨迹加上一份更新得很慢的长期记忆,再用时间交互模块把它注入下一帧的轨迹嵌入,同时拆出一层检测解码器,让检测查询和轨迹查询站在同一个起点上。附录的累加表显示,最大的一步就是长期记忆本身,让 MOTR 在 DanceTrack 测试集上一口气多了 8 分以上。

它的弱点也和 MOTR 一脉相承。检测仍是短板,拥挤的 MOT17 上输给了用 YOLOX 的方法,小数据集上也容易过拟合。作者建议之后可以试试合成数据。

这个团队的下一步,是在 2024 年的 MOTIP 里,把身份关联改写成一个分类问题。

一份每帧只改 1% 的记忆,听起来很迟钝,但要在一群穿着一样衣服的舞者之间认出谁是谁,靠的正是这份迟钝。