返回论文笔记资料库
arXiv 2024ICASSP 2025多目标跟踪论文笔记

MambaMOT

曼巴精神

原始论文

MambaMOT: State-Space Model as Motion Predictor for Multi-Object Tracking

论文作者

Hsiang-Wei Huang · Cheng-Yen Yang · Wenhao Chai · Zhongyu Jiang · Jenq-Neng Hwang

发表版本
ICASSP 2025会议
arXiv 首次提交
arXiv:2403.10826
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingmambamot2024,
  title = {{MambaMOT: State-Space Model as Motion Predictor for Multi-Object Tracking}},
  author = {Hsiang-Wei Huang and Cheng-Yen Yang and Wenhao Chai and Zhongyu Jiang and Jenq-Neng Hwang},
  year = {2024},
  eprint = {2403.10826},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2403.10826}
}
本页内容

2023 年底,Mamba 以「选择性状态空间模型」的身份登场,在长序列上和 Transformer 分庭抗礼,计算量却只随序列长度线性增长。接下来的几个月,各个领域都有人试着把它搬进来。

多目标跟踪里,最适合放序列模型的位置,是运动预测。给定一条轨迹过去几帧的框,预测下一帧的框,这本来就是一个序列问题,从 SORT 以来一直由卡尔曼滤波负责。

华盛顿大学的 Hsiang-Wei Huang、Jenq-Neng Hwang 等人做的,就是把卡尔曼滤波换成 Mamba。论文只有四页,想法也很直接,但它刚好可以拿来和早不到两周出现的 DiffMOT 对照:同一个问题,一个用扩散模型,一个用状态空间模型。

定义问题

卡尔曼滤波假设物体在短时间内匀速直线前进。行人大致符合这个假设,舞者和球员就不行了。

OC-SORT 曾经分析过卡尔曼滤波在这类场景的两个弱点。一是对状态噪声敏感:速度的估计只要有一点偏差,物体几帧没被检测到,预测位置就会偏得很远。二是误差会随时间放大:没有新观测的时候,卡尔曼滤波只能沿着旧的速度一直推下去。

原论文 Fig. 1:左边是 DanceTrack 上的两帧,上排是 MambaMOT 的预测框,下排是 ByteTrack(卡尔曼滤波)的预测框,红框是真值;卡尔曼滤波的绿框和真值错开了。右边是同一个目标每一帧的预测框和真值的 IoU,蓝线是 Mamba,平均 0.95;绿线是卡尔曼滤波,平均 0.86,而且常常突然掉到 0.75 以下。
原论文 Fig. 1(Huang 等人),取自 PDF 第 1 页,arXiv 许可,学术引用。

右边的曲线很能说明问题。卡尔曼滤波大部分时候也预测得不错,但每当舞者突然改变动作,绿线就往下掉,有好几次掉到 0.75 以下。对 IoU 关联来说,这种突然的失准就是轨迹断掉的时候。

作者的想法是,与其假设运动是线性的,不如让模型从数据学:舞者通常怎么动、球员通常怎么动。

解决问题

用 Mamba 预测下一个框

原论文 Fig. 2:左边是 MambaMOT+ 的架构。同一条轨迹每一帧的框,经过线性投影后送进两层 Mamba 块,隐状态一帧一帧往后传。最后一帧的输出接两个头:预测头输出下一帧的框,嵌入头输出这条轨迹的特征向量。右边是 Mamba 块的内部:MLP 扩展维度后分两路,一路经过一维卷积和选择性 SSM,另一路当作门控,两者相乘后再投影回原维度。
原论文 Fig. 2(Huang 等人),取自 PDF 第 3 页,arXiv 许可,学术引用。

MambaMOT 的运动模型很小。输入是一条轨迹过去 nn 帧的框,每个框四个数字;先用一层线性投影升到 64 维,经过两个 Mamba 块,最后一个 MLP 输出下一帧的框。训练的损失是预测框和真值框之间的 GIoU 加上均方误差。

关联完全沿用 ByteTrack:高分框先和预测框用 IoU 配对,剩下的轨迹再和低分框配一次。所以 MambaMOT 和 ByteTrack 的差别,只有运动模型这一个组件。

选择性是什么意思

Mamba 的核心是一个递归:

ht=Aˉt ht−1+Bˉt xt,yt=C hth_t = \bar{A}_t\, h_{t-1} + \bar{B}_t\, x_t,\qquad y_t = C\, h_t

隐状态 hth_t 是过去所有输入的摘要,每来一个新输入,就决定旧的摘要留多少、新的输入收多少。

传统的状态空间模型里,Aˉ\bar{A}、Bˉ\bar{B} 是固定的,每一步留多少、收多少都一样。Mamba 让它们随着输入改变,所以叫「选择性」。论文里把这两个量写成 Aˉt=1−σ(Linear(xt))\bar{A}_t = 1 - \sigma(\text{Linear}(x_t)) 和 Bˉt=σ(Linear(xt))\bar{B}_t = \sigma(\text{Linear}(x_t)),两者加起来刚好是 1。

把这个式子简化成一维,就看得出它在运动预测上的意义。令 st=σ(Linear(xt))s_t = \sigma(\text{Linear}(x_t)),递归就变成:

ht=(1−st) ht−1+st xth_t = (1 - s_t)\, h_{t-1} + s_t\, x_t

这是一个指数移动平均,只是平滑系数 sts_t 由输入决定。

一个转身的例子

我们把输入简化成舞者每一帧的水平速度。前几帧她一直往右,每帧 10 像素,记忆里的 h=10h = 10。这一帧她突然转身,速度变成 −10-10。

做法平滑系数更新后的记忆预测的方向
固定系数0.20.8×10+0.2×(−10)=60.8 \times 10 + 0.2 \times (-10) = 6仍然往右
选择性0.80.2×10+0.8×(−10)=−60.2 \times 10 + 0.8 \times (-10) = -6改往左

本文整理的算例;实际模型的隐状态是高维向量,输出还要经过 MLP。

固定系数的模型,对每个输入一视同仁,旧的趋势要好几帧才会被新信息盖过去。选择性的模型可以学到:看到这种输入时,旧的趋势不可信,要大幅采纳新的观测。

卡尔曼滤波其实也会根据观测调整,但它的调整幅度由事先设定的噪声参数决定,而且背后永远是匀速模型。Mamba 的调整方式则是从数据学来的。

MambaMOT+:顺便学一个轨迹特征

Mamba 的隐状态既然记住了整条轨迹的运动模式,作者想进一步利用它。MambaMOT+ 在 Mamba 块的输出上多接一个嵌入头,输出这条轨迹的特征向量。

训练这个特征用的是余弦嵌入损失:同一条轨迹切出来的两段,特征要相似;不同轨迹的两段,相似度要压到 0 以下。

跟踪结束后,把所有 tracklet 的特征两两比较,用层次聚类把运动模式相似的接起来。为了避免接上不合理的组合,时间差超过 50 帧、空间距离超过 50 像素的不接。

作者强调,传统的 tracklet 合并要另外训练一个孪生网络,每一对 tracklet 都要跑一次,计算量是 O(N2)O(N^2);MambaMOT+ 每条 tracklet 只要跑一次前向,是 O(N)O(N)。不过聚类时两两比较余弦相似度,这一步仍然是 O(N2)O(N^2),只是向量内积比跑网络便宜得多。

另外要注意,这个合并是在整段视频跟踪完之后才做的,所以 MambaMOT+ 不再是在线方法。

训练数据

运动模型的训练数据,取自 MOT17、DanceTrack、SportsMOT 的训练集轨迹。每次随机切一段长度在 2 到 nn 之间的片段,不足 nn 的补齐,目标是下一帧的真值框。单张 RTX 4080 训练 500 个 epoch。

讨论

DanceTrack 和 SportsMOT

方法HOTAAssAIDF1
ByteTrack47.331.452.5
OC-SORT54.640.254.6
MambaMOT55.538.353.9
MambaMOT+56.139.054.9

整理自原论文 Table I,DanceTrack 测试集。

和使用同一组检测的 ByteTrack 相比,MambaMOT 的 HOTA 高了 8.2,这是论文的主要卖点。

不过拆开来看,这 8.2 里有不少来自检测那一侧:ByteTrack 的 DetA 是 71.6,MambaMOT 是 80.8,AssA 则是 31.4 对 38.3。运动模型主要影响的是关联,同一组检测、DetA 却差了 9 分以上,说明表中两者的设置可能不只运动模型不同。OC-SORT 的 DetA 是 80.4,和 MambaMOT 接近,拿它当对照比较公平。

和 OC-SORT 比,故事就不太一样。OC-SORT 是在卡尔曼滤波上动手脚的方法,MambaMOT 的 HOTA 只比它高 0.9,AssA 和 IDF1 反而比它低。加上轨迹合并的 MambaMOT+,IDF1 才以 0.3 小胜。

SportsMOT 上的情况类似。用同一个 YOLOX 检测器,MambaMOT 的 HOTA 是 70.4,OC-SORT 是 70.2;MambaMOT+ 到 71.3。MambaMOT 和 ByteTrack 的 62.0 比,差距是 8.4。

少了什么

这篇论文的篇幅很短,有几件事没有交代:

  1. 没有消融。 输入几帧、用几个 Mamba 块、拿掉 GIoU 损失会怎样,都没有实验。换成 LSTM 或 Transformer 会不会一样好,也没有比较。
  2. 没有行人数据集的结果。 训练数据里有 MOT17 的轨迹,测试却只报告了 DanceTrack 和 SportsMOT。
  3. 没有跨数据集的实验。 运动模型在三个数据集的训练轨迹上一起训练,再在其中两个的测试集上评估。换到没见过的运动类型时表现如何,论文没有测。
  4. 比较对象不完整。 表中最强的对手是 OC-SORT。同期的 DiffMOT 在 DanceTrack 上的 HOTA 是 62.3,Deep OC-SORT 是 61.3,都没有列入。这些方法还用了外观特征,不能直接比,但读者很难从这篇论文判断 Mamba 本身的位置。

DiffMOT 的消融倒是提供了一个侧面的参考。在 DiffMOT 的框架里,同样是学习式的运动模型,LSTM 的 HOTA 是 51.2,Transformer 是 54.6,扩散模型是 55.7,卡尔曼滤波是 46.8。学习式的运动模型确实比卡尔曼滤波好,至于用哪一种序列模型,差距就小得多。

速度

MambaMOT 在单张 GPU 上跑 28.8 FPS。作者拿它和 MOTR 这类端到端方法比,后者通常不到 10 FPS。运动模型只有两个 64 维的 Mamba 块,本身非常轻。

结论

MambaMOT 把卡尔曼滤波换成一个小型的 Mamba,看跟踪会不会变好。在舞者和球员身上,答案是会,和 ByteTrack 相比,HOTA 一口气多了 8 分以上。

选择性状态空间模型的好处,在于它能根据输入决定要相信旧的趋势还是新的观测,而这正是不规则运动最需要的。不过它和 OC-SORT 这类改良过的卡尔曼滤波方法相比,优势就只剩一点点;至于它是不是比其他序列模型更适合这个任务,这篇论文没有给出答案。