返回论文笔记资料库
arXiv 2022CVPR 2023多目标跟踪论文笔记

SUSHI

九层塔

原始论文

Unifying Short and Long-Term Tracking with Graph Hierarchies

论文作者

Orcun Cetintas · Guillem Brasó · Laura Leal-Taixé

发表版本
CVPR 2023会议
arXiv 首次提交
arXiv:2212.03038
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingsushi2022,
  title = {{Unifying Short and Long-Term Tracking with Graph Hierarchies}},
  author = {Orcun Cetintas and Guillem Brasó and Laura Leal-Taixé},
  year = {2022},
  eprint = {2212.03038},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2212.03038}
}
本页内容

跟踪一段长视频,其实是在解一整串时间尺度不同的问题。

相邻两帧之间,人几乎没动,看位置就配得起来。被挡住半秒再出现,要靠运动模型推一下。被挡了十几秒才重新走出来,位置早就对不上了,只能靠外观把他认回来。

当时表现最好的跟踪器,多半是把好几种方法接在一起,短期用卡尔曼滤波或 Tracktor,长期再挂一个 ReID 模块。图神经网络的方法也有同样的情况,MPNTrack 一次只处理 15 帧,公开检测也要先经过 Tracktor 处理。

慕尼黑工业大学的 Guillem Brasó 和 Laura Leal-Taixé 正是 MPNTrack 的作者,这次和 Orcun Cetintas 一起,想知道能不能用同一个模型,从相邻两帧一路处理到相隔五百帧。

定义问题

作者用四张示意图,比较了当时常见的跟踪器。

原论文 Figure 1:四种跟踪器。(a) 局部跟踪器:只做短期关联,把相邻帧的检测连成轨迹。(b) 图跟踪器:用一张大图做长期关联,但能覆盖的时间有限。(c) 混合的多层跟踪器:先短期、再长期,两段用不同的方法。(d) 本文:统一、可扩展的层级式跟踪器。
原论文 Figure 1(Cetintas 等人),取自 PDF 第 1 页,CC BY 4.0。

作者认为 (c) 这种混合做法有两个问题。

第一个是规模。 用图处理关联,边代表「两个检测属于同一人」的假设。要让相隔 C−1C-1 帧的检测也能连起来,就得在所有帧之间连边,边的数量随检测数平方增长。

更麻烦的是标签。每个检测最多只有两条正确的边,一条连到过去,一条连到未来。nn 个检测,正确的边顶多 2n2n 条,全部的边却可以多达 n2n^2 条。检测一多,正确边的比例趋近于零,网络几乎只看得到负样本。

第二个是通用性。 每个时间尺度用哪种线索,是工程师事先决定好的。可是不同数据集需要的线索不一样。DanceTrack 里大家穿得一模一样,帧率又高,看位置和运动比看外观可靠;BDD 是行车视角,镜头晃得厉害,反而只有外观靠得住。每换一种场景,就要重新调一次组合。

解决问题

一层一层往上叠

SUSHI 的做法,是把一段长片段递归地切成小时间窗口,每一层只在窗口内连边。

原论文 Figure 3:层级的构建。左边是一帧一帧的检测,第一层只在相邻的小窗口内连边,合并成短的 tracklet;下一层把这些 tracklet 当成节点,在更大的窗口内连边,再合并成更长的 tracklet,以此类推。
原论文 Figure 3(Cetintas 等人),取自 PDF 第 4 页,CC BY 4.0。

第一层,每个窗口只有两帧,把相邻两帧的检测连起来,得到长度为 2 的 tracklet。第二层的窗口有四帧,节点变成上一层的 tracklet,再把它们合并成更长的。第 ll 层的窗口覆盖 2l2^l 帧,九层下来,一个窗口就是 512 帧。在 MOT17 上,大约是 17 到 36 秒。

每往上一层,节点就少一些,边却可以跨越更长的时间。

用一个例子数边

用一个理想化的例子,看看层级能省下多少边。

一段 512 帧的片段,每帧都有 20 个人,每个人都被检测到,每一层也都合并正确。先不做任何剪枝。

  1. 单一大图。 每两帧之间有 20×20=40020 \times 20 = 400 条边。512 帧里任取两帧,有 130,816 种组合,总共 52,326,400 条边。
  2. 九层层级。 每个窗口由两个子窗口组成,各有 20 条 tracklet,两边之间只有 400 条候选边。九层的窗口数是 256+128+⋯+1=511256 + 128 + \cdots + 1 = 511,总共 204,400 条边。

两种做法最后要选出的正确边一样多,都是 10,240−20=10,22010{,}240 - 20 = 10{,}220 条:每个人 512 个检测,串成一条路径需要 511 条边。

做法边数正确边比例
单一大图52,326,4000.02%
九层层级204,4005%

本文整理的算例。

边少了 256 倍,正确边的比例则从万分之二拉到百分之五。前者决定放不放得进 GPU,后者决定网络学不学得起来。

实际的模型还会再剪一次边,每个节点只连最近的 10 个邻居。单一大图要靠很大的邻居数才不会剪掉正确边,在小图里 10 个就够了。

每一层都是同一块

原论文 Figure 2:SUSHI 的整体架构。左边是一叠 SUSHI block,彼此共享权重,覆盖的时间跨度逐层变长。中间放大一个 SUSHI block:把 tracklet 当节点建图,用 GNN 做消息传递,对每条边分类,再把节点合并。右边是 MOT17 的画面:下层的 block 在各自的时间窗口内做出新的关联,上层的 block 把这些 tracklet 接成跨越整段片段的轨迹。
原论文 Figure 2(Cetintas 等人),取自 PDF 第 3 页,CC BY 4.0。

每一层叫做一个 SUSHI block,里面做的事和 MPNTrack 一样:

  1. 把上一层的 tracklet 当作节点,在窗口内不同时间的 tracklet 之间连边。
  2. 用 MPNTrack 的时间感知消息传递,让节点和边交换几轮信息。节点分别汇总来自过去和来自未来的边。
  3. 用一个小 MLP 判断每条边连的是不是同一个人。
  4. 用线性规划把分数取整,确保每个节点最多只有一条往前、一条往后的边,再把连起来的 tracklet 合并。

边的初始特征有四种。位置、大小和时间距离,取两条 tracklet 在时间上最接近的那两个检测来算。外观用 tracklet 里所有检测的 ReID 特征平均,比单一检测稳定。

第四种是运动,这是 MPNTrack 没有的。单一检测没有速度,tracklet 有。把前一条 tracklet 的最后位置往后推、后一条的第一个位置往前推,推到两者中间的时间点,再算两个推算框的 GIoU。从两端往中间推,每一边需要预测的时间都只有一半。

九层共享一组权重

这篇最关键的设计,是九个 SUSHI block 不只架构相同,连权重也共享。

不同层看到的数据差很多。第一层的两个节点只差一帧,第九层可能差了几百帧。为了让模型知道自己在哪一层,作者为每一层学一个 level embedding,加在边的初始嵌入上。

共享权重让九层的数据都拿来训练同一个网络,样本多了好几倍;收敛更快,参数也更少。整个模型除去 ReID 网络,只有大约 22K 个参数。

更重要的是,哪个时间尺度该看哪种线索,不再由人决定。同一个网络看到位置差很多、时间隔很远的边,自己学会了改看外观。

训练时,上层的输入是下层的输出。下层还没学好的时候,上层拿到的 tracklet 是错的。所以作者从第一层开始,每 500 次迭代解冻一层,九层都解冻后再一起训练。每一层各算一个 focal loss,再加总起来。

推理时,用 512 帧的滑动窗口,每次重叠 256 帧,重叠区里共享越多检测的轨迹就视为同一条,用二分图匹配接起来。给定检测的情况下,MOT17 上跑 21 fps。

讨论

一层换成同一个网络

消融在 MOT17 训练集上做三折交叉验证。作者比较了四个时间范围,以 IDF1 为主:

范围混合做法IDF1SUSHIIDF1
25 帧Tracktor65.6——
75 帧MPNTrack++73.22 层73.5
150 帧MPNTrack++73.43 层74.8
512 帧MPNTrack++73.79 层77.6

整理自原论文 Table 1,MOT17 训练集三折交叉验证。

MPNTrack++ 是 MPNTrack 加上 SUSHI 的运动特征,短期仍交给 Tracktor。混合做法从 75 帧拉到 512 帧,IDF1 只多了 0.5;SUSHI 则一路从 73.5 升到 77.6。

混合做法的长期那一段始终是一张图。时间拉长,图就变大,前面说的标签不平衡也跟着变严重。

片段长度和层数

片段长度1 层3 层5 层7 层9 层
8 帧64.165.9———
32 帧64.270.071.3——
128 帧61.975.175.675.8—
512 帧—76.276.877.177.6

整理自原论文 Figure 4(b),MOT17 训练集,IDF1。

只用一层的时候,片段超过 32 帧反而变差:128 帧时掉到 61.9。图太大、负样本太多,网络学不动。只要加层,片段越长越好。九层、512 帧的 77.6,比单层最好的 64.2 高了 13.4。

每一层在看什么

原论文 Figure 4:三组消融。(a) 在 512 帧的片段上,假设边分类完全正确时的 IDF1 上限,与所需总边数的对比;圆的面积代表正确边的比例。单层的曲线要超过 GPU 上限才追得上层级。(b) 片段长度与层数的 IDF1。(c) 把位置、外观、运动特征关掉时的 IDF1 变化,横轴是从最底层开始、有几层保留该特征。
原论文 Figure 4(Cetintas 等人),取自 PDF 第 7 页,CC BY 4.0。

(c) 检查的是,同一个网络在不同层,会不会倚重不同的线索。

  1. 外观最重要,而且主要用在高层。 全部关掉,IDF1 少 7.3。只在第 7 到 9 层关掉,就少 3.9;只在第 1 到 3 层保留,比全部关掉只补回 1.2。
  2. 运动在各层的影响差不多。 全部关掉少 1.3,影响温和。
  3. 位置只对低层有用。 全部关掉也只少 0.6,而且在前三层保留就补回一半。

相邻帧看位置,隔得远了看长相,这和直觉一致。区别在于,这是网络自己从数据中学到的,没有人替它写规则。

四个数据集

数据集对手IDF1HOTASUSHI IDF1HOTA
MOT17 公开MPNTrack61.749.071.554.6
MOT17 私有ByteTrack77.363.183.166.5
MOT20 私有ByteTrack75.261.379.864.3
DanceTrackByteTrack53.947.763.463.3

整理自原论文 Table 2–4,测试集。

MOT17 公开检测的设置下,SUSHI 用的就是 MPNTrack 的网络,IDF1 却高了 9.8,差别只在层级。用 ByteTrack 的 YOLOX 检测时,IDF1 高 5.8,ID 切换从 2,196 降到 1,149,少了将近一半。

DanceTrack 的进步最多,HOTA 从 ByteTrack 的 47.7 跳到 63.3,也高于原论文表中 HOTA 最高的 MOTR 和 QDTrack(都是 54.2)。ByteTrack 在 MOT17、MOT20 上都很强,到了 DanceTrack 就落后了;SUSHI 在三个数据集上都领先。在行车视角的 BDD 上,SUSHI 直接把同一套 GNN 套到八个类别,测试集的 mIDF1 从 55.8 提升到 60.0。

MOTA 的情况不同。MOT20 上,SUSHI 的 MOTA 是 74.3,低于 ByteTrack 的 77.8。SUSHI 改进的是关联,检测的漏检和误报它管不到。

局限

SUSHI 是离线方法,要拿到一整段 512 帧的片段才能开始处理,没办法用在需要实时输出的系统上。21 fps 也是在检测已经算好之后的速度。

ReID 网络是现成的,没有针对跟踪数据微调,SUSHI 的改进全部来自关联这一侧。在公开检测的设置下,它也和其他图方法一样,先用 Tracktor 精修检测框,这一步本身就是一个短期跟踪器。

结论

SUSHI 没有发明新的图网络,每一层都是 MPNTrack。它把一张又大又稀疏的图,换成九张小图叠起来。边少了两个数量级,正确边的比例也从万分之二拉回百分之五,网络终于学得动了。

共享权重则把「哪个时间尺度看哪种线索」交还给数据。同一个网络在低层看位置,在高层看外观,没有人替它规定。

九层、512 帧,在 MOT17 上大约是半分钟。比这更久的遮挡,就要看滑动窗口之间的拼接接不接得上了。