返回论文笔记资料库
arXiv 2023ICCV 2023多目标跟踪论文笔记

OC-MOT

对号入座

原始论文

Object-Centric Multiple Object Tracking

论文作者

Zixu Zhao · Jiaze Wang · Max Horn …

查看全部 16 位作者

Zixu Zhao · Jiaze Wang · Max Horn · Yizhuo Ding · Tong He · Zechen Bai · Dominik Zietlow · Carl-Johann Simon-Gabriel · Bing Shuai · Zhuowen Tu · Thomas Brox · Bernt Schiele · Yanwei Fu · Francesco Locatello · Zheng Zhang · Tianjun Xiao

发表版本
ICCV 2023会议
arXiv 首次提交
arXiv:2309.00233
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingocmot2023,
  title = {{Object-Centric Multiple Object Tracking}},
  author = {Zixu Zhao and Jiaze Wang and Max Horn and Yizhuo Ding and Tong He and Zechen Bai and Dominik Zietlow and Carl-Johann Simon-Gabriel and Bing Shuai and Zhuowen Tu and Thomas Brox and Bernt Schiele and Yanwei Fu and Francesco Locatello and Zheng Zhang and Tianjun Xiao},
  year = {2023},
  eprint = {2309.00233},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2309.00233}
}
本页内容

1989 年,认知科学家 Zenon Pylyshyn 提出一个关于视觉空间感知的理论。他认为人的视觉系统里有一小组「索引」,每个索引会粘在一个物体上;物体移动、和别的物体擦身而过、甚至被挡住一部分,索引都还粘着。

这听起来很像多目标跟踪在做的事,也很像 Slot Attention 的 slot。

亚马逊 AWS 的 Zixu Zhao、Tianjun Xiao 等人,加上 Slot Attention 的共同一作 Francesco Locatello,想试试看以物体为中心的学习能不能直接拿来跟踪。如果可以,跟踪就不必再标那么多框,更不必标每个框属于谁。

定义问题

跟踪的标注很贵

主流的跟踪器先检测、再关联。检测器要大量的框来训练;关联模块如果要学外观特征,还要知道哪些框是同一个人,也就是 ID 标注。

ID 标注比框更贵。标注员要看完整段视频,确认第 37 帧的这个人和第 512 帧的那个人是同一个。

以物体为中心的学习走的是另一条路。Slot Attention 这类方法不需要任何标注,只靠重建画面,就能把场景拆成一个一个的 slot,每个 slot 大致对应一个物体。SAVi 进一步把它扩展到视频,让 slot 跨帧延续。

slot 会分身,也会换人

可是直接拿 SAVi 来跟踪,会遇到两个问题。

原论文 Figure 1:SAVi 在 CATER 上第 1、8、12、16 帧的 slot。每一行是一帧,每一格是一个 slot。虚线箭头连起的两格,是两个 slot 抓到同一个物体或它的一部分;红框圈起的那三列 slot,在不同帧抓到的是不同的物体。
原论文 Figure 1(Zhao 等人),取自 PDF 第 1 页,arXiv 许可,学术引用。
  1. 分身。 同一个物体被好几个 slot 分着抓,或一个 slot 只抓到物体的一部分。这叫 part-whole 问题。
  2. 换人。 同一个 slot 在第 1 帧抓的是绿色方块,到第 12 帧变成别的东西。对跟踪来说,这就是 ID 切换。

以物体为中心的学习常用 FG-ARI 来评估,这个指标只看每一帧的分组好不好,slot 之间交换「所有权」并不会被严重惩罚。所以这两个问题长期没有被正视。

解决问题

原论文 Figure 2:OC-MOT 的架构。左边的物体中心分组模块把每一帧变成一组 slot。中间是索引与合并:先算出每个 slot 该归到哪个记忆缓冲区(索引矩阵 I_t),再按这个矩阵把 slot 合并。右边是记忆缓冲区,每一列是一个物体的历史,由 rollout 模块往前推出这一帧的预测;最后用冻结的解码器把结果解成掩码或框。
原论文 Figure 2(Zhao 等人),取自 PDF 第 3 页,arXiv 许可,学术引用。

OC-MOT 把物体中心模型当作检测器,冻结不动,在后面接一个记忆模块。要训练的只有记忆模块。

记忆:每个缓冲区是一条轨迹

记忆由 MM 个缓冲区组成,每个缓冲区存一个物体过去几帧的表示,先进先出,最多保留 Tmax⁡T_{\max} 帧。换个角度看,每个缓冲区就是一条轨迹。

每一帧开始前,一个只有 160 万参数的小型 GPT-2 读入所有缓冲区的历史,预测每个物体在这一帧应该长什么样子。这一步叫 rollout。

rollout 综合了物体过去多帧的样子。某个物体这一帧被挡住一半,rollout 预测出来的仍然是完整的它。

索引:每个 slot 找自己的座位

接着,每个 slot 要去找它属于哪个缓冲区。

作者用一个多头注意力,slot 当查询、rollout 当键值,取出注意力权重,得到一个 N×MN \times M 的索引矩阵 ItI_t。第 ii 行表示第 ii 个 slot 分到各个缓冲区的概率。

重复的 slot、只抓到一部分的 slot,都可能指到同一个缓冲区,属于同一个物体的碎片本来就该回到同一个座位。

合并:把碎片拼回去

原论文 Figure 3:索引与合并的示意。中间一行是这一帧的 slot,下面一行是 rollout。索引时,红框的两个 slot(重复抓到黄色圆柱)都指向 rollout 的同一格,权重 0.9 和 0.8;蓝框是两个相似的 slot。合并时,上面一行的记忆以索引矩阵为掩码,重新计算注意力权重,例如 0.6 和 0.4;分错的 slot 会得到很低的权重而被滤掉。
原论文 Figure 3(Zhao 等人),取自 PDF 第 4 页,arXiv 许可,学术引用。

第二个多头注意力反过来,rollout 当查询、slot 当键值,并且用索引矩阵当掩码:每个缓冲区只能看到分给它的那几个 slot。

掩码之后重新归一化的权重,就是合并的比例。论文举的例子是,三个 slot 里有两个指到同一个缓冲区,合并权重可能是 [0.8,0.2,0][0.8, 0.2, 0]。第二个 slot 虽然被分过来了,但它其实不属于这个物体,权重很低,等于被滤掉。

合并的结果写回记忆,成为这一帧的跟踪输出。

不用 ID 标签怎么训练

训练的目标,是让每个 slot 分到「最像它」的缓冲区。像不像,用冻结的解码器把两者解成掩码和图像来比较:掩码的交叉熵比形状,物体重建的平方误差比颜色,表示向量的距离比特征。

难处在索引。每个 slot 最后只能分到一个缓冲区,直觉的做法是取 argmax,但 argmax 不可微;硬用 straight-through 技巧,模型又只看得到它选的那一个,很容易卡在错误的分配上。

作者借用 EM 算法的思路,把索引矩阵当成概率,最小化的是期望代价:

L=∑t∑i∑jIt[i,j] Lassign(Sti,Mtj)\mathcal{L} = \sum_{t}\sum_{i}\sum_{j} I_t[i,j]\, \mathcal{L}_{\text{assign}}\left(S_t^i, M_t^j\right)

用一个例子看差别。一个 slot、两个缓冲区,和两者的比对代价分别是 0.2 和 1.0。目前的索引是 [0.4,0.6][0.4, 0.6],分错了。

做法损失看得到的信息
取 argmax1.0只有缓冲区 2
期望代价0.4 × 0.2 + 0.6 × 1.0 = 0.68两个都有

本文整理的算例。

在期望代价下,把 0.1 的概率从缓冲区 2 移到缓冲区 1,损失就变成 0.60,少了 0.08,正好是 0.1×(1.0−0.2)0.1 \times (1.0 - 0.2)。梯度自然会把概率往代价低的那边推。整个过程只比较 slot 和记忆像不像,没有用到任何 ID 标签。

推理时才把索引矩阵二值化,每个 slot 只分到一个缓冲区。第一帧用 slot 初始化缓冲区,彼此掩码重叠太多的重复 slot 先去掉;之后和所有 rollout 都不重叠的 slot,开一个新的缓冲区。物体消失超过 5 帧,缓冲区才关闭。

讨论

两个数据集

实验用两个合成数据集。CATER 是一堆 3D 几何物体在桌上移动、互相遮挡;FISHBOWL 录自 WebGL 水族箱,有 2 万段训练视频和 1,000 段验证与测试视频,每段 128 帧,鱼群遮挡得更严重,背景也更复杂。

CATER 上的物体中心模型是完全没有标注的 SAVi。FISHBOWL 比较难,作者在 DINOSAUR 上加了一点监督:每段 128 帧的视频,随机标 8 帧的掩码,也就是 6.25%。两边都没有 ID 标注。

方法检测标注ID 标注IDF1MOTAID 切换
SAVi6.25%—46.932.312,504
SORT6.25%—68.464.315,278
IOU6.25%—71.366.610,306
Visual-Spatial6.25%—74.668.18,754
OC-MOT6.25%—77.970.35,898
MOTR100%100%81.679.84,185

整理自原论文 Table 1,FISHBOWL。

为了公平,SORT、IOU 和 Visual-Spatial 用的是同一个物体中心模型的输出当检测。OC-MOT 的 ID 切换是无监督方法里最少的,比 SORT 少了六成。鱼的运动不是直线,卡尔曼滤波和 IoU 都跟不太上。

和完整标注的 MOTR 比,IDF1 还差 3.7,MOTA 差 9.5。作者认为差距主要来自检测:DINOSAUR 在很低的分辨率上预测掩码,框不够准。

CATER 上的差距更小。完全不用标注的 OC-MOT,IDF1 88.6、MOTA 82.4,MOTR 是 89.3 和 83.3。

FG-ARI 看不出来的事

方法FG-ARIIDF1Track mAP
SAVi90.272.342.8
OC-MOT93.888.666.2

整理自原论文 Table 2,CATER。

SAVi 的 FG-ARI 高达 90.2,看起来分组分得很好;可是用整段视频来匹配的 Track mAP 只有 42.8。每一帧分得好,和整段视频跟踪得好,是两回事。

记忆和两次注意力

索引与合并记忆IDF1ID 切换
内积相似度rollout72.022,050
共用一个注意力rollout86.27,655
两个注意力只用上一帧77.216,582
两个注意力rollout88.65,658

整理自原论文 Table 3,CATER。

拿掉 rollout、只用上一帧的结果当查询,ID 切换从 5,658 增加到 16,582,将近三倍。遮挡的时候,上一帧看到的只是半个物体,rollout 则能拼出完整的它。

记忆的长度也有影响。连续采样时,记忆越长越好,从 6 帧的 IDF1 82.9 到 32 帧的 88.4。但记忆越长越吃硬件,作者改用快慢交错的采样,让 6 帧的记忆在训练时也能看到长距离和遮挡的情况,IDF1 达到 88.6,比 32 帧的连续采样还高。

局限

两个数据集都是合成的。作者把同一套分组模块用在真实的 KITTI 街景上,车子检测得到,掩码却很粗糙,远处的车尤其不准。DINOSAUR 的特征分辨率只有原图的 1/16,这是架构上的限制。

论文也没有在 MOT17 上评估。作者在附录解释,MOT17 的分数主要反映检测,目前的物体中心模型检测能力还比不上有监督的检测器。他们试着把检测器换成 SEEM,在 TAO 上用同样的自监督方式训练关联,但只放了可视化的结果,没有数字。

另外,整个系统不是端到端训练的。物体中心模型先训练好、冻结,再训练记忆模块。

结论

OC-MOT 处理的是以物体为中心的学习在跟踪上的两个老问题。分身的 slot 通过索引和合并拼回同一个物体;换人的 slot 则靠记忆和 rollout,把每个物体的历史延续下去。

它最值得注意的地方,是关联的学习完全不需要 ID 标签。只要比较 slot 和记忆像不像,把分配写成期望代价,梯度就会把每个 slot 推回自己的座位。

真正的瓶颈在前端的物体中心模型。在 CATER 上,OC-MOT 已经和完整标注的 MOTR 相差无几,FISHBOWL 还差几分;到了真实街景,掩码的精度还不够。关联的部分不挑检测器,前端换成更强的模型就能直接接上,作者在附录换上 SEEM 的尝试也是朝这个方向。