Object-Centric Multiple Object Tracking
- 发表版本
- ICCV 2023会议
- arXiv 首次提交
- arXiv:2309.00233
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multiobjecttrackingocmot2023,
title = {{Object-Centric Multiple Object Tracking}},
author = {Zixu Zhao and Jiaze Wang and Max Horn and Yizhuo Ding and Tong He and Zechen Bai and Dominik Zietlow and Carl-Johann Simon-Gabriel and Bing Shuai and Zhuowen Tu and Thomas Brox and Bernt Schiele and Yanwei Fu and Francesco Locatello and Zheng Zhang and Tianjun Xiao},
year = {2023},
eprint = {2309.00233},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2309.00233}
}
1989 年,认知科学家 Zenon Pylyshyn 提出一个关于视觉空间感知的理论。他认为人的视觉系统里有一小组「索引」,每个索引会粘在一个物体上;物体移动、和别的物体擦身而过、甚至被挡住一部分,索引都还粘着。
这听起来很像多目标跟踪在做的事,也很像 Slot Attention 的 slot。
亚马逊 AWS 的 Zixu Zhao、Tianjun Xiao 等人,加上 Slot Attention 的共同一作 Francesco Locatello,想试试看以物体为中心的学习能不能直接拿来跟踪。如果可以,跟踪就不必再标那么多框,更不必标每个框属于谁。
定义问题
跟踪的标注很贵
主流的跟踪器先检测、再关联。检测器要大量的框来训练;关联模块如果要学外观特征,还要知道哪些框是同一个人,也就是 ID 标注。
ID 标注比框更贵。标注员要看完整段视频,确认第 37 帧的这个人和第 512 帧的那个人是同一个。
以物体为中心的学习走的是另一条路。Slot Attention 这类方法不需要任何标注,只靠重建画面,就能把场景拆成一个一个的 slot,每个 slot 大致对应一个物体。SAVi 进一步把它扩展到视频,让 slot 跨帧延续。
slot 会分身,也会换人
可是直接拿 SAVi 来跟踪,会遇到两个问题。

- 分身。 同一个物体被好几个 slot 分着抓,或一个 slot 只抓到物体的一部分。这叫 part-whole 问题。
- 换人。 同一个 slot 在第 1 帧抓的是绿色方块,到第 12 帧变成别的东西。对跟踪来说,这就是 ID 切换。
以物体为中心的学习常用 FG-ARI 来评估,这个指标只看每一帧的分组好不好,slot 之间交换「所有权」并不会被严重惩罚。所以这两个问题长期没有被正视。
解决问题

OC-MOT 把物体中心模型当作检测器,冻结不动,在后面接一个记忆模块。要训练的只有记忆模块。
记忆:每个缓冲区是一条轨迹
记忆由 个缓冲区组成,每个缓冲区存一个物体过去几帧的表示,先进先出,最多保留 帧。换个角度看,每个缓冲区就是一条轨迹。
每一帧开始前,一个只有 160 万参数的小型 GPT-2 读入所有缓冲区的历史,预测每个物体在这一帧应该长什么样子。这一步叫 rollout。
rollout 综合了物体过去多帧的样子。某个物体这一帧被挡住一半,rollout 预测出来的仍然是完整的它。
索引:每个 slot 找自己的座位
接着,每个 slot 要去找它属于哪个缓冲区。
作者用一个多头注意力,slot 当查询、rollout 当键值,取出注意力权重,得到一个 的索引矩阵 。第 行表示第 个 slot 分到各个缓冲区的概率。
重复的 slot、只抓到一部分的 slot,都可能指到同一个缓冲区,属于同一个物体的碎片本来就该回到同一个座位。
合并:把碎片拼回去

第二个多头注意力反过来,rollout 当查询、slot 当键值,并且用索引矩阵当掩码:每个缓冲区只能看到分给它的那几个 slot。
掩码之后重新归一化的权重,就是合并的比例。论文举的例子是,三个 slot 里有两个指到同一个缓冲区,合并权重可能是 。第二个 slot 虽然被分过来了,但它其实不属于这个物体,权重很低,等于被滤掉。
合并的结果写回记忆,成为这一帧的跟踪输出。
不用 ID 标签怎么训练
训练的目标,是让每个 slot 分到「最像它」的缓冲区。像不像,用冻结的解码器把两者解成掩码和图像来比较:掩码的交叉熵比形状,物体重建的平方误差比颜色,表示向量的距离比特征。
难处在索引。每个 slot 最后只能分到一个缓冲区,直觉的做法是取 argmax,但 argmax 不可微;硬用 straight-through 技巧,模型又只看得到它选的那一个,很容易卡在错误的分配上。
作者借用 EM 算法的思路,把索引矩阵当成概率,最小化的是期望代价:
用一个例子看差别。一个 slot、两个缓冲区,和两者的比对代价分别是 0.2 和 1.0。目前的索引是 ,分错了。
| 做法 | 损失 | 看得到的信息 |
|---|---|---|
| 取 argmax | 1.0 | 只有缓冲区 2 |
| 期望代价 | 0.4 × 0.2 + 0.6 × 1.0 = 0.68 | 两个都有 |
本文整理的算例。
在期望代价下,把 0.1 的概率从缓冲区 2 移到缓冲区 1,损失就变成 0.60,少了 0.08,正好是 。梯度自然会把概率往代价低的那边推。整个过程只比较 slot 和记忆像不像,没有用到任何 ID 标签。
推理时才把索引矩阵二值化,每个 slot 只分到一个缓冲区。第一帧用 slot 初始化缓冲区,彼此掩码重叠太多的重复 slot 先去掉;之后和所有 rollout 都不重叠的 slot,开一个新的缓冲区。物体消失超过 5 帧,缓冲区才关闭。
讨论
两个数据集
实验用两个合成数据集。CATER 是一堆 3D 几何物体在桌上移动、互相遮挡;FISHBOWL 录自 WebGL 水族箱,有 2 万段训练视频和 1,000 段验证与测试视频,每段 128 帧,鱼群遮挡得更严重,背景也更复杂。
CATER 上的物体中心模型是完全没有标注的 SAVi。FISHBOWL 比较难,作者在 DINOSAUR 上加了一点监督:每段 128 帧的视频,随机标 8 帧的掩码,也就是 6.25%。两边都没有 ID 标注。
| 方法 | 检测标注 | ID 标注 | IDF1 | MOTA | ID 切换 |
|---|---|---|---|---|---|
| SAVi | 6.25% | — | 46.9 | 32.3 | 12,504 |
| SORT | 6.25% | — | 68.4 | 64.3 | 15,278 |
| IOU | 6.25% | — | 71.3 | 66.6 | 10,306 |
| Visual-Spatial | 6.25% | — | 74.6 | 68.1 | 8,754 |
| OC-MOT | 6.25% | — | 77.9 | 70.3 | 5,898 |
| MOTR | 100% | 100% | 81.6 | 79.8 | 4,185 |
整理自原论文 Table 1,FISHBOWL。
为了公平,SORT、IOU 和 Visual-Spatial 用的是同一个物体中心模型的输出当检测。OC-MOT 的 ID 切换是无监督方法里最少的,比 SORT 少了六成。鱼的运动不是直线,卡尔曼滤波和 IoU 都跟不太上。
和完整标注的 MOTR 比,IDF1 还差 3.7,MOTA 差 9.5。作者认为差距主要来自检测:DINOSAUR 在很低的分辨率上预测掩码,框不够准。
CATER 上的差距更小。完全不用标注的 OC-MOT,IDF1 88.6、MOTA 82.4,MOTR 是 89.3 和 83.3。
FG-ARI 看不出来的事
| 方法 | FG-ARI | IDF1 | Track mAP |
|---|---|---|---|
| SAVi | 90.2 | 72.3 | 42.8 |
| OC-MOT | 93.8 | 88.6 | 66.2 |
整理自原论文 Table 2,CATER。
SAVi 的 FG-ARI 高达 90.2,看起来分组分得很好;可是用整段视频来匹配的 Track mAP 只有 42.8。每一帧分得好,和整段视频跟踪得好,是两回事。
记忆和两次注意力
| 索引与合并 | 记忆 | IDF1 | ID 切换 |
|---|---|---|---|
| 内积相似度 | rollout | 72.0 | 22,050 |
| 共用一个注意力 | rollout | 86.2 | 7,655 |
| 两个注意力 | 只用上一帧 | 77.2 | 16,582 |
| 两个注意力 | rollout | 88.6 | 5,658 |
整理自原论文 Table 3,CATER。
拿掉 rollout、只用上一帧的结果当查询,ID 切换从 5,658 增加到 16,582,将近三倍。遮挡的时候,上一帧看到的只是半个物体,rollout 则能拼出完整的它。
记忆的长度也有影响。连续采样时,记忆越长越好,从 6 帧的 IDF1 82.9 到 32 帧的 88.4。但记忆越长越吃硬件,作者改用快慢交错的采样,让 6 帧的记忆在训练时也能看到长距离和遮挡的情况,IDF1 达到 88.6,比 32 帧的连续采样还高。
局限
两个数据集都是合成的。作者把同一套分组模块用在真实的 KITTI 街景上,车子检测得到,掩码却很粗糙,远处的车尤其不准。DINOSAUR 的特征分辨率只有原图的 1/16,这是架构上的限制。
论文也没有在 MOT17 上评估。作者在附录解释,MOT17 的分数主要反映检测,目前的物体中心模型检测能力还比不上有监督的检测器。他们试着把检测器换成 SEEM,在 TAO 上用同样的自监督方式训练关联,但只放了可视化的结果,没有数字。
另外,整个系统不是端到端训练的。物体中心模型先训练好、冻结,再训练记忆模块。
结论
OC-MOT 处理的是以物体为中心的学习在跟踪上的两个老问题。分身的 slot 通过索引和合并拼回同一个物体;换人的 slot 则靠记忆和 rollout,把每个物体的历史延续下去。
它最值得注意的地方,是关联的学习完全不需要 ID 标签。只要比较 slot 和记忆像不像,把分配写成期望代价,梯度就会把每个 slot 推回自己的座位。
真正的瓶颈在前端的物体中心模型。在 CATER 上,OC-MOT 已经和完整标注的 MOTR 相差无几,FISHBOWL 还差几分;到了真实街景,掩码的精度还不够。关联的部分不挑检测器,前端换成更强的模型就能直接接上,作者在附录换上 SEEM 的尝试也是朝这个方向。