返回论文笔记资料库
arXiv 2020NeurIPS 2020多目标跟踪论文笔记

Slot Attention

一个萝卜一个坑

原始论文

Object-Centric Learning with Slot Attention

论文作者

Francesco Locatello · Dirk Weissenborn · Thomas Unterthiner …

查看全部 8 位作者

Francesco Locatello · Dirk Weissenborn · Thomas Unterthiner · Aravindh Mahendran · Georg Heigold · Jakob Uszkoreit · Alexey Dosovitskiy · Thomas Kipf

发表版本
NeurIPS 2020会议
arXiv 首次提交
arXiv:2006.15055
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingslotattention2020,
  title = {{Object-Centric Learning with Slot Attention}},
  author = {Francesco Locatello and Dirk Weissenborn and Thomas Unterthiner and Aravindh Mahendran and Georg Heigold and Jakob Uszkoreit and Alexey Dosovitskiy and Thomas Kipf},
  year = {2020},
  eprint = {2006.15055},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2006.15055}
}
本页内容

这篇不是跟踪论文。

它出现在这个系列里,是因为后来有人拿它来做多目标跟踪。在那之前,得先弄懂它在做什么。

2020 年,Google Brain 的一个团队提出了 Slot Attention。作者名单里,通讯作者 Thomas Kipf 是 GCN 的作者,指导者之一 Alexey Dosovitskiy 几个月后发表了 ViT。同一年,DETR 用一组目标查询把检测改写成集合预测,TrackFormer、MOTR 后来又把目标查询变成了轨迹查询。Slot Attention 做的事情和 DETR 有几分相似,出发点却完全不同,它不给任何标注,让模型自己把画面拆成一个一个物体。

定义问题

卷积网络提取出来的特征图,是一种「分布式」的表示。特征图上的每个位置,都混着这个位置附近所有东西的信息;整张图里有几个物体、各自在哪里,并没有被明确地分开。

很多需要推理的任务,却希望输入是一组一组的物体,例如这里有一个红色立方体、那里有一个绿色圆柱。物理模拟、多智能体、视觉推理,都是以物体为单位在运作。作者把这种表示称为以物体为中心(object-centric)的表示。

问题是,要从原始图像得到这种表示很难,通常要靠监督,或是为特定任务设计的架构。所以很多研究干脆跳过这一步,直接拿模拟器或游戏引擎里的物体状态来用。

已有的几种做法各有毛病:

  • IODINE、MONet 这类无监督的场景分解模型,要反复「解码、和原图比对、再编码」好几轮,训练很慢。
  • 胶囊网络的每个胶囊会特化成某一类物体,换一种没见过的组合就泛化不了。
  • DETR、Set Transformer 这类集合预测方法,每个查询都有自己的一组可学习参数。训练时用 100 个查询,测试时就只能是 100 个。

作者想要一个可以直接接在卷积网络后面的模块。它输入 NN 个特征向量,输出 KK 个「slot」,每个 slot 描述一个物体;而且每个 slot 都长得一样,任何一个都能绑定任何一个物体,数量也能在测试时改变。

解决问题

原论文 Figure 1(a):Slot Attention 模块。左边是加上位置嵌入的卷积特征图,右边是四个 slot 在三轮迭代(t = 1、2、3)中的注意力分布,亮黄色代表该 slot 关注的区域。第一轮时,绿框和蓝框的 slot 都还抓着不完整的区域;到第三轮,四个 slot 各自锁定了一个物体或背景。上方的文字写着「slots compete for input keys」。
原论文 Figure 1(a)(Locatello 等人),取自 PDF 第 2 页,arXiv 许可,学术引用。

这张图要从左往右看。左边的特征图是输入,右边是四个 slot 在三轮迭代中各自在看哪里。一开始大家都看得很模糊,越到后面,每个 slot 就越专注在一个物体上。

一轮迭代

一开始,KK 个 slot 从同一个高斯分布中随机采样:

slots∼N(μ,diag(σ))∈RK×Dslots\text{slots} \sim \mathcal{N}(\mu, \mathrm{diag}(\sigma)) \in \mathbb{R}^{K \times D_{slots}}

μ\mu 和 σ\sigma 是所有 slot 共用的可学习参数。slot 数量之所以能在测试时改变,原因就在这里,要几个就采样几个。

接着重复 TT 次(论文用 T=3T = 3)。每一轮先用三个线性投影,把输入变成键 kk、值 vv,把 slot 变成查询 qq,算出点积注意力的分数:

M=1D k(inputs)⋅q(slots)⊤∈RN×KM = \frac{1}{\sqrt{D}}\, k(\text{inputs}) \cdot q(\text{slots})^\top \in \mathbb{R}^{N \times K}

一般的注意力,是对每个查询在输入这个方向上做 softmax;Slot Attention 反过来,对每个输入在 slot 这个方向上做 softmax:

attni,j=eMi,j∑leMi,l\text{attn}_{i,j} = \frac{e^{M_{i,j}}}{\sum_{l} e^{M_{i,l}}}

也就是说,每一个输入特征,都要把自己的 1 分配给 KK 个 slot。

接着,每个 slot 对分到的输入取加权平均,作为更新的内容:

updates=W⊤⋅v(inputs)Wi,j=attni,j∑l=1Nattnl,j\begin{aligned} \text{updates} &= W^\top \cdot v(\text{inputs}) \\ W_{i,j} &= \frac{\text{attn}_{i,j}}{\sum_{l=1}^{N} \text{attn}_{l,j}} \end{aligned}

最后用一个 GRU,以上一轮的 slot 为状态、这一轮的更新为输入,算出新的 slot,再接一个可有可无的残差 MLP。输入和 slot 在每一轮开头都会先做 LayerNorm。

算一次看看

我们用 4 个输入、2 个 slot 走一遍。假设算出来的分数 MM 是:

slot 1slot 2
输入 12.00.0
输入 21.50.5
输入 30.01.8
输入 40.22.2

对每一行做 softmax,每个输入把自己分给两个 slot:

slot 1slot 2
输入 10.8810.119
输入 20.7310.269
输入 30.1420.858
输入 40.1190.881

slot 1 主要拿到输入 1、2,slot 2 主要拿到输入 3、4。再对每一列做归一化,slot 1 的加权平均权重是 0.470、0.390、0.076、0.064,slot 2 是 0.056、0.126、0.403、0.414。两个 slot 就像两个聚类中心,各自分走了一群输入。

为什么要反过来做 softmax?假设两个 slot 刚好长得一样,查询相同,分数的两列都是 2.0、1.5、0.0、0.2。

  • 用一般的注意力,对输入做 softmax,两个 slot 会得到一模一样的权重 0.524、0.318、0.071、0.087,两个都盯着输入 1、2,没有人去管输入 3、4。
  • 用 Slot Attention 的做法,每个输入在两个 slot 之间平分,各拿 0.5。谁也抢不走谁的,输入 3、4 也一定有人分到。

每个输入都必须被分给某个 slot,slot 之间于是有了竞争:一个 slot 想多拿一点,别的 slot 就得少拿一点。经过 GRU 更新、再进入下一轮,原本微小的差异会被放大,最后各自锁定一个物体。作者在附录的消融中也验证了这一点,把 softmax 改回对输入做,两个任务的表现都明显变差。

至于为什么用加权平均、不用加权和?因为分数是对 slot 归一化的,每个 slot 拿到的总量并不固定,上例是 1.873 和 2.127,一个没分到物体的 slot 可能趋近于 0。用加权和,更新的大小会跟着忽大忽小;用平均,训练才稳定。

整个模块的计算量是 O(T⋅D⋅N⋅K)O(T \cdot D \cdot N \cdot K)。

对称性

作者证明了 Slot Attention 有两个性质:对输入的顺序不变,对 slot 的顺序等变。打乱输入,输出不变;打乱初始 slot 的顺序,输出也只是跟着打乱。

这保证了每个 slot 都用同一种格式表示物体,不会出现「1 号 slot 专门负责立方体」这种事。DETR 的目标查询则不同,每个查询有自己的参数,训练久了常会各自偏好某些位置或大小。

两种用法

无监督的物体发现。 把 Slot Attention 放进一个自编码器。编码器是卷积网络加上位置嵌入,再接 Slot Attention;解码器把每个 slot 各自展开成一张图,输出 RGB 和一张掩码。所有 slot 的掩码在 slot 之间做 softmax,当作混合权重,把各自的图合成一张,和原图比较重建误差。整个过程不需要任何标注。

有监督的集合预测。 编码器一样,每个 slot 接一个共用的 MLP,预测物体的属性。预测和标签的顺序都是任意的,所以用匈牙利算法匹配,和 DETR 的做法相同。

讨论

物体发现

作者在三个合成数据集上评估:CLEVR6(最多 6 个物体的 CLEVR 立体场景)、Multi-dSprites(彩色的 2D 形状)和 Tetrominoes(俄罗斯方块)。指标是 ARI,衡量分割结果和真实物体的吻合程度,排除背景,100 是完美。

方法CLEVR6Multi-dSpritesTetrominoes
Slot Attention98.891.399.5
IODINE98.876.799.2
MONet96.290.4—
Slot MLP60.460.325.1

整理自原论文 Table 1,ARI(%),五个随机种子的平均。Tetrominoes 排除了一次失败的训练。

Slot MLP 是把 Slot Attention 换成一个 MLP 的基准,输出的 slot 有固定顺序。它的分数低得多,说明「每个 slot 格式相同、可以绑定任何物体」这个设计是必要的。

Slot Attention 和 IODINE 打平或更好,真正的差距在效率。在 CLEVR6 上,一张 16 GB 的 V100 可以用 64 的批大小,IODINE 只能用 4;用 8 张 V100 训练约 24 小时,IODINE 要大约 7 天。

作者也坦白了一个失败模式。在 Tetrominoes 上,偶尔会有一次训练卡在把画面切成横条纹的解,五次里有一次。这种情况的重建误差明显偏高,训练时就看得出来;表上的分数排除了这一次。

原论文 Figure 3(a):三个数据集上的分解结果。每一行从左到右是原图、重建图、合并后的掩码,以及每个 slot 各自重建的内容。前两行是 CLEVR6,七个 slot 各自重建出一个物体或空白;中间两行是 Multi-dSprites;最后两行是 Tetrominoes,四个 slot 各自对应一块方块或背景。
原论文 Figure 3(a)(Locatello 等人),取自 PDF 第 7 页,arXiv 许可,学术引用。

从这张图可以看到,slot 比物体多的时候,多出来的 slot 会保持空白,只分到一点背景。作者也观察到,均匀的背景常常被分散到所有 slot,而不是集中在其中一个;这不影响物体的分离和重建。

如果把每一轮迭代的注意力画出来,第二轮时各个 slot 就已经开始专注在单一物体上,第一轮则还会把几个物体混在同一个 slot 里。

比训练时更多的迭代、更多的物体

训练时用 3 轮迭代,测试时增加到 7 轮,分数还会继续上升。用 CLEVR6 训练、在最多 10 个物体的 CLEVR10 上测试,把 slot 从 7 个增加到 11 个,分割的表现仍然很好。这正是共用初始分布带来的好处,DETR 那种每个查询各有参数的设计做不到。

为了确认它不只是靠颜色在聚类,作者也试了只看形状的版本。在黑底白色的二值化 Multi-dSprites 上,ARI 是 69.4,IODINE 是 64.8;在灰度的 CLEVR6 上是 98.5。

集合预测

在 CLEVR10 上预测每个物体的形状、材质、颜色、大小和位置,以 AP 衡量。Slot Attention 和先前的 DSPN 相当或更好,而 DSPN 用的是更深的 ResNet-34 编码器。增加测试时的迭代次数同样有帮助;用 6 个物体的场景训练、在物体更多的场景测试,AP 只会缓慢下降。

这个任务只训练模型预测属性,从没给过任何分割标注,但 slot 的注意力图却自然地把物体分开了,ARI 达到 78.0。

消融与局限

附录的消融里,几个设计都被证明有用。加权平均比加权和稳定;位置嵌入对预测物体位置不可或缺;所有 slot 共用初始分布,在无监督任务上比每个 slot 各自一组参数好,也才能在测试时增加 slot;至少要迭代两轮以上。slot 的数量只需要给一个大致的上限,不必刚好等于物体数。

作者也说明了局限。所有实验都在受控的合成数据上进行;物体发现用的解码器和重建损失和 IODINE 相同,预计遇到复杂的背景和纹理时一样会吃力,可能需要换成感知损失或对比损失。

结论

Slot Attention 用一个很小的改动,把注意力的 softmax 从输入那一侧换到 slot 那一侧,让一组长得一样的 slot 互相竞争,最后各自认领画面中的一个物体。加上共用的初始分布和 GRU 更新,它不用标注就能把合成场景分解成物体,训练比 IODINE 快好几倍,slot 的数量和迭代次数都能在测试时调整。

作者在结论里列出的第一个下一步,就是把它用在视频上。一年多后,同样出自 Kipf 等人之手的 SAVi 把 slot 延伸到视频,让上一帧的 slot 成为下一帧的初始值,同一个物体就能跨帧被同一个 slot 抓住。这听起来已经很像跟踪了。

再过一年多,有人把这套以物体为中心的做法,正式带进了多目标跟踪。