返回论文笔记资料库
arXiv 2021ICLR 2023视觉 Transformer论文笔记

CPVT

条件位置编码

原始论文

Conditional Positional Encodings for Vision Transformers

论文作者

Xiangxiang Chu · Zhi Tian · Bo Zhang · Xinlong Wang · Chunhua Shen

发表版本
ICLR 2023会议
arXiv 首次提交
arXiv:2102.10882
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{visiontransformerscpvt2021,
  title = {{Conditional Positional Encodings for Vision Transformers}},
  author = {Xiangxiang Chu and Zhi Tian and Bo Zhang and Xinlong Wang and Chunhua Shen},
  year = {2021},
  eprint = {2102.10882},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2102.10882}
}
本页内容

ViT 提出后不久,各方面的研究纷至沓来。

如果你也常在使用 ViT 相关的架构,你一定也会有相同的困扰:这种「可学习式」的位置编码,真的很难用啊!

定义问题

在 ViT 中,输入图像会被切割成固定大小的图像区块,这些区块会与对应的可学习绝对位置编码相加。然而,这种位置编码方式存在两个主要问题:

序列拓展

绝对位置编码的长度是固定的,这限制了模型处理比学习到的位置编码更长的序列。

对于这个问题,或许我们可以直接舍弃位置编码?

  • 答案是不行!

舍弃位置编码会大幅降低模型的性能,在 DeiT 的论文中已经做过这个实验了, DeiT-tiny 模型在 ImageNet 上的准确率从 72.2% 骤降至 68.2%,可说是灾难性的下降。

这其实不难理解,因为输入序列的顺序是很重要的线索,若没有位置编码,模型就无法获取顺序信息。

平移等变性

平移等变性是指当物体在图像中移动时,模型的回应能够相应改变。

在 ViT 架构中,每个区块都会加上一个唯一的位置编码,这会破坏严格的平移等变性,使模型的响应不一定随物体移动而同步平移;分类任务的表现也可能受到影响。

DeiT 模型的研究表明,可以通过插值技术将位置编码延伸到与较长序列相同的长度,只是这种方法需要进行多轮微调,如果不做微调直接上,那模型的性能会大幅下降。

那改成相对位置编码(Relative Positional Encoding, RPE)行不行?

  • 答案是:可以解决上面的两个问题。

但是由于无法提供绝对位置的信息,根据实验数据,相对位置编码的表现不如绝对位置编码。

解决问题

条件位置编码

为了解决上面提到的问题,作者提出了一种新的位置编码方式:条件位置编码(Conditional Positional Encodings, CPE)。

如上图,最左边的是原始的 ViT 架构,输入图像经过 Patchify 之后,直接加上一个「可学习式」的绝对位置编码。

中间的图是作者提出的 CPE 架构,这里的关键是:将位置编码的计算过程放在了 Transformer 的 Encoder 中。

确切来说:是放在「第一层」 Encoder 之后,「第二层」 Encoder 之前。

位置编码生成器

位置编码生成器,在论文中名称为:Positional Encoding Generator。

我们先撇开这个位置编码放置的位置,单纯来看一下这个 Generator 的结构:

  • 就是一个 Conv2d 卷积!

意思就是,图像拆成 Patch 并经过第一层 Encoder 后,先把特征 token 排回二维网格(不包含 class token),再用卷积生成对应的位置编码,最后加回特征 token。

这个卷积层是有讲究的,它必须有 Zero Padding!边界上的 token 会因此遇到零填充区域,让模型取得一定程度的绝对位置线索;这也表示它不具严格的平移等变性。通过卷积的方式,模型就可以根据输入特征的局部邻域,动态生成对应的位置编码,也就是这篇论文标题提到的:条件位置编码。

论文中有提供示意代码,我们可以看一下 PEG 的数据流:

python
import torch
import torch.nn as nn

class VisionTransformer:

    def __init__(self, layers=12, dim=192, nhead=3, img_size=224, patch_size=16):
        self.pos_block = PEG(dim)
        self.blocks = nn.ModuleList([
            TransformerEncoderLayer(dim, nhead, dim*4)
            for _ in range(layers)
        ])
        self.patch_embed = PatchEmbed(img_size, patch_size, dim*4)

    def forward_features(self, x):
        B, C, H, W = x.shape
        x, patch_size = self.patch_embed(x)
        _H, _W = H // patch_size, W // patch_size
        x = torch.cat((self.cls_tokens, x), dim=1)
        for i, blk in enumerate(self.blocks):
            x = blk(x)
            if i == 0:
                x = self.pos_block(x, _H, _W)
        return x[:, 0]

class PEG(nn.Module):

    def __init__(self, dim=256, k=3):
        # Only for demo use, more complicated functions are effective too.
        self.pos = nn.Conv2d(dim, dim, k, 1, k//2, groups=dim)

    def forward(self, x, H, W):
        B, N, C = x.shape
        cls_token, feat_tokens = x[:, 0], x[:, 1:]
        feat_tokens = feat_tokens.transpose(1, 2).view(B, C, H, W)
        x = self.pos(feat_tokens) + feat_tokens
        x = x.flatten(2).transpose(1, 2)
        x = torch.cat((cls_token.unsqueeze(1), x), dim=1)
        return x

你可以看到 PEG 的核心就是一个逐通道 Conv2d 卷积层:class token 先取出,特征 token 卷积后与原特征相加,再接回 class token。

模型训练策略

为了验证这个新的位置编码方式,作者严格遵守 DeiT 的训练策略,相关实验配置如下:

  1. 数据集

    • 本研究使用 ImageNet 数据集,包含 1000 个类别及 130 万幅图像,进行模型训练。
    • 评估结果则基于含有 5 万幅图像的验证集。
    • 没有使用更大的 JFT-300M 数据集。
  2. 模型变体

    • 针对不同的运算需求,作者设计了三个不同大小的模型。
    • 所有实验均在 Tesla V100 机器上执行。
    • 训练 Tiny 模型 300 个 epochs 约需 1.3 天(使用单一节点的 8 张 V100 GPU),CPVT-S 与 CPVT-B 模型则分别需要 1.6 天及 2.5 天。
  3. 训练细节

    • 除了 CPVT-B 模型外,其余模型均训练 300 个 epochs,使用 Tesla V100 机器,批次大小为 2048。
    • 使用 AdamW 优化器进行训练。

讨论

PEG 的放置位置

刚才提到的「放置位置」,为什么会放在 Encoder 的第一层之后,第二层之前?

作者尝试将 PEG 放置于不同的模型位置,根据结果(上表左),当 PEG 放置于位置 0 或位置 3 时,模型的 Top-1 准确率分别为 72.4% 和 72.3%,表现最佳。将 PEG 放置于位置 0 比放置于 -1 的效果更好,显示位置 0 的性能明显优于位置 -1。

观察到两个位置的主要区别在于它们的感受野范围不同:位置 0 的特征已经过一层全域自注意力,而位置 -1 的特征还没有;若只使用局部卷积,后者看到的范围较小。如果扩大卷积核的大小,两者应该会有相似的效果。

为了验证这一假设,作者在位置 -1 使用了较大的卷积核(27×27,padding 大小为 13),结果显示其性能(72.5%)与位置 0 的效果相似,证实了这一假设。

但增加卷积核的大小会增加计算量,因此作者选择将 PEG 放置于位置 0,以获得更好的性能。

PEG 的改进来自哪里?

人们会怀疑 PEG 的改进来自于 PEG 中卷积层引入的额外可学习参数,而不是 PEG 保留的局部关系。为了测试 PEG 的主要作用,作者只在注意力层中使用 PEG 来计算 Q 和 K,以便仅传递 PEG 的位置信息。

在这个只让 Q、K 使用 PEG 的实验中,DeiT-tiny 的 Top-1 准确率达到了 71.3%,明显优于无位置编码的 DeiT-tiny(68.2%),也接近一般 PEG 的结果(72.4%)。作者据此认为,PEG 的作用不能只用新增可学习参数来解释。

为了进一步排除 PEG 的性能提升是由于新增可学习参数,作者设计了另一个实验:随机初始化一个 3×3 的 PEG 并固定其权重,结果 Top-1 准确率达到了 71.3%,比无任何位置编码的 DeiT-tiny 高出 3.1 个百分点。由于 PEG 的权重没有更新,这个结果支持局部位置线索有帮助,而非只靠增加可学习参数。

相反地,当使用 12 层卷积层(卷积核大小为 1,即不产生局部关系)来替代 PEG 时,这些层的可学习参数远多于 PEG,但性能仅提升了 0.4 个百分点,达到 68.6%。这进一步支持 PEG 的效果主要来自于局部位置线索,而非额外的参数。

泛化到更高分辨率

如上表所示,PEG 能够直接泛化到更大的图像尺寸,而无需进行微调。这点通过评估在 224 × 224 图像上训练的模型于更大分辨率(384 × 384、448 × 448、512 × 512)图像上的表现来证实。

DeiT-tiny 模型在使用 384 × 384 输入图像时,若配备可学习的位置编码,性能从 72.2% 降至 71.2%。当使用正弦编码时,模型性能从 72.3% 降至 70.8%。

反观 CPVT 模型配备 PEG 时,可以直接处理较大的输入图像。表中放入五个 PEG 的 CPVT-Tiny(CPVT-Ti)从 224 × 224 的 73.4% 提升至 384 × 384 的 74.2%;只放一个 PEG 的版本则从 72.4% 升至 73.2%。在 384 × 384 下,前者比配备可学习位置编码的 DeiT-tiny 高出 3.0 个百分点,且表中较大分辨率的差距还会继续扩大。

降低复杂度

在 PEG 中,若选择深度卷积,其额外的参数数量为 d×l×k2d \times l \times k^2(其中 dd 是模型的维度,ll 是深度卷积的层数,kk 是卷积核大小)。如果使用可分离卷积,参数数量为 l(d2+k2d)l(d^2 + k^2d)。

以 CPVT-Tiny 为例,当 k=3k = 3 且 l=1l = 1 时(即模型维度 d=192d = 192),按上式不计偏置,PEG 带来了 1,728 个参数。DeiT-tiny 模型使用可学习的位置编码,参数数量为 192 × 14 × 14 = 37,632。

因此,单层逐通道 PEG 比 DeiT-tiny 的可学习位置编码少 35,904 个参数。若改用单层可分离卷积,按上式为 1922+32×192=38,592192^2 + 3^2 \times 192 = 38,592 个,比 37,632 多 960 个;四层则不能沿用这个差值。这些位置编码参数相对于约 5.7M 的模型参数仍是小量。

在 ImageNet 上的表现

与 DeiT 相比,表中 CPVT 多数配置的 ImageNet Top-1 准确率较高,V100 上的吞吐量相近。前面表 2 显示,CPVT 在 384 × 384 的输入下无需微调即可比 224 × 224 更准;继续放大到 448 或 512 时,CPVT-Ti 的准确率也会下降,但仍高于相同分辨率的 DeiT-tiny。

论文在当时报告,配备全局平均池化(GAP)的 CPVT 模型取得较高的 ImageNet Top-1 准确率;例如表中的五 PEG CPVT-Ti-GAP 为 74.9%,对应 DeiT-tiny 的 72.2%。

CPVT-Tiny 和 DeiT-tiny 模型在进行额外的硬蒸馏训练后进行比较,硬蒸馏方法采用了 RegNetY-160 模型作为教师模型。CPVT 模型的 Top-1 准确率达到 75.9%,超过同样蒸馏的 DeiT-tiny 1.4 个百分点。

和其他位置编码的比较

最后作者比较了 PEG 与其他常见的位置编码方式,并分析了 PEG 与绝对位置编码(APE)和相对位置编码(RPE)的组合效果。

  1. PEG 与其他位置编码的比较

    • DeiT-tiny 模型使用可学习的绝对位置编码(LE)达到 72.2% 的 Top-1 准确率。
    • 使用 2D 正弦编码的性能相当,达到相似的表现。
    • 当使用相对位置编码(RPE,范围超参数 K 设为 8),其 Top-1 准确率为 70.5%,低于 LE。RPE 不编码绝对位置信息,这也是其性能较低的原因之一。
  2. PEG 与其他编码结合的效果

    将可学习的绝对位置编码与单层 PEG 结合,基准模型 CPVT-Ti 从 72.4% 提升到 72.9%。当在同一位置堆叠 4 层 PEG 并结合可学习编码时,仍为 72.9%。如果改在前五个 Transformer 区块后各放一个 PEG、不另加可学习编码,准确率达到 73.4%。

结论

作者展示了 PEG 可以处理更长的输入序列,并为平移等变性提供更强的归纳偏好;不过零填充也带来了绝对位置线索。在本文部分分类实验中,PEG 取得比所比较的绝对位置编码(APE)和相对位置编码(RPE)更高的准确率。

此外,PEG 实现简单;在本文采用的逐通道卷积配置中,新增参数和计算成本较低,使其成为一个有效且有实用价值的方案。