返回论文笔记资料库
arXiv 2021ICCV 2021视觉 Transformer论文笔记

PVT

空间缩减注意力机制

原始论文

Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions

论文作者

Wenhai Wang · Enze Xie · Xiang Li …

查看全部 9 位作者

Wenhai Wang · Enze Xie · Xiang Li · Deng-Ping Fan · Kaitao Song · Ding Liang · Tong Lu · Ping Luo · Ling Shao

发表版本
ICCV 2021会议
arXiv 首次提交
arXiv:2102.12122
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{visiontransformerspvt2021,
  title = {{Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions}},
  author = {Wenhai Wang and Enze Xie and Xiang Li and Deng-Ping Fan and Kaitao Song and Ding Liang and Tong Lu and Ping Luo and Ling Shao},
  year = {2021},
  eprint = {2102.12122},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2102.12122}
}
本页内容

ViT 在图像分类上取得惊人的成绩。

正式宣告 Transformer 架构踏入计算机视觉领域攻城掠地。

定义问题

ViT 架构在一开始就使用 16 x 16 的图像分块(patchify),其线性投影相当于一次大核卷积。

如果是一张分辨率 224 x 224 的图像,经过分块后,即得到 14 x 14 的 patch 网格。

这种分辨率的特征图,用来做图像分类是没问题,因为分类需要依赖高度抽象的全局特征。

但如果要进行密集预测的任务,例如图像分割或目标检测等,这样的分块方式就会让模型难以捕捉到局部细节。

  • 因为一部分局部细节可能在 16 x 16 的特征压缩操作中流失。

显然地,我们需要更精细的特征来进行密集预测,那么把 16 x 16 的卷积改成 2 x 2 好吗?

  • 当然不好!

我们就以 224 x 224 的图像为例:

  • 使用 16 x 16 的分块尺寸,我们会得到 14 x 14 共 196 个输入 Token。
  • 使用 2 x 2 的分块尺寸,我们会得到 112 x 112 共 12,544 个输入 Token。

试计算 12,544 x 12,544 的自注意力矩阵......

想必没有人会认为这是一个好主意。

解决问题

模型架构

上图展示了 PVT 的架构设计。

看起来好像很复杂,但你只要回想一下卷积网络的架构,就会发现其实是相同的概念。

分层结构

首先看到的是分层结构,这就像是我们在 ConvNet 中常提到的逐阶段降采样;PVT 总共分四个阶段。

各阶段输出的特征图相对于输入,依序为 1/4、1/8、1/16、1/32 尺寸。

在 PVT 的架构中,从 1/4 尺寸的特征图开始,直到 1/32 尺寸的特征图。

论文将每个阶段的输入切成 patch、展平后做线性投影;下面则用 kernel size 与 stride 相同的卷积来实现这个 patch embedding。

举例来说,输入图像为 3 x 224 x 224,指定 stride 为 4 的卷积,输出通道数量为 64,那么经过计算后,得到的特征图尺寸为 64 x 56 x 56。

所以在第一个 Stage 中,输入 Transformer Encoder 的数据为:

  • 序列长度:3136(所有图像切块,即 56 x 56 个)
  • 特征数:64(每个切块特征数,即上面提到的通道)

空间缩减注意力(SRA)

得到特征图像后,我们发现 (56 x 56) x (56 x 56) 的自注意力矩阵仍然非常巨大,必须严肃处理。

作者在这里紧接着提出了「空间缩减注意力」(Spatial Reduction Attention)的概念。

方法是保留查询(Query)的 token 数,将键(Key)和值(Value)沿空间维度缩减;缩减后仍投影回该阶段的通道维度。

举例来说,原始的自注意力图的尺寸 QKTQK^T 得到 (56 x 56) x (56 x 56) 的注意力图,如果把 Key 和 Value 的尺寸从 (56 x 56) 缩减为 (7 x 7) 的话,那么最后的注意力图尺寸就会变成 3136 x 49。

在这个例子中,注意力矩阵的元素数减为原本的 1/641/64;这降低了注意力计算与内存成本,但整个模型的成本不会同倍数下降。

*

比照以往,我们直接看一下实现,就知道这篇论文的核心思想。

重点的部分我们用 Highlight 标出来,其中在本篇论文中,sr_ratio 的设置是 [8, 4, 2, 1],也就是四个 Stage 的空间缩减比例;最后一阶段为 1,不再缩减。

在刚才的范例中,第一层原本的 56 x 56 缩减为 7 x 7。

python
# Reference:
#   - https://github.com/whai362/PVT/blob/v2/classification/pvt.py

import torch
import torch.nn as nn

class SpatialReductionAttention(nn.Module):

    def __init__(
        self,
        dim,
        num_heads=8,
        qkv_bias=False,
        qk_scale=None,
        attn_drop=0.,
        proj_drop=0.,
        sr_ratio=1
    ):
        super().__init__()
        self.dim = dim
        self.num_heads = num_heads
        head_dim = dim // num_heads
        self.scale = qk_scale or head_dim ** -0.5

        self.q = nn.Linear(dim, dim, bias=qkv_bias)
        self.kv = nn.Linear(dim, dim * 2, bias=qkv_bias)
        self.attn_drop = nn.Dropout(attn_drop)
        self.proj = nn.Linear(dim, dim)
        self.proj_drop = nn.Dropout(proj_drop)

        self.sr_ratio = sr_ratio
        if sr_ratio > 1:
            self.sr = nn.Conv2d(dim, dim, kernel_size=sr_ratio, stride=sr_ratio)
            self.norm = nn.LayerNorm(dim)

    def forward(self, x, H, W):
        B, N, C = x.shape
        q = self.q(x).reshape(B, N, self.num_heads, C // self.num_heads).permute(0, 2, 1, 3)

        if self.sr_ratio > 1:
            x_ = x.permute(0, 2, 1).reshape(B, C, H, W)
            x_ = self.sr(x_).reshape(B, C, -1).permute(0, 2, 1)
            x_ = self.norm(x_)
            kv = self.kv(x_).reshape(B, -1, 2, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4)
        else:
            kv = self.kv(x).reshape(B, -1, 2, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4)
        k, v = kv[0], kv[1]

        attn = (q @ k.transpose(-2, -1)) * self.scale
        attn = attn.softmax(dim=-1)
        attn = self.attn_drop(attn)

        x = (attn @ v).transpose(1, 2).reshape(B, N, C)
        x = self.proj(x)
        x = self.proj_drop(x)

        return x

模型配置

最后,我们来看一下 PVT 的模型配置。

  1. PiP_i:第 ii 阶段的 patch 大小
  2. CiC_i:第 ii 阶段输出的通道数
  3. LiL_i:第 ii 阶段中编码器层的数量
  4. RiR_i:第 ii 阶段中 SRA(空间缩减注意力)的缩减比
  5. NiN_i:第 ii 阶段中 SRA 的注意力头数
  6. EiE_i:第 ii 阶段中前馈层的扩展比

模型设计遵循 ResNet 的设计规则:

  1. 在浅层阶段使用较小的输出通道数。
  2. 将主要计算资源集中在中间阶段。

为了提供讨论实例,下表展示了一系列不同尺度的 PVT 模型,分别是 PVT-Tiny、PVT-Small、PVT-Medium 和 PVT-Large。它们的参数数量分别与 ResNet18、ResNet50、ResNet101 和 ResNet152 相当。

讨论

ImageNet 的性能

作者将 PVT 与两个最具代表性的 CNN 主干进行比较,即 ResNet 和 ResNeXt,这些模型广泛用于许多下游任务的基准测试中。

在上表中,PVT 模型在相似的参数数量和计算预算下优于传统的 CNN 主干。

例如,当 GFLOPs 大致相似时,PVT-Small 的 top-1 错误率为 20.2%20.2\%,比表中 ResNet50 的 21.5%21.5\% 低 1.31.3 个百分点(20.2%20.2\% vs. 21.5%21.5\%)。

在相似或更低的复杂性下,PVT 模型的性能与最近提出的基于 Transformer 的模型相当,例如 ViT 和 DeiT。

PVT-Large 的 top-1 错误率为 18.3%18.3\%,与表中 ViT-Base/16 和 DeiT-Base/16 的 18.2%18.2\% 接近,但并未胜过两者。

目标检测性能

这个架构从一开始就瞄准了密集预测的任务,因此我们特别看一下 PVT 在密集预测任务上的性能。

  1. 数据集:

    • 使用 COCO benchmark
    • 训练集:COCO train2017(118k 幅图像)
    • 验证集:COCO val2017(5k 幅图像)
  2. 模型与初始化:

    • 标准检测器:RetinaNet 和 Mask R-CNN
    • Backbone 使用 ImageNet 预训练权重初始化
    • 新增的层使用 Xavier 初始化
  3. 训练设置:

    • 批次大小:16
    • 硬件:8 个 V100 GPU
    • 优化器:AdamW
    • 初始学习率:1×10−41 \times 10^{-4}

在可比的参数数量下,PVT 模型显著优于传统模型,使用 RetinaNet 时,PVT-Tiny 的 AP 比 ResNet18 高 4.9 点(36.7 vs. 31.8)。

使用 Mask R-CNN 时,PVT-Tiny 的 mask AP (APm) 为 35.1,比 ResNet18 高 3.9 点(35.1 vs. 31.2),甚至比 ResNet50 高 0.7 点(35.1 vs. 34.4)。

这些结果表明,PVT 可以成为 CNN backbone 的良好替代方案,用于目标检测和实例分割任务。

下图展示了 PVT 在 COCO 验证集上的结果。

金字塔结构的贡献

最后作者进行了几个消融实验,以验证 PVT 的各个部分对性能的影响。

首先看到的是金字塔结构的贡献分析,如下表:

在相同的 RetinaNet 1× 设置下,PVT-Small 的 AP 为 40.4,比经过多层特征提取与插值适配的 ViT-Small/32(31.7)高 8.7 点;ViT-Small/4 因 32 GB GPU 内存不足而无法完成这项比较。

这个比较支持 PVT 整体设计有助于密集预测,但不能把 8.7 点全部归因于金字塔结构;SRA 与特征尺度等设置也不同。

深度与宽度的权衡

作者进一步探讨 PVT 应该更深还是更宽,以及不同阶段的特征图尺寸对性能的影响。

作者将 PVT-Small 的隐藏维度乘以 1.4 建立较宽版本,再与参数量接近的较深版本比较,如上表。

在这组消融中,较深版本为 4420 万参数、41.9 AP,较宽版本为 4680 万参数、40.8 AP;在参数量接近的条件下,较深版本表现较好。

治标不治本

最后,作者针对性能的部分做了一些讨论。

首先,随着输入规模增加,PVT 的 GFLOPs 增长率高于 ResNet,低于 ViT。

当图中的输入尺度不超过约 640×640640 \times 640 像素时,PVT-Small 和 ResNet50 的 GFLOPs 接近。

此外,当输入图像短边为 800 像素时,基于 PVT-Small 的 RetinaNet 在 V100 上每幅图像需 76.9 ms,比 ResNet50 的 55.9 ms 慢;若将 PVT-Small 的短边改为 640 像素,则为 51.7 ms、38.7 AP,但输入尺度已不同。

这显示本文测试的 PVT-Small 在较大输入下有速度代价。

结论

虽然在 2021 年这个时间点,本篇论文还是抓着 ResNet 和 ResNeXt 打,可能会让人觉得有点保守。

但本研究将金字塔结构引入 Transformer,以提供一个纯 Transformer 主干网,用于密集预测任务,而不是针对特定任务的头部或图像分类模型,为之后的研究提供了一个重要的方向。

此时也是基于 Transformer 的模型在计算机视觉中的应用的早期阶段,未来有许多潜在的技术和应用有待探索。