Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
- 发表版本
- ICCV 2021会议
- arXiv 首次提交
- arXiv:2102.12122
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{visiontransformerspvt2021,
title = {{Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions}},
author = {Wenhai Wang and Enze Xie and Xiang Li and Deng-Ping Fan and Kaitao Song and Ding Liang and Tong Lu and Ping Luo and Ling Shao},
year = {2021},
eprint = {2102.12122},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2102.12122}
}
ViT 在图像分类上取得惊人的成绩。
正式宣告 Transformer 架构踏入计算机视觉领域攻城掠地。
定义问题
ViT 架构在一开始就使用 16 x 16 的图像分块(patchify),其线性投影相当于一次大核卷积。
如果是一张分辨率 224 x 224 的图像,经过分块后,即得到 14 x 14 的 patch 网格。
这种分辨率的特征图,用来做图像分类是没问题,因为分类需要依赖高度抽象的全局特征。
但如果要进行密集预测的任务,例如图像分割或目标检测等,这样的分块方式就会让模型难以捕捉到局部细节。
- 因为一部分局部细节可能在 16 x 16 的特征压缩操作中流失。
显然地,我们需要更精细的特征来进行密集预测,那么把 16 x 16 的卷积改成 2 x 2 好吗?
- 当然不好!
我们就以 224 x 224 的图像为例:
- 使用 16 x 16 的分块尺寸,我们会得到 14 x 14 共 196 个输入 Token。
- 使用 2 x 2 的分块尺寸,我们会得到 112 x 112 共 12,544 个输入 Token。
试计算 12,544 x 12,544 的自注意力矩阵......
想必没有人会认为这是一个好主意。
解决问题
模型架构
上图展示了 PVT 的架构设计。
看起来好像很复杂,但你只要回想一下卷积网络的架构,就会发现其实是相同的概念。
分层结构
首先看到的是分层结构,这就像是我们在 ConvNet 中常提到的逐阶段降采样;PVT 总共分四个阶段。
各阶段输出的特征图相对于输入,依序为 1/4、1/8、1/16、1/32 尺寸。
在 PVT 的架构中,从 1/4 尺寸的特征图开始,直到 1/32 尺寸的特征图。
论文将每个阶段的输入切成 patch、展平后做线性投影;下面则用 kernel size 与 stride 相同的卷积来实现这个 patch embedding。
举例来说,输入图像为 3 x 224 x 224,指定 stride 为 4 的卷积,输出通道数量为 64,那么经过计算后,得到的特征图尺寸为 64 x 56 x 56。
所以在第一个 Stage 中,输入 Transformer Encoder 的数据为:
- 序列长度:3136(所有图像切块,即 56 x 56 个)
- 特征数:64(每个切块特征数,即上面提到的通道)
空间缩减注意力(SRA)
得到特征图像后,我们发现 (56 x 56) x (56 x 56) 的自注意力矩阵仍然非常巨大,必须严肃处理。
作者在这里紧接着提出了「空间缩减注意力」(Spatial Reduction Attention)的概念。
方法是保留查询(Query)的 token 数,将键(Key)和值(Value)沿空间维度缩减;缩减后仍投影回该阶段的通道维度。
举例来说,原始的自注意力图的尺寸 得到 (56 x 56) x (56 x 56) 的注意力图,如果把 Key 和 Value 的尺寸从 (56 x 56) 缩减为 (7 x 7) 的话,那么最后的注意力图尺寸就会变成 3136 x 49。
在这个例子中,注意力矩阵的元素数减为原本的 ;这降低了注意力计算与内存成本,但整个模型的成本不会同倍数下降。
*
比照以往,我们直接看一下实现,就知道这篇论文的核心思想。
重点的部分我们用 Highlight 标出来,其中在本篇论文中,sr_ratio 的设置是 [8, 4, 2, 1],也就是四个 Stage 的空间缩减比例;最后一阶段为 1,不再缩减。
在刚才的范例中,第一层原本的 56 x 56 缩减为 7 x 7。
# Reference:
# - https://github.com/whai362/PVT/blob/v2/classification/pvt.py
import torch
import torch.nn as nn
class SpatialReductionAttention(nn.Module):
def __init__(
self,
dim,
num_heads=8,
qkv_bias=False,
qk_scale=None,
attn_drop=0.,
proj_drop=0.,
sr_ratio=1
):
super().__init__()
self.dim = dim
self.num_heads = num_heads
head_dim = dim // num_heads
self.scale = qk_scale or head_dim ** -0.5
self.q = nn.Linear(dim, dim, bias=qkv_bias)
self.kv = nn.Linear(dim, dim * 2, bias=qkv_bias)
self.attn_drop = nn.Dropout(attn_drop)
self.proj = nn.Linear(dim, dim)
self.proj_drop = nn.Dropout(proj_drop)
self.sr_ratio = sr_ratio
if sr_ratio > 1:
self.sr = nn.Conv2d(dim, dim, kernel_size=sr_ratio, stride=sr_ratio)
self.norm = nn.LayerNorm(dim)
def forward(self, x, H, W):
B, N, C = x.shape
q = self.q(x).reshape(B, N, self.num_heads, C // self.num_heads).permute(0, 2, 1, 3)
if self.sr_ratio > 1:
x_ = x.permute(0, 2, 1).reshape(B, C, H, W)
x_ = self.sr(x_).reshape(B, C, -1).permute(0, 2, 1)
x_ = self.norm(x_)
kv = self.kv(x_).reshape(B, -1, 2, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4)
else:
kv = self.kv(x).reshape(B, -1, 2, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4)
k, v = kv[0], kv[1]
attn = (q @ k.transpose(-2, -1)) * self.scale
attn = attn.softmax(dim=-1)
attn = self.attn_drop(attn)
x = (attn @ v).transpose(1, 2).reshape(B, N, C)
x = self.proj(x)
x = self.proj_drop(x)
return x
模型配置
最后,我们来看一下 PVT 的模型配置。
- :第 阶段的 patch 大小
- :第 阶段输出的通道数
- :第 阶段中编码器层的数量
- :第 阶段中 SRA(空间缩减注意力)的缩减比
- :第 阶段中 SRA 的注意力头数
- :第 阶段中前馈层的扩展比
模型设计遵循 ResNet 的设计规则:
- 在浅层阶段使用较小的输出通道数。
- 将主要计算资源集中在中间阶段。
为了提供讨论实例,下表展示了一系列不同尺度的 PVT 模型,分别是 PVT-Tiny、PVT-Small、PVT-Medium 和 PVT-Large。它们的参数数量分别与 ResNet18、ResNet50、ResNet101 和 ResNet152 相当。
讨论
ImageNet 的性能
作者将 PVT 与两个最具代表性的 CNN 主干进行比较,即 ResNet 和 ResNeXt,这些模型广泛用于许多下游任务的基准测试中。
在上表中,PVT 模型在相似的参数数量和计算预算下优于传统的 CNN 主干。
例如,当 GFLOPs 大致相似时,PVT-Small 的 top-1 错误率为 ,比表中 ResNet50 的 低 个百分点( vs. )。
在相似或更低的复杂性下,PVT 模型的性能与最近提出的基于 Transformer 的模型相当,例如 ViT 和 DeiT。
PVT-Large 的 top-1 错误率为 ,与表中 ViT-Base/16 和 DeiT-Base/16 的 接近,但并未胜过两者。
目标检测性能
这个架构从一开始就瞄准了密集预测的任务,因此我们特别看一下 PVT 在密集预测任务上的性能。
-
数据集:
- 使用 COCO benchmark
- 训练集:COCO train2017(118k 幅图像)
- 验证集:COCO val2017(5k 幅图像)
-
模型与初始化:
- 标准检测器:RetinaNet 和 Mask R-CNN
- Backbone 使用 ImageNet 预训练权重初始化
- 新增的层使用 Xavier 初始化
-
训练设置:
- 批次大小:16
- 硬件:8 个 V100 GPU
- 优化器:AdamW
- 初始学习率:
在可比的参数数量下,PVT 模型显著优于传统模型,使用 RetinaNet 时,PVT-Tiny 的 AP 比 ResNet18 高 4.9 点(36.7 vs. 31.8)。
使用 Mask R-CNN 时,PVT-Tiny 的 mask AP (APm) 为 35.1,比 ResNet18 高 3.9 点(35.1 vs. 31.2),甚至比 ResNet50 高 0.7 点(35.1 vs. 34.4)。
这些结果表明,PVT 可以成为 CNN backbone 的良好替代方案,用于目标检测和实例分割任务。
下图展示了 PVT 在 COCO 验证集上的结果。
金字塔结构的贡献
最后作者进行了几个消融实验,以验证 PVT 的各个部分对性能的影响。
首先看到的是金字塔结构的贡献分析,如下表:
在相同的 RetinaNet 1× 设置下,PVT-Small 的 AP 为 40.4,比经过多层特征提取与插值适配的 ViT-Small/32(31.7)高 8.7 点;ViT-Small/4 因 32 GB GPU 内存不足而无法完成这项比较。
这个比较支持 PVT 整体设计有助于密集预测,但不能把 8.7 点全部归因于金字塔结构;SRA 与特征尺度等设置也不同。
深度与宽度的权衡
作者进一步探讨 PVT 应该更深还是更宽,以及不同阶段的特征图尺寸对性能的影响。
作者将 PVT-Small 的隐藏维度乘以 1.4 建立较宽版本,再与参数量接近的较深版本比较,如上表。
在这组消融中,较深版本为 4420 万参数、41.9 AP,较宽版本为 4680 万参数、40.8 AP;在参数量接近的条件下,较深版本表现较好。
治标不治本
最后,作者针对性能的部分做了一些讨论。
首先,随着输入规模增加,PVT 的 GFLOPs 增长率高于 ResNet,低于 ViT。
当图中的输入尺度不超过约 像素时,PVT-Small 和 ResNet50 的 GFLOPs 接近。
此外,当输入图像短边为 800 像素时,基于 PVT-Small 的 RetinaNet 在 V100 上每幅图像需 76.9 ms,比 ResNet50 的 55.9 ms 慢;若将 PVT-Small 的短边改为 640 像素,则为 51.7 ms、38.7 AP,但输入尺度已不同。
这显示本文测试的 PVT-Small 在较大输入下有速度代价。
结论
虽然在 2021 年这个时间点,本篇论文还是抓着 ResNet 和 ResNeXt 打,可能会让人觉得有点保守。
但本研究将金字塔结构引入 Transformer,以提供一个纯 Transformer 主干网,用于密集预测任务,而不是针对特定任务的头部或图像分类模型,为之后的研究提供了一个重要的方向。
此时也是基于 Transformer 的模型在计算机视觉中的应用的早期阶段,未来有许多潜在的技术和应用有待探索。