返回论文笔记资料库
arXiv 2021ICCV 2021视觉 Transformer论文笔记

Swin Transformer

舞会开始

原始论文

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

论文作者

Ze Liu · Yutong Lin · Yue Cao …

查看全部 8 位作者

Ze Liu · Yutong Lin · Yue Cao · Han Hu · Yixuan Wei · Zheng Zhang · Stephen Lin · Baining Guo

发表版本
ICCV 2021会议
arXiv 首次提交
arXiv:2103.14030
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{visiontransformersswintransformer2021,
  title = {{Swin Transformer: Hierarchical Vision Transformer using Shifted Windows}},
  author = {Ze Liu and Yutong Lin and Yue Cao and Han Hu and Yixuan Wei and Zheng Zhang and Stephen Lin and Baining Guo},
  year = {2021},
  eprint = {2103.14030},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2103.14030}
}
本页内容

同一时期提出的 PVT,同样是将卷积网络的层级式结构引入 Transformer 中。

PVT 使用 SRA 机制(Spatial Reduction Attention)来减少注意力机制的运算量,但这样的做法并没有真正解决问题,注意力机制的平方复杂度仍然存在。

定义问题

在本论文中,作者要对标的对象还是原始的 ViT 架构,主要存在几个问题:

多尺度检测能力

原始 ViT 通常将输入切成 16 x 16 的 patch,此后每一层都在同一尺度上对这些 patch 做自注意力运算。若不加适配,用于检测、分割等任务时,多尺度特征与局部细节会比较欠缺。

平方复杂度

做目标检测,肯定不会只用 224 x 224 的输入图像。

大图像的输入会导致注意力机制的计算量变得非常大,举例来说,原本 224 x 224 的图像得到的 patch 数量是 14 x 14 = 196;如果是 1536 x 1536 的图像,patch 数量就会变成 96 x 96 = 9216。用这个数量进行 自注意力运算不是一般人能承受的。这也是为什么 ViT 在大图像上的应用受限的原因。

解决问题

模型架构

为了让模型可以处理多尺度的问题,首先得采用一个层级式的架构,如上图(Swin-T 架构)。

输入一张 H x W x 3 的图像,使用 4 x 4 的方式切割成 patch,然后将特征维度投影到 C 维度,这样就得到了一个 H/4 x W/4 x C 的特征图。上图中的 48 指的是一个 patch 内有 4 x 4 x 3 个像素,然后转换到 C 维度,这里的 C 是 96。

接着经过一组 Swin-Transformer blocks。这些区块交替使用一般窗口注意力(W-MSA)和移位窗口注意力(SW-MSA),两个相邻区块组成一对,所以上图中各阶段的区块数量为 2 的倍数。

降采样的方式采用 patch merging:将相邻的 2 x 2 个 patch 合并为一个 token,先串接它们的特征。所以如果原本的尺寸是 H x W x C,串接后就会变成 H/2 x W/2 x 4C。

来看个示意图:

为了控制通道数量,最后作者会在 LayerNorm 后使用线性层,将通道数量从 4C 调整到 2C。

看完基础架构后,接着我们来看看 Swin blocks 的细节。

滑动窗口

根据论文内容:

  • 每个 patch 的尺寸是 4 x 4 pixel,也就是上图的灰色方形。
  • 每个 7 x 7 个 patch 组成一个窗口,这个超参数叫做 M,这里 M=7。

模型只会在每个窗口上进行自注意力计算,因此每个注意力序列的长度是 49,随着图像尺寸增加,每个窗口序列长度不变,只有窗口数量增加,计算量最后变成 49 x N。如此一来,就可以将原本的平方复杂度降低为线性复杂度。

但这样的设计方式,就造成了窗口之间的信息无法流通,那怎么能发挥出 Transformer 的优势呢?

于是作者提出 Shifted Window:下一个区块改用错开的切窗边界,上图右的示例是 4 x 4 窗口位移两个 patch;预设的 7 x 7 窗口则位移三个 patch。新的窗口会跨过上一层的窗口边界,让其中的 patch 能交换信息。

新的问题

使用这个方法会带来新的问题:

若原本有 N×NN \times N 个窗口,直接移动切窗边界,可能变成 (N+1)×(N+1)(N+1) \times (N+1) 个大小不一的窗口。例如论文中的 2 x 2 窗口示例会变成 3 x 3;若逐个补到固定大小再计算,注意力的工作量就增加了。

这显然不能被作者接受。

为了解决这个问题,作者提出了一个特殊的掩码方式。

循环移位(Cyclic Shift)

如上图,作者把整张特征图向左上方做 cyclic shift,再重新切成固定大小的窗口;位移后原本落在边缘的区域会绕回另一侧。这样可以让每个批次仍处理与一般切窗相同数量的窗口。

经过循环移位后,我们重新得到和一般切窗一样多的固定大小窗口,不必为额外的小窗口逐一填充。

但循环搬移后,有些固定大小窗口包含原图中不相邻的区域;作者使用掩码阻止这些区域互相注意,同时保留移位后真正相邻的 patch 之间的交互。

特殊掩码

这一段的内容比较复杂,我们必须服用作者在 github 上的说明:

我们依序来看这个掩码设计,由于我们在计算的过程中,必须把每个窗口内的 patch 拉直,进行一一对应:

  1. 第一个是完整的窗口,因此我们不需要进行注意力掩码。
  2. 第二个窗口,依左侧 Image Mask 的编号,包含 1、2 两个原本不相邻的区域。
  1. 第三个窗口包含 3、6 两个原本不相邻的区域。
  1. 第四个窗口包含 4、5、7、8 四个区域。

反向移位

经过循环移位和特殊掩码的设计,作者成功地解决了窗口之间的信息流通问题,并且保持了线性复杂度。在上述过程算完之后,要进行反向移位,把窗口移回原本的位置,这样就可以得到完整的特征图。

如果没有做这个步骤,那我们会得到一个不断往右下角移动的特征图,这样的特征图可能会对后续的任务造成困扰。

讨论

ImageNet-1K 上的表现

对于图像分类,作者在 ImageNet-1K 上对提出的 Swin Transformer 进行基准测试。

这个数据集包含来自 1,000 个类别的 128 万张训练图像和 5 万张验证图像,以下是训练设置:

  • 优化器:AdamW
  • 训练周期:300 个
  • 学习率调度器:余弦衰减
  • 线性预热:20 个周期
  • 批量大小:1024
  • 初始学习率:0.001
  • 权重衰减:0.05
  • 增强和正则化策略:包含大多数的策略,但不包括重复增强和 EMA,因为它们不会提高性能。

上表展示了与其他主干网络的比较,包括使用常规 ImageNet-1K 训练的基于 Transformer 和基于 ConvNet 的主干网络。

与先前最先进的基于 Transformer 的架构(如 DeiT)相比,Swin Transformers 有明显的性能提升。

  • Swin-T (81.3%) 比 DeiT-S (79.8%) 高出 1.5 个百分点,但表中的吞吐量较低(755.2 对 940.4 张/秒)。
  • Swin-B (83.5%/84.5%) 比 DeiT-B (81.8%/83.1%) 在 224/384 输入下分别高出 1.7 和 1.4 个百分点。

与 ConvNet 架构(如 RegNet 和 EfficientNet)相比,表中各模型的精度、输入尺寸与吞吐量各有取舍。例如 224 输入的 Swin-B 为 83.5%/278.1 张每秒,RegNetY-16G 为 82.9%/334.7 张每秒;不能只凭单一数字说所有 Swin 配置都较快。虽然 RegNet 和 EfficientNet 是通过架构搜索获得的,但所提出的 Swin Transformer 是根据标准 Transformer 改编的,仍有改进空间。

目标检测-设置

这个架构主要就是为了解决多尺度问题,因此在目标检测任务上的表现反而更为重要。

目标检测和实例分割实验在 COCO 2017 数据集上进行,该数据集包含 118K 训练图像、5K 验证图像和 20K 测试开发图像。

对于消融研究,作者考虑了四种典型的目标检测框架:

  1. Cascade Mask R-CNN
  2. ATSS
  3. RepPoints v2
  4. Sparse RCNN

这四个框架使用相同的训练设置:

  • 多尺度训练:调整输入大小,使短边在 480 到 800 之间,而长边最多 1333。
  • 优化器:AdamW(初始学习率为 0.0001,权重衰减为 0.05,批量大小为 16)。
  • 训练周期:3x 调度(36 个周期)。

对于系统层级比较,作者采用改进的 HTC(HTC++),具有以下特点:

  • instaboost
  • 更强的多尺度训练
  • 6x 调度(72 个周期)
  • soft-NMS
  • 使用 ImageNet-22K 预训练模型进行初始化

作者将 Swin Transformer 与标准 ConvNet(如 ResNe(X)t)和先前的 Transformer 网络(如 DeiT)进行比较,尽量维持检测框架与训练设置一致。Swin Transformer 和 ResNe(X)t 具有分层特征图,能够直接应用于上述框架;DeiT 只产生单一分辨率的特征图,因此比较时另外使用反卷积层来建构分层特征图,并非只替换主干网络就能直接使用。

Swin vs ResNe(X)t

上表 (a) 列出了 Swin-T 和 ResNet-50 在四种目标检测框架上的结果。

  • Swin-T 比 ResNet-50 带来一致的 +3.4∼4.2 box AP 增益
  • 模型大小、FLOP 和延迟稍大。

上表 (b) 比较了使用 Cascade Mask RCNN 的不同模型容量下的 Swin Transformer 和 ResNe(X)t。

  • 在 Cascade Mask R-CNN 中,Swin-B 实现了 51.9 box AP 和 45.0 mask AP;相比于模型大小、FLOPs 和延迟相近的 ResNeXt101-64x4d,分别高出 3.6 box AP 和 3.3 mask AP。

在使用改进的 HTC++ 框架时,上表 (c) 的 mini-val 列中,ResNeXt101-64x4d 是 52.3 box AP/46.0 mask AP,Swin-B 是 56.4/49.1,分别高出 4.1 与 3.1 AP。

推理速度方面,虽然 ResNe(X)t 使用高度优化的 Cudnn 函数构建,而 Swin Transformer 使用的是未完全优化的内建 PyTorch 函数,但优化内核超出了本文的范围,所以不讨论。

Swin vs DeiT

使用 Cascade Mask R-CNN 框架的 DeiT-S 的性能如上表 (b) 所示。

  • Swin-T 的结果比 DeiT-S 高出 +2.5 box AP 和 +2.3 mask AP,模型大小相似(86M vs. 80M),且推理速度显著更高(15.3 FPS vs. 10.4 FPS)。

DeiT 的推理速度较低主要是由于其输入图像大小的二次复杂度。

Swin vs SOTA

表 (c) 将最佳结果与先前最先进模型的结果进行了比较。

  • Swin-L 搭配 HTC++、ImageNet-22K 预训练与多尺度测试,在 COCO test-dev 上得到 58.7 box AP 和 51.1 mask AP;分别比表中的 Copy-paste 56.0 box AP 与 DetectoRS 48.5 mask AP 高 2.7、2.6 AP。这是系统层级的跨方法比较,与只替换主干网络的消融不同。

通过这些比较和实验结果,作者总结:

  • Swin Transformer 在多个目标检测框架中均显示出显著优于 ResNe(X)t 和 DeiT 的性能。
  • 在表 (b) 所列的近似模型规模对照中,Swin Transformer 提高了目标检测和实例分割的精度;不同框架与系统设置的成本仍须分别比较。
  • 尽管目前推理速度受到 PyTorch 函数未完全优化的影响,但 Swin Transformer 仍展示了强大的性能潜力。

消融实验

最后,作者详细介绍了其在图像分类和目标检测任务中针对 Swin Transformer 进行的消融研究,旨在验证关键设计元素的有效性。

  1. 移位窗口 (Shifted Windows)

    作者首先探讨了移位窗口的效果。

    实验表明,使用移位窗口的 Swin-T 模型在各个任务中均优于使用单窗口分区的方法:

    • 在 ImageNet-1K 上,top-1 准确率提高了 1.1 个百分点。
    • 在 COCO 上,框 AP 提高了 2.8,掩模 AP 提高了 2.2。
    • 在 ADE20K 上,mIoU 提高了 2.8。

    这些结果显示了移位窗口在早期图层中有效建立窗口之间连接的能力。此外,移位窗口带来的延迟开销很小。

  2. 相对位置偏差 (Relative Position Bias)

    接下来,作者比较了不同位置嵌入方法的效果。 结果显示,具有相对位置偏差的 Swin-T 在各个任务中均显著优于无位置编码和绝对位置嵌入的方法:

    • 在 ImageNet-1K 上,top-1 准确率分别高出 1.2 和 0.8 个百分点。
    • 在 COCO 上,框 AP 提高了 1.3 和 1.5,掩模 AP 提高了 1.1 和 1.3。
    • 在 ADE20K 上,mIoU 提高了 2.3 和 2.9。

    这表明,相对位置偏差在图像分类、目标检测和语义分割任务中均具有效性。

  3. 不同的自注意力方法 (Different Self-Attention Methods)

    最后,作者比较了不同自注意力计算方法的实际速度。

    与直接填充小窗口的移位实现相比,循环移位使 Swin-T、Swin-S 和 Swin-B 的整体 FPS 分别从 670/371/236 提高到 755/437/278,约快 13%/18%/18%。表中的逐点滑动窗口另有 naive 与优化 kernel 两种实现;循环移位的速度优势也要对照具体实现。

    作者还比较了同为 Swin-T 主干的移位窗口与 Performer:表 5 的整体吞吐量为 755 对 638 FPS,表 6 的 ImageNet-1K top-1 准确率为 81.3% 对 79.0%,相差 2.3 个百分点。逐点滑动窗口的 top-1 为 81.4%,与移位窗口相近,但表 5 中的两种滑动实现都较慢。

结论

Swin Transformer 是一种视觉 Transformer,能产生分层特征表示;窗口大小固定时,注意力计算复杂度随输入图像大小线性增长。在论文所测试的 COCO 目标检测和 ADE20K 语义分割设置下,它取得了当时领先的结果,超过表中比较的方法。

最后,作者指出 Swin Transformer 的关键是移位窗口的操作,他期待这个设计也可以在后续的 NLP 领域中得到应用,成为一个通用的 Transformer 模型。