返回论文笔记资料库
arXiv 2022TMLR 2023视觉 Transformer论文笔记

ConvMixer

卷积混合器

原始论文

Patches Are All You Need?

论文作者

Asher Trockman · J. Zico Kolter

arXiv 首次提交
arXiv:2201.09792
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{visiontransformersconvmixer2022,
  title = {{Patches Are All You Need?}},
  author = {Asher Trockman and J. Zico Kolter},
  year = {2022},
  eprint = {2201.09792},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2201.09792}
}
本页内容

这几年常看到 「XXX is all you need」 的标题。

看到这种标题,我们就忍不住想来看看,这次又怎么了。

定义问题

在 ViT 提出后的近几年,大家都想知道为什么 Transformer 可以这么厉害。到底是因为自注意力机制?还是因为 Token-Mixer 的机制?还是因为整个架构的设计?

在这篇论文中,作者想探讨 ViT 的强大是否来自于 Patchify 的机制。于是,他们提出了 ConvMixer,目的在移除自注意力机制的影响,如果在这种的情况下,模型的性能仍然能够保持,那么就可以证明 Patchify 的机制「在某种程度上」是非常重要的。

解决问题

模型架构

这里作者保留 ViT 以 patch 为输入、在各层维持相同解析度的思路,但用卷积建立另一种架构,主要差异有两个:

  1. 将原本的 Self-Attention 模块替换成了 Convolution 模块。

    如上图,我们对改动的地方进行额外的标示。红字是笔记后加的说明;右边把 Pointwise Convolution 和 FFN 说成「相同」并不精确,下面会分开说。

    一开始同样将图像切成 patch,但以卷积核和步幅都等于 patch 大小的卷积建立嵌入,并保留二维排列。在 Token-Mixer 的部分,作者将原本的 Self-Attention 模块换成 Depthwise Convolution。

    这样的改动让原本每个 Token 在单层中可以看到其他所有 Token,变成了每层只混合自己「附近」的 Token(取决于卷积核的大小);堆叠多层后,感受野仍会扩大。如此一来,自注意力机制就不见了,可以借此观察 patch 表示在这组模型中的作用。

  2. 将原本的 MLP 替换成了 Pointwise Convolution。

    Pointwise Convolution 在每个空间位置混合通道,功能类似逐 token 的线性层,但不能直接等同于完整的两层 MLP。

    会特别写出来是因为这些通道混合操作可以通过 1×1 卷积来实现;图中后面还接着 GELU 与 BatchNorm。

训练策略

作者没有引入额外的训练数据,而是直接使用 ImageNet 进行训练。

训练配置和其他模型差不多,使用 RandAugment、MixUp 等方法进行训练。优化器使用 AdamW,但 Epoch 数量比较少,这部分根据论文所描述,是因为算力不足。

模型参数设计

上图是论文主表的模型配置与结果;ConvMixer 模型的设计参数主要有以下四个:

  1. 宽度(hidden dimension, h):即补丁嵌入的维度,也称为模型的隐藏维度。

  2. 深度(depth, d):ConvMixer 层的重复次数,表示模型的深度。

  3. 补丁大小(patch size, p):控制模型内部解析度的参数。这个参数决定了输入图像在进行卷积时的初始划分大小。

  4. 内核大小(kernel size, k):深度卷积层的内核大小,影响卷积操作的范围。

ConvMixer 模型通常依照其隐藏维度和深度来命名,例如 ConvMixer-h/d。此外,ConvMixer 支援可变大小的输入,内部解析度则是由原始输入大小 n 除以补丁大小 p 决定的。

讨论

在 ImageNet 上的表现

ConvMixer-1536/20 的性能优于 ResNet-152,即使其参数数量少得多。ConvMixer-768/32 在仅使用 ResNet-152 三分之一参数的情况下,也能达到类似的准确性。

ConvMixer-1536/20 尽管其参数数量相对较少,但主表的 81.37% 高于 ResMLP-B24/8 的 81.0%,接近 DeiT-B 的 81.8%,展示了这组设定下的参数效率。DeiT 和 ResMLP 的结果涉及较多超参数调整;ConvMixer 主表采用未调参的设定,附录另列调整正则化后的 82.20%,不可和主表的设定混为一谈。

上图是论文 Figure 1 的参数量与准确率关系;前面的附录表则显示 patch 大小的取舍:ConvMixer-1536/20 将 patch 由 7 改为 14,top-1 从 81.37% 降到 78.92%,但吞吐量由 134 增至 538 img/sec;只看准确率或速度都会漏掉另一面。

结论

这篇文章中提出了 ConvMixer 来弱化自注意力机制的影响,用于探索 Patchify 的机制。

实验结果显示:把自注意力机制拔掉之后,模型性能仍然能够保持,于是作者做了两个总结:

  1. Patchify 的机制确实是重要的。
  2. ConvMixer 的操作简单,性能优秀,也是个值得推荐的操作。