返回论文笔记资料库
arXiv 2022IEEE TPAMI 2024视觉 Transformer论文笔记

CAFormer

MetaFormer 使用说明书

原始论文

MetaFormer Baselines for Vision

论文作者

Weihao Yu · Chenyang Si · Pan Zhou …

查看全部 8 位作者

Weihao Yu · Chenyang Si · Pan Zhou · Mi Luo · Yichen Zhou · Jiashi Feng · Shuicheng Yan · Xinchao Wang

arXiv 首次提交
arXiv:2210.13452
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{visiontransformerscaformer2022,
  title = {{MetaFormer Baselines for Vision}},
  author = {Weihao Yu and Chenyang Si and Pan Zhou and Mi Luo and Yichen Zhou and Jiashi Feng and Shuicheng Yan and Xinchao Wang},
  year = {2022},
  eprint = {2210.13452},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2210.13452}
}
本页内容

作者发表了第一版的 MetaFormer 论文后,为了展示其性能,后续又再发了一篇论文。

这篇论文没有提出新的架构,而是基于上一篇论文提出的框架,向用户展示该如何搭建模型。

我们看完以后,认为这篇论文就是 MetaFormer 的使用说明书。

定义问题

作者手把手的教你怎么用 MetaFormer。

解决问题

模型架构

为了展示 MetaFormer 的性能,作者提出了四种 Token Mixer,用来查看不同的 Token Mixer 对模型性能的影响。

  1. Identity Token Mixer: 恒等映射,不做任何事情。
  2. Random Token Mixer: 使用随机初始化并冻结的矩阵,在 token 之间进行全局信息交换。
  3. Conv Token Mixer: 使用 MobileNetV2 式的倒置深度可分离卷积,依序经过逐点卷积、深度卷积与逐点卷积来交换信息。
  4. Self-Attention Token Mixer: 使用 Self-Attention 来进行信息交换,就是原始的 Transformer。

在模型的四个降采样阶段中,由上面四种 Token Mixer 组合出四个模型,分别是:

  1. IdentityFormer: 全部使用 Identity Token Mixer。
  2. RandFormer: 前两个阶段使用 Identity Token Mixer;后两个阶段使用 Random Token Mixer。
  3. ConvFormer: 全部使用 Conv Token Mixer,这也是个「全卷积」的架构。
  4. CAFormer: 前两个阶段使用 Conv Token Mixer;后两个阶段使用 Self-Attention Token Mixer。

StarReLU

完成基础架构之后,作者另外提出了一个新的激活函数 StarReLU。

此函数是从大家耳熟能详的激活函数 ReLU 和 GELU 演变而来。

首先,传统的 Transformer 模型中使用了 ReLU 作为激活函数,其数学表达式为:

ReLU(x)=max(0,x)\mathrm {ReLU}(x) = \mathrm {max}(0, x)

其中 xx 代表输入的神经元单元,计算成本为每个单元 1 FLOP。

随后,GPT 模型采用了 GELU 激活函数,并被许多后续的 Transformer 模型(如 BERT、GPT-3 和 ViT)广泛采用,GELU 的近似表示为:

GELU(x)=xΦ(x)≈0.5×x(1+tanh(2/π(x+0.044715×x3)))\mathrm {GELU}(x) = x\Phi (x) \approx 0.5 \times x(1 + \mathrm {tanh}(\sqrt {2 / \pi }(x + 0.044715 \times x^{3})))

其中 Φ(⋅)\Phi(·) 是高斯分布的累积分布函数。

GELU 相比 ReLU 虽然表现更好,但其计算成本高达 14 FLOPs。

为了简化 GELU,有研究提出用 Squared ReLU 来替代。

定义如下:

SquaredReLU(x)=xReLU(x)=(ReLU(x))2\mathrm {SquaredReLU}(x) = x\mathrm {ReLU}(x) = (\mathrm {ReLU}(x))^{2}

Squared ReLU 的计算成本仅为每个输入单元 2 FLOPs。

然而,研究发现 Squared ReLU 在某些图像分类模型上的表现不如 GELU,这可能是由于输出分布的偏移所致。举例来说,假设输入 xx 服从均值为 0、方差为 1 的正态分布,则

E((ReLU(x))2)=0.5,Var((ReLU(x))2)=1.25\mathrm {E}\left ((\mathrm {ReLU}(x))^2\right ) = 0.5, \qquad \mathrm {Var}\left ((\mathrm {ReLU}(x))^2\right ) = 1.25

为了解决这个问题,作者提出 StarReLU。

其定义为:

StarReLU(x)=(ReLU(x))2−E((ReLU(x))2)Var((ReLU(x))2)\mathrm {StarReLU}(x) = \frac {\left (\mathrm {ReLU}(x)\right )^2 - \mathrm {E}\left ((\mathrm {ReLU}(x))^2\right )}{\sqrt {\mathrm {Var}\left ((\mathrm {ReLU}(x))^2\right )}} =(ReLU(x))2−0.51.25= \frac {\left (\mathrm {ReLU}(x)\right )^2 - 0.5}{\sqrt {1.25}} ≈0.8944⋅(ReLU(x))2−0.4472\approx 0.8944 \cdot \left (\mathrm {ReLU}(x)\right )^2 - 0.4472

StarReLU 这种激活函数在计算中使用了较多的乘法,因此得名。

为了使其能适应不同的模型和初始化状况,缩放因子ss和偏移量bb被设置为可学习的参数。

其统一表达式为

StarReLU(x)=s⋅(ReLU(x))2+b\mathrm {StarReLU}(x) = s \cdot (\mathrm {ReLU}(x))^{2} + b

其中 ss 和 bb 是缩放和偏移的标量,对所有信道共享。这种形式的 StarReLU 计算成本仅为 4 FLOPs,比 GELU 的 14 FLOPs 要低得多,同时性能更好。

讨论

使用基本的 Token Mixer

  1. IdentityFormer 表现

    • 小型模型
      • IdentityFormer-S12: 性能优于 RSB-ResNet-18 4.0 个百分点
      • IdentityFormer-S24: 性能优于 RSB-ResNet-34 2.7 个百分点
    • 扩大模型尺寸
      • IdentityFormer-M48: 73M 参数,12G MAC,达到 80.4% 准确率
      • 比较:RSB-ResNet-50 的准确率为 79.8%
  2. RandFormer 表现

    • 在后两个阶段使用随机混合器替换 Identity Token Mixer
      • RandFormer-S12: 准确率 76.6%,超过 IdentityFormer-S12 2.0 个百分点
      • RandFormer-M48: 准确率 81.4%,超过 IdentityFormer-M48 1.0 个百分点
    • 中型和大型模型
      • RandFormer-M36: 准确率 81.2%,接近 RSB-ResNet-101 的 81.3%

    表中底线标示随机矩阵额外增加的冻结参数,例如 RandFormer-M48 的 0.9M。

MetaFormer 框架在这组实验中展现了稳定的下限:IdentityFormer-M48 即使不进行 Token 混合,仍以 73.3M 参数和 11.5G MAC 达到 80.4% 准确率。

RandFormer 的测试结果显示了 MetaFormer 与各种 Token Mixer 的良好兼容性。这表明,使用不同的 Token Mixer 时,MetaFormer 依然能够保持出色的性能。然而,与具有池化基础 Token Mixer 的 PoolFormerV2 相比,IdentityFormer 和 RandFormer 的性能仍有差距。

IdentityFormer 的性能较差是可以理解的,因为直接映射并不进行任何 Token 混合,导致其性能不如其他模型。而 RandFormer 和 PoolFormerV2 之间的性能差距则可能是由于池化的局部归纳偏差所引起的。这些差异进一步强调了 Token Mixer 在模型性能中的重要性。

使用常见的 Token Mixer

  1. ConvFormer 与 CAFormer 架构

    • ConvFormer 使用 MobileNetV2 式的倒置深度可分离卷积作为 Token Mixer。
    • CAFormer 在底部两个阶段使用可分离卷积,在顶部两个阶段使用普通自注意力构建。
  2. ConvFormer 表现

    • ConvFormer 明显优于强大的 CNN 模型 ConvNeXt。

      • 参考数据:ConvNeXt
      • ConvFormer-B36(100M 参数,22.6G MAC)在 224 × 224 分辨率下比 ConvNeXt-L(198M 参数,34.4G MAC)高出 0.5 个百分点的 top-1 精度,且只需 51% 的参数和 66% 的 MAC。
    • ConvFormer 的表现优于多种基于注意力的强模型或混合模型。

      • ConvFormer-M36 的 top-1 精度比 Swin-B/CoAtNet-2 高 1.0/0.4 个百分点,参数减少 35%/24%,MAC 减少 17%/18%。
  3. CAFormer 表现

    • CAFormer-B36 在不使用额外数据或蒸馏的一般监督训练下,于 ImageNet-1K 224 × 224 分辨率达到 85.5% top-1,为论文当时这项设置的新纪录。
    • 在 ImageNet-21K 上预训练时,ConvFormer-B36 和 CAFormer-B36 的表现分别提高到 87.0% 和 87.4%,相比 ImageNet-1K 训练的结果准确率提高了 2.2 和 1.9 个百分点。这组数字见原论文 Table VII,并非上图所列的 ImageNet-1K 训练结果。
    • 表中各尺寸的 CAFormer 在所列的 224 × 224 比较中取得具竞争力的准确率。

在 ImageNet-21K 预训练后、以 224 × 224 分辨率评估的比较中,ConvFormer-B36 的 top-1 精度为 87.0%,比 ConvNeXt-L 的 86.8% 高 0.2 个百分点,同时参数减少 49%,MAC 减少 34%。这表明,MetaFormer 框架在这组比较中展现了性能和资源使用方面的优势,即便仅配备「老式」的 Token Mixer,ConvFormer 和 CAFormer 已经取得了令人瞩目的性能。

消融实验

  1. 激活函数的影响

    • 以 ReLU 替换 StarReLU
      • ConvFormer-S18:性能从 83.0% 降至 82.1%。
      • CAFormer-S18:性能从 83.6% 降至 82.9%。
    • 以 Squared ReLU 替换 StarReLU
      • ConvFormer-S18 为 82.6%,略低于 GELU 的 82.7%;CAFormer-S18 两者同为 83.4%。
    • 比较 StarReLU 与 GELU
      • 使用 StarReLU 时,ConvFormer-S18 和 CAFormer-S18 准确率分别高 0.3 和 0.2 个百分点。
      • 激活函数本身的 FLOPs 减少 71%。
  2. StarReLU 变体的应用

    • 默认使用具有可学习尺度和偏差的 StarReLU,适用于不同模型和初始化。
  3. 其他技术的影响

    • ResScale
      • 在表中的残差分支缩放方案中表现最佳。
    • 重新激活每个区块的偏差
      • 对 ConvFormer-S18 无影响。
      • CAFormer-S18 从 83.6% 降至 83.5%。

结论

作者在这篇论文中展示了 MetaFormer 的性能,并提供了几个结论:

  1. MetaFormer 确保稳定性能

    使用直接映射作为 Token Mixer 的 IdentityFormer 模型,在 ImageNet-1K 上的准确率超过 80%。表明即使在基本配置下,MetaFormer 仍能提供强大的性能。

  2. MetaFormer 与任意 Token Mixer 的良好搭配

    使用随机矩阵作为 Token Mixer 的 RandFormer 模型,准确率超过 81%,优于 IdentityFormer。表示在采用新 Token Mixer 时,MetaFormer 的结果仍然值得信赖。

  3. MetaFormer 轻松达到最先进结果

    使用深度可分离卷积作为 Token Mixer 的 ConvFormer,表现优于强大的 CNN 模型 ConvNeXt。CAFormer 通过在底部阶段使用深度可分离卷积,在顶部阶段使用自注意力机制,在 ImageNet-1K 上创下新纪录,224 × 224 分辨率下,普通监督训练的 top-1 准确率达到 85.5%。

  4. 新激活函数 StarReLU

    与常用的 GELU 相比,StarReLU 将激活函数本身的 FLOPs 减少了 71%,且性能更佳。StarReLU 是 Squared ReLU 的变体,专注于减轻分布偏移问题,预期在 MetaFormer 类模型和其他神经网络中有很大的应用潜力。

MetaFormer 展现了实现最先进性能的巨大潜力,随着先进的 Token Mixer 或训练策略的引入,预期类似 MetaFormer 的模型性能将持续创下新纪录。