MetaFormer Baselines for Vision
- arXiv 首次提交
- arXiv:2210.13452
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{visiontransformerscaformer2022,
title = {{MetaFormer Baselines for Vision}},
author = {Weihao Yu and Chenyang Si and Pan Zhou and Mi Luo and Yichen Zhou and Jiashi Feng and Shuicheng Yan and Xinchao Wang},
year = {2022},
eprint = {2210.13452},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2210.13452}
}
作者发表了第一版的 MetaFormer 论文后,为了展示其性能,后续又再发了一篇论文。
这篇论文没有提出新的架构,而是基于上一篇论文提出的框架,向用户展示该如何搭建模型。
我们看完以后,认为这篇论文就是 MetaFormer 的使用说明书。
定义问题
作者手把手的教你怎么用 MetaFormer。
解决问题
模型架构
为了展示 MetaFormer 的性能,作者提出了四种 Token Mixer,用来查看不同的 Token Mixer 对模型性能的影响。
- Identity Token Mixer: 恒等映射,不做任何事情。
- Random Token Mixer: 使用随机初始化并冻结的矩阵,在 token 之间进行全局信息交换。
- Conv Token Mixer: 使用 MobileNetV2 式的倒置深度可分离卷积,依序经过逐点卷积、深度卷积与逐点卷积来交换信息。
- Self-Attention Token Mixer: 使用 Self-Attention 来进行信息交换,就是原始的 Transformer。
在模型的四个降采样阶段中,由上面四种 Token Mixer 组合出四个模型,分别是:
- IdentityFormer: 全部使用 Identity Token Mixer。
- RandFormer: 前两个阶段使用 Identity Token Mixer;后两个阶段使用 Random Token Mixer。
- ConvFormer: 全部使用 Conv Token Mixer,这也是个「全卷积」的架构。
- CAFormer: 前两个阶段使用 Conv Token Mixer;后两个阶段使用 Self-Attention Token Mixer。
StarReLU
完成基础架构之后,作者另外提出了一个新的激活函数 StarReLU。
此函数是从大家耳熟能详的激活函数 ReLU 和 GELU 演变而来。
首先,传统的 Transformer 模型中使用了 ReLU 作为激活函数,其数学表达式为:
其中 代表输入的神经元单元,计算成本为每个单元 1 FLOP。
随后,GPT 模型采用了 GELU 激活函数,并被许多后续的 Transformer 模型(如 BERT、GPT-3 和 ViT)广泛采用,GELU 的近似表示为:
其中 是高斯分布的累积分布函数。
GELU 相比 ReLU 虽然表现更好,但其计算成本高达 14 FLOPs。
为了简化 GELU,有研究提出用 Squared ReLU 来替代。
定义如下:
Squared ReLU 的计算成本仅为每个输入单元 2 FLOPs。
然而,研究发现 Squared ReLU 在某些图像分类模型上的表现不如 GELU,这可能是由于输出分布的偏移所致。举例来说,假设输入 服从均值为 0、方差为 1 的正态分布,则
为了解决这个问题,作者提出 StarReLU。
其定义为:
StarReLU 这种激活函数在计算中使用了较多的乘法,因此得名。
为了使其能适应不同的模型和初始化状况,缩放因子和偏移量被设置为可学习的参数。
其统一表达式为
其中 和 是缩放和偏移的标量,对所有信道共享。这种形式的 StarReLU 计算成本仅为 4 FLOPs,比 GELU 的 14 FLOPs 要低得多,同时性能更好。
讨论
使用基本的 Token Mixer
-
IdentityFormer 表现
- 小型模型
- IdentityFormer-S12: 性能优于 RSB-ResNet-18 4.0 个百分点
- IdentityFormer-S24: 性能优于 RSB-ResNet-34 2.7 个百分点
- 扩大模型尺寸
- IdentityFormer-M48: 73M 参数,12G MAC,达到 80.4% 准确率
- 比较:RSB-ResNet-50 的准确率为 79.8%
- 小型模型
-
RandFormer 表现
- 在后两个阶段使用随机混合器替换 Identity Token Mixer
- RandFormer-S12: 准确率 76.6%,超过 IdentityFormer-S12 2.0 个百分点
- RandFormer-M48: 准确率 81.4%,超过 IdentityFormer-M48 1.0 个百分点
- 中型和大型模型
- RandFormer-M36: 准确率 81.2%,接近 RSB-ResNet-101 的 81.3%
表中底线标示随机矩阵额外增加的冻结参数,例如 RandFormer-M48 的 0.9M。
- 在后两个阶段使用随机混合器替换 Identity Token Mixer
MetaFormer 框架在这组实验中展现了稳定的下限:IdentityFormer-M48 即使不进行 Token 混合,仍以 73.3M 参数和 11.5G MAC 达到 80.4% 准确率。
RandFormer 的测试结果显示了 MetaFormer 与各种 Token Mixer 的良好兼容性。这表明,使用不同的 Token Mixer 时,MetaFormer 依然能够保持出色的性能。然而,与具有池化基础 Token Mixer 的 PoolFormerV2 相比,IdentityFormer 和 RandFormer 的性能仍有差距。
IdentityFormer 的性能较差是可以理解的,因为直接映射并不进行任何 Token 混合,导致其性能不如其他模型。而 RandFormer 和 PoolFormerV2 之间的性能差距则可能是由于池化的局部归纳偏差所引起的。这些差异进一步强调了 Token Mixer 在模型性能中的重要性。
使用常见的 Token Mixer
-
ConvFormer 与 CAFormer 架构
- ConvFormer 使用 MobileNetV2 式的倒置深度可分离卷积作为 Token Mixer。
- CAFormer 在底部两个阶段使用可分离卷积,在顶部两个阶段使用普通自注意力构建。
-
ConvFormer 表现
-
ConvFormer 明显优于强大的 CNN 模型 ConvNeXt。
- 参考数据:ConvNeXt
- ConvFormer-B36(100M 参数,22.6G MAC)在 224 × 224 分辨率下比 ConvNeXt-L(198M 参数,34.4G MAC)高出 0.5 个百分点的 top-1 精度,且只需 51% 的参数和 66% 的 MAC。
-
ConvFormer 的表现优于多种基于注意力的强模型或混合模型。
- ConvFormer-M36 的 top-1 精度比 Swin-B/CoAtNet-2 高 1.0/0.4 个百分点,参数减少 35%/24%,MAC 减少 17%/18%。
-
-
CAFormer 表现
- CAFormer-B36 在不使用额外数据或蒸馏的一般监督训练下,于 ImageNet-1K 224 × 224 分辨率达到 85.5% top-1,为论文当时这项设置的新纪录。
- 在 ImageNet-21K 上预训练时,ConvFormer-B36 和 CAFormer-B36 的表现分别提高到 87.0% 和 87.4%,相比 ImageNet-1K 训练的结果准确率提高了 2.2 和 1.9 个百分点。这组数字见原论文 Table VII,并非上图所列的 ImageNet-1K 训练结果。
- 表中各尺寸的 CAFormer 在所列的 224 × 224 比较中取得具竞争力的准确率。
在 ImageNet-21K 预训练后、以 224 × 224 分辨率评估的比较中,ConvFormer-B36 的 top-1 精度为 87.0%,比 ConvNeXt-L 的 86.8% 高 0.2 个百分点,同时参数减少 49%,MAC 减少 34%。这表明,MetaFormer 框架在这组比较中展现了性能和资源使用方面的优势,即便仅配备「老式」的 Token Mixer,ConvFormer 和 CAFormer 已经取得了令人瞩目的性能。
消融实验
-
激活函数的影响
- 以 ReLU 替换 StarReLU
- ConvFormer-S18:性能从 83.0% 降至 82.1%。
- CAFormer-S18:性能从 83.6% 降至 82.9%。
- 以 Squared ReLU 替换 StarReLU
- ConvFormer-S18 为 82.6%,略低于 GELU 的 82.7%;CAFormer-S18 两者同为 83.4%。
- 比较 StarReLU 与 GELU
- 使用 StarReLU 时,ConvFormer-S18 和 CAFormer-S18 准确率分别高 0.3 和 0.2 个百分点。
- 激活函数本身的 FLOPs 减少 71%。
- 以 ReLU 替换 StarReLU
-
StarReLU 变体的应用
- 默认使用具有可学习尺度和偏差的 StarReLU,适用于不同模型和初始化。
-
其他技术的影响
- ResScale
- 在表中的残差分支缩放方案中表现最佳。
- 重新激活每个区块的偏差
- 对 ConvFormer-S18 无影响。
- CAFormer-S18 从 83.6% 降至 83.5%。
- ResScale
结论
作者在这篇论文中展示了 MetaFormer 的性能,并提供了几个结论:
-
MetaFormer 确保稳定性能
使用直接映射作为 Token Mixer 的 IdentityFormer 模型,在 ImageNet-1K 上的准确率超过 80%。表明即使在基本配置下,MetaFormer 仍能提供强大的性能。
-
MetaFormer 与任意 Token Mixer 的良好搭配
使用随机矩阵作为 Token Mixer 的 RandFormer 模型,准确率超过 81%,优于 IdentityFormer。表示在采用新 Token Mixer 时,MetaFormer 的结果仍然值得信赖。
-
MetaFormer 轻松达到最先进结果
使用深度可分离卷积作为 Token Mixer 的 ConvFormer,表现优于强大的 CNN 模型 ConvNeXt。CAFormer 通过在底部阶段使用深度可分离卷积,在顶部阶段使用自注意力机制,在 ImageNet-1K 上创下新纪录,224 × 224 分辨率下,普通监督训练的 top-1 准确率达到 85.5%。
-
新激活函数 StarReLU
与常用的 GELU 相比,StarReLU 将激活函数本身的 FLOPs 减少了 71%,且性能更佳。StarReLU 是 Squared ReLU 的变体,专注于减轻分布偏移问题,预期在 MetaFormer 类模型和其他神经网络中有很大的应用潜力。
MetaFormer 展现了实现最先进性能的巨大潜力,随着先进的 Token Mixer 或训练策略的引入,预期类似 MetaFormer 的模型性能将持续创下新纪录。