返回论文笔记资料库
arXiv 2022CVPR 2022经典卷积网络论文笔记

ConvNeXt

让卷积再次伟大

原始论文

A ConvNet for the 2020s

论文作者

Zhuang Liu · Hanzi Mao · Chao-Yuan Wu · Christoph Feichtenhofer · Trevor Darrell · Saining Xie

发表版本
CVPR 2022会议
arXiv 首次提交
arXiv:2201.03545
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{classiccnnsconvnext2022,
  title = {{A ConvNet for the 2020s}},
  author = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  year = {2022},
  eprint = {2201.03545},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2201.03545}
}
本页内容

回顾 2010 年代,深度学习在这一时期取得显着进步,对多个领域产生了深远影响。

推动这一进展的核心是神经网络的复兴,特别是卷积神经网络(ConvNet)。

在过去十年中,视觉辨识领域成功从手工特征转向了卷积神经网络架构的设计。

虽然卷积神经网络的概念最早可追溯至 20 世纪 80 年代,但直至 2012 年,我们才真正见证到其在视觉特征学习方面的潜力,这一转折点由 AlexNet 的出现标志,开启了电脑视觉新纪元的「ImageNet 时刻」。

此后,该领域快速进展,代表作包括:

这些里程碑式研究强调了效率和可扩展性,普及了许多实用的设计原则。

但是,这一切都在 ViT 问世之后嘎然而止。

定义问题

视觉变换器(ViT)的引入彻底颠覆了网络架构设计。除了最初的「切片」层将图像切割成多个补丁外,ViT 没有引入特定于图像的归纳偏差,只对原始的 NLP Transformer 进行了最小的修改。

ViT 的一大优势是其扩展能力:随着模型和数据集的增大,其性能显着超越标准的 ResNet。

为了弥补性能上的差距,分层 Transformer 采用了混合策略。例如,「滑动视窗」策略重新引入了局部注意力机制,使 Transformer 在行为上更接近于 ConvNet。

Swin Transformer 是这方面的里程碑,它首次证明了 Transformer 可以作为通用的视觉主干,在图像分类以外的多种计算机视觉任务中达到最先进的性能。

Swin Transformer 的成功和快速被接受,同时显示出卷积的本质仍然难以取代。

从这些进展来看,许多视觉变换器的进步实际上是在恢复卷积的优势。

然而,这些尝试代价不菲:滑动视窗自注意力的实现可能成本高昂,通过循环移位等先进方法可以提升效率,但使系统设计更加复杂。

讽刺的是,ConvNet 已经具备了许多所需的属性,尽管是以简单、朴素的方式。

ConvNet 失去动力的唯一原因是 Transformers 在许多视觉任务中超越了它们。

作者认为:事情不应该这样。

解决问题

重新设计网络架构

为了简单起见,作者从 ResNet-50 开始,并将规模相近的 Swin Transformer 作为参考比较对象。

引入现代训练技术

ViT 不仅带来新的网络架构,还引入了许多现代训练技术,因此作者在什么都没有改变的情况下,首先将 ViT 的训练技术应用于 ConvNet。

宏观设计

这个部分有两个设计考虑因素:

  1. 阶段计算比率

    在 ResNet 中,跨阶段计算分布的设计主要是基于经验的。

    例如,ResNet 在 stage-4 阶段旨在与下游任务(如目标检测)相容,其中检测器头在 14×14 的特征平面上运作。

    与之类似,Swin-T 也遵循相同的原理,但阶段计算比例略有不同,为 1:1:3:1。对于更大的 Swin Transformer,该比例为 1:1:9:1。

    为了保持与 Swin-T 一致的 FLOP,我们将 ResNet-50 的每个阶段的区块数从 (3, 4, 6, 3) 调整为 (3, 3, 9, 3)。

从现在开始,模型将使用这一阶段的计算比率。

  1. Stem 结构设计

    在卷积网络中,stem 是指一开始输入的那一层。

    通常会用来进行降采样,以便快速降低输入的空间尺寸。

    在 ViT 中,stem 是一个 patchify 层,将图像分割成一系列 Patchs,使用的大小为 16×16 的大核卷积。

    在 Swin-T 中,stem 是一个 4x4 大小和步长为 4 的卷积。

    这里作者采用和 Swin-T 一样的设计,并将 ResNet-50 的 stem 调整为 4×4 的非重叠卷积。

ResNeXt-ify

在这一部分中,作者尝试采用了 ResNeXt 的设计理念,该模型相比于普通的 ResNet 具有更好的 FLOPs/准确性权衡。

ResNeXt 的核心设计是分组卷积,其中卷积滤波器被分成不同的群组。

ResNeXt 的指导原则是「使用更多组,扩展宽度」,因此在 3×3 卷积层采用分组卷积。

在本论文的例子中,作者使用了深度卷积,这是分组卷积的一种特殊形式,其中组的数量等于通道的数量。

深度卷积类似于自注意力中的加权和运算,它在每个通道的基础上进行操作,即仅混合空间维度上的信息。

使用深度卷积有效地减少了网络的 FLOPs,但预期会降低准确性。

这一步在图中使 FLOPs 降至 2.4G,Top-1 准确率则从 79.5% 降至 78.3%。

按照 ResNeXt 的策略,作者将网络宽度增加到与 Swin-T 相同的通道数(从 64 增加到 96)。

Inverted Bottleneck

在 Transformer 每个区块中都有一个反向瓶颈结构,一般使用 4 的膨胀率。

在之后,MobileNetV2 也推广这个概念,差异在于膨胀后加入一个 3x3 的深度卷积。

上图 (a) 是 ResNeXt 的基本结构,而 (b) 则是本文参照 MobileNetV2 反向瓶颈设计的结构,(c) 是另外一种选择,把 3x3 的深度卷积移动到前面,是为了下一章大核卷积探索做准备。

大核卷积

在 ViT 中的非局部自注意力是其一个重要特性,这使得网络在每一层都有全局的感受野。

这与传统的 ConvNet 使用较小核心(如 3×3,由 VGGNet 普及)形成对比。

为了探索大内核的应用,文章提出了将深度卷积层向上移动的策略,类似于在 Transformers 中将 MHSA 区块放在 MLP 层之前的做法。

单独移动深度卷积能减少 FLOPs,但在这一步准确率暂时从 80.6% 降到 79.9%。

通过这些调整后,研究中测试了不同的内核大小(3×3 至 11×11):

  • 3x3:79.9%
  • 7x7:80.6%

作者发现将内核大小增加到 7×7 能使网络性能从 79.9% 提升到 80.6%,且此时 FLOPs 大致不变。

进一步增加内核大小(超过 7×7)在 ResNet-200 模型中没有显示进一步的性能增益,显示出在 7×7 大小时达到性能饱和。

微观设计

  1. 用 GELU 取代 ReLU

    整流线性单元(ReLU)由于其简单性和计算效率,在卷积神经网络(ConvNet)中一直是首选的启动函数。

    高斯误差线性单元(GELU),作为 ReLU 的一个更平滑的变体,逐渐在最先进的 Transformer 模型中获得青睐,如 Google 的 BERT 和 OpenAI 的 GPT-2。

    作者在 ConvNet 中将 ReLU 替换为 GELU,模型的准确率保持不变。

  1. 减少启动函数

    在 Transformer 架构中,特别是在 MLP 区块中,通常只会使用一种启动函数。

    相比之下,ResNet 模块中的实践是在每个卷积层之后使用启动函数,甚至是在较小的 1×1 卷积层之后。

    作者在残差网络区块中移除了所有的 GELU 启动层,除了在两个 1×1 卷积层之间保留一层,以此模仿 Transformer 区块的风格。

    这种调整让性能有所提升,准确率从 80.6% 提高 0.7 个百分点至 81.3%,与 Swin-T 的性能相近。

  1. 减少 Normalization 层

    在 Transformer 中通常有比较少的 Normalization 层,而在 ConvNet 中,Batch Normalization 在每个卷积层之后都会出现。

    因此,作者删除另外两个 Batch Normalization 层,只保留在 1x1 卷积之前使用。

  1. 用 LayerNorm 替换 BatchNorm

    Transformers 中使用了更简单的 Layer Normalization,从而在不同的应用场景中获得了良好的性能。

    在原始 ResNet 中直接以 LN 取代 BN 会导致性能不理想。

    通过网络架构和训练技术的所有修改,作者重新审视使用 LN 取代 BN 的影响,并发现 ConvNet 模型在使用 LN 进行训练时没有任何困难。

  1. 降采样层

    在 ResNet 架构中,空间降维是通过每个阶段开始的残差区块实现的,主要使用步长为 2 的 3×3 卷积层,以及在捷径连接中使用步长为 2 的 1×1 卷积层。

    相较于 ResNet,Swin Transformers 在阶段之间增加了独立的降维层。作者也尝试以步长为 2 的 2×2 卷积作为独立降采样层,但直接替换会使训练发散。

    进一步的调查显示,在空间解析度发生变化的地方增加标准化层可以帮助稳定训练。

    这包括在 Swin Transformers 中使用的多个层归一化(LN)层:在每个降维层之前、在 stem 之后和在最终的全局平均池化之后各添加一个。

    基于这些结果,作者决定在其最终模型中使用独立的降维层,并将此模型命名为 ConvNeXt。

讨论

总结模型配置

这些模型是对 ResNet 架构的「现代化」升级,各个变体主要在通道数(C)和每个阶段中区块的数量(B)上有所区别。

以下是每种型号的特定配置:

  1. ConvNeXt-T(Tiny 版):

    • 通道数 C = (96, 192, 384, 768)
    • 每阶段区块数 B = (3, 3, 9, 3)
  2. ConvNeXt-S(Small 版):

    • 通道数 C = (96, 192, 384, 768)
    • 每阶段区块数 B = (3, 3, 27, 3)
  3. ConvNeXt-B(Base 版):

    • 通道数 C = (128, 256, 512, 1024)
    • 每阶段区块数 B = (3, 3, 27, 3)
  4. ConvNeXt-L(Large 版):

    • 通道数 C = (192, 384, 768, 1536)
    • 每阶段区块数 B = (3, 3, 27, 3)
  5. ConvNeXt-XL(Extra Large 版):

    • 通道数 C = (256, 512, 1024, 2048)
    • 每阶段区块数 B = (3, 3, 27, 3)

每个新阶段的通道数增加一倍,这是遵循类似于 ResNet 和 Swin Transformers 的设计理念。

这种分级设计允许不同规模的模型在处理不同大小或复杂度的数据集时,能够提供更灵活和高效的性能表现。

ImageNet 上的性能

前面路线图中的 82.0% 是 ResNet-50 规模消融实验的三次随机种子平均值;下表 ConvNeXt-T 的最终结果为 82.1%。

  1. ImageNet-1K 性能比较:

    • ConvNeXt 与 ConvNet 基准比较:ConvNeXt 在精确度和推理吞吐量方面能够与强大的 ConvNet 基准(如 RegNet 和 EfficientNet)竞争。
    • 与 Swin Transformers 比较:ConvNeXt 在具有相似复杂性的情况下,通常性能优于 Swin Transformers,例如表中 ConvNeXt-T 比 Swin-T 高出 0.8 个百分点。ConvNeXt 在没有依赖移动视窗或相对位置偏差等专用模组的情况下,也显示出更高的吞吐量。
    • 特定模型性能:例如,ConvNeXt-B 在解析度增加时(从 224² 到 384²),相对于 Swin-B,在 FLOPs/吞吐量上的优势更为显着;于 384² 的 Top-1 准确率高出 0.6 个百分点(85.1% vs 84.5%),V100 推理吞吐量高出 12.5%。
  2. ImageNet-22K 性能比较:

    • 大规模预训练的影响:通常认为视觉 Transformer 在大规模预训练时可能表现较佳,但实验结果显示,适当设计的 ConvNet(如 ConvNeXt)在大规模预训练后,表现与类似大小的 Swin Transformer 相当甚至更好,且吞吐量略高。
    • ConvNeXt-XL 的性能:经 ImageNet-22K 预训练、于 ImageNet-1K 微调并以 384² 图像评估后,ConvNeXt-XL 的 Top-1 准确率达到 87.8%,显示出 ConvNeXt 架构的可扩展性。
  3. ConvNeXt 架构的优势:

    • 在 ImageNet-1K 上,EfficientNetV2-L 在渐进式训练程式下实现了最佳性能。
    • 通过 ImageNet-22K 预训练,表中 ConvNeXt-XL 的准确率高于 EfficientNetV2-XL(87.8% vs. 87.3%);前者也使用更多参数与 FLOPs,解读时要一并看成本。

结论

在 2020 年代,随着像 Swin Transformers 这样的分层视觉 Transformers 的崛起,传统的卷积神经网络似乎逐渐被视为较不优越的选择。

然而,本文所提出的 ConvNeXt 模型展示了在保持结构简单性和效率的同时,仍能在多个电脑视觉基准上与最先进的视觉 Transformer 竞争。

这场战争,方兴未艾!