A ConvNet for the 2020s
- 発表先
- CVPR 2022国際会議
- arXiv への初回投稿
- arXiv:2201.03545
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{classiccnnsconvnext2022,
title = {{A ConvNet for the 2020s}},
author = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
year = {2022},
eprint = {2201.03545},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2201.03545}
}
2010 年代を振り返ると、深層学習はこの期間に著しい進展を遂げ、多くの分野に深遠な影響を与えました。
この進展を牽引した中心は、ニューラルネットワークの復活、特に畳み込みニューラルネットワーク(ConvNet)でした。
過去 10 年間、視覚認識の分野は手作りの特徴量から畳み込みニューラルネットワークのアーキテクチャ設計に移行することに成功しました。
畳み込みニューラルネットワークの概念は 1980 年代にさかのぼりますが、視覚特徴の学習におけるその潜力が本当に証明されたのは 2012 年であり、この転換点は AlexNet の登場によって示され、コンピュータビジョンの新しい時代の「ImageNet の瞬間」が開かれました。
その後、この分野は急速に進展し、代表的な作品には以下があります:
- [14.09] VGG
- [14.09] GoogLeNet
- [15.12] ResNet
- [16.08] DenseNet
- [17.04] MobileNet
- [19.05] EfficientNet
- [20.03] RegNet
これらの画期的な研究は効率性とスケーラビリティを強調し、多くの実用的な設計原則を普及させました。
しかし、ViT の登場で研究の関心は急速に Transformer へ移りました。
問題の定義
視覚 Transformer(ViT)の導入は、ネットワークアーキテクチャの設計を大きく変えました。最初の層で画像をパッチに分けるほかは、画像に特化した帰納的バイアスをあまり加えず、NLP の Transformer を最小限に修正しています。
ViT の大きな利点は、その拡張性にあります:モデルとデータセットが大きくなるにつれて、その性能は標準的な ResNet を大きく上回ります。
性能差を埋めるため、階層的 Transformer はハイブリッドな設計を採用しました。例えば Swin の「シフトウィンドウ」は局所的な注意機構を導入し、Transformer の動作を ConvNet に近づけました。
Swin Transformer はこの面での里程標となり、Transformer が汎用的な視覚バックボーンとして、画像分類以外のタスクでも高い性能を出せることを示しました。
Swin Transformer の成功と迅速な受け入れは、畳み込みの本質が依然として置き換えが難しいことを示しています。
これらの進展を踏まえ、実際には多くの視覚変換器の進展は畳み込みの利点を復活させるものでした。
しかし、これらの試みには費用がかかります。局所ウィンドウの自己注意やシフトの処理には実装コストがあり、システム設計も複雑になります。
皮肉なことに、ConvNet はすでに多くの必要な特性を備えており、シンプルで素朴な方法でそれを実現しています。
ConvNet への関心が薄れた背景には、Transformer が多くの視覚タスクでそれを上回ったこともあります。
著者は言います:この状況は本来あるべきではない。
解決策
ネットワークアーキテクチャの再設計
簡単にするため、著者は ResNet-50 を出発点にし、計算量が近い Swin-T を比較対象としました。上図は各変更を順に積み重ねた消融実験で、後の変更を単独で加えた結果ではありません。図の終点 82.0% と後述する Table 1 の 82.1% は別々の報告値です。
現代的なトレーニング技術の導入
ViT の時代には学習手法も進みました。そのため著者は、まず ResNet の構造を変えずに、現代的な学習設定を適用するところから始めました。以下の手法には ViT より前からあるものも含まれます。
-
トレーニング時間を 90 エポックから 300 エポックに増加。
-
AdamW オプティマイザを使用。
-
画像強化技術を使用:
-
正則化スキームの使用:
マクロ設計
この部分には二つの設計上の考慮点があります:
-
ステージのブロック配分
ResNet では、ステージ間の計算分布の設計は主に経験に基づいています。
例えば、ResNet の stage-4 は下流のタスク(物体検出など)との互換性を持たせることを目的としています。検出器ヘッドは 14×14 の特徴平面で動作します。
Swin-T の各ステージのブロック数の比は 1:1:3:1 で、より大きな Swin Transformer では 1:1:9:1 になります。これは計算量の厳密な比率ではありません。
FLOPs を Swin-T に近づけるため、著者は ResNet-50 の各ステージのブロック数を (3, 4, 6, 3) から (3, 3, 9, 3) に調整しました。これらはブロック数であり、計算量の正確な比率ではありません。
この後のモデルは、変更したブロック配分を使います。
-
Stem 構造設計
ConvNet における stem は、入力が最初に通過する層を指します。
通常、入力の空間的なサイズを早期に縮小するために使用されます。
ViT では、stem は 16×16 の大きな畳み込み核を使用したパッチ化層です。
Swin-T では、stem は 4×4 のサイズで、ストライドが 4 の畳み込みです。
ここで著者は Swin-T と同じ設計を採用し、ResNet-50 の stem を 4×4 の非重複畳み込みに調整しました。
ResNeXt 化
この部分では、著者は ResNeXt の設計思想を採用しました。このモデルは通常の ResNet よりも FLOPs/精度のバランスが良いです。
ResNeXt のコア設計はグループ畳み込みであり、畳み込みフィルタは異なるグループに分けられます。
ResNeXt の指針は「もっと多くのグループを使い、幅を広げる」というもので、3×3 の畳み込み層でグループ畳み込みを採用します。
この論文では depthwise convolution を使います。これはグループ畳み込みの特別な形式で、グループ数がチャネル数と等しくなります。
Depthwise convolution は各チャネルの空間情報を混合する点で自己注意の一部の役割に似ています。ただし畳み込み核は学習後に固定され、自己注意の重みは通常、入力に応じて変わります。
Depthwise convolution だけに変更すると、FLOPs は約 4.4G から 2.4G に減り、top-1 精度も 79.5% から 78.3% に下がりました。
ResNeXt の戦略に従って、著者はネットワークの幅を Swin-T と同じチャネル数(64 から 96 へ)に増加させました。
逆瓶頸
Transformer の MLP では、隠れた次元を通常四倍に広げてから元に戻します。
MobileNetV2 の逆ボトルネックも、チャネルを広げてから縮める設計です。ただし、この論文の Figure 3(b) は MobileNetV2 の元のブロックそのものではありません。
上図 (a) は ResNeXt 型の基本構造、(b) は MobileNetV2 に着想を得た本論文の逆ボトルネック、(c) は depthwise convolution を 1×1 の拡張より前へ移した構造です。(c) は次章の大きなカーネルを試す準備になります。
大きな畳み込み核
ViT における非局所的な自己注意は、その重要な特性の一つであり、これによりネットワークは各層で全体の感受野を持ちます。
これは、従来の ConvNet が使用する小さなカーネル(例えば 3×3、VGGNet によって普及)とは対照的です。
大きなカーネルを試すため、著者は depthwise convolution を前方に移します。これは Transformer で MHSA ブロックを MLP の前に置く順序に似ています。
Depthwise convolution を前へ移すと FLOPs は約 4.1G に減りましたが、この段階では精度が 80.6% から 79.9% に下がりました。
これらの調整後、異なるカーネルサイズ(3×3 から 11×11)をテストしました:
- 3x3:79.9%
- 7x7:80.6%
著者はカーネルサイズを 7×7 にすると、精度が 79.9% から 80.6% に戻ることを見つけました。FLOPs は約 4.2G で、ほぼ同じ規模です。
カーネルサイズをさらに増加させても(7×7 を超えて)、ResNet-200 モデルではさらなる性能向上は見られませんでした。
微細設計
-
GELU への ReLU の置き換え
ReLU(整流線形単位)は、そのシンプルさと計算効率により、畳み込みニューラルネットワーク(ConvNet)では常に最も選ばれる活性化関数です。
GELU(ガウス誤差線形単位)は、ReLU のより滑らかな変種として、Google の BERT や OpenAI の GPT-2 など、最先端の Transformer モデルで徐々に人気を集めています。
著者は ConvNet で ReLU を GELU に置き換えましたが、モデルの精度には変化がありませんでした。
-
活性化関数の削減
原論文 Figure 4:三つのブロックの演算と残差経路を比較します。 Transformer アーキテクチャ、特に MLP ブロックでは通常、活性化関数が一つだけ使用されます。
対照的に、ResNet モジュールでは、各畳み込み層の後、さらには小さな 1×1 畳み込み層の後にも活性化関数が使用されることが一般的です。
著者は、残差ネットワークブロック内のすべての GELU 活性化層を削除し、1×1 畳み込み層の間に 1 層だけを残して、Transformer ブロックのスタイルを模倣しました。
この調整により、性能が向上し、精度は元の 80.6%から 81.3%に増加し、Swin-T とほぼ同等の性能となりました。
-
Normalization 層の削減
Transformer では通常、Normalization 層が少なく、ConvNet では Batch Normalization(BN)が各畳み込み層の後に使用されます。
そのため、著者はさらに 2 つの Batch Normalization 層を削除し、1x1 畳み込みの前にのみ保持しました。
-
BatchNorm を LayerNorm に置き換える
Transformer では、より簡単な Layer Normalization(LN)が使用されており、これによりさまざまなアプリケーションで優れた性能を発揮しています。
元の ResNet で BN を LN に直接置き換えると性能が低下します。
ネットワークアーキテクチャとトレーニング技術のすべての修正を経て、著者は LN を使用した場合の影響を再評価し、ConvNet モデルは LN でトレーニングする際に問題がないことを発見しました。
-
ダウンサンプリング層
ResNet アーキテクチャでは、空間的なダウンサンプリングは各ステージの最初に始まる残差ブロックで実現され、主にストライド 2 の 3×3 畳み込み層とショートカット接続でストライド 2 の 1×1 畳み込み層が使用されます。
これに対し、Swin Transformer は各ステージ間に独立したダウンサンプリング層を置きます。著者も stride 2 の 2×2 畳み込みを試しましたが、単純に置き換えると学習が発散しました。
さらなる調査により、空間解像度が変化する場所に Normalization 層を追加することで、トレーニングが安定することがわかりました。
これには、Swin Transformers で使用される複数の Layer Normalization(LN)層が含まれます:各ダウンサンプリング層の前、stem の後、および最終的なグローバル平均プーリング後にそれぞれ追加されます。
これらの結果を基に、著者は最終モデルに独立したダウンサンプリング層を使用し、これを ConvNeXt というモデル名で呼ぶことにしました。
討論
モデル設定の概要
これらのモデルは、ResNet アーキテクチャの「現代的な」アップグレードであり、各バリアントは主にチャネル数(C)と各ステージのブロック数(B)に違いがあります。
以下は各モデルの特定の設定です:
-
ConvNeXt-T(Tiny 版):
- チャネル数 C = (96, 192, 384, 768)
- 各ステージのブロック数 B = (3, 3, 9, 3)
-
ConvNeXt-S(Small 版):
- チャネル数 C = (96, 192, 384, 768)
- 各ステージのブロック数 B = (3, 3, 27, 3)
-
ConvNeXt-B(Base 版):
- チャネル数 C = (128, 256, 512, 1024)
- 各ステージのブロック数 B = (3, 3, 27, 3)
-
ConvNeXt-L(Large 版):
- チャネル数 C = (192, 384, 768, 1536)
- 各ステージのブロック数 B = (3, 3, 27, 3)
-
ConvNeXt-XL(Extra Large 版):
- チャネル数 C = (256, 512, 1024, 2048)
- 各ステージのブロック数 B = (3, 3, 27, 3)
各新しいステージでチャネル数が倍増するのは、ResNet および Swin Transformers の設計理念に従っています。
この階層的な設計は、異なるサイズや複雑さのデータセットを処理する際に、さまざまな規模のモデルがより柔軟で効率的な性能を提供できることを可能にします。
ImageNet 上での性能
前の Figure 2 の 82.0% は三つの乱数シードによる消融実験の平均値で、Table 1 の ConvNeXt-T の最終結果は 82.1% です。
-
ImageNet-1K 性能比較:
- ConvNeXt と ConvNet のベンチマーク比較:ConvNeXt は精度と推論スループットにおいて、強力な ConvNet ベンチマーク(RegNet や EfficientNet など)と競り合える性能を発揮します。
- Swin Transformers との比較:ConvNeXt は近い計算量の Swin Transformer と競り合います。224×224 入力の ConvNeXt-T は Swin-T より top-1 精度が 0.8 ポイント高く(82.1% 対 81.3%)、V100 のスループットも 774.7 対 757.9 枚/秒です。ConvNeXt にはシフトウィンドウや相対位置バイアスの専用モジュールがありません。
- 特定のモデル性能:384×384 入力では、ConvNeXt-B の top-1 精度は Swin-B より 0.6 ポイント高く(85.1% 対 84.5%)、V100 スループットは 95.7 対 85.1 枚/秒で約 12.5% 高い値です。FLOPs は 45.0G 対 47.1G です。
-
ImageNet-22K 性能比較:
- 大規模事前学習の影響:通常、視覚変換器は大規模事前学習でより良いパフォーマンスを発揮すると考えられていますが、実験結果では適切に設計された ConvNet(ConvNeXt など)は、大規模事前学習後に Swin Transformer と同等かそれ以上のパフォーマンスを示し、スループットがわずかに高いことが示されました。
- ConvNeXt-XL の性能:ImageNet-22K で事前学習し、ImageNet-1K で微調整して 384×384 で評価した ConvNeXt-XL は top-1 精度 87.8% に達しました。
-
ConvNeXt アーキテクチャの優位性:
- ImageNet-1K では、EfficientNetV2-L が漸進的トレーニングプロセスで最良のパフォーマンスを達成しました。
- 表では ConvNeXt-XL が EfficientNetV2-XL (21k) より 0.5 ポイント高い精度です(87.8% 対 87.3%)。ただし事前学習データの版が異なり、パラメータ数は 350M 対 208M、FLOPs は 179.0G 対 94.0G、V100 スループットは 30.2 対 56.5 枚/秒です。
結論
2020 年代において、Swin Transformers のような階層的視覚変換器の台頭により、従来の畳み込みニューラルネットワークは徐々に優れた選択肢ではなくなったように見えます。
しかし、この記事で提案された ConvNeXt モデルは、構造のシンプルさと効率性を保ちながら、最先端の視覚変換器と競り合うことができることを示しています。
この戦いはまだ終わっていません!