論文ノートライブラリに戻る
arXiv 2022IEEE TPAMI 2024Vision Transformer論文ノート

CAFormer

MetaFormer ユーザーマニュアル

原論文

MetaFormer Baselines for Vision

論文の著者

Weihao Yu · Chenyang Si · Pan Zhou …

著者全 8 名を表示

Weihao Yu · Chenyang Si · Pan Zhou · Mi Luo · Yichen Zhou · Jiashi Feng · Shuicheng Yan · Xinchao Wang

arXiv への初回投稿
arXiv:2210.13452
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{visiontransformerscaformer2022,
  title = {{MetaFormer Baselines for Vision}},
  author = {Weihao Yu and Chenyang Si and Pan Zhou and Mi Luo and Yichen Zhou and Jiashi Feng and Shuicheng Yan and Xinchao Wang},
  year = {2022},
  eprint = {2210.13452},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2210.13452}
}
このページの内容

著者は初版の MetaFormer 論文を発表した後、その性能を示すために、続けて別の論文を発表しました。

この論文では新しいアーキテクチャを提案するのではなく、前の論文で提案されたフレームワークに基づいて、ユーザーがどのようにモデルを構築すべきかを示しています。

私たちはこの論文を読んで、この論文こそが MetaFormer の使用説明書であると感じました。

問題の定義

著者が手取り足取り MetaFormer の使い方を教えてくれます。

問題の解決

モデルアーキテクチャ

MetaFormer の性能を示すために、著者は 4 つの Token Mixer を提案し、それぞれがモデルの性能に与える影響を調べました。

  1. Identity Token Mixer: 恒等写像、何もしません。
  2. Random Token Mixer: ランダムに初期化して凍結した行列 WR∈RN×NW_R\in\mathbb{R}^{N\times N} で、token 間の情報を全域で混合します。入力によって変わる注意マップではありません。
  3. Conv Token Mixer: MobileNetV2 型の倒置深度可分離畳み込みを使い、pointwise、depthwise、pointwise の順に情報を交換します。depthwise の kernel は 7、拡張率は 2 です。
  4. Self-Attention Token Mixer: Self-Attention を使用して情報交換を行います。これは元々の Transformer です。

モデルの 4 つのダウンサンプリング段階において、上記の 4 つの Token Mixer を組み合わせて 4 つのモデルを作成します。それぞれは次の通りです:

  1. IdentityFormer: すべて Identity Token Mixer を使用。
  2. RandFormer: 最初の 2 段階に Identity Token Mixer を使用し、残りの 2 段階に Random Token Mixer を使用。
  3. ConvFormer: すべて Conv Token Mixer を使用。このアーキテクチャは「完全畳み込み型」です。
  4. CAFormer: 最初の 2 段階に Conv Token Mixer を使用し、残りの 2 段階に Self-Attention Token Mixer を使用。

StarReLU

基礎アーキテクチャが完成した後、著者は新しい活性化関数である StarReLU を提案しました。

この関数は、広く知られている活性化関数である ReLU と GELU から進化したものです。

まず、ReLU の数学的表現は次のようになります:

ReLU(x)=max(0,x)\mathrm {ReLU}(x) = \mathrm {max}(0, x)

ここで、xxは入力されたニューロンの単位を表し、計算コストは各単位 1 FLOP です。

その後、GPT モデルでは GELU 活性化関数が採用され、BERT、GPT-3、ViT などの後続の Transformer モデルでも広く使用されました。GELU の近似表現は次のようになります:

GELU(x)=xΦ(x)≈0.5×x(1+tanh(2/π(x+0.044715×x3)))\mathrm {GELU}(x) = x\Phi (x) \approx 0.5 \times x(1 + \mathrm {tanh}(\sqrt {2 / \pi }(x + 0.044715 \times x^{3})))

ここで、Φ(⋅)\Phi(·)はガウス分布の累積分布関数です。

GELU は ReLU と比較して優れた性能を示しますが、その計算コストは 14 FLOPs に達します。

GELU を簡略化するために、研究では Squared ReLU を代替として提案しました。

定義は次のようになります:

SquaredReLU(x)=xReLU(x)=(ReLU(x))2\mathrm {SquaredReLU}(x) = x\mathrm {ReLU}(x) = (\mathrm {ReLU}(x))^{2}

Squared ReLU の計算コストは、各入力単位で 2 FLOPs に過ぎません。

しかし、Squared ReLU は一部の画像分類モデルで GELU よりも劣ることがあり、出力分布の偏りが原因かもしれません。以下の平均と分散は、入力 xx が平均 0、分散 1 の正規分布に従うと仮定した場合です:

E((ReLU(x))2)=0.5,Var((ReLU(x))2)=1.25\mathrm {E}\left ((\mathrm {ReLU}(x))^2\right ) = 0.5, \qquad \mathrm {Var}\left ((\mathrm {ReLU}(x))^2\right ) = 1.25

この問題を解決するために、著者は StarReLU を提案しました。

その定義は次のようになります:

StarReLU(x)=(ReLU(x))2−E((ReLU(x))2)Var((ReLU(x))2)\mathrm {StarReLU}(x) = \frac {\left (\mathrm {ReLU}(x)\right )^2 - \mathrm {E}\left ((\mathrm {ReLU}(x))^2\right )}{\sqrt {\mathrm {Var}\left ((\mathrm {ReLU}(x))^2\right )}} =(ReLU(x))2−0.51.25= \frac {\left (\mathrm {ReLU}(x)\right )^2 - 0.5}{\sqrt {1.25}} ≈0.8944⋅(ReLU(x))2−0.4472\approx 0.8944 \cdot \left (\mathrm {ReLU}(x)\right )^2 - 0.4472

StarReLU は計算中に多くの乗算を使用しているため、この名前が付けられました。

さまざまなモデルや初期化状況に適応できるように、スケーリング因子ssとオフセットbbは学習可能なパラメータとして設定されています。

その統一された表現は次のようになります:

StarReLU(x)=s⋅(ReLU(x))2+b\mathrm {StarReLU}(x) = s \cdot (\mathrm {ReLU}(x))^{2} + b

ここで、ssとbbはスケーリングとオフセットのスカラーで、すべてのチャネルで共有されます。論文の計数では、この形式の StarReLU は入力あたり 4 FLOPs、GELU は 14 FLOPs です。差は活性化演算の FLOPs で、ネットワーク全体の速度ではありません。実際、融合されていない PyTorch 実装では GELU より遅い場合もあります。性能は後述の消融実験で比較します。

討論

基本的 Token Mixer の使用

  1. IdentityFormer のパフォーマンス

    • 小型モデル
      • IdentityFormer-S12: 74.6% で、RSB-ResNet-18 より 4.0 ポイント高い
      • IdentityFormer-S24: 78.2% で、RSB-ResNet-34 より 2.7 ポイント高い
    • モデルサイズの拡大
      • IdentityFormer-M48: 73.3M パラメータ、11.5G MAC、精度 80.4%
      • 比較: RSB-ResNet-50 の精度は 79.8%
  2. RandFormer のパフォーマンス

    • 後半 2 段階の Identity Token Mixer を凍結ランダム行列に置き換えた場合
      • RandFormer-S12: 精度 76.6%、IdentityFormer-S12 より 2.0 ポイント高い。凍結行列の 0.2M パラメータが加わる
      • RandFormer-M48: 精度 81.4%、IdentityFormer-M48 より 1.0 ポイント高い。凍結行列の 0.9M パラメータが加わる
    • 中型および大型モデル
      • RandFormer-M36: 精度 81.2%、RSB-ResNet-101 の 81.3% に近い

この実験で、IdentityFormer-M48 は token 混合を行わずに 80.4% に達しました。MetaFormer の骨格の強さを示しますが、パラメータ数や MAC が近ければ必ず 80% を超えるという保証ではありません。

RandFormer のテスト結果は、MetaFormer がさまざまな Token Mixer と良好な互換性を持っていることを示しています。これにより、異なる Token Mixer を使用しても、MetaFormer は引き続き優れた性能を維持できることが確認されました。しかし、プーリングベースの Token Mixer を使用した PoolFormerV2 と比較すると、IdentityFormer と RandFormer の性能には差が見られます。

IdentityFormer の性能が劣るのは理解できます。なぜなら、直接的なマッピングは Token の混合を行わず、そのため他のモデルに比べて性能が劣るからです。また、RandFormer と PoolFormerV2 の間の性能差は、プーリングによる局所的な帰納的偏りが原因である可能性があります。これらの違いは、Token Mixer がモデルの性能において重要な役割を果たすことをさらに強調しています。

一般的な Token Mixer の使用

  1. ConvFormer と CAFormer のアーキテクチャ

    • ConvFormer は MobileNetV2 の深層可分離畳み込みを Token Mixer として使用しています。
    • CAFormer は下位の 2 段階で深層可分離畳み込みを使用し、上位の 2 段階で通常の自己注意機構を使用して構築されています。
  2. ConvFormer のパフォーマンス

    • ConvFormer は強力な CNN モデル ConvNeXt よりも明らかに優れています。

      • 参考資料:ConvNeXt
      • ConvFormer-B36(84.8%、100M パラメータ、22.6G MAC)は 224×224 解像度で ConvNeXt-L(84.3%、198M パラメータ、34.4G MAC)よりも 0.5 ポイント高い top-1 精度を示し、パラメータは約 51%、MAC は約 66% です。
    • ConvFormer は多くの基づいた注意機構を用いた強力なモデルやハイブリッドモデルよりも優れています。

      • ConvFormer-M36 は Swin-B/CoAtNet-2 よりそれぞれ 1.0/0.4 ポイント高い精度を示し、パラメータは 35%/24%、MAC は 17%/18% 少なくなります。
  3. CAFormer のパフォーマンス

    • CAFormer-B36 は外部データや蒸留を使わない通常の教師あり ImageNet-1K 訓練で、224×224 解像度の top-1 精度 85.5% に達しました。論文発表時のこの条件での新記録です。同じ表の MViTv2-L は 85.3%/218M パラメータ/42.1G MAC で、CAFormer-B36 は 99M/23.2G MAC です。
    • ImageNet-21K での事前訓練時、ConvFormer-B36 と CAFormer-B36 の性能はそれぞれ 87.0% と 87.4% に向上し、ImageNet-1K での訓練結果よりもそれぞれ 2.2/1.9 ポイント高くなりました。これは別の訓練データ条件です。
    • 表中の 224×224 と 384×384 の結果は分けて比較します。全モデル・全条件で常に CAFormer が勝つという結果ではありません。

ImageNet-21K で事前訓練した同じ 224×224 の比較では、ConvFormer-B36 の top-1 は 87.0%、ConvNeXt-L は 86.8% です。ConvFormer-B36 のパラメータは約 49%、MAC は約 34% 少なくなります。この条件では、古典的な Token Mixer でも優れた精度と資源効率を示しています。大画像の物体検出へ転用するとき、CAFormer の注意機構はメモリ節約のため sliding window に制限されます。

消融実験

  1. 活性化関数の影響

    • StarReLU を ReLU に置き換える
      • ConvFormer-S18: パフォーマンスは 83.0% から 82.1% に低下。
      • CAFormer-S18: パフォーマンスは 83.6% から 82.9% に低下。
    • StarReLU を Squared ReLU に置き換える
      • ConvFormer-S18 は 82.6% で GELU の 82.7% より少し低く、CAFormer-S18 は両方 83.4% です。
    • StarReLU と GELU の比較
      • StarReLU では ConvFormer-S18 と CAFormer-S18 の精度がそれぞれ 0.3/0.2 ポイント高くなります。
      • 論文の計数では、活性化演算の FLOPs を約 71% 削減します。
  2. StarReLU の変種の適用

    • デフォルトでは、学習可能なスケールとオフセットを持つ StarReLU が使用され、さまざまなモデルと初期化に適応します。
  3. その他の技術の影響

    • ResScale
      • 分岐出力スケーリング技術で最良のパフォーマンスを示す。
    • 各ブロックのバイアスを再び有効にする
      • ConvFormer-S18 には影響なし。
      • CAFormer-S18 の精度は 83.6% から 83.5% に下がります。

結論

著者はこの論文で MetaFormer の性能を示し、いくつかの結論を提供しました:

  1. MetaFormer はこの実験で強い基準性能を示す

    Token Mixer として恒等写像を使用した IdentityFormer-M48 は ImageNet-1K で 80.4% に達しました。基本的な構成でも強力な性能を示します。

  2. MetaFormer は任意の Token Mixer と良好に連携

    凍結したランダム行列を Token Mixer として使用した RandFormer-M48 は 81.4% に達し、対応する IdentityFormer より 1.0 ポイント高くなりました。異なる Token Mixer でも、MetaFormer が良い結果を出せることを示します。

  3. MetaFormer は最先端の結果を簡単に達成

    深層可分離畳み込みを Token Mixer として使用した ConvFormer-B36 は、上記の ImageNet-1K 比較で ConvNeXt-L より 0.5 ポイント高い精度でした。CAFormer は下位段階で深層可分離畳み込み、上位段階で自己注意機構を使用し、論文当時、外部データや蒸留を使わない 224 × 224 の通常の教師あり ImageNet-1K 訓練で top-1 精度 85.5% に達しました。

  4. 新しい活性化関数 StarReLU

    GELU と比較して、StarReLU は論文の計数で活性化演算の FLOPs を約 71% 削減し、S18 の二つの消融では精度が 0.3/0.2 ポイント高くなりました。StarReLU は Squared ReLU の変種であり、分布の偏り問題を軽減することに焦点を当てています。実際の遅延は実装と機器で測る必要があります。

MetaFormer は、この論文の条件で高い性能を実現する可能性を示しました。今後 Token Mixer や訓練戦略を変える際も、モデル規模、解像度、訓練データと実機の速度を合わせて検証したいところです。