MetaFormer Is Actually What You Need for Vision
- 発表先
- CVPR 2022国際会議
- arXiv への初回投稿
- arXiv:2111.11418
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{visiontransformerspoolformer2021,
title = {{MetaFormer Is Actually What You Need for Vision}},
author = {Weihao Yu and Mi Luo and Pan Zhou and Chenyang Si and Yichen Zhou and Xinchao Wang and Jiashi Feng and Shuicheng Yan},
year = {2021},
eprint = {2111.11418},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2111.11418}
}
Transformer アーキテクチャが視覚領域に導入された後、研究の波が巻き起こりました。
過去の研究では、多くの人が Token-Mixer の性能向上に取り組み、一部の人々は Patchify プロセスの最適化に取り組んでいました。
しかし、これらの研究は重要な問題を無視していました:フレームワーク。
問題の定義
この「フレームワーク」は、Transformer を構成する基本的な構造を指します。具体的には以下の要素を含みます:
入力埋め込み (Input Embedding)
この部分は画像をベクトルシーケンスに変換する過程で、通常は CNN を用いて行われます。
Token-Mixer
この部分は「Token 間」の混合を行うもので、通常は Transformer の Self-Attention を用いて行います。
最近の研究では、Token-Mixer の Self-Attention を MLP に置き換える MLP-Mixer という概念が導入されました。設計によっては計算量を減らせます。
チャネル MLP (Channel MLP)
この部分は各 Token 内の「次元間」の混合を行います。
この部分は主に MLP を使って実行されます。
Token-Mixer は重要でない?
著者は、Transformer の中で基づいている注意機構の Token-Mixer が成功にどれだけ貢献しているのか、それとも Transformer 全体のアーキテクチャ(MetaFormer)がより重要なのかを探ることを試みました。
彼らは、元々の注意モジュールをシンプルなプーリング演算子に置き換えて実験を行い、MetaFormer アーキテクチャそのものがモデルの性能に重要な役割を果たすかどうかを検証しました。
解決問題
モデルアーキテクチャ
著者は MetaFormer の重要性を検証するために、Token-Mixer の役割を弱め、元々の Self-Attention モジュールをプーリング操作に置き換えました。この操作の単純さは、ほぼ恒等写像に次ぐものです。PoolFormer が使うのは局所的な平均プーリングで、各位置が近くの token の特徴を集めます。
さらに、著者は PVT などと似た四段階の階層構造を採用し、CNN モデルのように段階ごとに空間解像度を下げました。
プーリング操作について、著者は実装の詳細を以下のように示しています:
import torch.nn as nn
class Pooling(nn.Module):
def __init__(self, pool_size=3):
super().__init__()
self.pool = nn.AvgPool2d(
pool_size,
stride=1,
padding=pool_size//2,
count_include_pad=False,
)
def forward(self, x):
"""
[B, C, H, W] = x.shape
入力自体との差分が追加されているのは、ブロックにすでに残差接続が
あるためです。
"""
return self.pool(x) - x
特に注目すべきは、実装中の self.pool(x) - x という部分で、初めて見ると少し混乱するかもしれません。
著者はコメントで、この理由を次のように説明しています。Token-Mixer の構造には残差接続の仕組みがあり、次のような式が成り立っています:
ここで x を引くと、Token-Mixer の出力は「近傍の平均値から現在の特徴を引いたもの」になります。ブロック側の残差接続はそのまま残ります。正規化をいったん無視すれば ですが、実際は先に を計算し、最初の残差経路は です。
モデル設定
四段階のブロック数は 1:1:3:1 の比率で、例えば S12 では 2、2、6、2 ブロックです。最初の patch embedding は 7×7、stride 4、後続の段階では 3×3、stride 2 で解像度を下げます。MLP の拡張比率は 4 です。
討論
ImageNet 実験
PoolFormer の実験結果は非常に驚くべきものでした。ImageNet-1K の表では、S24 が 21M パラメータ、3.4G MACs で 80.3% を出し、DeiT-S の 79.8% と ResMLP-S24 の 79.4% を上回ります。S36 は 31M パラメータ、5.0G MACs で 81.4% となり、PVT-Medium の 81.2% もわずかに上回ります。
単に「平均プーリング」を Token-Mixer の代替にしても、この比較では競争力のある結果が得られます。
上の表をグラフにすると、これらの比較では PoolFormer が少ないパラメータ数と MACs で高い精度を示すことがわかります。左の横軸は MACs、右はパラメータ数であり、実測の推論時間ではありません。
消融実験
PoolFormer の有効性をさらに検証するために、著者は PoolFormer-S12 の 77.2% を基準として、Token-Mixer、正規化、活性化関数をそれぞれ置き換え、残差や Channel MLP も個別に外して消融実験を行いました。
-
Token-Mixer
- 恒等写像
- プーリングを恒等写像に置き換えても 74.3% の top-1 精度を達成しましたが、S12 の基準より 2.9 ポイント低下しています。骨格の貢献を示すと同時に、Token-Mixer にも役割があるとわかります。
- 全域ランダム行列
- 初期化後に固定した全域ランダム行列で Token を混合すると 75.8% で、恒等写像より 1.5 ポイント高くなりました。この変種には約 21M の凍結パラメータが別にあり、表の 11.9M には含まれません。
- 深層畳み込み
- 深度方向畳み込みでプーリングを置き換えると 78.1% となり、PoolFormer-S12 より 0.9 ポイント高くなりました。
- 恒等写像
-
プーリングサイズ
- プーリングサイズを 3、5、7 でテストした結果、性能は似たようなものであり、デフォルトではプーリングサイズ 3 が選ばれました。
-
層標準化(MLN)の変更
- MLN は token と channel の両方の次元で平均と分散を計算します。この消融では LayerNorm/BatchNorm より、それぞれ 0.7/0.8 ポイント高くなりました。
- 標準化を削除すると、モデルの性能は 46.1%に低下しました。
-
GELU vs ReLU vs SiLU
- ReLU を使用すると、性能が 0.8 ポイント低下しました。
- SiLU を使用すると、性能は GELU と同じでした。
- デフォルトでは GELU を使用しています。
-
残差接続とチャンネル MLP
- 残差接続やチャンネル MLP がないと、モデルは収束せず、精度は 0.1%/5.7%にとどまりました。
-
混合モデル
- 下部の段階にプーリング、上部の段階に注意機構や空間 MLP ベースの混合器を使う変種です。下の二段をプーリング、上の二段を注意機構にした構成は、16.5M パラメータと 2.5G MACs で 81.0% の精度を達成しました。
- ResMLP-B24 と比較すると、116M のパラメータと 23G の MAC を必要とし、同じ精度に達するにはそれだけのリソースが必要です。
上記の消融実験に基づき、著者はいくつかの見解を提出しました:
- この消融では MetaFormer の骨格そのものが精度に明らかに貢献している。
- シンプルなプーリングを Token-Mixer として使用するだけでも競争力のある性能が得られる。
- このモデルの消融では、MLN は通常の LayerNorm や BatchNorm よりも良い。
- このモデルでは、残差接続と Channel MLP が欠かせない要素である。
- プーリングと他の Token-Mixer を組み合わせることが性能向上の有望な方向である。
結論
この研究で著者は、元々の Transformer を MetaFormer という汎用アーキテクチャに抽象化しました。
Transformer 内の注意機構を Token-Mixer として抽象化したことは革新的であり、この抽象化は特定の Token-Mixer に限定されないため、柔軟で強力なフレームワークを提供します。
プーリングという非常にシンプルな操作を Token-Mixer として使用することによって、著者は PoolFormer モデルがさまざまな視覚タスクで競争力を持つことを示し、MetaFormer が視覚に必要なアーキテクチャであるという主張を強力に支持しました。
今後の研究の方向性の一つは、MetaFormer アーキテクチャの広範な適用性と堅牢性を検証することです。
著者は、PoolFormer が自然言語処理(NLP)タスクにどのように適用できるかを探求することを提案しており、MetaFormer が NLP 分野でも有効であることを証明できれば、MetaFormer の汎用アーキテクチャとしての地位はさらに強固なものになるでしょう。