Patches Are All You Need?
- arXiv への初回投稿
- arXiv:2201.09792
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{visiontransformersconvmixer2022,
title = {{Patches Are All You Need?}},
author = {Asher Trockman and J. Zico Kolter},
year = {2022},
eprint = {2201.09792},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2201.09792}
}
この数年、「XXX is all you need」という題名をよく見かけます。
そんな題名を見つけると、今度は何が起きたのか、つい開いてしまいます。
問題の定義
ViT が提案されてからの数年間、誰もがその強さの理由を知りたがっています。自己注意機構でしょうか? Token-Mixer の仕組みでしょうか? それともアーキテクチャ全体の設計でしょうか?
この論文の著者は、ViT の強さに Patchify も関わっているのかを調べたいと考え、ConvMixer を提案しました。自己注意を使わなくても性能を保てるなら、patch を使う設計が「ある程度」重要だと示せます。ただし、patchify だけの効果を他の設計から切り分けた実験ではありません。
問題の解決
モデルアーキテクチャ
ここで著者は、ViT のように patch を入力とし、各層で同じ解像度を保つ一方、混合処理には畳み込みを使います。主な違いは二つです:
-
Self-Attention を Convolution に置き換えます。
上の図の赤字は、このノートの筆者が原論文 Figure 2 に後から加えた説明です。原論文そのものの表示ではありません。右側の「pw-conv and ffn have the same meaning」は言い過ぎなので、下で分けて説明します。
最初の patch embedding は、kernel と stride をともに patch size にした畳み込みで作り、二次元の配置を保ちます。Token-Mixer に当たる部分では、Self-Attention の代わりに Depthwise Convolution を使います。
これにより、一層では各 token が周囲の token と混ざります。範囲は kernel size によりますが、層を重ねれば受容野は広がります。こうして自己注意を除き、patch 表現を残したモデルの性能を見られます。
-
MLP に当たるチャネル混合を Pointwise Convolution で行います。
1×1 畳み込みは各空間位置でチャネルを混ぜ、token ごとの線形層に似た働きをします。ただし、非線形処理を挟む二層の MLP 全体と同じものではありません。
図では Pointwise Convolution の後に GELU と BatchNorm も続きます。
訓練戦略
著者は追加の訓練データを導入せず、ImageNet-1k で訓練しました。
設定は他のモデルと似ており、RandAugment や MixUp などを使います。最適化器は AdamW です。主実験では計算資源の制約からハイパーパラメータの探索を行わず、比較対象の一部より訓練 epoch も少なくなっています。
モデルパラメータ設計
上の画像は原論文 Table 1 で、patch size、kernel size、パラメータ数などの設定も並んでいます。ConvMixer の設計を決める主な値は四つです:
- 幅(hidden dimension, ):patch embedding の次元です。
- 深さ(depth, ):ConvMixer 層を繰り返す回数です。
- パッチサイズ(patch size, ):最初に画像を分ける大きさで、内部解像度を決めます。
- カーネルサイズ(kernel size, ):Depthwise Convolution が一層で扱う範囲です。
ConvMixer は通常、幅と深さを使って ConvMixer-h/d と名付けます。入力の一辺 が で割り切れる場合、内部の一辺は です。入力サイズは変更できます。
討論
ImageNet でのパフォーマンス
ConvMixer-1536/20 は ResNet-152 より少ないパラメータで高い精度を出しました。ConvMixer-768/32 も、ResNet-152 の約三分の一のパラメータで近い精度です。
ConvMixer-1536/20 の主表での top-1 は 81.37% で、ResMLP-B24/8 の 81.0% を上回り、DeiT-B の 81.8% に近い値です。DeiT と ResMLP の結果にはより多くのハイパーパラメータ調整があり、ConvMixer の主表は調整なしの設定です。附録の調整後の 82.20% を主表と同じ条件として混ぜてはいけません。
先ほどの附録表を見ると、ConvMixer-1536/20 の patch size を 7 から 14 に変えると、top-1 は 81.37% から 78.92% に下がる一方、スループットは 134 から 538 images/s に上がります。精度だけでも、速度だけでも、この取捨選択は読み取れません。
結論
この論文では、自己注意を使わない ConvMixer によって Patchify の役割を探りました。
実験では、自己注意を外しても競争力のある性能を保てたため、著者は二つの点を挙げています:
- Patchify を含む設計は、性能にとって重要そうです。
- ConvMixer は単純な操作でよい性能を出し、比較に使えるモデルです。