論文ノートライブラリに戻る
arXiv 2022TMLR 2023Vision Transformer論文ノート

ConvMixer

コンボリューションミキサー

原論文

Patches Are All You Need?

論文の著者

Asher Trockman · J. Zico Kolter

arXiv への初回投稿
arXiv:2201.09792
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{visiontransformersconvmixer2022,
  title = {{Patches Are All You Need?}},
  author = {Asher Trockman and J. Zico Kolter},
  year = {2022},
  eprint = {2201.09792},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2201.09792}
}
このページの内容

この数年、「XXX is all you need」という題名をよく見かけます。

そんな題名を見つけると、今度は何が起きたのか、つい開いてしまいます。

問題の定義

ViT が提案されてからの数年間、誰もがその強さの理由を知りたがっています。自己注意機構でしょうか? Token-Mixer の仕組みでしょうか? それともアーキテクチャ全体の設計でしょうか?

この論文の著者は、ViT の強さに Patchify も関わっているのかを調べたいと考え、ConvMixer を提案しました。自己注意を使わなくても性能を保てるなら、patch を使う設計が「ある程度」重要だと示せます。ただし、patchify だけの効果を他の設計から切り分けた実験ではありません。

問題の解決

モデルアーキテクチャ

原論文 Figure 2 の取り込み画像に元ノートの赤い注記あり。Trockman と Kolter、arXiv:2201.09792v1

ここで著者は、ViT のように patch を入力とし、各層で同じ解像度を保つ一方、混合処理には畳み込みを使います。主な違いは二つです:

  1. Self-Attention を Convolution に置き換えます。

    上の図の赤字は、このノートの筆者が原論文 Figure 2 に後から加えた説明です。原論文そのものの表示ではありません。右側の「pw-conv and ffn have the same meaning」は言い過ぎなので、下で分けて説明します。

    最初の patch embedding は、kernel と stride をともに patch size pp にした畳み込みで作り、二次元の配置を保ちます。Token-Mixer に当たる部分では、Self-Attention の代わりに Depthwise Convolution を使います。

    これにより、一層では各 token が周囲の token と混ざります。範囲は kernel size によりますが、層を重ねれば受容野は広がります。こうして自己注意を除き、patch 表現を残したモデルの性能を見られます。

  2. MLP に当たるチャネル混合を Pointwise Convolution で行います。

    1×1 畳み込みは各空間位置でチャネルを混ぜ、token ごとの線形層に似た働きをします。ただし、非線形処理を挟む二層の MLP 全体と同じものではありません。

    図では Pointwise Convolution の後に GELU と BatchNorm も続きます。

訓練戦略

著者は追加の訓練データを導入せず、ImageNet-1k で訓練しました。

設定は他のモデルと似ており、RandAugment や MixUp などを使います。最適化器は AdamW です。主実験では計算資源の制約からハイパーパラメータの探索を行わず、比較対象の一部より訓練 epoch も少なくなっています。

モデルパラメータ設計

原論文 Table 1:224×224 ImageNet-1k の精度、パラメータ、スループット、epoch。Trockman と Kolter、arXiv:2201.09792v1

上の画像は原論文 Table 1 で、patch size、kernel size、パラメータ数などの設定も並んでいます。ConvMixer の設計を決める主な値は四つです:

  1. 幅(hidden dimension, hh):patch embedding の次元です。
  2. 深さ(depth, dd):ConvMixer 層を繰り返す回数です。
  3. パッチサイズ(patch size, pp):最初に画像を分ける大きさで、内部解像度を決めます。
  4. カーネルサイズ(kernel size, kk):Depthwise Convolution が一層で扱う範囲です。

ConvMixer は通常、幅と深さを使って ConvMixer-h/d と名付けます。入力の一辺 nn が pp で割り切れる場合、内部の一辺は n/pn/p です。入力サイズは変更できます。

討論

ImageNet でのパフォーマンス

Trockman と Kolter、Appendix Table 2、arXiv:2201.09792v1

ConvMixer-1536/20 は ResNet-152 より少ないパラメータで高い精度を出しました。ConvMixer-768/32 も、ResNet-152 の約三分の一のパラメータで近い精度です。

ConvMixer-1536/20 の主表での top-1 は 81.37% で、ResMLP-B24/8 の 81.0% を上回り、DeiT-B の 81.8% に近い値です。DeiT と ResMLP の結果にはより多くのハイパーパラメータ調整があり、ConvMixer の主表は調整なしの設定です。附録の調整後の 82.20% を主表と同じ条件として混ぜてはいけません。

原論文 Figure 1:パラメータ数と ImageNet-1k top-1 精度。Trockman と Kolter、arXiv:2201.09792v1

先ほどの附録表を見ると、ConvMixer-1536/20 の patch size を 7 から 14 に変えると、top-1 は 81.37% から 78.92% に下がる一方、スループットは 134 から 538 images/s に上がります。精度だけでも、速度だけでも、この取捨選択は読み取れません。

結論

この論文では、自己注意を使わない ConvMixer によって Patchify の役割を探りました。

実験では、自己注意を外しても競争力のある性能を保てたため、著者は二つの点を挙げています:

  1. Patchify を含む設計は、性能にとって重要そうです。
  2. ConvMixer は単純な操作でよい性能を出し、比較に使えるモデルです。