An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
- 発表先
- ICLR 2021国際会議
- arXiv への初回投稿
- arXiv:2010.11929
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{visiontransformersvit2020,
title = {{An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale}},
author = {Alexey Dosovitskiy and Lucas Beyer and Alexander Kolesnikov and Dirk Weissenborn and Xiaohua Zhai and Thomas Unterthiner and Mostafa Dehghani and Matthias Minderer and Georg Heigold and Sylvain Gelly and Jakob Uszkoreit and Neil Houlsby},
year = {2020},
eprint = {2010.11929},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2010.11929}
}
2017 年に Transformer モデルが提案され、NLP 分野で大きな反響を呼び起こしました。あっという間にその影響は広がり、戦火が飛び交うようになりました。
この風は 3 年間吹き続け、ついにその煙はコンピュータビジョン分野にも届きました。
定義問題
ここ数年の試みの中で、多くの研究者が注意機構と畳み込みネットワーク(CNN)を組み合わせる方法を試みました。
また、畳み込みネットワークの構造を変更せずに一部を置き換えるというアプローチもありました。
これらの研究は、Transformer アーキテクチャを画像領域に直接適用するのは難しいことを示唆しています。
本論文の著者は次のように考えています:
- それはあなたたちの方法が間違っているだけだ!
我々は畳み込みを完全に放棄し、Transformer を用いて画像を処理することができる。
画像とは、結局のところ 16x16 の文字の集まりに過ぎないのだ!
解決問題
モデルアーキテクチャ
Transformer についてはよく知られています。
まずテキストを埋め込んでシーケンスにし、Transformer で処理します。この論文の画像分類では Encoder だけを使い、Decoder は必要ありません。
画像にこのアーキテクチャを適用する際に最初に考えるべき問題は:
- 画像をどのように文字のシーケンスに変換するか?
ここで著者が提案した方法は:切り分けることだ!
Patchify
与えられた画像が 224x224 のサイズだと仮定した場合、どのようにそれを小さな領域に分割するかを考えてみましょう。
手動で切るのですか?もちろん違います!
論文では各パッチを平坦化して共有線形投影を適用します。以下の Conv2d は、カーネルサイズと stride を同じにして、この処理を等価に実装します。
実際にコードを書いてみましょう:
import torch
import torch.nn as nn
# 仮の画像サイズは224x224
dummy_img = torch.randn(1, 3, 224, 224)
# 切り分ける
patch_size = 16
# 埋め込み次元
embed_dim = 768
# Patchify
emb_layer = nn.Conv2d(3, embed_dim, kernel_size=patch_size, stride=patch_size)
# 切り分け後の結果:
# input.shape = (1, 3, 224, 224)
# tokens.shape = (1, 768, 14, 14)
tokens = emb_layer(dummy_img)
ここでは画像を 16x16 のサイズに切り分け、埋め込み次元を 768 に設定しています。
畳み込みのストライドによるオーバーラップのないスライディングウィンドウを使用することで、224x224 の画像を 14x14 のブロックに切り分けることができます。
元々の Transformer では、テキストのシーケンスの各トークンを埋め込みますが、ここでも同じことを行います。各切り分けた画像ブロックを埋め込むということは、各 16x16x3 の領域を線形変換で 768 次元のベクトルに投影することを意味します。
最後に、これらの切り分け結果をフラット化してシーケンスに変換します:
tokens = tokens.flatten(2) # (1, 768, 14, 14) -> (1, 768, 196)
tokens = tokens.permute(2, 0, 1) # (1, 768, 196) -> (196, 1, 768)
このコードの Transformer Encoder では、最初の次元がシーケンス長、2 番目がバッチサイズ、3 番目が埋め込み次元です。
これで patch embedding のシーケンスが得られました。実際に Encoder へ渡す前には、学習可能な [class] token を先頭に加え、シーケンス全体へ学習可能な位置埋め込みを足します。分類には Encoder が出力した [class] の表現を使います。
その後は?
その後は終了です。
その後は NLP の Transformer と同じように、好きなように進めていけばよいのです。
うーん!違う、こんな早く終わってはいけません!
*
下表は ViT のパラメータ設定です:
画像専用の帰納的バイアスが少ない
CNN と比べて、ViT の画像に対する帰納的バイアス(inductive bias)はかなり少なくなっています。
ViT の MLP 層は各 token に重みを共有し、局所性と平行移動同変性を持ちます。自己注意は全体を扱います。パッチ分割と高解像度での fine-tuning 時の位置埋め込みの補間を除くと、二次元の近傍関係は直接組み込まれていません。
そのため、モデルはゼロから学習を始め、理解しなければなりません:画像とは何か?画像の特徴とは何か?
この論文の実験では、データが少ないと、ある程度の正則化を使っても大きな ViT の性能は伸びにくくなります。そこで著者らは、事前学習データの規模を詳しく調べています。
事前学習データ規模の影響
この事前学習実験では、データが少ない場合、一部の大きな ViT は ImageNet の線形 5-shot 評価で ResNet(BiT)に及びません。データを増やすと ViT-L/16 の精度は上がり続けます。
上図の灰色線は ResNet50x1(BiT)と ResNet152x2(BiT)、他の色は ViT です。横軸は JFT の事前学習サンプル数で、ViT-L/16 は図の約 100M サンプルの時点で両方の ResNet 曲線を上回っています。
著者は次のように考えています:
- 小さなデータセットでは、畳み込みネットワークの帰納的バイアスが重要です。
- 大きなデータセットでは、データから関連するパターンを直接学習することが十分です!
さらに大きくできる
もし事前学習の計算量を増やしたら、どうなるでしょうか?
この実験では JFT-300M を用い、事前学習の総計算量を横軸にして、著者は 3 種類のモデルを比べました:
- ViT
- ResNet
- ハイブリッドモデル
この設定で同じくらいの事前学習計算量を使うと、ViT の転移精度はおおむね ResNet を上回りました。
また、ハイブリッドモデルは計算量が小さいところでは ViT より少し良いものの、計算量が大きくなると差が消えました。
最終的に、ViT は試行した範囲内では飽和しておらず、まだ多くの潜在能力を引き出す余地があることが分かりました。
討論
ViT が見たものは?
左図は最初の patch 線形投影で学習した RGB フィルターの主成分 28 個、中図は位置埋め込みの類似度、右図が注意距離です。
-
RGB 埋め込みフィルター(左)
主成分には縞、輪郭、色などの模様が現れ、patch 内で学習した局所的な表現が見えます。注意のヒートマップではありません。
-
位置埋め込み(上図中)
空間的に近いパッチは似た埋め込みを持ち、これらの埋め込みが画像内のパッチ間の距離関係を符号化できることを示しています。
埋め込みからは行列の構造が見え、大きなグリッドでは顕著な正弦構造が観察されることもあります。
-
注意距離(上図右)
この「注意距離」は、CNN における受容野サイズに似ています。
低層の各注意ヘッドでは平均注意距離に大きな変動があり、いくつかのヘッドは画像の大部分に注意を向け、他のヘッドはクエリ位置やその周辺の小さな領域に集中しています。
深さが増すにつれて、すべてのヘッドの注意距離が増加します。ネットワークの後半では、ほとんどのヘッドが広範囲にわたって長い注意距離を持ち、これがモデルがこれらの層でグローバル情報に多くの注意を払っていることを示しています。
[CLS] 予測を使うか、GAP 予測を使うか?
本論文では、著者は分類タスクに対して二つの異なる方法を使用しています:
-
[CLS] 予測
これは NLP でよく使われる方法で、シーケンスの最初のトークンをシーケンス全体の表現として使用します。
この方法は画像領域でも良い結果を得ており、注目されています。
-
GAP 予測
ここでの GAP(Global Average Pooling)は画像の patch token の出力を平均し、分類に使うベクトルを得る方法です。
初めに著者はこの方法を試しましたが、非常に悪い結果となりました!
調べると問題は GAP 自体ではなく、
[class]token と同じ学習率 を使っていたことでした。 に下げると結果は近づきます。
調整後、両方の予測方法は良い結果を得ました。
自己教師あり学習
著者は MLM(Masked Language Modeling)を参考に、patch 予測を試みました。patch embedding の 50% を選び、そのうち 80% を学習可能な [MASK] に、10% を別の patch embedding に置き換え、残り 10% はそのままにして、選んだ patch の目標を予測します。
次に JFT データセットを使用して訓練し、モデルは 100 万ステップ(約 14 エポック)実行されました。バッチサイズは 4096 で、訓練中は Adam オプティマイザーを使用し、基礎学習率はに設定され、最初の 1 万ステップでウォームアップが行われ、余弦型学習率減衰が適用されました。
この過程で、著者はさまざまな予測目標を試しました:
- patch の平均 RGB を各チャネル 3 bit、合計 512 色に分けて予測
- 4×4 に縮小した patch の各位置で、同じく 512 色を予測
- 16×16 patch の全 RGB 画素を L2 損失で回帰
実験の結果、これらの方法はすべて良い結果を出しました(L2 は少し劣った)。
最終的に、著者は最も効果的な第一の方法を選びました。これは少数ショット学習で最良の結果を示しました。さらに、著者は 15%のマスク率も試しましたが、この設定は少し劣った結果となりました。
主文で報告された第一の目標による自己教師あり ViT-B/16 は、ImageNet で 79.9% でした。ゼロからの訓練より約 2 ポイント高く、教師あり事前学習より約 4 ポイント低い結果です。この数字を他の二つの目標にも当てはめることはできません。
その他の注意事項
主に述べられていないが、訓練のコツと注意点もいくつかあります:
- JFT の事前学習では weight decay を 0.1 に設定し、後の転移に役立ったと著者は述べています。fine-tuning では weight decay を使いません。
- 入力画像の解像度が変わると、入力シーケンスの長さも対応して変わります(パッチサイズが固定のため)。この場合、学習した位置埋め込みを二次元格子に沿って補間する必要があります。
- ViT の事前学習には Adam、fine-tuning には momentum SGD を使います。付録の Adam/SGD 比較は JFT で事前学習した ResNet の転移結果で、Adam の平均値がやや良かったという話です。
- ViT-B/16 の ImageNet 5-shot 消融では、学習可能な 1D、2D の位置埋め込みと相対位置埋め込みの結果は近く、位置情報をまったく使わない場合は劣りました。
結論
この論文は、Transformer が画像領域に応用できることを示し、新しいアーキテクチャ ViT を提案しました。
ViT は大規模データセットで従来の畳み込みネットワークを超える性能を発揮し、実験ではさらに大きな潜力を示しました。
この論文の発表は、Transformer アーキテクチャが画像領域に成功裏に応用されたことを意味しており、今後の研究に新しい方向性を示しました。