Training data-efficient image transformers & distillation through attention
- 発表先
- ICML 2021国際会議
- arXiv への初回投稿
- arXiv:2012.12877
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{visiontransformersdeit2020,
title = {{Training data-efficient image transformers \& distillation through attention}},
author = {Hugo Touvron and Matthieu Cord and Matthijs Douze and Francisco Massa and Alexandre Sablayrolles and Hervé Jégou},
year = {2020},
eprint = {2012.12877},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2012.12877}
}
先程、ViT を見ました。
この論文は、Transformer が画像領域に応用され、大規模データセットにおいて従来の畳み込みネットワークを超える効果を示し、実験ではさらに大きな潜力を示しました。
これに対して、著者が出した結論は次の通りです:
- データ量が不足していると、うまく一般化できない。
定義問題
本論文の著者は次のように考えています:
- 知識蒸留を利用することで、モデルのデータ依存を減らし、同時に性能を向上させることができる。
解決問題
モデルアーキテクチャ
この図を見ても驚かないでください。
これは新しいものではありません。distillationの部分を取り除けば、それは元々の ViT です。
上の図の左側の CE 損失は、元々の ViT の訓練プロセスを示しています。
この論文の内容は、上の図の右側のdistillationトークンから始まります。
モデル蒸留
著者は元々の ViT アーキテクチャに新たに 1 つのトークンを追加し、このトークンをモデル全体の自己注意機構に組み込みました。最終的に、このトークンの出力に対して、Teacher-Student 方式で監視を行います。
Teacher はここで、すでに訓練された別のモデルを導入します。これには ConvNet や他のアーキテクチャを使用できます。
訓練時、Teacher は出力クラスを Student に学習させますが、勾配更新には関与しません。
Student は、私たちが訓練するモデルです。この論文では ViT-B/16 に相当する DeiT-B を主に比較し、小型の DeiT-S と DeiT-Ti も訓練します。
監視方法には 2 つの種類があります:
-
ソフト蒸留(Soft distillation)
ソフト蒸留方法は、教師モデルと学生モデルの softmax 出力間の Kullback-Leibler 散度を最小化することで訓練を行います。は教師モデルのロジット、は学生モデルのロジット、τ は蒸留温度、λ は Kullback-Leibler 散度損失(KL)と基準ラベルに基づく交差エントロピー(LCE)の重み係数、ψ は softmax 関数を示します。蒸留の目的関数は以下のように定義されます:
ここで、 は実際のラベルに対する交差エントロピー損失、KL は教師と学生の出力分布を近づける損失です。上の式は単一の学生出力で通常の蒸留を説明したもので、図の class token と distillation token を持つ二つの出力頭をそのまま表す式ではありません。
訓練時、λ を使用してソフト蒸留と交差エントロピー損失の重みを調整します。
-
ハード蒸留(Hard-label distillation)
著者は蒸留の変種を導入し、教師モデルの決定を疑似ラベルとして扱います。
を教師モデルのハード決定とし、ハードラベル蒸留に関連する目的関数は以下のように定義されます:
与えられた画像に対して、教師モデルのハードラベルはデータ拡張によって変化する可能性があります。この選択は温度パラメータを必要とせず、損失の設計も単純です。教師の予測 は実際のラベル と同様に教師信号として使います。上の式も単一出力で通常の蒸留を説明したものです。図の二つの出力頭では、class head が 、distillation head が を受け取ります。
また、ハードラベルはラベルスムージングを使用してソフトラベルに変換することができます。実際のラベルは確率であり、残りのは他のクラスに分配されます。論文で実際のラベルを使用するすべての実験では、このパラメータはに固定されます。
教師ネットワーク
教師ネットワークの選択について、表の DeiT-B と RegNetY の教師を比べると、畳み込みネットワーク(ConvNet)の RegNetY を使う方が Student の結果は良くなりました。例えば DeiT-B 教師自身は 81.8%、その Student は 81.9%。RegNetY-4GF 教師は 80.0% でも Student は 82.7% です。
その理由として、著者は ViT が蒸留を通じて畳み込みネットワークの帰納的バイアスを引き継いだ可能性を挙げています。
討論
どの蒸留戦略が最適か?
上表は、異なる蒸留戦略の性能を示しています。
- 蒸留トークンを使わない通常の一頭設定では、DeiT-B 224 の蒸留なしとソフト蒸留がともに 81.8% です。
- 通常のハード蒸留では 83.0% となり、蒸留なしより 1.2 ポイント高くなります。モデルによって差は異なります。
上表の下半分では、訓練時にラベルと教師の情報を別々の出力頭で使用しています。次に比較するのは、予測時に class head、distillation head、または両方の softmax 出力を融合して使うかどうかです。DeiT-S、DeiT-B、DeiT-B ↑384 では融合が最良ですが、DeiT-Ti では distillation head 単独がわずかに高い値です。
ImageNet 実験結果
画像分類の文献では、著者は通常、精度と他の基準(例えば FLOPs、パラメータ数、ネットワークサイズなど)とのトレードオフを比較しています。
図は ImageNet top-1 精度と GPU のスループットを比べたものです。蒸留なしの DeiT は EfficientNet よりわずかに劣りますが、蒸留後は CNN と競争力のある位置に移ります。表中の ImageNet-1K だけで訓練した ViT-B/16 は 77.9% で、蒸留なし DeiT-B ↑384 の 83.1% は 5.2 ポイント高い結果です。6.3 ポイント高い 84.2% は、蒸留して 1000 エポック訓練した DeiT-B の値で、訓練条件は同じではありません。
さらに、RegNetY から蒸留した DeiT は図中の一部の精度とスループットの位置で EfficientNet を上回ります。1000 エポック訓練し、384 解像度で微調整した DeiT-B は、JFT-300M で事前学習した ViT-B より約 1.05 ポイント高い top-1 精度です(85.2% 対 84.15%)。ただし、使ったデータと訓練工程は異なります。
以下の表は、ImageNet V2 および ImageNet ReaL での追加評価結果を報告しています。V2 は新たに収集した画像、ReaL は元の検証画像に付け直したラベルを使い、元の検証結果への依存を確かめる材料になります。表の速度は単一画像の遅延ではなく、16 GB V100 一基で最大バッチを使った画像処理スループットです。DeiT-B と DeiT-B ↑384 は表中で競争力がありますが、より高精度または高速なモデルもあります。
結論
DeiT モデルは、ImageNet だけで訓練し、外部データなしで 83.1% の top-1 精度を達成しました。基準モデルの事前学習は単一の 8-GPU ノードで約 53 時間、384 解像度の微調整にはさらに約 20 時間かかります。この 83.1% は蒸留なしの DeiT-B ↑384 の結果で、85.2% は蒸留して 1000 エポック訓練した別の結果です。
さらに重要なのは、著者が蒸留トークンに基づく蒸留戦略を導入したことです。この戦略により、学生モデルは注意機構を通じて教師モデルから学習し、論文の ImageNet 精度とスループットの比較では畳み込みネットワークと競争力のある結果を示しました。
この論文は、JFT-300M のような巨大な外部データがなくても、高性能な ViT を訓練できることを示し、画像分類の方法として有力な選択肢となる可能性を示しました。もちろん、複数 GPU で長時間の訓練は必要です。