論文ノートライブラリに戻る
arXiv 2020ICML 2021Vision Transformer論文ノート

DeiT

蒸留後はより芳香が増す

原論文

Training data-efficient image transformers & distillation through attention

論文の著者

Hugo Touvron · Matthieu Cord · Matthijs Douze · Francisco Massa · Alexandre Sablayrolles · Hervé Jégou

発表先
ICML 2021国際会議
arXiv への初回投稿
arXiv:2012.12877
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{visiontransformersdeit2020,
  title = {{Training data-efficient image transformers \& distillation through attention}},
  author = {Hugo Touvron and Matthieu Cord and Matthijs Douze and Francisco Massa and Alexandre Sablayrolles and Hervé Jégou},
  year = {2020},
  eprint = {2012.12877},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2012.12877}
}
このページの内容

先程、ViT を見ました。

この論文は、Transformer が画像領域に応用され、大規模データセットにおいて従来の畳み込みネットワークを超える効果を示し、実験ではさらに大きな潜力を示しました。

これに対して、著者が出した結論は次の通りです:

  • データ量が不足していると、うまく一般化できない。

定義問題

本論文の著者は次のように考えています:

  • 知識蒸留を利用することで、モデルのデータ依存を減らし、同時に性能を向上させることができる。

解決問題

モデルアーキテクチャ

この図を見ても驚かないでください。

これは新しいものではありません。distillationの部分を取り除けば、それは元々の ViT です。

上の図の左側の CE 損失は、元々の ViT の訓練プロセスを示しています。

この論文の内容は、上の図の右側のdistillationトークンから始まります。

モデル蒸留

著者は元々の ViT アーキテクチャに新たに 1 つのトークンを追加し、このトークンをモデル全体の自己注意機構に組み込みました。最終的に、このトークンの出力に対して、Teacher-Student 方式で監視を行います。

Teacher はここで、すでに訓練された別のモデルを導入します。これには ConvNet や他のアーキテクチャを使用できます。

訓練時、Teacher は出力クラスを Student に学習させますが、勾配更新には関与しません。

Student は、私たちが訓練するモデルです。この論文では ViT-B/16 に相当する DeiT-B を主に比較し、小型の DeiT-S と DeiT-Ti も訓練します。

監視方法には 2 つの種類があります:

  1. ソフト蒸留(Soft distillation)

    ソフト蒸留方法は、教師モデルと学生モデルの softmax 出力間の Kullback-Leibler 散度を最小化することで訓練を行います。ZtZ_tは教師モデルのロジット、ZsZ_sは学生モデルのロジット、τ は蒸留温度、λ は Kullback-Leibler 散度損失(KL)と基準ラベルyyに基づく交差エントロピー(LCE)の重み係数、ψ は softmax 関数を示します。蒸留の目的関数は以下のように定義されます:

    • Lglobal=(1−λ)LCE(ψ(Zs),y)+λτ2KL(ψ(Zs/τ),ψ(Zt/τ))L_{global} = (1 − λ)L_{CE}(ψ(Z_s), y) + λτ^2KL(ψ(Z_s/τ), ψ(Z_t/τ))

    ここで、LCEL_{CE} は実際のラベルに対する交差エントロピー損失、KL は教師と学生の出力分布を近づける損失です。上の式は単一の学生出力で通常の蒸留を説明したもので、図の class token と distillation token を持つ二つの出力頭をそのまま表す式ではありません。

    訓練時、λ を使用してソフト蒸留と交差エントロピー損失の重みを調整します。

  2. ハード蒸留(Hard-label distillation)

    著者は蒸留の変種を導入し、教師モデルの決定を疑似ラベルとして扱います。

    yt=arg⁡max⁡cZt(c)y_t = \arg\max_c Z_t(c)を教師モデルのハード決定とし、ハードラベル蒸留に関連する目的関数は以下のように定義されます:

    • LglobalhardDistill=12LCE(ψ(Zs),y)+12LCE(ψ(Zs),yt)L_{global}^{hardDistill} = \frac{1}{2} L_{CE}(ψ(Z_s), y) + \frac{1}{2} L_{CE}(ψ(Z_s), y_t)

    与えられた画像に対して、教師モデルのハードラベルはデータ拡張によって変化する可能性があります。この選択は温度パラメータを必要とせず、損失の設計も単純です。教師の予測 yty_t は実際のラベル yy と同様に教師信号として使います。上の式も単一出力で通常の蒸留を説明したものです。図の二つの出力頭では、class head が yy、distillation head が yty_t を受け取ります。

    また、ハードラベルはラベルスムージングを使用してソフトラベルに変換することができます。実際のラベルは確率1−ε1 - εであり、残りのεεは他のクラスに分配されます。論文で実際のラベルを使用するすべての実験では、このパラメータはε=0.1ε = 0.1に固定されます。

教師ネットワーク

教師ネットワークの選択について、表の DeiT-B と RegNetY の教師を比べると、畳み込みネットワーク(ConvNet)の RegNetY を使う方が Student の結果は良くなりました。例えば DeiT-B 教師自身は 81.8%、その Student は 81.9%。RegNetY-4GF 教師は 80.0% でも Student は 82.7% です。

その理由として、著者は ViT が蒸留を通じて畳み込みネットワークの帰納的バイアスを引き継いだ可能性を挙げています。

討論

どの蒸留戦略が最適か?

上表は、異なる蒸留戦略の性能を示しています。

  • 蒸留トークンを使わない通常の一頭設定では、DeiT-B 224 の蒸留なしとソフト蒸留がともに 81.8% です。
  • 通常のハード蒸留では 83.0% となり、蒸留なしより 1.2 ポイント高くなります。モデルによって差は異なります。

上表の下半分では、訓練時にラベルと教師の情報を別々の出力頭で使用しています。次に比較するのは、予測時に class head、distillation head、または両方の softmax 出力を融合して使うかどうかです。DeiT-S、DeiT-B、DeiT-B ↑384 では融合が最良ですが、DeiT-Ti では distillation head 単独がわずかに高い値です。

ImageNet 実験結果

画像分類の文献では、著者は通常、精度と他の基準(例えば FLOPs、パラメータ数、ネットワークサイズなど)とのトレードオフを比較しています。

図は ImageNet top-1 精度と GPU のスループットを比べたものです。蒸留なしの DeiT は EfficientNet よりわずかに劣りますが、蒸留後は CNN と競争力のある位置に移ります。表中の ImageNet-1K だけで訓練した ViT-B/16 は 77.9% で、蒸留なし DeiT-B ↑384 の 83.1% は 5.2 ポイント高い結果です。6.3 ポイント高い 84.2% は、蒸留して 1000 エポック訓練した DeiT-B の値で、訓練条件は同じではありません。

さらに、RegNetY から蒸留した DeiT は図中の一部の精度とスループットの位置で EfficientNet を上回ります。1000 エポック訓練し、384 解像度で微調整した DeiT-B は、JFT-300M で事前学習した ViT-B より約 1.05 ポイント高い top-1 精度です(85.2% 対 84.15%)。ただし、使ったデータと訓練工程は異なります。

以下の表は、ImageNet V2 および ImageNet ReaL での追加評価結果を報告しています。V2 は新たに収集した画像、ReaL は元の検証画像に付け直したラベルを使い、元の検証結果への依存を確かめる材料になります。表の速度は単一画像の遅延ではなく、16 GB V100 一基で最大バッチを使った画像処理スループットです。DeiT-B と DeiT-B ↑384 は表中で競争力がありますが、より高精度または高速なモデルもあります。

結論

DeiT モデルは、ImageNet だけで訓練し、外部データなしで 83.1% の top-1 精度を達成しました。基準モデルの事前学習は単一の 8-GPU ノードで約 53 時間、384 解像度の微調整にはさらに約 20 時間かかります。この 83.1% は蒸留なしの DeiT-B ↑384 の結果で、85.2% は蒸留して 1000 エポック訓練した別の結果です。

さらに重要なのは、著者が蒸留トークンに基づく蒸留戦略を導入したことです。この戦略により、学生モデルは注意機構を通じて教師モデルから学習し、論文の ImageNet 精度とスループットの比較では畳み込みネットワークと競争力のある結果を示しました。

この論文は、JFT-300M のような巨大な外部データがなくても、高性能な ViT を訓練できることを示し、画像分類の方法として有力な選択肢となる可能性を示しました。もちろん、複数 GPU で長時間の訓練は必要です。