返回論文筆記資料庫
arXiv 2020ICML 2021視覺 Transformer論文筆記

DeiT

蒸餾後更香醇

原始論文

Training data-efficient image transformers & distillation through attention

論文作者

Hugo Touvron · Matthieu Cord · Matthijs Douze · Francisco Massa · Alexandre Sablayrolles · Hervé Jégou

發表版本
ICML 2021會議
arXiv 首次提交
arXiv:2012.12877
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{visiontransformersdeit2020,
  title = {{Training data-efficient image transformers \& distillation through attention}},
  author = {Hugo Touvron and Matthieu Cord and Matthijs Douze and Francisco Massa and Alexandre Sablayrolles and Hervé Jégou},
  year = {2020},
  eprint = {2012.12877},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2012.12877}
}
本頁內容

稍早,我們看完了 ViT。

這篇論文探索了 Transformer 在圖像領域的應用,在大資料集上的效果超越了傳統的卷積網路,並且在實驗中展現了更大的潛力。

對此,我們得到了一個作者給出的結論:

  • 在數據量不足的情況下無法很好地進行泛化。

定義問題

本篇論文的作者認為:

  • 我們可以透過知識蒸餾的方式,降低模型對資料的依賴,同時提升模型的性能。

解決問題

模型架構

看到這個圖不要緊張。

這不是什麼新東西,你把 distillation 那個部分拿掉,就是原始的 ViT。

上圖左邊的 CE loss 就是走原本的 ViT 訓練流程。

這篇論文的所有內容,都是從上圖右邊 distillation 這個 Token 開始講起。

模型蒸餾

作者在原本的 ViT 架構中,額外加入一個 Token,讓這個 Token 加入整個模型的自注意力機制中。最後,對於這個 Token 的輸出使用 Teacher-Student 的方式進行監督。

Teacher 在這裡會引入「另外一個」已經訓練好的模型,可以是 ConvNet 或是其他的架構。

訓練時,Teacher 會提供預測結果給 Student 學習,本身不會參與梯度更新。

Student 則是我們要訓練的模型,這篇論文以 ViT-B/16 對應的 DeiT-B 為主要比較,也訓練了較小的 DeiT-S 和 DeiT-Ti。

監督方式分為兩種:

  1. 軟蒸餾(Soft distillation)

    軟蒸餾方法通過最小化教師模型與學生模型的 softmax 輸出之間的 Kullback-Leibler 散度來進行訓練。假設 Zt 為教師模型的 logits,Zs 為學生模型的 logits,τ 表示蒸餾溫度,λ 為平衡 Kullback-Leibler 散度損失(KL)和基於地面真值標籤 y 的交叉熵(LCE)的係數,ψ 表示 softmax 函數。蒸餾的目標函數定義為:

    • Lglobal=(1−λ)LCE(ψ(Zs),y)+λτ2KL(ψ(Zs/τ),ψ(Zt/τ))L_{global} = (1 − λ)L_{CE}(ψ(Zs), y) + λτ^2KL(ψ(Z_s/τ), ψ(Z_t/τ))

    上式中,LCEL_{CE} 是真實標籤的交叉熵損失,KL 是教師與學生輸出的蒸餾損失。這兩個公式先描述一般單一輸出頭的蒸餾;上圖另外用 class token 和 distillation token 的兩個輸出頭分別接受監督。

    訓練時,我們會使用 λ 來調整軟蒸餾和交叉熵損失的權重。

  2. 硬蒸餾(Hard-label distillation)

    作者引入了一種蒸餾變體,其中將教師模型的決策作為硬標籤。

    令 yt=arg⁡max⁡cZt(c)y_t = \arg\max_c Z_t(c) 為教師模型的硬決策,則與此硬標籤蒸餾相關的目標函數為:

    • LglobalhardDistill=12LCE(ψ(Zs),y)+12LCE(ψ(Zs),yt)L_{global}^{hardDistill} = \frac{1}{2} L_{CE}(ψ(Z_s), y) + \frac{1}{2} L_{CE}(ψ(Z_s), y_t)

    對於給定的圖像,教師模型的硬標籤可能會隨具體數據增強方式而變化。我們將看到,這種選擇比傳統方法更優,且無需參數,概念上更簡單:教師的預測 yty_t 起到與真實標籤 yy 相同的作用。

    還需注意,硬標籤也可以通過標籤平滑轉換為軟標籤,其中真實標籤被認為具有 1−ε1 - ε 的概率,其餘 εε 則在其餘類別中分配。在論文中所有使用真實標籤的實驗中,我們將這個參數固定為 ε=0.1ε = 0.1。

教師網路

對於教師網路的選擇,在表列的 DeiT-B 與 RegNetY 教師比較中,使用 RegNetY 卷積網路作為教師,得到的 Student 表現較好。

推測其中原因是 ViT 透過蒸餾的方式繼承了卷積網路的歸納偏差,進而提升了模型的泛化能力。

討論

哪個蒸餾的策略最好?

上表展示了不同蒸餾策略的性能。

  • 不使用蒸餾和只使用軟蒸餾的模型表現相當。
  • 以 DeiT-B 224 為例,只使用硬蒸餾從 81.8% 提升至 83.0%,高 1.2 個百分點;其他模型的增量則不同。

在上表的下半部中,都在訓練時同時使用 label 和 teacher 的資訊。接著要比較的是預測時使用 class embedding、distillation embedding,或融合兩者的輸出。DeiT-S、DeiT-B 和 DeiT-B ↑384 以融合結果最好;DeiT-Ti 則是只用 distillation embedding 略高。

ImageNet 實驗結果

在影像分類方法的文獻中,作者通常將準確性與其他標準(例如 FLOPs、參數數量、網路大小等)之間的折衷進行比較。

研究發現,未蒸餾的 DeiT 方法的表現略低於 EfficientNet,這表明僅使用 ImageNet 進行訓練時,作者已經幾乎縮小了視覺 Transformer 和 CNN 之間的差距。與表中同樣只用 ImageNet-1K 訓練的 ViT-B/16 77.9% 相比,DeiT-B ↑384 為 83.1%,高 5.2 個百分點;若比較蒸餾並訓練 1000 個 epoch 的 DeiT-B 84.2%,才是高 6.3 個百分點。這些模型的訓練設定並不相同。

此外,從 RegNetY 蒸餾的 DeiT 在圖中的部分準確率與吞吐量位置優於 EfficientNet。以訓練 1000 個 epoch、再於 384 解析度微調的 DeiT-B 為例,top-1 為 85.2%,高於在 JFT-300M 預訓練的 ViT-B 84.15%;兩者所用資料與訓練流程不同。

下表詳細報告了在 ImageNet V2 和 ImageNet Real 上的數據和附加評估結果:V2 使用新影像,Real 則是原 ImageNet 驗證影像的重新標註,兩者不能都當成獨立的新測試影像。以論文的單張 V100 GPU 吞吐量量測來看,DeiT-B 和 DeiT-B ↑384 在表列模型間有競爭力;表中也有準確率更高或吞吐量更快的模型。

結論

DeiT 模型,透過僅在 ImageNet 上訓練,並在不到三天的時間內(使用單個 8-GPU 節點)完成訓練,在沒有外部資料的情況下,達到了 83.1%的 top-1 準確率。

更為重要的是,作者們引入了一種基於蒸餾標記的蒸餾策略,這種策略使得學生模型能夠通過注意力機制從教師模型中學習,並在與卷積網路進行比較時,展示出明顯的優勢。

這篇論文證明了不需要大量資料和計算資源也能訓練出高效能的 ViT,並展示了這些模型在未來成為圖像分類方法的一種有力選擇的潛力。