An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
- 發表版本
- ICLR 2021會議
- arXiv 首次提交
- arXiv:2010.11929
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{visiontransformersvit2020,
title = {{An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale}},
author = {Alexey Dosovitskiy and Lucas Beyer and Alexander Kolesnikov and Dirk Weissenborn and Xiaohua Zhai and Thomas Unterthiner and Mostafa Dehghani and Matthias Minderer and Georg Heigold and Sylvain Gelly and Jakob Uszkoreit and Neil Houlsby},
year = {2020},
eprint = {2010.11929},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2010.11929}
}
在 2017 年,Transformer 模型提出後,在 NLP 領域內掀起一陣狂潮,霎時間便烽火連天。
這陣風吹了三年,終於把硝煙也吹進了電腦視覺領域。
定義問題
在前幾年的嘗試中,許多研究嘗試將注意力機制與卷積網路結合使用。
或是在保持卷積網路的結構不變的前提下,替換掉某些部分。
這些研究都暗示著 Transformer 架構沒有辦法直接生搬硬套到圖像領域。
本篇論文的作者認為:
- 那只是你們的方法不對!
我們完全可以捨棄卷積,直接用 Transformer 來處理圖像。
圖像這件事,不過就是 16 x 16 的文字集合罷了!
解決問題
模型架構
說到 Transformer,我們都很熟悉。
把文字經過 Embedding 後,排成一個序列,再交給 Transformer 處理。這篇做影像分類,只使用 Encoder,不需要 Decoder。
當我們想在圖像上套用這個架構,首先要思考的問題是:
- 該怎麼把圖像轉換成文字序列?
在這裡,作者提出的方法是:切塊吧!
Patchify
給定一張圖像,假設其尺寸為 224 x 224,試想該如何把他們切成一塊一塊的區域呢?
手動切嗎?當然不是!
原論文是把每個 patch 展平後做線性投影;我們可以用 kernel size 與 stride 都等於 patch size 的 Conv2d,等價地完成切塊與投影。
直接來實作一下:
import torch
import torch.nn as nn
# 假設圖像尺寸為 224 x 224
dummy_img = torch.randn(1, 3, 224, 224)
# 切塊
patch_size = 16
# 編碼維度
embed_dim = 768
# Patchify
emb_layer = nn.Conv2d(3, embed_dim, kernel_size=patch_size, stride=patch_size)
# 切塊後的結果:
# input.shape = (1, 3, 224, 224)
# tokens.shape = (1, 768, 14, 14)
tokens = emb_layer(dummy_img)
這裡我們設定切塊圖像的尺寸為 16 x 16,並且設定編碼維度為 768。
透過卷積的 stride 進行不重疊滑動視窗,就可以將 224 x 224 的圖像切成 14 x 14 塊。
在原本的 Transformer 中,我們會將文字序列的每個 token 進行 Embedding,這裡也是一樣的。將每個切塊的圖像進行 Embedding,意思就是把每個 16 x 16 x 3 的區域轉換經過線性轉換,投影到 768 維的向量。
最後我們把這些切塊的結果展平,變成一個序列:
tokens = tokens.flatten(2) # (1, 768, 14, 14) -> (1, 768, 196)
tokens = tokens.permute(2, 0, 1) # (1, 768, 196) -> (196, 1, 768)
在 Transformer encoder 中,輸入的第一個維度是序列的長度,第二個維度是 batch size,第三個維度是特徵編碼長度。
經過上面的操作,我們就得到 patch embedding 序列了。正式送進 Encoder 前,還要在開頭加上一個可學習的 [class] token,並為整個序列加上可學習的位置嵌入;最後取 [class] 的輸出做分類。
然後呢?
然後就結束了。
之後就跟 NLP 的 Transformer Encoder 一樣處理這個序列。
卡!不對,不能這麼早結束!
*
下表為 ViT 的參數設定:
較少圖像歸納偏差
和 CNN 相比,ViT 的架構對圖片的歸納偏差(inductive bias)少得多。
在 ViT 中,MLP 層對各 token 共享權重,具有局部性與平移等變性;自注意力機制則可進行全局交互。除了切塊,以及高解析度微調時對位置嵌入做插值,模型沒有直接寫入二維鄰域結構。
因此模型必須重頭開始學習並理解:什麼是圖像?所謂圖像的特徵又是什麼?
在本文的實驗中,若資料量不足,即使使用一定程度的正則化,較大的 ViT 仍難以發揮;這也是作者特別研究預訓練資料規模的原因。
預訓練資料規模的影響
從這組預訓練實驗可以看到,當資料較少時,較大的 ViT 在 ImageNet 線性 5-shot 評估上落後於部分 ResNet (BiT);隨資料增多,ViT-L/16 的表現持續提升。
上圖中,灰色的線表示 ResNet50x1 (BiT) 和 ResNet152x2 (BiT) 的結果,而其他顏色的線則是 ViT 的結果。橫軸是 JFT 預訓練樣本數;ViT-L/16 在圖中的約 100M 樣本時已超過兩條 ResNet 曲線,並非要到 300M 才超越。
作者認為:
- 在小資料集上,卷積網路的歸納偏差是很重要的。
- 在大資料集上,直接從資料中學習相關的模式就足夠了!
還能再更大
如果增加預訓練計算量,會怎樣?
在這個實驗中,作者使用了 3 類不同的模型,橫軸是 JFT-300M 預訓練的總計算量:
- ViT
- ResNet
- Hybrid Model
實驗結果顯示,在這組固定使用 JFT-300M 的設定下,以相近預訓練計算量比較,ViT 的遷移準確率通常優於 ResNet。
同時 Hybrid Model 在較小計算量下的效果比 ViT 稍好,但在較大計算量下,這種差異就消失了。
最後,ViT 在嘗試的範圍內並未飽和,這其中顯然還有很多潛力可以挖掘。
討論
ViT 看到了什麼?
上圖左邊是作者從第一層 patch 線性投影的 RGB 濾波器中,取出的前 28 個主成份;中間是位置嵌入的相似度,右邊才是注意力距離。
-
RGB embedding filters(上圖左)
這些主成份呈現條紋、邊緣與色彩等圖樣,反映 patch 內部學到的局部表示;它們不是注意力熱圖。
-
Position Embeddings(上圖中)
空間上較近的區塊具有相似的 embeddings,表示這些 embeddings 能夠編碼影像內部各區塊之間的距離關係。
從 embeddings 中還能看到行列結構;論文也提到,較大的網格有時會出現正弦結構。
-
注意力距離(上圖右)
這種「注意力距離」類似於 CNN 中的感受野大小。
作者以注意力權重計算影像空間中的平均關注距離。較低層中各個頭部的距離變化很大,有些頭部已關注影像的大部分,其他頭部則關注附近區域。
整體而言,注意力距離隨深度增加;在網路後半部,多數頭部具有較長距離,顯示全局資訊的整合。
用 [CLS] 預測還是用 GAP 預測?
在本篇論文中,作者使用了兩種不同的方法來進行分類任務:
-
[CLS] 預測
這是 NLP 中常見的做法,將序列的第一個 token 作為整個序列的表示。
這種方法在圖像領域中也取得了不錯的效果。
-
GAP 預測
GAP(Global Average Pooling)在這裡是把所有影像 patch token 的輸出平均,得到用於分類的向量。
一開始作者是用這種方式,但發現效果非常差!
仔細分析後發現,問題不是 GAP 的問題,而是沿用
[class]token 的學習率 ;改用 後,結果便接近。
經過調整後,兩種預測方式都取得了不錯的效果。
自監督訓練
作者參考 MLM,嘗試遮蔽 patch 預測:選出 50% 的 patch embeddings,當中 80% 換成可學習的 [MASK]、10% 換成其他 patch embedding、10% 保留原樣,再預測這些被選中 patch 的目標。
接著使用 JFT 資料集進行訓練,模型跑了 100 萬步(相當於 14 個 epoch),每個批次的大小是 4096。訓練過程中使用 Adam 優化器,基礎學習率設為 ,前 1 萬步進行熱身,並採用餘弦學習率衰減的策略。
在這個過程中,作者嘗試了不同的預測目標,包括:
- 預測 patch 平均顏色,RGB 每通道各 3 位元,共 512 類
- 預測縮小成 的 patch,每個位置的顏色同樣分為 512 類
- 以 L2 回歸完整 patch 的 RGB 數值
實驗發現,上述這些方法都取得了不錯的效果(L2 稍微遜色)。
最後,作者選擇了效果最好的第一種方法,因為它在少樣本學習上表現最佳。此外,作者也還嘗試了 15%遮罩率,但發現這樣的設置的效果稍差。
主文報告第一種目標的 ViT-B/16 在 ImageNet 達 79.9%,比從頭訓練高約 2 個百分點,但比監督式預訓練低約 4 個百分點;不能把這個數字直接套用到另外兩種目標。
其他注意事項
除了主要論述的內容之外,還有一些訓練的技巧和注意事項:
- JFT 預訓練時使用 0.1 的 Weight Decay,作者發現這對後續遷移有幫助;微調時則不使用 Weight Decay。
- 當輸入影像解析度有變動時,輸入序列長度也會改變(因為 patch 尺寸固定),這時候要依原本的二維位置,對學到的位置嵌入做二維插值。
- 本文以 Adam 預訓練所有模型、以動量 SGD 微調;附錄比較的兩個 ResNet 在 JFT 預訓練後,Adam 的平均遷移成績略優於 SGD,並非所有情況下 Adam 都較好。
- 在 ViT-B/16 的 ImageNet 5-shot 消融中,1-D、2-D 可學習位置嵌入和相對位置嵌入的結果接近;完全不加位置資訊則較差。
結論
這篇論文探索了 Transformer 在圖像領域的應用,提出了一種全新的架構 ViT。
ViT 在大資料集上的效果超越了傳統的卷積網路,並且在實驗中展現了更大的潛力。
這篇論文的發表,標誌著 Transformer 架構在圖像領域的成功應用,也為未來的研究開啟了新的方向。