返回論文筆記資料庫
arXiv 2022TMLR 2023視覺 Transformer論文筆記

ConvMixer

卷積混合器

原始論文

Patches Are All You Need?

論文作者

Asher Trockman · J. Zico Kolter

arXiv 首次提交
arXiv:2201.09792
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{visiontransformersconvmixer2022,
  title = {{Patches Are All You Need?}},
  author = {Asher Trockman and J. Zico Kolter},
  year = {2022},
  eprint = {2201.09792},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2201.09792}
}
本頁內容

這幾年常看到 「XXX is all you need」 的標題。

看到這種標題,我們就忍不住想來看看,這次又怎麼了。

定義問題

在 ViT 提出後的近幾年,大家都想知道為什麼 Transformer 可以這麼厲害。到底是因為自注意力機制?還是因為 Token-Mixer 的機制?還是因為整個架構的設計?

在這篇論文中,作者想探討 ViT 的強大是否來自於 Patchify 的機制。於是,他們提出了 ConvMixer,目的在移除自注意力機制的影響,如果在這種的情況下,模型的性能仍然能夠保持,那麼就可以證明 Patchify 的機制「在某種程度上」是非常重要的。

解決問題

模型架構

這裡作者保留 ViT 以 patch 為輸入、在各層維持相同解析度的思路,但用卷積建立另一種架構,主要差異有兩個:

  1. 將原本的 Self-Attention 模組替換成了 Convolution 模組。

    如上圖,我們對改動的地方進行額外的標示。紅字是筆記後加的說明;右邊把 Pointwise Convolution 和 FFN 說成「相同」並不精確,下面會分開說。

    一開始同樣將影像切成 patch,但以卷積核和步幅都等於 patch 大小的卷積建立嵌入,並保留二維排列。在 Token-Mixer 的部分,作者將原本的 Self-Attention 模組換成 Depthwise Convolution。

    這樣的改動讓原本每個 Token 在單層中可以看到其他所有 Token,變成了每層只混合自己「附近」的 Token(取決於卷積核的大小);堆疊多層後,感受野仍會擴大。如此一來,自注意力機制就不見了,可以藉此觀察 patch 表示在這組模型中的作用。

  2. 將原本的 MLP 替換成了 Pointwise Convolution。

    Pointwise Convolution 在每個空間位置混合通道,功能類似逐 token 的線性層,但不能直接等同於完整的兩層 MLP。

    會特別寫出來是因為這些通道混合操作可以通過 1×1 卷積來實現;圖中後面還接著 GELU 與 BatchNorm。

訓練策略

作者沒有引入額外的訓練資料,而是直接使用 ImageNet 進行訓練。

訓練配置和其他模型差不多,使用 RandAugment、MixUp 等方法進行訓練。優化器使用 AdamW,但 Epoch 數量比較少,這部分根據論文所描述,是因為算力不足。

模型參數設計

上圖是論文主表的模型配置與結果;ConvMixer 模型的設計參數主要有以下四個:

  1. 寬度(hidden dimension, h):即補丁嵌入的維度,也稱為模型的隱藏維度。

  2. 深度(depth, d):ConvMixer 層的重複次數,表示模型的深度。

  3. 補丁大小(patch size, p):控制模型內部解析度的參數。這個參數決定了輸入圖像在進行卷積時的初始劃分大小。

  4. 內核大小(kernel size, k):深度卷積層的內核大小,影響卷積操作的範圍。

ConvMixer 模型通常依照其隱藏維度和深度來命名,例如 ConvMixer-h/d。此外,ConvMixer 支援可變大小的輸入,內部解析度則是由原始輸入大小 n 除以補丁大小 p 決定的。

討論

在 ImageNet 上的表現

ConvMixer-1536/20 的性能優於 ResNet-152,即使其參數數量少得多。ConvMixer-768/32 在僅使用 ResNet-152 三分之一參數的情況下,也能達到類似的準確性。

ConvMixer-1536/20 儘管其參數數量相對較少,但主表的 81.37% 高於 ResMLP-B24/8 的 81.0%,接近 DeiT-B 的 81.8%,展示了這組設定下的參數效率。DeiT 和 ResMLP 的結果涉及較多超參數調整;ConvMixer 主表採用未調參的設定,附錄另列調整正則化後的 82.20%,不可和主表的設定混為一談。

上圖是論文 Figure 1 的參數量與準確率關係;前面的附錄表則顯示 patch 大小的取捨:ConvMixer-1536/20 將 patch 由 7 改為 14,top-1 從 81.37% 降到 78.92%,但吞吐量由 134 增至 538 img/sec;只看準確率或速度都會漏掉另一面。

結論

這篇文章中提出了 ConvMixer 來弱化自注意力機制的影響,用於探索 Patchify 的機制。

實驗結果顯示:把自注意力機制拔掉之後,模型性能仍然能夠保持,於是作者做了兩個總結:

  1. Patchify 的機制確實是重要的。
  2. ConvMixer 的操作簡單,性能優秀,也是個值得推薦的操作。