返回論文筆記資料庫
arXiv 2023ICCV 2023重參數化論文筆記

FastViT

重新參數化的 ViT 試驗

原始論文

FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization

論文作者

Pavan Kumar Anasosalu Vasu · James Gabriel · Jeff Zhu · Oncel Tuzel · Anurag Ranjan

發表版本
ICCV 2023會議
arXiv 首次提交
arXiv:2303.14189
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{reparameterizationfastvit2023,
  title = {{FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization}},
  author = {Pavan Kumar Anasosalu Vasu and James Gabriel and Jeff Zhu and Oncel Tuzel and Anurag Ranjan},
  year = {2023},
  eprint = {2303.14189},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2303.14189}
}
本頁內容

蘋果公司在稍早提出了 MobileOne 之後,繼續探索模型重參數的更多可能性。

上次是對 MobileNet 架構動手,這次輪到 ViT 了。

定義問題

對於電腦視覺領域中的 Transformer 模型,已經在過去幾年間定調了幾個設計方向。

首先我們會分層幾個層級,對應視覺任務的多尺度的解析度需求,這個概念來自於 PVT 和 Swin Transformer:

接著我們會設計一個 Token Mixer 區塊搭配一個 FFN 區塊,組成一個基本模組,這個概念來自於 MetaFormer:

本篇論文的作者在提出 MobileOne 之後,把目光轉向了這個際設架構。

有沒有機會也把這個 Vision Transformer 系列的模型也重新參數化呢?

解決問題

模型架構

FastViT 架構包含四個不同的階段,每個階段在不同的尺度上運行。

  • RepMixer

    RepMixer 基於 ConvMixer 引入的卷積混合概念,其混合塊定義如下:

    Y=BN(σ(DWConv(X)))+XY = \text{BN}(\sigma(\text{DWConv}(X))) + X

    其中σ\sigma 代表非線性啟動函數,BN 表示批次正規化(Batch Normalization),DWConv 為深度卷積層。FastViT 通過重新排列操作並移除非線性函數進行簡化:

    Y=DWConv(BN(X))+XY = \text{DWConv}(\text{BN}(X)) + X

    這樣的設計主要好處是在推論時可以將 BatchNorm 與殘差相加折入等效權重,成為單一深度卷積層:

    Y=DWConv(X)Y = \text{DWConv}(X)

    這種重新參數化移除混合器的跳躍連接,降低記憶體存取與延遲;論文的相同設定比較中,RepMixer 比 PoolFormer 的 PoolMixer 更快。

  • 位置編碼

    FastViT 採用條件位置編碼(參考文獻如下列),這些編碼根據輸入 token 的局部鄰域動態生成。這些編碼通過深度卷積運算產生,並添加到 patch 嵌入中。由於該過程中缺乏非線性操作,這個區塊可以有效地進行重新參數化。

  • 深度可分離卷積

    延續 MobileOne 的設計理念,FastViT 將密集 k×kk \times k 卷積替換為深度可分離卷積,即 k×kk \times k 深度卷積和 1×11 \times 1 點卷積,並搭配重新參數化的訓練策略。

    這種方法在不顯著增加訓練時間的情況下提升了模型容量。例如,FastViT-SA12 和 FastViT-SA36 的訓練時間僅分別增加了 6.7% 和 4.4%。

  • 大核卷積

    為了解決 RepMixer 相對於自注意力 Token Mixer 的局部感受野限制,FastViT 在 FFN 和 patch 嵌入層中整合了深度大核卷積。

    上表的大核卷積消融中,V1→V4 的 top-1 由 78.9% 升至 79.8%,V2→V5 由 79.9% 升至 80.6%,行動裝置延遲各增加 0.1 毫秒。這張表比較準確率與延遲,沒有單獨測試穩健性。

模型配置

FastViT 提供了多種變體,以滿足不同的計算需求和應用場景,如上表。這些變體在嵌入維度、MLP 擴展比率和包含的模塊類型上有所不同。

具體細節如下:

  • 嵌入維度較小的模型,例如 [64, 128, 256, 512],前綴為“S”。
  • 包含自注意力(Self-Attention)層的模型,前綴為“SA”。
  • 嵌入維度較大的模型,例如 [76, 152, 304, 608],前綴為“M”。
  • MLP 擴展比率小於 4 的模型,前綴為“T”。

表中的數字表示總共的 FastViT 模塊數量,FLOP 計數是通過 fvcore 庫計算的。

訓練與評估策略

作者使用 ImageNet-1K 資料集進行實驗,該資料集包含約 130 萬張訓練影像和 5 萬張驗證影像。

這個模型的訓練方法,具體如下:

  • 優化器:AdamW
  • 訓練時期:300 個
  • 權重衰減:0.05
  • 峰值學習率:10−310^{-3}
  • 總批次大小:1024
  • 預熱時期:5
  • 學習率衰減:餘弦退火策略
  • 實作工具:timm 函式庫
  • 訓練硬體:8 個 NVIDIA A100 GPU

對於 384×384 的 FastViT-SA36 與 MA36,作者再進行 30 個時期的微調,具體設定如下:

  • 權重衰減:10−810^{-8}
  • 學習率:5×10−55 \times 10^{-5}
  • 批次大小:512

作者將 FastViT 與其他在 ImageNet-1K 資料集上最新的模型進行了比較,為了公平比較,作者對官方實現的 ConvNeXt 進行了修改,避免昂貴的重塑操作。此外,由於兩個庫對可變形卷積的支持較差,在這份論文中無法可靠地導出 LITv2。

討論

ImageNet 上的性能

完整的比較結果如上表:

  • FastViT-MA36:

    • Top-1 精度達到 84.9%
    • 在 384×384 設定下與 LITv2-B 比較,參數為 42.7M 對 87.0M,約少 51%
    • 消耗的 FLOPs 少 55.4%
  • FastViT-S12:

    • 在 iPhone 12 Pro 上比 MobileOne-S4 快 26.3%
    • GPU 延遲為 2.2 毫秒,MobileOne-S4 為 2.6 毫秒;表中數字約快 15%
  • FastViT-MA36:

    • Top-1 精度為 83.9%
    • 在 256×256 設定下,比 iPhone 12 Pro 上優化的 ConvNeXt-B 模型快 1.9 倍
    • 在 GPU 上快 2.0 倍
  • FastViT-MA36:

    • Top-1 精度為 84.9%
    • 在 384×384 設定下,GPU 延遲為 16.5 毫秒,與 NFNet-F1 的 16.9 毫秒接近
    • 參數為 42.7M,NFNet-F1 為 132.6M
    • 使用的 FLOPs 減少 50.1%
    • 在行動裝置上的速度提高了 42.8%

結論

FastViT 通過結構重新參數化和其他改進措施,實現了高效能和低延遲的平衡,且各種應用場景中均展現出穩健的性能。