RepViT: Revisiting Mobile CNN From ViT Perspective
- 發表版本
- CVPR 2024會議
- arXiv 首次提交
- arXiv:2307.09283
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{reparameterizationrepvit2023,
title = {{RepViT: Revisiting Mobile CNN From ViT Perspective}},
author = {Ao Wang and Hui Chen and Zijia Lin and Jungong Han and Guiguang Ding},
year = {2023},
eprint = {2307.09283},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2307.09283}
}
重新參數化的研究如火如荼,逐漸蔓延到不同的模型架構。
本篇論文的目標是將 MobileNet-V3 重新參數化,和過去幾篇論文不一樣的地方是:
- 我們這次是從 ViT 的觀點開始看起。
定義問題
輕量視覺模型的研究主要分為兩個派系:
- 基於 CNN 的研究:這裡的代表作品是 MobileNet 系列,透過深度可分離卷積來減少參數量,利用倒置殘差瓶頸結構來增加模型的表達能力。
- 基於 ViT 的研究:這裡的代表作品是 MobileViT、Mobileformer 和 FastViT 等,主要透過 MetaFormer 架構來保持模型的表達能力。
兩種派系之間彷彿有個不可逾越的鴻溝?
本篇論文的目標就是要跨越這個鴻溝,將 MobileNet-V3 重新設計,並從 ViT 的角度重新思考。
解決問題
重新設計架構
首先,這裡主要以 iPhone 12 上的實測 Latency 為目標;參數量和 FLOPs 仍列在後面的比較表中。
要快,要更快,要非常快!
一切從 MobileNet-V3 開始,參考最近輕量級的 ViT,他們大多採用 DeiT 的訓練方法。
這裡採用的訓練方式為:
- 使用 AdamW 優化器
- 使用 Cosine 學習率衰減;架構調整實驗訓練 300 epochs,主結果也列出 450 epochs
- 主要比較表使用 RegNetY-16GF 進行知識蒸餾;上圖的逐步架構實驗先不使用蒸餾
- 影像增強方式採用:Mixup、AutoAugment 和 Random Erasing,並使用 Label Smoothing
後續架構調整沿用這套訓練設定;是否使用蒸餾仍須看各實驗表格。
重新參數化結構
接著調整 MobileNet-V3 的結構。
MetaFormer 將資訊交換拆成兩個部分;作者借這個區塊設計來調整 MobileNet-V3:
- Token 之間的資訊交換,在這個區塊中用逐通道卷積處理局部空間資訊。
- 特徵之間的資訊交換,在這個區塊中用 卷積處理通道資訊。
但是在 MobileNet 的結構中,這兩件事情被耦合在一起,如上圖左邊:
- 首先用 的卷積,這裡是「通道」資訊交換
- 接著用 的逐通道卷積,這裡是「局部空間」資訊交換
- 接著經過可選的 層,利用全域池化調整通道權重
- 最後是 的卷積,這裡是「通道」資訊交換
於是作者先將他們分開,改成上圖右邊的結構:
- 首先是「局部空間」資訊交換,這裡用 的逐通道卷積。訓練時加上 逐通道分支和捷徑,推論時合併成單一 卷積。
- 接著是可選的 層,利用全域池化調整通道權重
- 最後是 的卷積,這裡是「通道」資訊交換
這樣就分開了空間和通道資訊交換;在這組 iPhone 12 測試中,延遲由 1.01 降至 0.81 ms,約減少 20%。
速度快了,但這一步的 ImageNet top-1 準確率由 71.5% 降至 68.3%。
接著要想辦法補救。
降低膨脹比並增加寬度
在普通 ViT 中,通道混合器中的擴展比通常設定為 4,使得前饋網路 (FFN) 模組的隱藏維度比輸入維度寬 4 倍;MobileNet-V3-L 的擴展比約為 2.3 至 6,後兩階段多為 6 倍。較寬的通道混合層會增加推理時間。
而過去許多研究也指出 FFN 中存在大量的冗餘資訊,實際上我們不需要這麼高的膨脹比。
- [21.04] LeViT: a Vision Transformer in ConvNet's Clothing for Faster Inference
- [21.04] All Tokens Matter: Token Labeling for Training Better Vision Transformers
- [22.12] SAViT: Structure-Aware Vision Transformer Pruning via Collaborative Optimization
- [23.10] NViT: Vision Transformer Compression and Parameter Redistribution
作者在這裡決定採用 2 倍的膨脹比,再增加各階段寬度至 48、96、192、384 個通道,以補回表達能力。
經過這個操作,精度回來了,還超越了原始的 MobileNet-V3,達到 73.5%;延遲則為 0.89 ms。
Stem 結構調整
ViT 通常使用 patchify 操作作為主幹,將輸入影像劃分為不重疊的 Patch,這些簡單的 Stem 結構通常是一個大核 卷積。在分層 ViT 中,也是用 patchify 的操作,不過用的是 的卷積。
相比之下, MobileNet-V3 的 Stem 結構非常複雜,包含了 的卷積、深度可分離卷積和倒置殘差瓶頸結構,如上圖 (a) 所示。
由於 Stem 結構會以最高解析度處理輸入圖像,因此複雜結構會在行動裝置上遇到嚴重的速度瓶頸,作為權衡,MobileNet-V3 的 Stem 結構被給予相當少的濾波器(只有 16 個通道),這又反過來限制了 Stem 結構的表示能力。
為了解決這個問題,作者採用早期卷積的方式,配置兩個 的卷積,且設定 stride 為 2,這樣可以減少計算量。同時增加濾波器的通道數量,以提升模型的表達能力,如上圖 (b) 所示。
降採樣結構調整
MobileNet-V3 在倒置瓶頸區塊內,透過一個 stride 為 2 的逐通道卷積進行降採樣,這樣的結構在速度上有優勢,但是這種設計可能缺乏足夠的網路深度,導致資訊遺失並對模型效能產生負面影響,如上圖 (c) 所示。
為了解決這個問題,作者採用了更深的降採樣結構,如上圖 (d) 所示。先加一個 RepViT 模塊,再用 stride 為 2 的逐通道卷積縮小特徵圖,接著以 卷積調整通道維度,最後接 FFN 模組。
簡單分類器
在輕量級的 ViT 中,分類器通常由全域平均池化和一個線性層組成,這種架構在行動裝置上的速度很快。
相較之下,MobileNet-V3 的分類器包含了一個 的卷積和一個額外的線性層,將特徵拓展到更高維的空間,如上圖 (e) 所示,這個設計對 MobileNet-V3 而言非常重要,但是在行動裝置上會增加推理時間。
作者在這裡放棄 MobileNet-V3 的設計,改用一個簡單全域平均池化和一個線性層組成最後的架構。
這個設計又讓速度回到 0.77 ms,但是精度又掉了!
階段比例調整
過去研究發現,將較多區塊放在第三階段有利於準確率與速度的取捨;例如 EfficientFormer-L2 採用 1:1:3:1.5 的階段比例。
在近幾年的研究指出:更激進的比例對小模型來說可能更有利,像是 Conv2Former-T 和 Conv2Former-S 就分別採用了 1:1:4:1 和 1:1:8:1 的比例。
作者這裡採用了 1:1:7:1 的比例,深度增加到 2:2:14:2,實現更深的網路佈局。
這個操作終於成功挽回了損失的精度,達到了 76.9%;延遲為 0.91 ms。
內核大小的選擇
在過去研究中,在小型網路中採用大核卷積(例如 或 ),可以有效地提升模型的表達能力。
但是在行動裝置上,大核卷積沒辦法享受到加速的好處,一般硬體不會對大核卷積進行優化。
為了確保在行動裝置上的推理效率,作者在所有模組中優先考慮 卷積。
這個操作維持 76.9% 的準確率,同時將推理時間由 0.91 降到 0.89 ms。
Sqeeze-and-Excitation 的抉擇
在過去的研究中,SE 模塊被廣泛應用在各種網路架構中,可以有效地提升模型的表達能力。
- 但是 SE 模塊真的很慢!
既然想要享受到 SE 模塊的好處,又不想要影響速度,作者採用折衷的方式:
- 將 SE 模塊放「一點點」,只在每個階段的第 1、3、5...區塊中使用。
討論
ImageNet-1K 上的性能
實驗使用了標準的 224×224 像素影像尺寸來進行訓練和測試,並且測試了多種模型的表現,包括使用了不同訓練週期數的模型(300 或 450 週期)。
這裡的主要實驗結果可以分為以下幾個要點:
-
模型性能比較:
- 在表中同為 300 epochs、約 0.9 ms 的設定下,RepViT-M0.9 的 top-1 準確率 78.7%,分別比 EfficientFormerV2-S0 的 75.7% 和 FastViT-T8 的 76.7% 高 3.0、2.0 個百分點。RepViT-M1.1 在 1.1 ms、300 epochs 下為 80.7%,比 EfficientFormerV2-S1 的 79.0% 高 1.7 個百分點。
-
延遲與準確率:
- RepViT-M1.0 在 iPhone 12 上延遲為 1.0 ms;訓練 300 epochs 的 top-1 為 80.0%,450 epochs 時為 80.3%,才超過 80%。
- 最大模型 RepViT-M2.3 在 2.3 ms 下,300/450 epochs 的 top-1 分別是 83.3%/83.7%。
-
知識蒸餾的影響:
即使在沒有使用知識蒸餾的情況下(下表),RepViT 模型在幾組相近延遲的比較中仍有較高準確率。例如,RepViT-M1.0 在 1.0 ms 下為 78.6%,比延遲 0.9 ms 的 MobileOne-S1 高 2.7 個百分點。對於更大的模型,RepViT-M2.3 比 PoolFormer-S36 高 1.1 個百分點,延遲則由 3.5 ms 降至 2.3 ms,約減少 34.3%。
消融實驗 - 重新參數化的結構
為了驗證 RepViT 區塊中重新參數化的結構的有效性,作者在訓練時刪除 SR 的多分支拓撲來對 ImageNet-1K 進行消融研究。
如上表所示,移除訓練期的 SR 多分支後,M0.9、M1.5、M2.3 的 top-1 分別下降 0.27、0.20、0.20 個百分點;這張表比較的是訓練拓撲,不是部署時多留分支的延遲。
消融實驗 - SE 層的影響
為了驗證在所有階段以跨區塊方式利用 SE 層的優勢,作者透過刪除所有 SE 層(即「w/o SE」)並在每個區塊中採用 SE 層(即,「每個區塊」)。
如上表所示,交替放置 SE 的 M0.9 準確率 78.74%、延遲 0.87 ms,幾乎維持每區塊都放 SE 的 78.75%,但比其 0.92 ms 快;M1.5 兩者同為 82.29%,延遲由 1.58 降至 1.52 ms。完全移除 SE 又較快,但準確率較低。
結論
這個架構是第一個在 iPhone12 上,可以基於 1ms 內的推論速度下,在 ImageNet 1K 上精度達到 80% 以上的架構,非常有看點。
在這篇文章中,作者們對輕量級 CNN 的高效設計進行了深入的探索,並結合了輕量級 ViT 的創新架構,推出了全新的 RepViT 系列。
這款針對資源受限行動裝置設計的輕量級 CNN 模型,顯示出在各種視覺任務中的優越性能。RepViT 不僅在準確率上超越了當前最先進的輕量級 ViT 和 CNN,還在延遲方面展現了卓越的表現。
作者們期望 RepViT 成為輕量級模型設計的堅實基線,並激勵更多對於輕量級模型的研究和創新,推動該領域的進一步發展。