MobileNetV4 -- Universal Models for the Mobile Ecosystem
- 發表版本
- ECCV 2024會議
- arXiv 首次提交
- arXiv:2404.10518
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{lightweightmobilenetv42024,
title = {{MobileNetV4 -- Universal Models for the Mobile Ecosystem}},
author = {Danfeng Qin and Chas Leichner and Manolis Delakis and Marco Fornoni and Shixin Luo and Fan Yang and Weijun Wang and Colby Banbury and Chengxi Ye and Berkin Akin and Vaibhav Aggarwal and Tenghui Zhu and Daniele Moro and Andrew Howard},
year = {2024},
eprint = {2404.10518},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2404.10518}
}
距離上次發表 MobileNetV3 已經五年了。
這段時間內,學術界也取得了許多進展,很多更好的網路架構以及多頭注意力機制的應用場景等。
定義問題
有了新的武器,不禁讓人想拿出來試試看,或許能將它們整合到了 MobileNet 中,取得更好的效果。
首先是近年流行的注意力機制,這個主題在過去的研究中,主要分為兩個流派:
混合注意力
他們專注於融合 CNN 和 Transformer 的優勢,讓注意力機制能夠更好地應用在輕量化網路上。
這裡的代表作有幾篇:
- [21.08] Mobile-Former: Bridging MobileNet and Transformer
- [21.10] MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer
- [23.03] FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization
高效注意力
這個流派的研究重點在於提高 MHSA 效率。嘗試把原本的 複雜度降低到 。
- [21.07] CMT: Convolutional Neural Networks Meet Vision Transformers
- [22.05] EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction
- [22.06] Separable Self-attention for Mobile Vision Transformers
- [22.07] Next-ViT: Next Generation Vision Transformer for Efficient Deployment in Realistic Industrial Scenarios
- [22.12] Rethinking Vision Transformers for MobileNet Size and Speed
不同的卷積網路架構
除了注意力機制,還有一些網路架構綜述,例如:
這也是可以拿來參考的對象。
解決問題
網路架構
作者首先擴展 MobileNet-V2 的反向瓶頸(Invert Residual Block,論文中簡稱 IB)。
首先看到圖中的 Inverted Bottleneck,這是 MobileNet-V2 的基本結構,這個部分相信你應該很熟。
接著,作者在通道擴張層前面加入一個可選的 Depthwise Convolution,原本位於擴張與投影層之間的 DW 也改為可選,讓兩者可以「自由組合」。
於是就可以排列出四種不同的組合方式:
- 兩個都選:Extra DW
- 選第一個 DW:ConvNeXt-like 的結構
- 選中間 DW:原本的 IB
- 兩個都不選:就是單純的 FFN
這種自由組合的模組,在論文中稱為 UIB(Universal Inverted Bottleneck)。
Mobile MQA
完成了卷積網路的架構設計,接著作者引入一個新型的注意力模組: Multi-Query Attention (MQA)。
這個架構來自於:
如果你還記得注意力機制的基本結構,你會知道它由三個部分組成:Query、Key 和 Value。
在多頭注意力機制中,每個頭都有自己的 Query、Key 和 Value。
而這個模組的主要想法是每個頭有不同的 Query ,但全都共用相同的 Key 和 Value。
當注意力處理的 token 數相對於特徵維度較少時,共用 Key 和 Value 可以降低記憶體讀寫量;論文的實驗顯示,這樣做對該組模型的準確率影響很小。
在 MobileNetV4 的混合模型中,注意力放在後段的低解析度特徵圖上,加上移動裝置常用 batch size 1 推論,正好符合這個條件。
有別於文字的注意力機制,這裡的注意力機制是用在圖像上的。
於是作者另外參考了另外一篇論文:
這篇論文中提出空間縮減注意力模組(Spatial-Reduction Attention)簡稱 SRA。
簡單來說就是在執行注意力機制之前,先將特徵圖進行空間縮減,這樣可以減少計算量。
把上面兩者結合起來:Query 保持原解析度,Key 和 Value 可以先經過 stride-2 的 深度卷積做空間縮減,再以各頭共用的 Key 和 Value 計算注意力,這就是本篇論文提出的 Mobile MQA。
跨裝置最優化
本篇論文的核心目標是在不同裝置上實現最優化。
在實驗過程中,作者整理了幾個重要的見解:
- 多路徑效率問題:
- 組卷積和類似的多路徑設計,即使 MACs 計數較低,也可能因記憶體存取複雜而效率較低。
- 硬體支援很重要:
- Squeeze and Excite (SE)、GELU、LayerNorm 在論文評估的 DSP 上支援較差
- LayerNorm 的效率也落後於 BatchNorm
- SE 在加速器上速度較慢。
- 簡單的力量:
- 簡單的模組如 ReLU、Conv2D、DW-Conv2D 和 BatchNorm 等在移動裝置上有很好的支持。
基於以上見解,作者以廣泛支援的標準模組與 UIB 搜尋卷積模型,再於混合模型的後段交錯加入 Mobile MQA;並非在同一個 NAS 搜尋中同時選取兩種模組。
討論
ImageNet 的實驗結果
圖中 MNv4 在多種硬體上呈現較好的準確率與延遲取捨;各裝置的量測精度與執行環境不同,這些曲線仍應分平台閱讀。
- CPU 上的表現:在圖中的 Pixel 6 與 S23 CPU 上,MNv4 曲線於多個可比準確率區間有較低延遲;不能把「兩倍」套用到所有型號。
- EdgeTPU 上的表現:Pixel 8 EdgeTPU 圖中,MNv4 也有較好的準確率與延遲取捨,仍須對準具體型號比較。
- GPU 和 Apple ANE 上的表現:在 S23 GPU 和 iPhone 13 CoreML 上,MNv4 也有競爭力;CoreML 圖只測了 Conv 型號,沒有 Hybrid 型號。
- 與競爭模型的比較:
- FastViT:部分型號在 Apple Neural Engine 上很快,但表中的 S23 GPU 延遲比相近準確率的 MNv4 型號高;FastViT 的 DSP 欄標為
Failed。 - EfficientViT:表中有 S23 GPU 與 CoreML 數據;CPU 與 EdgeTPU 欄位未測。
- MobileNet V3:本文使用重新訓練的基準,圖中在部分平台和準確率區間落後於 MNv4。
- FastViT:部分型號在 Apple Neural Engine 上很快,但表中的 S23 GPU 延遲比相近準確率的 MNv4 型號高;FastViT 的 DSP 欄標為
作者也提到,MNv4 的成功得益於使用了 UIB 區塊、增強的 NAS 配方和精心設計的搜尋空間。
這些結果支持作者對跨裝置設計的主張,但不同硬體仍需要分別量測。
MQA 的效果
實驗證實了 MQA 在混合模型中的優勢。
如上表所示,在同一個基礎模型的最後階段加上三個注意力區塊,MQA 相較 MHSA 的 top-1 準確率只低了 0.03 個百分點。表中的 Pixel 8 EdgeTPU 39.0% 與 S23 GPU 41.1% 延遲改善,是扣除基礎模型後的注意力部分,不是整個模型的加速幅度;以 S23 GPU 的完整模型為例,延遲從 16.46 ms 降至 15.10 ms,約快 8.3%。
MQA 也讓新增注意力部分的 MACs 和參數量,分別比 MHSA 少 28.6% 與 25.5%;完整模型則從 6.7G/3600 萬降至 6.5G/3470 萬。
MNv4-Conv-S
論文主表列出五個 MNv4 型號:Conv-S、Conv-M、Conv-L、Hybrid-M 和 Hybrid-L,其中 MNv4-Conv-S 是最小的模型。下圖只列 Conv-S 的架構。
其他模型的架構請直接參閱論文。
結論
這是一款針對整個行動生態系統高效運作的通用和高效模型。
MobileNetV4 通過一系列的創新和技術優化,在行動 CPU、GPU、DSP 和專用加速器上達到了帕累托最優性能,這在其他輕量級模型的研究中是非常罕見的。
*
在過去的開發經驗中,每當有一個新的輕量模型出現,我們總是得在不同手機上輪番測試...
- 不是要看哪個最好,而是要看哪個手機會出問題。
像是在 2023 年很有聲量的 FastViT 架構,離開了 iPhone 之後,效能降低的幅度讓人困惑。
我們感謝 Google 這次幫我們先測試了一輪,讓我們可以直接拿來用。