返回論文筆記資料庫
arXiv 2019ICCV 2019輕量模型論文筆記

MobileNet-V3

客製化搜索架構

原始論文

Searching for MobileNetV3

論文作者

Andrew Howard · Mark Sandler · Grace Chu …

查看全部 12 位作者

Andrew Howard · Mark Sandler · Grace Chu · Liang-Chieh Chen · Bo Chen · Mingxing Tan · Weijun Wang · Yukun Zhu · Ruoming Pang · Vijay Vasudevan · Quoc V. Le · Hartwig Adam

發表版本
ICCV 2019會議
arXiv 首次提交
arXiv:1905.02244
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{lightweightmobilenetv32019,
  title = {{Searching for MobileNetV3}},
  author = {Andrew Howard and Mark Sandler and Grace Chu and Liang-Chieh Chen and Bo Chen and Mingxing Tan and Weijun Wang and Yukun Zhu and Ruoming Pang and Vijay Vasudevan and Quoc V. Le and Hartwig Adam},
  year = {2019},
  eprint = {1905.02244},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1905.02244}
}
本頁內容

前些日子,SENet 幾乎就要提出 MobileNet-V3 了!

可惜在最後時刻點到即止,只留下了論文的一個小段落。

Google 團隊顯然也想繼續推進 MobileNet 的發展,於是他們開始了一場關於 MobileNet-V3 的探索之旅。

定義問題

其實也沒什麼問題。

就是作者們想要找到一個更好的 MobileNet。

於是他們想了兩個方向:

  1. 使用網路架構搜尋技術:也就是 NAS(神經網路架構搜索)。
  2. 使用 NetAdapt 演算法:用來針對手機 CPU 進行調整。

解決問題

MobileNet-V2 模組

MobileNet-V3 模組

對比上下兩張架構圖,你能看出來 MobileNet-V3 的改進嗎?

其中一個差別是:在擴展後的深度卷積之後,加入 Squeeze-and-Excitation 模組,對較寬的通道表示加權。

在約一年前提出的論文 MnasNet 中,已經在 MobileNet-V2 的基礎上加入了 Squeeze-and-Excitation 模組。

在 MobileNet-V3 中,這個模組進一步將較難在手機上高效計算的 Sigmoid 換成 Hard-Sigmoid;部分卷積層也改用 Hard-Swish,但並非每一層都使用這兩種函數。

網路架構搜索

新的模組已經準備好了,接下來的問題就是:怎麼疊呢?

這一個部分沿用了 MnasNet 的工作方法,使用基於 RNN 的控制器來搜索網路架構。較大的模型直接以 MnasNet-A1 為起點;較小的模型則調整延遲獎勵權重(−0.07-0.07 改為 −0.15-0.15),重新搜索起始架構。

接著用 NetAdapt 逐層調整通道數,再進行其他架構最佳化。下圖取自 NetAdapt 原論文,圖中的延遲與能耗數字不是 MobileNet-V3 的實驗結果。

網路結尾變更

基於 MobileNetV2 的反向瓶頸結構和變體的模型使用 1x1 卷積作為最後一層,以便擴展到更高維度的特徵空間。也就是上圖中 Original Last Stage 內的 1280 維度的部分。

為了擁有豐富的預測特徵,這一層很重要,但這是以額外延遲為代價的。

為了減少延遲並保留特徵,作者將這一層移動到全局平均池化「之後」,也就是上圖中 Efficient Last Stage 的樣子。

原本計算時採用 7x7 的解析度,經過調整後,就是在 1x1 的解析度上進行計算。作者也因此移除了前一個瓶頸單元中不再需要的投影與深度卷積;這組尾端修改在論文中減少約 3000 萬次乘加運算與 7 ms 延遲,準確率幾乎不變。

縮減初始濾波器

作者觀察到初始濾波器常有互為「鏡像」的情形,因此嘗試縮減這層的通道數。

作者將初始濾波器從 32 減少到 16,並選用 hard-swish 啟動函數;實驗中準確率維持不變,延遲減少約 2 ms,乘加運算減少約 1000 萬次。

非線性啟動函數

作者在論文中大量採用了 hard-swish 和 hard-sigmoid 這兩種啟動函數。

這裡簡單看一下這些啟動函數的差異:

  1. ReLU (Rectified Linear Unit)

    • 定義:f(x)=max⁡(0,x)f(x) = \max(0, x)
    • 特點:當輸入 xx 為正數時,輸出就是 xx;當輸入 xx 為負數時,輸出為 0。
    • 用途:由於其計算簡單和非飽和性質,ReLU 在許多深度學習模型中被廣泛使用。
  2. Swish

    • 定義:f(x)=x⋅σ(x)f(x) = x \cdot \sigma(x),其中 σ(x)\sigma(x) 是 Sigmoid 函數 σ(x)=11+e−x\sigma(x) = \frac{1}{1 + e^{-x}}。
    • 特點:Swish 函數是自我閘化的啟動函數,它結合了線性和非線性特性。
    • 用途:在某些深度學習任務中,相較於 ReLU 和其他啟動函數,Swish 顯示了更好的性能。
  3. Hard-Swish

    • 定義:f(x)=x⋅relu6(x+3)/6f(x) = x \cdot \text{relu6}(x+3)/6,其中 relu6(x)=min⁡(max⁡(0,x),6)\text{relu6}(x) = \min(\max(0,x), 6)。
    • 特點:Hard-Swish 是 Swish 函數的一種分段近似;論文使用最佳化實作來降低手機上的計算延遲。
    • 用途:常用於需要高效計算的應用場景,如移動設備或邊緣裝置上的神經網路模型。
  4. Sigmoid

    • 定義:f(x)=11+e−xf(x) = \frac{1}{1 + e^{-x}}
    • 特點:輸出範圍在 0 到 1 之間,常用於將輸出壓縮到一個限定範圍內。
    • 用途:由於其良好的概率解釋,經常用於二分類問題的最後輸出層。
  5. Hard-Sigmoid

    • 定義:f(x)=relu6(x+3)/6f(x) = \text{relu6}(x+3)/6
    • 特點:這是 Sigmoid 函數的一種簡化版,其計算速度更快,適合於執行效率要求高的場合。
    • 用途:與 Sigmoid 類似,但更常用於需要高效計算的模型中。

網路架構(大)

經過了上面的規畫,透過網路架構搜索、逐層調整與手動修改,得到 MobileNetV3-Large。

下表的讀法,大部分和 MobileNet-V2 一樣,新的地方是:

  • SE:表示是否使用了 Squeeze-and-Excitation 模組。
  • NL:表示使用哪一種非線性啟動函數。
  • HS:表示使用 hard-swish 啟動函數。
  • RE:表示使用 ReLU 啟動函數。
  • NBN:表示沒有使用 Batch Normalization。

網路架構(小)

針對小型模型,作者們重新搜索起始架構,再以相同流程調整出 MobileNetV3-Small。

討論

ImageNet 實驗結果

圖中橫軸是 Pixel 1 單核心延遲,縱軸是 ImageNet top-1 準確率。在圖示的模型設定與延遲範圍內,MobileNetV3-Large 與 Small 都提供了比圖中的 MnasNet、ProxylessNAS 和 MobileNetV2 對照點更好的取捨。

移動裝置評估

作者在上表中報告了不同 Pixel 手機上的浮點效能。

上表中 P-1 表示 Pixel 1,P-2 表示 Pixel 2,P-3 表示 Pixel 3;三欄是浮點模型以單一大核心、batch size 1 測得的推論延遲,單位為 ms,數值越低越快。例如 V3-Large 1.0 在 Pixel 1 為 51 ms、top-1 準確率 75.2%,相較 V2 1.0 的 64 ms、72.0%。

優化紀錄

上圖展示了作者們在本論文中的準確率與延遲取捨。

從 MnasNet 出發,加入 SE 與 h-swish 的點提高了準確率;NetAdapt 與精簡尾端則主要把延遲往左推。圖中的點呈現各項修改的影響,並非每一步都同時提升準確率與速度。

結論

移動設備的市場很大,算力有限,因此需要更「客製化」的模型。

這篇論文展示了如何通過網路架構搜索和 NetAdapt 演算法,在 Pixel 手機上實現了更好的效能。

未來或許能夠拓展到 Pixel、Apple、Samsung 各種不同手機上的統一架構。

不管是對手機使用者,還是對我們這種模型開發者,這都是一個好消息。