Searching for MobileNetV3
- 發表版本
- ICCV 2019會議
- arXiv 首次提交
- arXiv:1905.02244
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{lightweightmobilenetv32019,
title = {{Searching for MobileNetV3}},
author = {Andrew Howard and Mark Sandler and Grace Chu and Liang-Chieh Chen and Bo Chen and Mingxing Tan and Weijun Wang and Yukun Zhu and Ruoming Pang and Vijay Vasudevan and Quoc V. Le and Hartwig Adam},
year = {2019},
eprint = {1905.02244},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1905.02244}
}
前些日子,SENet 幾乎就要提出 MobileNet-V3 了!
可惜在最後時刻點到即止,只留下了論文的一個小段落。
Google 團隊顯然也想繼續推進 MobileNet 的發展,於是他們開始了一場關於 MobileNet-V3 的探索之旅。
定義問題
其實也沒什麼問題。
就是作者們想要找到一個更好的 MobileNet。
於是他們想了兩個方向:
- 使用網路架構搜尋技術:也就是 NAS(神經網路架構搜索)。
- 使用 NetAdapt 演算法:用來針對手機 CPU 進行調整。
解決問題
MobileNet-V2 模組
MobileNet-V3 模組
對比上下兩張架構圖,你能看出來 MobileNet-V3 的改進嗎?
其中一個差別是:在擴展後的深度卷積之後,加入 Squeeze-and-Excitation 模組,對較寬的通道表示加權。
在約一年前提出的論文 MnasNet 中,已經在 MobileNet-V2 的基礎上加入了 Squeeze-and-Excitation 模組。
在 MobileNet-V3 中,這個模組進一步將較難在手機上高效計算的 Sigmoid 換成 Hard-Sigmoid;部分卷積層也改用 Hard-Swish,但並非每一層都使用這兩種函數。
網路架構搜索
新的模組已經準備好了,接下來的問題就是:怎麼疊呢?
這一個部分沿用了 MnasNet 的工作方法,使用基於 RNN 的控制器來搜索網路架構。較大的模型直接以 MnasNet-A1 為起點;較小的模型則調整延遲獎勵權重( 改為 ),重新搜索起始架構。
接著用 NetAdapt 逐層調整通道數,再進行其他架構最佳化。下圖取自 NetAdapt 原論文,圖中的延遲與能耗數字不是 MobileNet-V3 的實驗結果。
網路結尾變更
基於 MobileNetV2 的反向瓶頸結構和變體的模型使用 1x1 卷積作為最後一層,以便擴展到更高維度的特徵空間。也就是上圖中 Original Last Stage 內的 1280 維度的部分。
為了擁有豐富的預測特徵,這一層很重要,但這是以額外延遲為代價的。
為了減少延遲並保留特徵,作者將這一層移動到全局平均池化「之後」,也就是上圖中 Efficient Last Stage 的樣子。
原本計算時採用 7x7 的解析度,經過調整後,就是在 1x1 的解析度上進行計算。作者也因此移除了前一個瓶頸單元中不再需要的投影與深度卷積;這組尾端修改在論文中減少約 3000 萬次乘加運算與 7 ms 延遲,準確率幾乎不變。
縮減初始濾波器
作者觀察到初始濾波器常有互為「鏡像」的情形,因此嘗試縮減這層的通道數。
作者將初始濾波器從 32 減少到 16,並選用 hard-swish 啟動函數;實驗中準確率維持不變,延遲減少約 2 ms,乘加運算減少約 1000 萬次。
非線性啟動函數
作者在論文中大量採用了 hard-swish 和 hard-sigmoid 這兩種啟動函數。
這裡簡單看一下這些啟動函數的差異:
-
ReLU (Rectified Linear Unit)
- 定義:
- 特點:當輸入 為正數時,輸出就是 ;當輸入 為負數時,輸出為 0。
- 用途:由於其計算簡單和非飽和性質,ReLU 在許多深度學習模型中被廣泛使用。
-
Swish
- 定義:,其中 是 Sigmoid 函數 。
- 特點:Swish 函數是自我閘化的啟動函數,它結合了線性和非線性特性。
- 用途:在某些深度學習任務中,相較於 ReLU 和其他啟動函數,Swish 顯示了更好的性能。
-
Hard-Swish
- 定義:,其中 。
- 特點:Hard-Swish 是 Swish 函數的一種分段近似;論文使用最佳化實作來降低手機上的計算延遲。
- 用途:常用於需要高效計算的應用場景,如移動設備或邊緣裝置上的神經網路模型。
-
Sigmoid
- 定義:
- 特點:輸出範圍在 0 到 1 之間,常用於將輸出壓縮到一個限定範圍內。
- 用途:由於其良好的概率解釋,經常用於二分類問題的最後輸出層。
-
Hard-Sigmoid
- 定義:
- 特點:這是 Sigmoid 函數的一種簡化版,其計算速度更快,適合於執行效率要求高的場合。
- 用途:與 Sigmoid 類似,但更常用於需要高效計算的模型中。
網路架構(大)
經過了上面的規畫,透過網路架構搜索、逐層調整與手動修改,得到 MobileNetV3-Large。
下表的讀法,大部分和 MobileNet-V2 一樣,新的地方是:
- SE:表示是否使用了
Squeeze-and-Excitation模組。 - NL:表示使用哪一種非線性啟動函數。
- HS:表示使用
hard-swish啟動函數。 - RE:表示使用
ReLU啟動函數。 - NBN:表示沒有使用
Batch Normalization。
網路架構(小)
針對小型模型,作者們重新搜索起始架構,再以相同流程調整出 MobileNetV3-Small。
討論
ImageNet 實驗結果
圖中橫軸是 Pixel 1 單核心延遲,縱軸是 ImageNet top-1 準確率。在圖示的模型設定與延遲範圍內,MobileNetV3-Large 與 Small 都提供了比圖中的 MnasNet、ProxylessNAS 和 MobileNetV2 對照點更好的取捨。
移動裝置評估
作者在上表中報告了不同 Pixel 手機上的浮點效能。
上表中 P-1 表示 Pixel 1,P-2 表示 Pixel 2,P-3 表示 Pixel 3;三欄是浮點模型以單一大核心、batch size 1 測得的推論延遲,單位為 ms,數值越低越快。例如 V3-Large 1.0 在 Pixel 1 為 51 ms、top-1 準確率 75.2%,相較 V2 1.0 的 64 ms、72.0%。
優化紀錄
上圖展示了作者們在本論文中的準確率與延遲取捨。
從 MnasNet 出發,加入 SE 與 h-swish 的點提高了準確率;NetAdapt 與精簡尾端則主要把延遲往左推。圖中的點呈現各項修改的影響,並非每一步都同時提升準確率與速度。
結論
移動設備的市場很大,算力有限,因此需要更「客製化」的模型。
這篇論文展示了如何通過網路架構搜索和 NetAdapt 演算法,在 Pixel 手機上實現了更好的效能。
未來或許能夠拓展到 Pixel、Apple、Samsung 各種不同手機上的統一架構。
不管是對手機使用者,還是對我們這種模型開發者,這都是一個好消息。