PP-LCNet: A Lightweight CPU Convolutional Neural Network
- 發表版本
- 正式發表資訊尚未核實
- arXiv 首次提交
- arXiv:2109.15099
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{lightweightpplcnet2021,
title = {{PP-LCNet: A Lightweight CPU Convolutional Neural Network}},
author = {Cheng Cui and Tingquan Gao and Shengyu Wei and Yuning Du and Ruoyu Guo and Shuilong Dong and Bin Lu and Ying Zhou and Xueying Lv and Qiwen Liu and Xiaoguang Hu and Dianhai Yu and Yanjun Ma},
year = {2021},
eprint = {2109.15099},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2109.15099}
}
在輕量模型的競賽中,有幾個主要的方向。
- 其一:優化參數量,以減少模型大小。
- 其二:優化計算量(FLOPs),降低計算量以提高模型的速度。
- 其三:優化推理時間。
欸,等等?
優化參數量和計算量,難道和優化推理時間不是一回事嗎?
多數人會認為:優化參數量和計算量會自然地導致更快的推理時間?
- 答案是:不對!
舉個簡單的例子:
- 在 ResNet 中的跳躍連接
- 在 GoogleNet 中的 Inception 模塊
- 不同模組間的共用參數
以上操作,都會在同等參數量或運算量的前提下,增加推理時間。
其中原因來自於記憶體讀取和多分支架構間的互相等待。
不過在這篇論文中其實沒有很深入的討論這個問題,之後我們看到其他論文的時候再繼續深入討論。
定義問題
這篇論文只是想先解決幾個問題:
- 如何在不增加延遲的情況下促進網路學習更強的特徵表示?
- 提高 CPU 上輕量級模型精確度的要素有哪些?
- 如何有效結合不同策略在 CPU 上設計輕量級模型?
解決問題
模型架構
作者提出了幾個策略,來解決上述問題。
-
DepthSepConv
作者使用在 MobileNetV1 中提出的 DepthSepConv 作為基本區塊,這裡不會用到 shortcut 和 concat 等操作,因此可以提升計算效率。
特別是在過去研究中,已經證明在小模型中使用 shortcut 對於性能提升沒有太大幫助。
另一方面,論文指出 Intel CPU 的加速函式庫對 DepthSepConv 有較充分的優化;在本文的 CPU 設定下,它比 Inverted Block 或 ShuffleNet Block 更快。
-
HSwish
使用 ReLU 啟動函數肯定是最快的!
但通常不是最好的。
目前已經有很多改進的啟動函數,例如 Swish、Mish、GELU 等,都可以提升模型的表現。
這裡作者參考了 MobileNetV3 中提出的 HSwish,這個啟動函數在保持速度的同時,提升了模型的性能。
-
SEBlock
這個架構來自於這篇論文:
這個模塊也幫助了 SENet 贏下了 2017 年的 ImageNet 挑戰賽。
但是在 Intel CPU 上,這個模塊會增加推理時間,因此作者在這裡做了一些簡化:只放在網路的末端。
經過實驗,將 SE 放在最後兩個區塊有較好的精度與延遲平衡;相對於不加 SE,延遲仍會增加。
-
大核卷積
在 MixNet 中,作者分析了不同大小的卷積核對網路效能的影響,最終在網路的同一層混合不同大小的卷積核。
只是這種混合會降低模型的推理速度,因此作者在這裡也做了一些簡化:每層只使用一種卷積核大小,主要在網路後段使用 5×5。
在網路的末端,將 3x3 的卷積換成 5x5 的卷積,可以提升模型的精度。
-
最後多一層全連接層
由於模型太小,資訊容量不足,因此作者在全域平均池化後、分類層前多加了一層 1280 維的 1×1 卷積(等效於全連接層)。
討論
實驗結果
作者在 ImageNet-1k 數據集上進行了實驗,包括 128 萬張訓練影像和 1000 個類別的 5 萬張驗證影像。
-
訓練配置:
- 使用 SGD (隨機梯度下降) 作為最佳化器,具有 0.9 的動量和 3e-5 的權重衰減(對於大型模型為 4e-5)。
- 批量大小為 2048,學習率從 0.8 開始,並通過餘弦退火計劃進行調整。
- 整個訓練過程包括 360 個週期,其中包含 5 個線性預熱週期。
- 影像的前處理包括隨機裁切為 224×224 像素並進行隨機水平翻轉。
-
評估階段:
- 評估時,首先將影像沿短邊調整為 256 像素,然後進行 224×224 像素的中心裁切。
-
精度提升技術:
- 使用 SSLD 蒸餾方法可以顯著提高 PP-LCNet 的精確度;蒸餾結果列於論文表 2,圖中的表 3 是未標星號模型與其他輕量模型的比較。
從上面圖表中,可以看到 PP-LCNet 在本文測試的 Intel Xeon Gold 6148、MKLDNN、10 執行緒、batch size 1 條件下有速度優勢。例如 PP-LCNet-1x 為 71.32% top-1、2.46 ms,MobileNetV2-1x 為 72.15%、4.26 ms;前者快約 1.73 倍,但準確率低 0.83 個百分點。
消融實驗
-
SE 模組(Squeeze-and-Excitation):
- SE 模組增強了模型對通道之間關係的注意力,從而提升模型準確性。
- 論文表 7 顯示,只在最後兩個區塊添加 SE 為 63.14%、2.05 ms;所有區塊都添加則為 64.27%、3.80 ms。
因此,在 PP-LCNet 中優先在最後兩個區塊中加入 SE 模組,以平衡推理速度與準確度。
-
大核心的使用:
- 大核心(如 5×5)雖然能提升精度,但並非適合新增至網路的所有位置。
- 和 SE 模組相似,將大內核置於網路後段有較好的精度與延遲平衡;表 8 中後段 63.14%、2.05 ms,全部使用為 63.22%、2.08 ms。
因此,選擇在特定的層使用 5×5 的深度分離卷積核,而在其他層維持 3×3 核。
-
不同技術的綜合效果:
- 表 9 是逐項累加:H-Swish 使 top-1 從 55.58% 升至 58.18%,延遲從 1.61 升至 1.66 ms;再加入大核心後為 59.09%、1.70 ms。
- 再添加 SE 為 59.91%、1.85 ms,延遲並非不變。
- 在全域平均池化(GAP)後加入 1280 維 1×1 卷積,為 62.50%、2.05 ms。
- 應用 dropout 後為 63.14%、2.05 ms;與 BaseNet 相比共提升 7.56 個百分點,延遲增加 0.44 ms。
結論
在這項研究中,作者專注於開發適用於輕量級 Intel CPU 網路的方法,旨在在不增加推理時間的前提下,提高模型的準確性。
透過廣泛的實驗和方法的優化,提出了一種在各種視覺任務上具有不錯性能的網路架構,特別是在精度與速度的平衡上表現優異。