返回論文筆記資料庫
arXiv 2021CVPR 2022輕量模型論文筆記

Mobile-Former

雙向連通橋

原始論文

Mobile-Former: Bridging MobileNet and Transformer

論文作者

Yinpeng Chen · Xiyang Dai · Dongdong Chen …

查看全部 7 位作者

Yinpeng Chen · Xiyang Dai · Dongdong Chen · Mengchen Liu · Xiaoyi Dong · Lu Yuan · Zicheng Liu

發表版本
CVPR 2022會議
arXiv 首次提交
arXiv:2108.05895
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{lightweightmobileformer2021,
  title = {{Mobile-Former: Bridging MobileNet and Transformer}},
  author = {Yinpeng Chen and Xiyang Dai and Dongdong Chen and Mengchen Liu and Xiaoyi Dong and Lu Yuan and Zicheng Liu},
  year = {2021},
  eprint = {2108.05895},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2108.05895}
}
本頁內容

為了讓 ViT 可以在移動裝置上動起來,研究者們可真是想盡了各種辦法。

定義問題

也不是不能跑,但就是慢。

ViT 的架構在手機上的支援度不高,很難享受到硬體加速的好處。

本篇論文的作者想著:

  • 要不我們就在 MobileNet 的基礎上加上「一點點」的 Transformer 的架構吧!

解決問題

模型架構

作者提出了一個雙向連通橋架構,將 MobileNet 和 Transformer 用並聯的方式連接在一起。

詳細流程如下圖,我們按照步驟來說明:

  1. 藍色區塊:輸入圖片經過 MobileNet 的特徵提取層,得到特徵圖。
  2. 黃色區塊:Transformer 分支以可學習的 token 為輸入,透過跨注意力讀取藍色區塊的影像特徵。
    • 在這個步驟中,作者會預先準備一組可學習的 token,數量小於等於 6 個。
    • 將這些 token 視為查詢的輸入,並將特徵圖視為鍵值對。
  3. 綠色區塊:經過 Cross-Att 之後,接著計算 Self-Att。
  4. 紅色區塊:以第一步驟的特徵圖作為查詢,第三步驟的 token 作為鍵和值,透過跨注意力將全局資訊送回特徵圖。
  5. 最後,第四步驟的輸出會成為下一個 MobileNet block 的輸入;同時,第三步驟的輸出會成為下一個 Transformer block 的輸入。

在雙向橋接的跨注意力中,作者省略 Mobile 端的線性投影,以減少計算量:Mobile→Former 不投影特徵圖的鍵和值;Mobile←Former 不投影特徵圖的查詢。Former 端的投影仍然保留。

其他細部設計像是 FFN 使用 2 作為膨脹比(原本為 4);將 Dynamic ReLU 的輸入改成綠色區塊的輸出(原本是透過平均池化和 MLP 計算);使用 Post-LN 的方式來進行正規化等,這邊我們就不再贅述。

架構參數

如下表,基於原本的 MobileNet-V3 架構,作者在第 2~5 階段使用 Mobile-Former block,第 1 階段仍是輕量瓶頸區塊。

討論

ImageNet 上的性能

作者在 ImageNet 資料集上進行影像分類實驗。ImageNet 資料集包含 1000 個類別,共有 1,281,167 張訓練影像與 50,000 張驗證影像。

Mobile-Former 分類模型的訓練影像解析度設為 224×224。模型從頭開始訓練,使用 AdamW 優化器,訓練 450 個 epoch,並採用餘弦學習率衰減。批次大小為 1024。資料增強技術包含 Mixup、自動增強(AutoAugment)、以及隨機擦除(Random Erasing)。針對不同複雜度的模型,使用了不同組合的初始學習率、權重衰減和 dropout。

上表顯示了 Mobile-Former 與經典高效 CNN 的比較,這些 CNN 包括:MobileNetV3、EfficientNet、ShuffleNetV2 及其延伸版本 WeightNet。比較範圍涵蓋 26M 到 508M FLOP,並分為七組進行比較。

Mobile-Former 在大多數組別中,以更低的計算成本(FLOP)超越了高效 CNN,僅在約 150M FLOP 的組別中,Mobile-Former 的 FLOP 略高於 ShuffleNet/WeightNet,但其 Top-1 準確率顯著更高(75.2% vs. 69.1%/72.4%)。


接著作者將 Mobile-Former 與其他視覺 Transformer 模型進行比較,如上表,包括:DeiT、T2T-ViT、PVT、ConViT、CoaT、ViTC、Swin。

表中變體均使用 224×224 的影像解析度,且未使用教師網路進行蒸餾訓練。Mobile-Former-294M 達到 77.9%,Mobile-Former-508M 達到 79.3%;在各自的比較組別中,兩者都以較少的計算量取得較高準確率。作者將此歸因於較少的 token 建模全局互動,以及 MobileNet 提取局部特徵。

Mobile-Former(訓練 450 個 epoch 且未進行蒸餾)甚至優於使用教師網路蒸餾且訓練 1000 個 epoch 的 LeViT(準確率 77.9% vs. 76.6%,FLOP 為 294M vs. 305M)。


如上圖,作者將 Mobile-Former 與更多的 CNN 模型(如 GhostNet)及視覺 Transformer 變體(如 Swin 和 DeiT)進行比較。

Swin 與 DeiT 的 FLOP 範圍從 100M 到 2G,通過仔細減小網路的寬度與高度實現。Mobile-Former 明顯超越了這些 CNN 和 ViT 變體,展示了將 MobileNet 與 Transformer 結合的平行設計的優勢。儘管視覺 Transformer 在低 FLOP 範圍內明顯不如高效 CNN,但本研究證明透過適當的架構設計,Transformer 也能在低 FLOP 範圍內發揮作用。

消融實驗

那麼,Mobile-Former 的哪些部分對性能影響最大呢?

作者使用訓練 300 個 epoch 的 Mobile-Former-294M 進行消融實驗,觀察不同部分對性能的影響。

如上表實驗結果顯示:MobileNet 加入 Former 和橋接(Mobile→Former 與 Mobile←Former)增加了約 12% 的計算成本,Top-1 準確率比僅使用 Mobile 的基線提高了 2.6 個百分點。

此外,在 Mobile 子模塊中使用 Dynamic ReLU 使 Top-1 準確率再提高 1.0 個百分點。動態 ReLU 中的參數由第一個全局 token 生成,這支持了 Mobile-Former 平行設計在這組消融中的效果。


上表展示了使用不同數量的全局 token 在 Former 中的 ImageNet 分類結果。這些 token 的維度為 192。

有趣的是,即便只使用一個全局 token 也能達到良好的表現(77.1% 的 Top-1 準確率)。相較於一個 token,使用 3 個和 6 個 token 時,準確率分別提高了 0.5 和 0.7 個百分點;增加到 9 個 token 則略降至 77.7%。這種全局 token 的緊湊性是 Mobile-Former 高效性的關鍵因素。

結論

Mobile-Former 透過將 MobileNet 和 Transformer 進行平行設計,實現了高效的視覺模型。

但作者也表示:雖然 Mobile-Former 在處理大型影像時比 MobileNetV3 有更快的推論速度,但當影像尺寸變小時,Mobile-Former 的速度會變慢。如果是在移動裝置上,差異會更加明顯。這個部分值得未來研究者進一步探討。