MobileNetV4 -- Universal Models for the Mobile Ecosystem
- 発表先
- ECCV 2024国際会議
- arXiv への初回投稿
- arXiv:2404.10518
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{lightweightmobilenetv42024,
title = {{MobileNetV4 -- Universal Models for the Mobile Ecosystem}},
author = {Danfeng Qin and Chas Leichner and Manolis Delakis and Marco Fornoni and Shixin Luo and Fan Yang and Weijun Wang and Colby Banbury and Chengxi Ye and Berkin Akin and Vaibhav Aggarwal and Tenghui Zhu and Daniele Moro and Andrew Howard},
year = {2024},
eprint = {2404.10518},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2404.10518}
}
MobileNetV3 の発表から、もうすぐ五年になります。
この期間、学術界では多くの進展があり、より優れたネットワークアーキテクチャや多頭注意機構の適用シーンなどが登場しました。
問題の定義
新しい武器を見れば試したくなります。新しい畳み込みブロックや注意機構を MobileNet に取り込み、異なるスマートフォンのチップでも精度と速度を両立できるでしょうか。FLOPs だけでは答えられません。メモリアクセス、演算子の対応、推論ランタイムも遅延を左右します。
まずは、最近流行している注意機構が注目されます。この分野の過去の研究は、主に 2 つの流派に分かれています:
混合型注意
これらは CNN と Transformer の利点を融合させ、注意機構を軽量化ネットワークに適用することを目指しています。
代表的な研究は以下の通りです:
- [21.08] Mobile-Former: Bridging MobileNet and Transformer
- [21.10] MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer
- [23.03] FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization
高効率型注意
この流派は、MHSA(多頭自己注意機構)の効率化に焦点を当てています。Key/Value の token 数を減らす方法や線形注意を使う方法がありますが、以下の研究すべてが計算量を から に変えるわけではありません。
- [21.07] CMT: Convolutional Neural Networks Meet Vision Transformers
- [22.05] EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction
- [22.06] Separable Self-attention for Mobile Vision Transformers
- [22.07] Next-ViT: Next Generation Vision Transformer for Efficient Deployment in Realistic Industrial Scenarios
- [22.12] Rethinking Vision Transformers for MobileNet Size and Speed
異なる畳み込みネットワークアーキテクチャ
注意機構に加えて、いくつかのネットワークアーキテクチャの設計研究も行われています:
これも参考にできる対象となります。
問題解決
ネットワークアーキテクチャ
著者はまず、MobileNet-V2 の反転ボトルネック(Inverted Bottleneck、論文中で IB と略称)を拡張しました。
まず図にある Inverted Bottleneck は MobileNet-V2 の基本構造で、この部分は既に馴染みがあると思います。
左端の UIB を見てください。1×1 のチャネル拡張と射影は残したまま、拡張前と拡張後の depthwise 畳み込みをそれぞれ任意にします。NAS が使用の有無とカーネルサイズを選び、空間情報の混合と計算コストを調整します。
これにより、次の 4 つの異なる組み合わせを配置することができます:
- 両方を選択:Extra DW
- 最初の DW を選択:拡張前に空間情報を混ぜる ConvNeXt に似た構造(正規化や活性化関数まで同一ではありません)
- 中央の DW を選択:元の IB
- 両方を選択しない:二つの pointwise 畳み込みの間に活性化・正規化を挟む、FFN に似た構造
このように自由に組み合わせられるモジュールは、論文中で UIB(Universal Inverted Bottleneck)と呼ばれています。
後述する Conv-S の構成表では、解像度を下げる箇所に ExtraDW が選ばれ、14×14 の段階では IB と ConvNeXt に似たブロックが続きます。論文 Table 1 の別々の探索では、UIB を使う探索が top-1 83.3%/Pixel 8 EdgeTPU 2.68 ms、IB のみの探索が 82.3%/2.61 ms です。この条件では精度が上がります。
Mobile MQA
畳み込みネットワークのアーキテクチャ設計が完了した後、著者はMulti-Query Attention(MQA)に基づく Mobile MQA モジュールを導入します。
このアーキテクチャは以下に基づいています:
もし注意機構の基本構造を覚えていれば、これが Query、Key、Value の 3 つの部分で構成されていることが分かります。
多頭注意機構では、各ヘッドが独自の Query、Key、Value を持ちます。
このモジュールの主なアイデアは、各ヘッドが異なる Query を持ちながら、共通の Key と Value を使用することです。
Key/Value の共有は射影の計算とメモリ帯域の需要を減らします。精度を保てるかは実験で確認する必要があり、保証ではありません。特に、バッチ内の token 総数が特徴次元に比べて少ない場合に有効です。
モバイル推論は batch size 1 が多く、注意を使う後段は低解像度でチャネル数が多いため、この条件に合います。
文字データの注意機構とは異なり、ここでは画像における注意機構が使用されています。
また、著者は別の論文を参照しています:
この論文では空間縮減注意モジュール(Spatial-Reduction Attention、略して SRA)が提案されています。
SRA は Query の解像度を保ちながら Key/Value の空間解像度を下げ、注意の計算量を削減します。
Mobile MQA は Key/Value の共有と非対称な空間縮小を組み合わせます。Query の解像度は保ち、縮小が必要な箇所では Key/Value に stride 2 の 3×3 depthwise convolution を適用します。不要な箇所では恒等写像です。論文 Table 3 の 16×16 段階なら Query は 256 位置のまま、Key/Value は 8×8、64 位置になります。S23 GPU の遅延は 7.4→5.9 ms、top-1 は 80.77→80.71% で、0.06 ポイント低下します。この Hybrid-M のモデル全体の比較は、後述する Table 2 の MHSA/MQA 比較とは別です。PVT は版ごとに縮小方法も異なる。
クロスデバイス最適化
論文の目標は、異なる端末で精度と遅延の良いバランスを得ることです。NAS ではまず大まかな幅と畳み込み構成を決め、その後に UIB の二つの depthwise 畳み込みの有無とカーネルサイズを探索します。すべての選択肢を一度に探索するより候補を評価しやすくします。
実験を通じて著者は次のような重要な洞察を得ました:
- マルチパス効率の問題:
- グループ畳み込みや類似のマルチパス設計は、FLOPs が少なくても、複雑なメモリアクセスによって実行効率が下がる場合があります。
- ハードウェアサポートの重要性:
- 高度なモジュール(例:Squeeze and Excite(SE)、GELU、LayerNorm)は、評価対象の DSP では十分にサポートされていませんでした。
- この実行条件では LayerNorm は BatchNorm より非効率で、SE もアクセラレーターの遅延要因になりました。すべてのハードウェアや実装に一律に当てはまる結論ではありません。
- シンプルさの力:
- ReLU、Conv2D、DW-Conv2D、BatchNorm といったシンプルなモジュールは、移動デバイスで優れたサポートを受けている。
こうした知見から、NAS の探索空間では幅広く対応する標準演算と UIB を優先します。まず Conv 骨格を選び、後段に Mobile MQA を交互に加えて Hybrid 版を作ります。
討論
ImageNet の実験結果
- は未測定、Failed はその端末で非対応を意味し、どちらも速度の数値ではありません。MNv4 は、評価した多くの端末で精度と遅延のパレートフロンティア上、またはその近くに位置します。ただし Hybrid モデルは対象 DSP に非対応で、当時は対応する PyTorch MQA 実装がないため CoreML の図にも含まれません。CPU/DSP/EdgeTPU は INT8 TFLite、モバイル GPU は FP16、iPhone 13 は FP16 CoreML で測定しています。異なる端末の絶対遅延を一つの共通ランタイムの結果として比べることはできません。
- 同じ端末上の指定モデル:MNv4-Conv-S は top-1 73.8%、Pixel 6 CPU で 2.4 ms、再訓練した MobileNetV2 は 73.4%、5.0 ms です。精度が近いこの二つでは CPU 上で約 2.1 倍の速度差がありますが、Pixel 8 EdgeTPU ではどちらも 0.7 ms です。
- 中型モデル:MNv4-Conv-M は 79.9% で、Pixel 6 CPU/S23 GPU/iPhone 13 CoreML の遅延が 11.4/4.1/1.1 ms です。精度が近い FastViT-S12 は 79.8% で、それぞれ 83.0/47.0/1.6 ms です。比率はモデルと実行環境によって変わります。
- 測定できない比較:Hybrid-M は 80.7% ですが、Table 6 の Pixel 4 DSP 欄は
Failed、iPhone 13 CoreML 欄は-です。他の端末の結果で空欄を補ったり、すべての Hybrid 版がどこでも動くと断言したりはできません。
著者は、MNv4 の成功が UIB ブロック、強化された NAS レシピ、および巧妙に設計された検索空間の使用に起因していることを述べています。
複数の端末の実測を設計に取り入れた点に価値があります。表の遅延は端末ごとの反復測定から求めた中央値の統計で、未測定の機種に対する予測ではありません。
MQA の効果
実験により、MQA がハイブリッドモデルにおいて優れた効果を示すことが確認されました。
表の削減率は Conv-L のベースモデルを差し引いた、追加の三つの注意ブロックだけの値です。MHSA に比べ MQA は、この注意部分の遅延を Pixel 7 EdgeTPU/Pixel 8 EdgeTPU/S23 GPU でそれぞれ 84.2/39.0/41.1% 減らします。Top-1 は 85.27% から 85.24% へ 0.03 ポイント下がります。
MAC とパラメータの削減率 28.6/25.5% も追加の注意部分に限ります。S23 GPU でのモデル全体の遅延は 16.46→15.10 ms、約 8.3% 減です。Mobile MQA はさらに Einsum のテンソル添字を並べ替えて不要な転置を減らします。この実装上の最適化と Key/Value 共有の効果を一つの単独要因として扱うことはできません。
MNv4-Conv-S
論文の主表にある MNv4 の五つの型は Conv-S、Conv-M、Conv-L、Hybrid-M、Hybrid-L で、その中で MNv4-Conv-S が最小です。下の表は 224×224 入力の Conv-S だけを示し、Conv-M/L や Hybrid の層構成を代表しません。
他のモデルアーキテクチャについては、論文を参照してください。
DW K1/K2 は前述の UIB の二つの任意の位置です。結論
これは複数のモバイルハードウェアでの実測を設計に取り入れたモデルシリーズです。
UIB では空間情報を混ぜる二つの位置を探索でき、Mobile MQA では後段に共有 Key/Value と任意の空間縮小を用います。NAS と複数端末での測定を合わせ、多くの MNv4 構成が評価対象のパレートフロンティア近くに位置します。Conv/Hybrid の違い、学習データ、端末の対応範囲は分けて読む必要があります。
*
過去の開発経験では、新しい軽量モデルが登場するたびに、さまざまな携帯電話でテストを行っていました...
- 最高のものを見つけるためではなく、どの携帯電話が問題を起こすかを調べていたのです。
2023 年に注目を集めた FastViT も、iPhone 以外での遅延には驚きます。Table 6 の FastViT-S12 は iPhone 13 CoreML で 1.6 ms、Pixel 6 CPU で 83.0 ms。同程度の top-1 約 79.9% を得る MNv4-Conv-M は、それぞれ 1.1/11.4 ms です。端末をまたぐ絶対値は直接比較できませんが、各端末内で候補の順位を確かめたいところです。
Google が多くの端末で先に検証してくれたことは、選定の参考になります。それでも、導入前には自分の対象端末と推論環境でのテストが必要です。