論文ノートライブラリに戻る
arXiv 2024ECCV 2024軽量モデル論文ノート

MobileNet-V4

五年後の継承

原論文

MobileNetV4 -- Universal Models for the Mobile Ecosystem

論文の著者

Danfeng Qin · Chas Leichner · Manolis Delakis …

著者全 14 名を表示

Danfeng Qin · Chas Leichner · Manolis Delakis · Marco Fornoni · Shixin Luo · Fan Yang · Weijun Wang · Colby Banbury · Chengxi Ye · Berkin Akin · Vaibhav Aggarwal · Tenghui Zhu · Daniele Moro · Andrew Howard

発表先
ECCV 2024国際会議
arXiv への初回投稿
arXiv:2404.10518
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{lightweightmobilenetv42024,
  title = {{MobileNetV4 -- Universal Models for the Mobile Ecosystem}},
  author = {Danfeng Qin and Chas Leichner and Manolis Delakis and Marco Fornoni and Shixin Luo and Fan Yang and Weijun Wang and Colby Banbury and Chengxi Ye and Berkin Akin and Vaibhav Aggarwal and Tenghui Zhu and Daniele Moro and Andrew Howard},
  year = {2024},
  eprint = {2404.10518},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2404.10518}
}
このページの内容

MobileNetV3 の発表から、もうすぐ五年になります。

この期間、学術界では多くの進展があり、より優れたネットワークアーキテクチャや多頭注意機構の適用シーンなどが登場しました。

問題の定義

新しい武器を見れば試したくなります。新しい畳み込みブロックや注意機構を MobileNet に取り込み、異なるスマートフォンのチップでも精度と速度を両立できるでしょうか。FLOPs だけでは答えられません。メモリアクセス、演算子の対応、推論ランタイムも遅延を左右します。

まずは、最近流行している注意機構が注目されます。この分野の過去の研究は、主に 2 つの流派に分かれています:

混合型注意

これらは CNN と Transformer の利点を融合させ、注意機構を軽量化ネットワークに適用することを目指しています。

代表的な研究は以下の通りです:

高効率型注意

この流派は、MHSA(多頭自己注意機構)の効率化に焦点を当てています。Key/Value の token 数を減らす方法や線形注意を使う方法がありますが、以下の研究すべてが計算量を O(n2)O(n^2) から O(n)O(n) に変えるわけではありません。

異なる畳み込みネットワークアーキテクチャ

注意機構に加えて、いくつかのネットワークアーキテクチャの設計研究も行われています:

これも参考にできる対象となります。

問題解決

ネットワークアーキテクチャ

原論文 Figure 4:オレンジは depthwise 畳み込み、青は 1×1 pointwise 畳み込みです。右端の Alternative Fused IB は別のブロックです。

著者はまず、MobileNet-V2 の反転ボトルネック(Inverted Bottleneck、論文中で IB と略称)を拡張しました。

まず図にある Inverted Bottleneck は MobileNet-V2 の基本構造で、この部分は既に馴染みがあると思います。

左端の UIB を見てください。1×1 のチャネル拡張と射影は残したまま、拡張前と拡張後の depthwise 畳み込みをそれぞれ任意にします。NAS が使用の有無とカーネルサイズを選び、空間情報の混合と計算コストを調整します。

これにより、次の 4 つの異なる組み合わせを配置することができます:

  1. 両方を選択:Extra DW
  2. 最初の DW を選択:拡張前に空間情報を混ぜる ConvNeXt に似た構造(正規化や活性化関数まで同一ではありません)
  3. 中央の DW を選択:元の IB
  4. 両方を選択しない:二つの pointwise 畳み込みの間に活性化・正規化を挟む、FFN に似た構造

このように自由に組み合わせられるモジュールは、論文中で UIB(Universal Inverted Bottleneck)と呼ばれています。

後述する Conv-S の構成表では、解像度を下げる箇所に ExtraDW が選ばれ、14×14 の段階では IB と ConvNeXt に似たブロックが続きます。論文 Table 1 の別々の探索では、UIB を使う探索が top-1 83.3%/Pixel 8 EdgeTPU 2.68 ms、IB のみの探索が 82.3%/2.61 ms です。この条件では精度が上がります。

Mobile MQA

畳み込みネットワークのアーキテクチャ設計が完了した後、著者はMulti-Query Attention(MQA)に基づく Mobile MQA モジュールを導入します。

このアーキテクチャは以下に基づいています:

もし注意機構の基本構造を覚えていれば、これが Query、Key、Value の 3 つの部分で構成されていることが分かります。

多頭注意機構では、各ヘッドが独自の Query、Key、Value を持ちます。

このモジュールの主なアイデアは、各ヘッドが異なる Query を持ちながら、共通の Key と Value を使用することです。

Key/Value の共有は射影の計算とメモリ帯域の需要を減らします。精度を保てるかは実験で確認する必要があり、保証ではありません。特に、バッチ内の token 総数が特徴次元に比べて少ない場合に有効です。

モバイル推論は batch size 1 が多く、注意を使う後段は低解像度でチャネル数が多いため、この条件に合います。

文字データの注意機構とは異なり、ここでは画像における注意機構が使用されています。

また、著者は別の論文を参照しています:

この論文では空間縮減注意モジュール(Spatial-Reduction Attention、略して SRA)が提案されています。

SRA は Query の解像度を保ちながら Key/Value の空間解像度を下げ、注意の計算量を削減します。

Mobile MQA は Key/Value の共有と非対称な空間縮小を組み合わせます。Query の解像度は保ち、縮小が必要な箇所では Key/Value に stride 2 の 3×3 depthwise convolution を適用します。不要な箇所では恒等写像です。論文 Table 3 の 16×16 段階なら Query は 256 位置のまま、Key/Value は 8×8、64 位置になります。S23 GPU の遅延は 7.4→5.9 ms、top-1 は 80.77→80.71% で、0.06 ポイント低下します。この Hybrid-M のモデル全体の比較は、後述する Table 2 の MHSA/MQA 比較とは別です。PVT は版ごとに縮小方法も異なる。

クロスデバイス最適化

論文の目標は、異なる端末で精度と遅延の良いバランスを得ることです。NAS ではまず大まかな幅と畳み込み構成を決め、その後に UIB の二つの depthwise 畳み込みの有無とカーネルサイズを探索します。すべての選択肢を一度に探索するより候補を評価しやすくします。

実験を通じて著者は次のような重要な洞察を得ました:

  1. マルチパス効率の問題:
    • グループ畳み込みや類似のマルチパス設計は、FLOPs が少なくても、複雑なメモリアクセスによって実行効率が下がる場合があります。
  2. ハードウェアサポートの重要性:
    • 高度なモジュール(例:Squeeze and Excite(SE)、GELU、LayerNorm)は、評価対象の DSP では十分にサポートされていませんでした。
    • この実行条件では LayerNorm は BatchNorm より非効率で、SE もアクセラレーターの遅延要因になりました。すべてのハードウェアや実装に一律に当てはまる結論ではありません。
  3. シンプルさの力:
    • ReLU、Conv2D、DW-Conv2D、BatchNorm といったシンプルなモジュールは、移動デバイスで優れたサポートを受けている。

こうした知見から、NAS の探索空間では幅広く対応する標準演算と UIB を優先します。まず Conv 骨格を選び、後段に Mobile MQA を交互に加えて Hybrid 版を作ります。

討論

ImageNet の実験結果

原論文 Figure 1:各図の横軸は別々の端末の遅延、縦軸は ImageNet-1k top-1 です。丸は Conv、四角は Hybrid を表します。まず同じ図の中で比較します。
原論文 Table 6:- は未測定、Failed はその端末で非対応を意味し、どちらも速度の数値ではありません。

MNv4 は、評価した多くの端末で精度と遅延のパレートフロンティア上、またはその近くに位置します。ただし Hybrid モデルは対象 DSP に非対応で、当時は対応する PyTorch MQA 実装がないため CoreML の図にも含まれません。CPU/DSP/EdgeTPU は INT8 TFLite、モバイル GPU は FP16、iPhone 13 は FP16 CoreML で測定しています。異なる端末の絶対遅延を一つの共通ランタイムの結果として比べることはできません。

  1. 同じ端末上の指定モデル:MNv4-Conv-S は top-1 73.8%、Pixel 6 CPU で 2.4 ms、再訓練した MobileNetV2 は 73.4%、5.0 ms です。精度が近いこの二つでは CPU 上で約 2.1 倍の速度差がありますが、Pixel 8 EdgeTPU ではどちらも 0.7 ms です。
  2. 中型モデル:MNv4-Conv-M は 79.9% で、Pixel 6 CPU/S23 GPU/iPhone 13 CoreML の遅延が 11.4/4.1/1.1 ms です。精度が近い FastViT-S12 は 79.8% で、それぞれ 83.0/47.0/1.6 ms です。比率はモデルと実行環境によって変わります。
  3. 測定できない比較:Hybrid-M は 80.7% ですが、Table 6 の Pixel 4 DSP 欄は Failed、iPhone 13 CoreML 欄は - です。他の端末の結果で空欄を補ったり、すべての Hybrid 版がどこでも動くと断言したりはできません。

著者は、MNv4 の成功が UIB ブロック、強化された NAS レシピ、および巧妙に設計された検索空間の使用に起因していることを述べています。

複数の端末の実測を設計に取り入れた点に価値があります。表の遅延は端末ごとの反復測定から求めた中央値の統計で、未測定の機種に対する予測ではありません。

MQA の効果

原論文 Table 2:最終行の遅延削減率はベースモデルを差し引いた追加の注意ブロックにだけ適用します。

実験により、MQA がハイブリッドモデルにおいて優れた効果を示すことが確認されました。

表の削減率は Conv-L のベースモデルを差し引いた、追加の三つの注意ブロックだけの値です。MHSA に比べ MQA は、この注意部分の遅延を Pixel 7 EdgeTPU/Pixel 8 EdgeTPU/S23 GPU でそれぞれ 84.2/39.0/41.1% 減らします。Top-1 は 85.27% から 85.24% へ 0.03 ポイント下がります。

MAC とパラメータの削減率 28.6/25.5% も追加の注意部分に限ります。S23 GPU でのモデル全体の遅延は 16.46→15.10 ms、約 8.3% 減です。Mobile MQA はさらに Einsum のテンソル添字を並べ替えて不要な転置を減らします。この実装上の最適化と Key/Value 共有の効果を一つの単独要因として扱うことはできません。

MNv4-Conv-S

論文の主表にある MNv4 の五つの型は Conv-S、Conv-M、Conv-L、Hybrid-M、Hybrid-L で、その中で MNv4-Conv-S が最小です。下の表は 224×224 入力の Conv-S だけを示し、Conv-M/L や Hybrid の層構成を代表しません。

他のモデルアーキテクチャについては、論文を参照してください。

原論文 Table 11:224²×3 の入力は Conv2D と二つの FusedIB で 28²×64 になり、ExtraDW で 14²×96、最後に 7²×128 を経て分類ヘッドに入ります。DW K1/K2 は前述の UIB の二つの任意の位置です。

結論

これは複数のモバイルハードウェアでの実測を設計に取り入れたモデルシリーズです。

UIB では空間情報を混ぜる二つの位置を探索でき、Mobile MQA では後段に共有 Key/Value と任意の空間縮小を用います。NAS と複数端末での測定を合わせ、多くの MNv4 構成が評価対象のパレートフロンティア近くに位置します。Conv/Hybrid の違い、学習データ、端末の対応範囲は分けて読む必要があります。

*

過去の開発経験では、新しい軽量モデルが登場するたびに、さまざまな携帯電話でテストを行っていました...

  • 最高のものを見つけるためではなく、どの携帯電話が問題を起こすかを調べていたのです。

2023 年に注目を集めた FastViT も、iPhone 以外での遅延には驚きます。Table 6 の FastViT-S12 は iPhone 13 CoreML で 1.6 ms、Pixel 6 CPU で 83.0 ms。同程度の top-1 約 79.9% を得る MNv4-Conv-M は、それぞれ 1.1/11.4 ms です。端末をまたぐ絶対値は直接比較できませんが、各端末内で候補の順位を確かめたいところです。

Google が多くの端末で先に検証してくれたことは、選定の参考になります。それでも、導入前には自分の対象端末と推論環境でのテストが必要です。