論文ノートライブラリに戻る
arXiv 2023CVPR 2024再パラメータ化論文ノート

RepViT

ViT の視点から

原論文

RepViT: Revisiting Mobile CNN From ViT Perspective

論文の著者

Ao Wang · Hui Chen · Zijia Lin · Jungong Han · Guiguang Ding

発表先
CVPR 2024国際会議
arXiv への初回投稿
arXiv:2307.09283
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{reparameterizationrepvit2023,
  title = {{RepViT: Revisiting Mobile CNN From ViT Perspective}},
  author = {Ao Wang and Hui Chen and Zijia Lin and Jungong Han and Guiguang Ding},
  year = {2023},
  eprint = {2307.09283},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2307.09283}
}
このページの内容

再パラメータ化の研究は急速に進展しており、さまざまなモデルアーキテクチャに広がりつつあります。

本論文は MobileNet-V3 の構造を再設計し、一部のブロックに再パラメータ化を用います。元モデル全体を等価変換するだけではありません。これまでのいくつかの研究と異なる点は、以下の通りです:

  • 今回は ViT の視点からアプローチを始めます。

問題の定義

軽量視覚モデルの研究は主に 2 つの派閥に分かれています:

  1. CNN ベースの研究:ここでは MobileNet シリーズが代表的な作品で、depthwise separable 畳み込みを使用してパラメータ数を減らし、倒立残差ボトルネックを利用してモデルの表現能力を増強しています。
  2. ViT ベースの研究:ここでは MobileViT、Mobile-Former、FastViT などが代表的な作品で、畳み込みと注意機構を異なる形で組み合わせます。トークン混合とチャネル混合の分担は MetaFormer の観点から整理できます。

これら 2 つの派閥の間には、まるで越えられない溝があるように見えるのでしょうか?

本論文の目標は、その溝を越え、MobileNet-V3 を再設計し、ViT の視点から再考することです。

問題の解決

アーキテクチャの再設計

まず、ここでは iPhone 12 上で測定したレイテンシを主な目標とします。パラメータ数と FLOPs も後の表に示します。

速く、もっと速く、非常に速く!


すべては MobileNet-V3 から始まります。最近の軽量 ViT を参考にしており、それらはほとんど DeiT のトレーニング方法を採用しています。

ここで採用されたトレーニング方法は次の通りです:

  • AdamW オプティマイザーを使用
  • コサイン学習率減衰を使用し、300 エポックでトレーニング
  • 構造変更のアブレーションでは蒸留を使わず、最終的な蒸留ありの結果で RegNetY-16GF を教師に使用
  • データ拡張として Mixup、AutoAugment、Random Erasing を使用し、Label Smoothing も適用

構造変更の比較は一貫した蒸留なしの設定で行います。遅延は iPhone 12、iOS 16、Core ML コンパイル、バッチサイズ 1 で測定します。MobileNetV3-L 基準モデルの活性化も、コンパイラ対応のため GELU に変更しています。

再パラメータ化構造

次に MobileNet-V3 の構造を調整します。

MetaFormer はブロックを二つの情報交換に分けて考える枠組みです:

  1. トークン間の情報交換は空間位置の混合であり、局所的にも大域的にもなり得ます。
  2. 特徴間の情報交換、画像内ではこれが画像のチャネル情報交換に相当します。

しかし、MobileNet の構造ではこれら 2 つが結合されています。上図の左側のように:

  • 最初に1×11 \times 1の畳み込みを使用、これは「チャネル」情報交換
  • 次に3×33 \times 3のdepthwise 畳み込みを使用、これは「局所空間」情報交換
  • その後SESE層を通過、ここでは「全体とチャネル」情報交換
  • 最後に1×11 \times 1の畳み込みを使用、これは「チャネル」情報交換

したがって、著者はこれらを分離し、上図右側のように変更しました:

  • 最初に「局所空間」情報交換を行い、3×33 \times 3のdepthwise 畳み込みを使用します。訓練時には 1×11 \times 1 の depthwise 分岐とショートカットを加え、推論時には単一の 3×33 \times 3 畳み込みに統合します。
  • 次に任意のSESE層を使用し、全域プーリングを通じてチャネル重みを調整します
  • 最後に二つの 1×11 \times 1 畳み込みでチャネルを混合します

これらの変更で遅延は 1.01 ms から 0.81 ms に約 20% 減少しました。逆数でスループットに換算すれば約 25% の増加です。


速度は速くなったが、この段階の ImageNet top-1 精度は 71.5% から 68.3% に落ちました。

次に、その改善策を考えます。

膨張比率を減少させ、幅を増加

通常の ViT では、チャネルミキサーの膨張比率は通常 4 に設定されており、これによりフィードフォワードネットワーク(FFN)モジュールの隠れた次元は入力次元の 4 倍になります。MobileNetV3-L ではブロックによって異なり、後半では 6 倍が多く使われます。そのため、計算資源を大きく消費し、全体的な推論時間を大幅に増加させます。

過去の研究でも、FFN 内に大量の冗長な情報が存在し、実際にはこれほど高い膨張比率は必要ないことが指摘されています。

著者はここで膨張比率を 2 倍に設定し、各段階のチャネル幅を 48、96、192、384 に増やして表現能力を保つことに決定しました。


この操作を行った後、精度は元に戻り、元の MobileNet-V3 を超えて 73.5%に達しました。遅延は 0.89 ms です。

Stem 構造の調整

ViT では通常、入力画像を重ならないパッチに分割する patchify 操作を使用し、これらの簡単な Stem 構造は通常16×1616 \times 16の大きなカーネルの畳み込みです。層別 ViT では同じ patchify 操作を使用しますが、4×44 \times 4の畳み込みを使用します。

それに対して、MobileNet-V3 の Stem 構造は非常に複雑で、3×33 \times 3の畳み込み、depthwise separable 畳み込み、倒立残差ボトルネックが含まれています。上図(a)のように。

Stem 構造は最も高い解像度で入力画像を処理するため、複雑な構造はモバイルデバイス上で深刻な速度のボトルネックとなります。MobileNet-V3 の Stem 構造は非常に少ないフィルター(わずか 16 チャンネル)を使用しているため、Stem 構造の表現能力も制限されています。

この問題を解決するために、著者は早期の畳み込み方法を採用し、2 つの3×33 \times 3畳み込みを使用し、stride を 2 に設定して計算量を削減します。同時に、フィルターのチャンネル数を増やしてモデルの表現能力を向上させます。上図(b)のように。

ダウンサンプリング構造の調整

MobileNet-V3 では、倒立ボトルネック内の stride 2 の depthwise 畳み込みでダウンサンプリングします。この設計は速度の利点がありますが、十分なネットワークの深さが欠けているため、情報が失われ、モデルのパフォーマンスに悪影響を与える可能性があります。上図(c)のように。

この問題を解決するために、著者はより複雑なダウンサンプリング構造を採用しました。上図(d)のように。この構造では stride 2 の depthwise 畳み込みで空間解像度を下げ、1×1 畳み込みでチャネル数を調整します。その前に RepViT ブロックを置き、最後に FFN モジュールを1×11 \times 1畳み込みの後に配置し、より多くの潜在情報を保持します。

シンプルな分類器

軽量 ViT では、分類器は通常、グローバル平均プーリングと 1 つの線形層で構成されており、この構造はモバイルデバイスで高速です。

それに対して、MobileNet-V3 の分類器は1×11 \times 1の畳み込みと追加の線形層を含んでおり、特徴をより高次元の空間に展開しています。上図(e)のように。この設計は MobileNet-V3 にとって重要ですが、モバイルデバイス上では推論時間を増加させます。

著者はここで MobileNet-V3 の設計を放棄し、代わりにシンプルなグローバル平均プーリングと 1 つの線形層で構成される最終的なアーキテクチャを採用しました。


この設計で速度は 0.77ms に戻り、精度もまた低下しました!

ステージごとの深さの調整

第三段階に多くのブロックを置く設計は一般的ですが、比率は一律ではありません。例えば EfficientFormer-L2 は 1:1:3:1.5 を採用しています。

近年の研究では、小型モデルにはより積極的な比率が有利であることが指摘されています。例えば、Conv2Former-T と Conv2Former-S はそれぞれ 1:1:4:1 と 1:1:8:1 の比率を採用しています。

著者はここで 1:1:7:1 の比率を採用し、深さを 2:2:14:2 に増加させ、より深いネットワークレイアウトを実現しました。

この操作により失われた精度が回復し、76.9% に達しました。遅延は 0.91 ms です。

カーネルサイズの選択

過去の研究では、小型ネットワークにおいて大きなカーネル(例えば 5x55x5 や 7x77x7)を使用することで、モデルの表現力を効果的に向上させることができました。

本文の端末・コンパイラ条件では、大きなカーネルの計算・メモリアクセス負荷が高く、3×3 ほど最適化されていません。すべてのモバイル端末に共通する制限ではありません。

モバイルデバイスでの推論効率を確保するために、著者はすべてのモジュールで優先的に 3x33x3 の畳み込みを使用しました。

この操作は 76.9% の精度を維持し、推論時間を 0.91 から 0.89 ms に短縮しました。

Squeeze-and-Excitation の選択

過去の研究では、SE モジュールは様々なネットワークアーキテクチャに広く適用され、モデルの表現力を効果的に向上させることができます。

  • しかし、SE モジュールは非常に遅い!

SE モジュールの利点を享受したいが、速度に影響を与えたくない場合、著者は妥協案を採用しました:

  • SE モジュールを「少しだけ」使用し、各段階の第 1、3、5... のブロックにのみ適用する。

考察

ImageNet-1K 上の性能

実験では、標準の 224×224 ピクセルの画像サイズを使用して訓練とテストを行い、異なるトレーニングエポック数(300 または 450 エポック)でモデルのパフォーマンスをテストしました。

ここでの主要な実験結果は以下の通りです:

  1. モデル性能の比較:

    • RepViT モデルは、さまざまなサイズで優れたパフォーマンスを示し、最先端の他のモデルと比較して明らかな優位性を持っています。例えば、同じ遅延条件下で、RepViT-M0.9 は EfficientFormerV2-S0 および FastViT-T8 よりそれぞれ 3.0 および 2.0 ポイント高い(300 エポックの結果) top-1 精度を達成しています。さらに、RepViT-M1.1 は EfficientFormerV2-S1 より 1.7 ポイント高い結果を示しました。
  2. 遅延と精度:

    • RepViT-M1.0 は蒸留ありで 300/450 エポック訓練すると、それぞれ 80.0%/80.3% の top-1 精度を達成し、測定した iPhone 12 で約 1.0 ms でした。
    • 最大のモデルである RepViT-M2.3 は、わずか 2.3 ミリ秒の遅延で 450 エポックの蒸留あり訓練で 83.7% の精度を達成し、優れた性能と効率的な遅延制御を示しました。
  3. 知識蒸留の影響:

    知識蒸留を使用しない場合でも(下表参照)、RepViT モデルは異なる遅延レベルで顕著な性能向上を示しました。例えば、1.0 ミリ秒の遅延で、RepViT-M1.0 の精度は MobileOne-S1 より 2.7 ポイント高い結果(MobileOne-S1 の遅延は 0.9 ms)を示しました。より大きなモデルでは、RepViT-M2.3 が PoolFormer-S36 より 1.1 ポイント高い精度を達成し、遅延は 34.3% 短縮されました(3.5 ミリ秒から 2.3 ミリ秒へ)。

アブレーション実験 - 再パラメータ化された構造

RepViT のブロック内で再パラメータ化された構造の有効性を検証するため、著者は SR の多分岐トポロジーを削除して ImageNet-1K に対するアブレーション研究を行いました。

上表に示すように、訓練時の SR 多分岐構造がない場合、M0.9、M1.5、M2.3 の top-1 精度はそれぞれ 0.27、0.20、0.20 ポイント下がりました。この表は訓練時の構造を比較しており、デプロイ時に分岐を残す場合の遅延ではありません。

アブレーション実験 - SE 層の影響

すべての段階でブロック間で SE 層を活用する利点を検証するため、著者はすべての SE 層を削除(「w/o SE」)し、各ブロックで SE 層を適用する(「各ブロック」)という実験を行いました。

上表では、SE を交互に置く M0.9 は精度 78.74%、遅延 0.87 ms で、全ブロックに置く場合の 78.75%、0.92 ms と比べて精度をほぼ維持して速くなります。M1.5 は両者とも 82.29% で、遅延は 1.58 から 1.52 ms に減ります。SE をすべて外すとさらに速い一方、精度は下がります。

結論

著者は RepViT-M1.0 を、iPhone 12 で約 1.0 ms のモデル遅延と ImageNet-1K 80% 精度を達成した初期の軽量モデルと位置づけています。論文条件での歴史的な結果であり、1 ms 未満の保証や前後処理を含むアプリ全体の測定ではありません。

本記事では、著者たちは軽量 CNN の効率的な設計を深く掘り下げ、軽量 ViT の革新的なアーキテクチャを組み合わせ、新しい RepViT シリーズを発表しました。

リソースが限られたモバイルデバイス向けに設計されたこの軽量 CNN モデルは、さまざまな視覚タスクで優れた性能を示しています。RepViT は、精度の面で現在の最先端の軽量 ViT および CNN を超えただけでなく、遅延の面でも優れたパフォーマンスを発揮しています。

著者たちは、RepViT が軽量モデル設計の堅実な基準となり、軽量モデルの研究と革新を促進し、この分野のさらなる発展を推進することを期待しています。