論文ノートライブラリに戻る
arXiv 2021CVPR 2022軽量モデル論文ノート

Mobile-Former

双方向接続ブリッジ

原論文

Mobile-Former: Bridging MobileNet and Transformer

論文の著者

Yinpeng Chen · Xiyang Dai · Dongdong Chen …

著者全 7 名を表示

Yinpeng Chen · Xiyang Dai · Dongdong Chen · Mengchen Liu · Xiaoyi Dong · Lu Yuan · Zicheng Liu

発表先
CVPR 2022国際会議
arXiv への初回投稿
arXiv:2108.05895
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{lightweightmobileformer2021,
  title = {{Mobile-Former: Bridging MobileNet and Transformer}},
  author = {Yinpeng Chen and Xiyang Dai and Dongdong Chen and Mengchen Liu and Xiaoyi Dong and Lu Yuan and Zicheng Liu},
  year = {2021},
  eprint = {2108.05895},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2108.05895}
}
このページの内容

ViT をモバイルデバイス上で動かすために、研究者たちは様々な方法を考案しました。

問題の定義

実行できないわけではありませんが、遅いのです。

ViT のアーキテクチャは、スマートフォンではサポートが不十分で、ハードウェアアクセラレーションの利点を享受することが難しいのです。

本論文の著者は次のように考えました:

  • 「MobileNet の上に、少しだけ Transformer のアーキテクチャを加えよう!」

問題の解決

モデルアーキテクチャ

著者は双方向接続ブリッジアーキテクチャを提案し、MobileNet と Transformer を並列に接続しました。

詳細なフローは次の図の通りです。手順に従って説明します:

  1. 青いブロック:入力画像は MobileNet の特徴抽出層を通じて特徴マップを得ます。
  2. 黄色いブロック:Transformer 側では学習可能なトークンを入力とし、クロスアテンションで青いブロックの画像特徴を読み取ります。
    • このステップでは、著者は事前に学習可能なトークンを準備します。トークンの数は最大でも 6 個です。
    • これらのトークンをクエリとして扱い、特徴マップをキーとバリューとして使用します。
  3. 緑のブロック:クロスアテンション後、次に自己注意(Self-Attention)を計算します。
  4. 赤いブロック:最初のステップで得られた特徴マップをクエリ、3 番目のステップで得られたトークンをキーとバリューとしてクロスアテンションを行い、大域情報を特徴マップに戻します。
  5. 最後に、4 番目のステップの出力は次の MobileNet ブロックの入力となり、同時に 3 番目のステップの出力は次の Transformer ブロックの入力となります。

双方向の橋となるクロスアテンションでは、Mobile 側の線形投影を省略して計算量を減らします。Mobile→Former では特徴マップ側のキーとバリュー、Mobile←Former では特徴マップ側のクエリを投影しません。Former 側の投影は残します。

その他の細かい設計として、FFN では膨張比率を 4 から 2 に変更したり、Dynamic ReLU のパラメータを緑のブロックの最初のトークンから 2 層の MLP で生成したり(元々は特徴マップの平均プーリング後に MLP を使用)、正規化には Post-LN を使用するなどがありますが、ここでは詳細を省略します。

アーキテクチャのパラメータ

下記の表では、元々の MobileNet-V3 アーキテクチャに基づき、第 2~5 ステージに Mobile-Former ブロックを使っています。第 1 ステージは軽量ボトルネックブロックのままです。

討論

ImageNet 上での性能

著者は ImageNet データセットで画像分類実験を行いました。ImageNet データセットには 1000 クラスがあり、1,281,167 枚の訓練画像と 50,000 枚の検証画像があります。

Mobile-Former の分類モデルでは画像解像度を 224×224 に設定しました。モデルはゼロから訓練され、AdamW 最適化アルゴリズムを使用して 450 エポックで訓練され、余弦学習率減衰を採用しました。バッチサイズは 1024 です。データ増強技術には Mixup、AutoAugment、Random Erasing が含まれています。異なるモデルの複雑さに応じて、異なる初期学習率、重み減衰、ドロップアウトを使用しました。

上の表は Mobile-Former とクラシックな効率的 CNN との比較を示しています。これらの CNN には MobileNetV3、EfficientNet、ShuffleNetV2 とその派生モデル WeightNet などが含まれており、比較範囲は 26M から 508M FLOP の七つのグループです。

Mobile-Former はほとんどのグループで、より低い計算コスト(FLOP)で効率的な CNN を上回ります。例えば 294M モデルは MobileNetV3 1.25× の 356M モデルより計算量が少なく、Top-1 精度は 77.9% 対 76.6% です。一方、150M FLOP 付近のグループでは Mobile-Former の FLOP が ShuffleNet/WeightNet より若干高くなっていますが、その Top-1 精度も高い(75.2% 対 69.1%/72.4%)。比較モデルの入力解像度や訓練条件はすべて同一ではありません。


次に、著者は Mobile-Former を他の視覚 Transformer モデルと比較しました。これには DeiT、T2T-ViT、PVT、ConViT、CoaT、ViTC、Swin が含まれます。

表中の変種は 224×224 の画像解像度で、教師ネットワークによる蒸留訓練は行われていません。Mobile-Former-294M は Top-1 精度 77.9%、508M は 79.3% を達成し、それぞれの比較グループで少ない計算量と高い精度を示しました。著者は、少ないトークンでグローバルな相互作用をモデル化し、MobileNet を利用して局所的な特徴を抽出できることを理由に挙げています。

Mobile-Former(450 エポックで訓練し蒸留なし)は、教師ネットワークを使用した蒸留訓練を 1000 エポック行った LeViT(精度 77.9% 対 76.6%、FLOP 294M 対 305M)を上回っています。


上の図は、著者が Mobile-Former を他の CNN モデル(例えば GhostNet)や視覚 Transformer の変種(例えば Swin や DeiT)と比較した結果を示しています。

Swin と DeiT の FLOP 範囲は 100M から 2G で、ネットワークの幅と高さを慎重に縮小することで実現されています。Mobile-Former は図中の CNN や ViT 変種を明確に上回り、MobileNet と Transformer の組み合わせによる並列設計の利点を示しました。視覚 Transformer が図中の低 FLOP 範囲で効率的な CNN に劣ることは明らかですが、この研究は適切なアーキテクチャ設計によって、Transformer も低 FLOP 範囲で効果的に機能することを示しました。

アブレーション実験

では、Mobile-Former のどの部分が性能に最も影響を与えているのでしょうか?

著者は Mobile-Former-294M を 300 エポック訓練してアブレーション実験を行い、異なる部分が性能に与える影響を観察しました。

上の表の実験結果では、MobileNet に Former と橋渡し(Mobile→Former と Mobile←Former)を加えた場合、計算コストは約 12% 増加しましたが、Top-1 精度は Mobile のベースラインより 2.6 ポイント向上しました。

また、Mobile サブモジュールで Dynamic ReLU を使用することで、Top-1 精度はさらに 1.0 ポイント向上しました。Dynamic ReLU のパラメータは最初のグローバルトークンから生成され、このアブレーションは Mobile-Former の並列設計を支持しています。


上記の表は、Former 内で使用する異なる数のグローバルトークンによる ImageNet 分類結果を示しています。これらのトークンの次元は 192 です。

興味深いことに、1 つのグローバルトークンのみを使用しても良好な結果(Top-1 精度 77.1%)が得られます。1 個の場合に比べ、3 個と 6 個では精度がそれぞれ 0.5 ポイントと 0.7 ポイント向上しました。9 個に増やすと 77.7% にわずかに下がります。このようなグローバルトークンのコンパクト性こそが、Mobile-Former の効率性の鍵となっています。

結論

Mobile-Former は、MobileNet と Transformer を並列に設計することで、高効率な視覚モデルを実現しました。

しかし、著者は次のようにも述べています:Mobile-Former は大きな画像を処理する際には MobileNetV3 よりも高速な推論速度を示しますが、画像のサイズが小さくなると、Mobile-Former の速度は遅くなります。これは Xeon CPU 上の単一スレッド・バッチサイズ 1 の測定で、スマートフォンでの実測結果ではありません。端末上ではどうなるか、今後さらに調べる必要があります。