FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization
- 発表先
- ICCV 2023国際会議
- arXiv への初回投稿
- arXiv:2303.14189
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{reparameterizationfastvit2023,
title = {{FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization}},
author = {Pavan Kumar Anasosalu Vasu and James Gabriel and Jeff Zhu and Oncel Tuzel and Anurag Ranjan},
year = {2023},
eprint = {2303.14189},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2303.14189}
}
Apple は MobileOne を発表した後、モデルの再パラメータ化のさらなる可能性を探索し続けています。
前回は MobileNet アーキテクチャに取り組み、今回は ViT(Vision Transformer)です。
問題定義
コンピュータビジョン分野での Transformer モデルには、過去数年間でいくつかの設計方向が定まっています。
まず、視覚タスクの多尺度解析のニーズに対応するために、いくつかの層を階層化するという概念が登場します。これは PVT や Swin Transformer から来ている概念です:
次に、Token Mixer ブロックと FFN ブロックを組み合わせて基本モジュールを設計します。この概念は MetaFormer から来ているものです:
本論文の著者は MobileOne を発表した後、このアーキテクチャに注目しました。
では、Vision Transformer シリーズのモデルも再パラメータ化する可能性はあるのでしょうか?
問題解決
モデルアーキテクチャ
FastViT のアーキテクチャは、異なるスケールで動作する 4 つの異なる段階を含んでいます。
-
RepMixer
RepMixer は、ConvMixer に導入された畳み込みミキシングの概念に基づいており、そのミキシングブロックは以下のように定義されています:
ここで、 は非線形の活性化関数を表し、BN はバッチ正規化(Batch Normalization)を示し、DWConv は深さ方向畳み込み層です。FastViT は演算順序を変更し、この非線形性を取り除くようにブロックを再設計します。概念的には次の形です:
この設計変更は訓練を必要とし、元の非線形な ConvMixer と等価ではありません。訓練後は統合可能な演算を一つの depthwise convolution にまとめられます。fused は重みとバイアスが変更されたことを表します:
この再パラメータ化は、残差加算と BN のオーバーヘッドやメモリアクセスを減らし、PoolFormer の PoolMixer よりも優れた推論性能を発揮します。
-
位置エンコーディング
FastViT は条件付き位置エンコーディングを採用しており(参照文献は以下)、これらのエンコーディングは入力トークンの局所的な隣接関係に基づいて動的に生成されます。これらのエンコーディングは深さ方向畳み込み演算で生成され、パッチ埋め込みに追加されます。この過程には非線形操作がないため、このブロックは効果的に再パラメータ化できます。
-
深さ方向分離畳み込み
MobileOne の設計理念を引き継いで、FastViT は密な 畳み込みを深さ方向分離畳み込み、つまり の深さ方向畳み込みと のポイント畳み込みに置き換え、再パラメータ化訓練戦略を組み合わせています。
この方法は訓練時間をほとんど増加させずにモデル容量を向上させます。例えば、FastViT-SA12 と FastViT-SA36 の訓練時間はそれぞれ 6.7% と 4.4% 増加しただけです。
-
大核畳み込み
RepMixer が自注意トークンミキサーに対して局所的な受容野に制限を持つ問題を解決するため、FastViT は FFN とパッチ埋め込み層に大きなカーネルの depthwise convolutionを統合しました。
上表の大カーネル消融では、V1→V4 の top-1 は 78.9%→79.8%、V2→V5 は 79.9%→80.6% で、モバイル端末の遅延はいずれも 0.1 ms 増えています。この表は精度と遅延の比較で、頑健性だけの効果は測っていません。
モデル構成
FastViT はさまざまな計算ニーズやアプリケーションシナリオに対応する複数のバリエーションを提供しており、上表に示すように、これらのバリエーションは埋め込み次元、MLP 拡張比率、含まれるモジュールの種類に違いがあります。
具体的な詳細は以下の通りです:
- 埋め込み次元が小さいモデル(例:[64, 128, 256, 512])には "S" のプレフィックスを付けます。
- 自注意(Self-Attention)層を含むモデルには "SA" のプレフィックスを付けます。
- 埋め込み次元が大きいモデル(例:[76, 152, 304, 608])には "M" のプレフィックスを付けます。
- MLP 拡張比率が 4 未満のモデルには "T" のプレフィックスを付けます。
表の数字は、FastViT モジュールの総数を示し、FLOP 計算は fvcore ライブラリで算出されています。
訓練と評価戦略
著者は ImageNet-1K データセットで実験を行いました。このデータセットには約 130 万枚の訓練画像と 5 万枚の検証画像が含まれています。
基本の訓練解像度は 256×256 で、設定は次の通りです:
- オプティマイザ:AdamW
- 訓練エポック数:300 エポック
- 重み減衰:0.05
- ピーク学習率:
- バッチサイズ:1024
- ウォームアップ期間:5 エポック
- 学習率減衰:コサインアニーリング
- 実装ツール:timm ライブラリ
- 訓練ハードウェア:8 台の NVIDIA A100 GPU
FastViT-SA36 と MA36 は 384×384 の入力サイズでさらに 30 エポック微調整しました。具体的な設定は次の通りです:
- 重み減衰:
- 学習率:
- バッチサイズ:512
著者は FastViT を他の最新のモデルと比較しました。公平を期すために、公式実装された ConvNeXt を修正し、高価な再構成操作を避けました。さらに、両ライブラリの変形可能畳み込みへの対応が不十分なため、LITv2 を確実にエクスポートできませんでした。
考察
ImageNet 上での性能
比較は上表の通りです。モバイル側は Core ML Tools 6.0、iOS 16、batch size 1 です。実験設定では iPhone12 Pro Max、図の説明では iPhone12 Pro と記載されています。GPU 側は RTX 2080Ti/TensorRT 8.0.1.6、batch size 8 であり、単画像の GPU 遅延ではありません。入力サイズも各モデルの表記に従います:
-
FastViT-MA36:
- 384×384 入力で Top-1 精度:84.9%
- 384×384 入力。パラメータは 42.7M で、LITv2-B の 87.0M より約 50.9% 少ない(表から再計算)
- 消費 FLOPs は 55.4% 少ない
-
FastViT-S12:
- MobileOne-S4 よりモバイル遅延が約 26.3% 小さい
- GPU 遅延は 2.2 ms で、MobileOne-S4 の 2.6 ms より表中の数値では約 15% 小さい
-
FastViT-MA36:
- 256×256 入力で Top-1 精度:83.9%
- iPhone 12 Pro 上の最適化された ConvNeXt-B モデルより 1.9 倍高速
- GPU 上では 2.0 倍高速
-
FastViT-MA36:
- 384×384 入力で Top-1 精度:84.9%
- GPU 遅延は 16.5 ms で、NFNet-F1 の 16.9 ms に近い
- パラメータは NFNet-F1 の 132.6M に対して 42.7M、約 67.8% 少ない(表から再計算)
- 使用 FLOPs は 50.1% 減少
- モバイル遅延は 16.1 ms から 9.2 ms へ約 42.8% 減少
結論
FastViT は構造的再パラメータ化とその他の改善策を通じて、高い性能と低遅延のバランスを実現し、さまざまなアプリケーションシナリオで安定した性能を示しました。