論文ノートライブラリに戻る
arXiv 2022CVPR 2023Vision Transformer論文ノート

FlexiViT

自由なパッチサイズ

原論文

FlexiViT: One Model for All Patch Sizes

論文の著者

Lucas Beyer · Pavel Izmailov · Alexander Kolesnikov …

著者全 10 名を表示

Lucas Beyer · Pavel Izmailov · Alexander Kolesnikov · Mathilde Caron · Simon Kornblith · Xiaohua Zhai · Matthias Minderer · Michael Tschannen · Ibrahim Alabdulmohsin · Filip Pavetic

発表先
CVPR 2023国際会議
arXiv への初回投稿
arXiv:2212.08013
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{visiontransformersflexivit2022,
  title = {{FlexiViT: One Model for All Patch Sizes}},
  author = {Lucas Beyer and Pavel Izmailov and Alexander Kolesnikov and Mathilde Caron and Simon Kornblith and Xiaohua Zhai and Matthias Minderer and Michael Tschannen and Ibrahim Alabdulmohsin and Filip Pavetic},
  year = {2022},
  eprint = {2212.08013},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2212.08013}
}
このページの内容

今回は Google Research の作品を見てみましょう。

問題の定義

Vision Transformer(ViT)の台頭は、視覚表現のパラダイムシフトを象徴しています。

画像を固定サイズのパッチに分割し、self-attention を通じて全体の関係性を処理する手法であり、従来の CNN の畳み込みフィルターに依存しません。

しかしこの革命の裏で、重要な設計要素であるパッチサイズは長らく固定されたハイパーパラメータとみなされてきました。

なぜ誰もパッチサイズの設計に挑戦しなかったのでしょうか?

著者は本論文で一つのパラドックスを指摘しています:

  • パッチサイズは明確にモデルの計算コストや分類性能を変化させる。
  • しかしパッチサイズはモデルを再訓練せずに調整できない。

そこで、ViT により高いリソース適応性と転移能力をもたらすために、

「同じパラメータセット」で「複数のパッチサイズ」をサポートする方法はあるか?

問題の解決

このアルゴリズムの実装を見て、また一つ論文を読み終えました!

行ごとに見ていきましょう。

ランダムパッチサイズ

python
1 model = ViT(...)
2 for batch in data:
3     ps = np.random.choice([8, 10, ..., 40, 48])
4     logits = model(batch["images"], (ps, ps))
5     # [...] backprop and optimize as usual

この 5 行は FlexiViT のコアな訓練動作を定義しています:

  • 3 行目:各バッチ開始時にパッチサイズ ps をランダムに選択
  • 4 行目:そのサイズをモデルに渡し、順伝播を行う
  • 5 行目:通常の逆伝播で最適化

このバッチごとのパッチサイズ抽選により、モデルは複数のトークン長、多様な位置エンコーディング、異なる計算負荷の文脈に曝され、

異なるサイズ条件でも安定した予測性能を習得します。主な設定では 240×240240\times240 画像に対し、8、10、12、15、16、20、24、30、40、48 から一つの patch size をバッチ単位で選びます。

モデル内部の動的再構成

python
7 class ViT(nn.Module):
8     def __call__(self, image, patchhw):
9         # Patchify, flexibly:
10        w = self.param("w_emb", (32, 32, 3, d))
11        b = self.param("b_emb", d)
12        w = resize(w, (*patchhw, 3, d))
13        x = conv(image, w, strides=patchhw) + b

このコードは ViT の最初のパッチ埋め込み部分を処理し、ViT の元の Conv2d(patch_size, d) に対応しています:

  • 10 行目:32×32 の基礎パッチ埋め込み重み w を一組保持
  • 12 行目:現在のパッチサイズに応じて w を動的にリサイズ
  • 13 行目:リサイズ済みの w を使い、stride を patchhw とした畳み込みで画像をパッチ化

つまり、パッチ化のロジックが静的から動的に変化したのです。

各サイズごとに埋め込みを訓練する必要はなくなり、

ひとつのコアパラメータセットをリサンプリング(PI-resize や双線形補間)で、訓練時に選ぶ複数のサイズへ適合させます。32×32 は基礎重みの保存形状で、使用する patch size の上限ではありません。

スケーラブルな位置エンコーディング

python
14        # Add flexible position embeddings:
15        pe = self.param("posemb", (7, 7, d))
16        pe = resize(pe, (*x.shape[1:3], d))
17        return TransformerEncoder(...)(x + pe)

位置エンコーディングも token grid に合わせて処理します。ただし位置は双線形補間、パッチ埋め込み重みには後述の PI-resize を使えます:

  • 7×7 の posemb をデフォルトで用意
  • 現在のトークングリッド(patchhw で決まる)に合わせてリアルタイムにリサイズ
  • x に加算してから Transformer encoder に渡す

7×7 は基礎パラメータの格子で、token grid の上限ではありません。これにより、位置の意味は特定サイズに縛られず、

トークン長に応じて空間構造に柔軟に対応できるようになり、

ViT 本来の self-attention 設計と下流互換性を維持しています。

正確なサイズ調整方法とは?

複数の patch size に対応する際、最も見落としやすい点は、patch embedding の重みと入力 patch 間の内積関係がサイズ変化によりどのように歪むか、ということです。

入力 patch を x∈Rp×px \in \mathbb{R}^{p \times p}、対応する patch embedding 重みを ω∈Rp×p\omega \in \mathbb{R}^{p \times p} とします。

標準 ViT では token の生成は両者の内積によって得られます:

e=⟨x,ω⟩e = \langle x, \omega \rangle

ここで、xx と ω\omega を双線形補間で 2p×2p2p \times 2p に拡大した場合、新たな内積は以下のようになります:

⟨x,ω⟩≈14⟨resizep2p(x),resizep2p(ω)⟩\langle x, \omega \rangle \approx \tfrac{1}{4} \langle \text{resize}^{2p}_{p}(x), \text{resize}^{2p}_{p}(\omega) \rangle

つまり、この単純化した例では拡大後の内積が元の約 4 倍になり、token のスケールが変わります。

このスケールシフトは訓練の妨げになるだけでなく、モデルの patch size 間での一般化能力を損ないます。

一貫性を保つためには、両者の内積結果を等しくする必要があり、目標は:

  • patch と embedding がリサイズされても、元の token 意味を保つこと。
⟨x,ω⟩=?⟨Bx,ω^⟩\langle x, \omega \rangle \overset{?}{=} \langle Bx, \hat{\omega} \rangle

ここで、BB は双線形リサイズを表す線形写像行列です:

resizepp∗(o)=Bpp∗⋅vec(o)\text{resize}^{p^*}_{p}(o) = B^{p^*}_{p} \cdot \text{vec}(o)

このミスマッチを解決するため、著者は数学的により整合性のある重み変形手法、

Pseudo-Inverse Resize(PI-resize)を提案しています。

式は次の通り:

ω^=arg⁡min⁡ω^Ex∼X[(⟨x,ω⟩−⟨Bx,ω^⟩)2]\hat{\omega} = \arg\min_{\hat{\omega}} \mathbb{E}_{x \sim X} \left[ \left( \langle x, \omega \rangle - \langle Bx, \hat{\omega} \rangle \right)^2 \right]

p∗≥pp^* \geq p の場合、一般化逆行列(pseudo-inverse)により解けます:

ω^=Pω\hat{\omega} = P \omega

ただし、

P=B(B⊤B)−1=(B⊤)+P = B(B^\top B)^{-1} = (B^\top)^+

これにより任意の xx に対して、

⟨x,ω⟩=⟨Bx,ω^⟩\langle x, \omega \rangle = \langle Bx, \hat{\omega} \rangle

すなわち、token embedding の内積が完全に一致します。

以下の図は基準モデル ViT-B/8 に対し、patch embedding と入力画像を同時にリサイズし、token 列の長さを固定して精度の変動を観察したものです。

比較した手法は以下の通り:

  • Vanilla resize:単純な双線形補間
  • Norm heuristic:リサイズ後の重みのノルムを補正
  • Area heuristic:面積スケール係数で再調整
  • PI-resize:数学的に導出された内積等価調整

結果として、PI-resize はアップスケール時にほぼ精度低下を起こさず、ダウンスケールでもこの図では比較的安定しています。ただし縮小には情報損失があり、全ての下流タスクで同じ精度になるという図ではありません。

FlexiViT の表現空間

FlexiViT の設計目的は、複数の patch size において安定した予測能力を維持することです。

しかしその背後には、より根本的な問いがあります:

モデル内部で学習される表現(representation)は、異なる patch size 間でも一貫しているのか?

著者は FlexiViT の表現の安定性を検証するため、以下の一般的な表現比較手法を用いました:

  • CKA(Centered Kernel Alignment):ニューラルネットワーク各層の出力の類似度を計測
  • Arc-Cosine + t-SNE:類似度を距離に変換し、可視化を実施

これらの手法で、異なる patch size(例:grid size = 5, 10, 30)における各層の特徴マップの一貫性を観察しています。

下図より、主な発見は以下の通りです:

  • 前半安定:0〜6 層目の MLP 直前まで、patch size に関わらず各層の表現は非常に類似
  • 中盤揺らぎ:6 層目の MLP にて顕著な分岐が生じ、異なる grid size の表現が分離
  • 後半再集合:最終層(特に 11 層目)にかけて徐々に表現が再び近づく
  • CLS トークンの安定性:patch token は grid size により分布が変わるが、分類出力で使う CLS トークンは異なるサイズ間でも高い整合性を保つ

この解析は興味深い現象を示しています:

FlexiViT は異なるサイズの入力を「無理に同一表現へ圧縮」するのではなく、

中間層で各解像度に応じた処理経路を形成しつつ、

最終的には分類出力の表現で収束するということです。

著者の観察をたとえるなら:

モデルは「異なる道を通っても、最後は同じゴールに辿り着くことを学んだ」。

なお、後述の転移実験で使う FlexiViT-B は ViT-B/8 教師からの初期化と蒸留も利用します。固定サイズの比較モデルも対応する蒸留設定なので、下流の結果をパッチサイズのランダム化だけの効果とは読めません。

討論

記事の分量の制約上、すべての実験結果と図表を掲載することは控えます。

以下にいくつかの注目すべき断片を取り上げますので、その他の実験に興味がある読者はぜひ原論文をご参照ください。

複数タスクにわたる総覧

上図は FlexiViT が複数の下流タスクにおいて示す転移性能を示しており、画像分類、セマンティックセグメンテーション、画像検索、オープンボキャブラリ物体検出といった代表的な応用を網羅しています。

実験では、事前学習済みの FlexiViT‑B を固定パッチサイズ(/16 と /30)で微調整および推論し、対応するパッチサイズで事前学習された ViT‑B モデル 2 種と比較しました。

結果は、FlexiViT が各パッチサイズで別々に学習した ViT におおむね近いことを示します。/16 の一部のタスクでは少し高く、/30 の一部では低くなります。図の分類、PQ、AP、R@1、mIoU は異なる指標なので、一つの百分率差にまとめられません。

この図のタスクと設定では、マルチサイズ事前学習が予測品質をおおむね保っているといえます。

さらに重要なのは、これらの性能が単一の重みセットで達成されている点です。

従来の方法では、多様なリソース制約やタスクシナリオに対応するために複数の ViT モデルを個別に訓練する必要があります。これに対し FlexiViT は、近い性能を保ちながら、維持する事前学習済み視覚 backbone の数を減らせます。各タスクの head や微調整は個別に用意します。

言い換えれば、「高性能」と「省リソース」を動的に切り替える必要のある応用シナリオにおいて、単一の FlexiViT モデルが複数の ViT に代わる合理的な骨幹かつ統一的な展開対象となり得ます。

高速な転移と推論の柔軟性

上図は実際の展開シナリオにおける FlexiViT の非常に価値ある特性を示しています:

  • 低計算コストで微調整を完了し、推論段階ではより高解像度を用いて性能向上が可能。

実験では FlexiViT‑B と ViT‑B/30 をともに 8×8 のグリッドサイズで ImageNet‑1k 上で微調整し、その後異なるグリッドで評価しました。

結果、標準の ViT‑B/30 は grid を密にすると精度が少し上がってから急に下がりますが、FlexiViT は推論時の token grid を 8×8 から 24×24 に密にすると Top‑1 精度が 3.5 ポイント(81.8%→85.3%)上がりました。これは画像の画素解像度を上げる比較ではなく、小さい patch で token を増やす比較です。

右図では同一モデルを 8×8、15×15、30×30 の各グリッドで微調整し、異なるグリッドで性能を比較しています。

三種類の微調整 grid から推論時に別の grid へ切り替えられますが、8×8 と 15×15 の曲線は最も密な位置でやや下がります。

この特性は新たなモデル活用戦略をもたらします:

リソース制約の厳しい環境では粗いグリッドで素早く微調整を行い、推論時に動的に細かいグリッドに切り替えて高精度を得ることが可能です。

多様な計算リソースのサポート、A/B テストや動的パラメータ調整を必要とするシステムにとって、微調整と推論の grid を別々に選べるのは便利です。ただし token を増やす推論には追加の計算とメモリが必要です。

オープンボキャブラリ物体検出

著者は FlexiViT を画像エンコーダとして OWL‑ViT 検出フレームワークに組み込み、固定パッチサイズの ViT‑B/16 および ViT‑B/30 と比較しています。

評価には多様なクラスと長尾分布を特徴とする LVIS データセットを用い、ゼロショット検出タスクの試験場として適しています。

結果は、柔軟な B/flexi バックボーンを用いた Flexi OWL‑ViT が、多くの評価パッチサイズで安定した平均精度(AP)を示すことです。ただし全ての点で固定版以上ではなく、/16 付近では固定 ViT‑B/16 の方がわずかに高くなります。

大きい patch の /24 や /30 では、元の訓練サイズから離れた固定版 ViT‑B/30 より高くなります。小さい patch の /12 でも Flexi は約 26% AP を保ちます。ここでいう /24 や /30 はpatch size で、画像の画素解像度ではありません。

この特性はオープンボキャブラリ検出タスクにとって極めて重要です。

対象物の大きさが環境によって大きく変わるため、最適なパッチサイズは固定できません。高解像度による精密な位置特定が必要な場合もあれば、大域的に粗い特徴で把握することが望ましい場合もあります。

FlexiViT は patch size を柔軟に変えられるエンコード能力を提供します。評価サイズごとに再訓練せず、タスクと計算資源に応じて動作点を選べるのは実用的です。

時間は計算資源なり

最後に、著者はもう一つ価値ある方向性を検討しています:

  • 柔軟なパッチサイズ訓練を利用して ViT の事前学習を高速化する。

上図は ImageNet‑21k 上での 2 つの事前学習設定を比較しています。

一つは固定パッチサイズで継続的に訓練する従来型 ViT‑B/16、もう一つは異なるパッチサイズを組み合わせたカリキュラムを採用する (Flexi)ViT‑B/16 です。

TPU コア時間(core-hours)を横軸に取ると、可変 patch の課程は近い計算予算で固定 /16 より高い精度を示す点がいくつかあります。ただし、約 400 時間付近の差も 1 ポイント未満です。差が訓練時間とともに広がるとは読めません。

この訓練法は動的なカリキュラム設計に近く、

初期は大きなパッチで計算を高速かつ粗く意味を捉え、後期に細かいパッチに切り替えて詳細と識別能力を補う。

この実験では、一部の予算で少ない計算量から近い精度を得られました。

実務面では、これは ViT 事前学習の計算予算を調整する一つの選択肢です。

最終的なモデルが単一パッチサイズでも、この設定では多サイズの訓練課程で近い精度までの計算量を減らせる場合があります。全てのデータセットや機器で訓練時間が短縮されるという保証ではありません。

結論

FlexiViT はシンプルかつ効果的な戦略を示しており、一つのモデルで異なる計算資源要件や解像度要求を横断的に扱うことを可能にします。

これは複雑な追加構造を導入せず、ViT の根幹設計である patchification に立ち返り、計算量と意味表現の調整における重要パラメータを掘り下げたものです。

ランダムなパッチサイズ訓練、PI-resize による重み再配置、知識蒸留による誘導を通じて、FlexiViT は画像分類、セマンティックセグメンテーション、オープンボキャブラリ検出、マルチモーダル検索などの実験で、固定サイズの ViT におおむね近い性能を示し、単一の事前学習済み視覚骨幹を多様なシナリオへ転用できます。

FlexiViT は patchification の役割を再考させ、今後トークンエンコードから構造圧縮、多尺度融合、データ駆動のスケジューリングに至るまで、より創造的な応用の広がりを期待させます。