Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
- 発表先
- ICCV 2021国際会議
- arXiv への初回投稿
- arXiv:2103.14030
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{visiontransformersswintransformer2021,
title = {{Swin Transformer: Hierarchical Vision Transformer using Shifted Windows}},
author = {Ze Liu and Yutong Lin and Yue Cao and Han Hu and Yixuan Wei and Zheng Zhang and Stephen Lin and Baining Guo},
year = {2021},
eprint = {2103.14030},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2103.14030}
}
同じ時期に提案された PVT は、畳み込みネットワークの階層的構造を Transformer に導入したものです。
PVT は SRA 機構(Spatial Reduction Attention)を使用して注意機構の計算量を削減していますが、このアプローチでは問題は完全には解決されておらず、注意機構の平方の計算量は依然として残っています。
問題の定義
本論文では、ターゲットとする対象は元々の ViT アーキテクチャであり、主に以下のいくつかの問題が存在します:
多尺度検出能力
元の ViT は通常 16×16 ピクセルのパッチを使い、単一尺度の特徴を出力します。検出やセグメンテーションにも適用できますが、多尺度のヘッドへ接続するには特徴の解像度を補う処理が必要で、注意計算も重くなります。
平方計算量
物体検出を行う場合、224 x 224 の入力画像だけを使用することはありません。
大きな画像の入力は、注意機構の計算量を非常に大きくします。例えば、元々 224 x 224 の画像の場合、得られるパッチの数は 14 x 14 = 196 ですが、1536 x 1536 の画像の場合、パッチの数は 96 x 96 = 9216 になります。この数で自己注意計算を行うのは通常の計算機では耐えられません。これが、ViT が大きな画像での適用に制限がある理由でもあります。
提案手法
モデルアーキテクチャ
モデルが多尺度の問題を処理できるようにするためには、まず階層型のアーキテクチャを採用する必要があります。上図は Swin-T アーキテクチャです。
入力として H x W x 3 の画像を与え、4 x 4 の方法でパッチに分割し、その後特徴の次元を C に投影することで、H/4 x W/4 x C の特徴マップが得られます。上図の 48 は、1 つのパッチに 4 x 4 x 3 のピクセルがあり、そこから C 次元に変換されることを示しており、ここでの C は 96 です。
次に Swin Transformer のブロックを重ねます。通常のウィンドウ注意 W-MSA とシフトしたウィンドウ注意 SW-MSA を隣り合うブロックで交互に使うので、各ステージのブロック数は偶数です。
ダウンサンプリングには patch merging を使います。隣接する 2×2 個の patch を一つの token にまとめ、特徴をチャネル方向に連結します。形状は H×W×C から H/2×W/2×4C になります。
以下に示す図をご覧ください:
チャネル数を抑えるため、結合後は LayerNorm に通し、線形層で 4C から 2C に落とします。
基本的なアーキテクチャを見た後、次に Swin ブロックの詳細を見ていきましょう。
スライディングウィンドウ
論文の内容によると:
- 灰色の小区画は token です。第 1 段階では入力画像の 4×4 pixel に対応します。
- 標準のウィンドウは 7×7 個の token で、M=7 とします。上の概念図は説明のため M=4 を使っています。
自己注意は各ウィンドウの中だけで計算します。M=7 なら一窓は 49 token。全体が N token でも窓の中の系列長は変わらず、注意行列の要素数はおよそ 49N です。論文の計算式は で、M と C が固定なら token 数 N、つまり画像の面積に対して線形になります。
しかし、この設計方法ではウィンドウ間の情報の流れが遮断されてしまい、Transformer の利点を生かすことができません。どうすればそれを克服できるのでしょうか?
そこで次のブロックでは、ウィンドウの切れ目をずらします。上の M=4 の図では二つの patch、標準の M=7 では三つの patch だけ各方向にずらします。新しい窓が前の窓の境界をまたぐため、隣の領域と情報を交換できます。
新たな問題
この方法を使用すると、新たな問題が発生します:
もともと 個の窓があると、切れ目をそのままずらしただけでは 個の大きさがばらばらな窓になることがあります。論文の 2×2 個の例なら 3×3 個です。小さな窓を一つずつ埋めて計算すれば、その分の処理が増えます。
これは作者が受け入れられないことです。
この問題を解決するために、作者は特殊なマスクの方法を提案しました。
循環シフト(Cyclic Shift)
そこで図のように、特徴マップ全体を左上へ循環シフトしてから、元と同じ数の固定サイズの窓に分けます。端から回り込んだ領域はもともと隣接していないので、後でマスクが必要です。
この循環シフトなら、普通の窓分割と同じ数の固定サイズの窓に戻せます。
ただし、循環によって本来は離れていた領域が隣接して見える部分だけは、注意マスクで遮断します。シフト後に本当に隣り合う patch は、前の窓の境界を越えて注意できるままです。
特殊マスク
この部分は少し複雑であり、作者が GitHub で説明している内容を参照する必要があります:
このマスク設計を順に見てみましょう。左の Image Mask は 14×14 の token を 7×7 の窓に分け、右は各窓の token を平らに並べて作った注意マスクです:
- 最初のウィンドウは完全なウィンドウであり、したがって注意マスクを行う必要はありません。
- 二番目のウィンドウには、左図の 1 と 2 という、もともと隣接しない二つの領域が入ります。
- 三番目のウィンドウには 3 と 6 の二つの領域が入ります。
- 四番目のウィンドウには 4、5、7、8 の四つの領域が入ります。
逆方向の移位
循環シフトとマスクを組み合わせることで、窓の間に情報を通しながら線形の計算量を維持できます。注意計算の後は逆方向にシフトして、特徴マップを元の座標に戻します。
逆シフトにより注意出力を元の座標へ戻し、残差分岐や後続の空間処理と位置を合わせます。
考察
ImageNet-1K 上での性能
画像分類において、作者は ImageNet-1K において提案された Swin Transformer のベンチマークテストを行いました。
このデータセットには、1,000 のカテゴリからの 128 万枚の訓練画像と 5 万枚の検証画像が含まれています。以下は訓練設定です:
- オプティマイザー:AdamW
- 訓練エポック数:300
- 学習率スケジューラ:コサイン減衰
- 線形ウォームアップ:20 エポック
- バッチサイズ:1024
- 初期学習率:0.001
- 重み減衰:0.05
- データ拡張と正則化戦略:ほとんどの戦略を使用、ただし繰り返し拡張と EMA はこの設定では改善しなかったため使用しません。
上表は、Transformer ベースおよび ConvNet ベースのバックボーンを使用した他のアーキテクチャとの比較を示しています。
以前の最先端の Transformer ベースのアーキテクチャ(例えば DeiT)と比較して、Swin Transformer は顕著な性能向上を見せました。
- Swin-T (81.3%) は DeiT-S (79.8%) より 1.5 ポイント高い一方、表のスループットは 755.2 対 940.4 枚毎秒で低くなります。
- Swin-B (83.5%/84.5%) は DeiT-B (81.8%/83.1%) より、入力 224/384 でそれぞれ 1.7/1.4 ポイント高い結果です。
ConvNet の RegNet や EfficientNet と比べると、精度とスループットには構成ごとの取捨選択があります。例えば入力 224 の Swin-B は 83.5%/278.1 枚毎秒、RegNetY-16G は 82.9%/334.7 枚毎秒です。一方、Swin は標準的な Transformer から改良した構成で、まだ改善の余地があると著者は述べています。
物体検出設定
このアーキテクチャは主に多尺度問題を解決することを目的としているため、物体検出タスクでの性能が特に重要です。
物体検出およびインスタンスセグメンテーションの実験は、COCO 2017 データセットで行われました。このデータセットには、118K の訓練画像、5K の検証画像、20K のテスト開発画像が含まれています。
アブレーションでは、作者は 4 つの典型的な物体検出フレームワークを考慮しました:
- Cascade Mask R-CNN
- ATSS
- RepPoints v2
- Sparse RCNN
これら四つのフレームワークでは、以下の訓練設定を揃えています:
- 多尺度訓練:入力サイズを調整し、短辺を 480 から 800 の間、長辺は最大 1333 に設定。
- オプティマイザー:AdamW(初期学習率は 0.0001、重み減衰は 0.05、バッチサイズは 16)。
- 訓練エポック数:3x スケジューリング(36 エポック)。
システムレベルの比較では、作者は改良された HTC(HTC++)を採用し、以下の特徴を持っています:
- インスタブースト
- より強力な多尺度訓練
- 6x スケジューリング(72 エポック)
- ソフト NMS
- ImageNet-22K の事前訓練モデルによる初期化
著者は検出フレームワークや訓練設定をできるだけ揃えて、Swin Transformer を ResNe(X)t や DeiT と比べました。Swin と ResNe(X)t は階層的な特徴マップをそのまま使えますが、DeiT は一つの解像度しか出力しません。そのため DeiT の比較では、逆畳み込み層を足して階層的な特徴マップを作っています。単純にバックボーンだけを入れ替えた比較ではない点に注意してください。
Swin vs ResNe(X)t
上表 (a) は、Swin-T と ResNet-50 が 4 つの物体検出フレームワークでの結果を示しています。
- Swin-T は ResNet-50 に対して一貫して+3.4〜4.2 のボックス AP 向上をもたらしました。
- モデルサイズ、FLOP、遅延は若干大きい。
上表 (b) は、Cascade Mask R-CNN を使用し、異なるモデル規模で Swin Transformer と ResNe(X)t を比較しています。
- Swin-B は 51.9 box AP と 45.0 mask AP を達成し、モデルサイズ、FLOPs、遅延が近い ResNeXt101-64x4d より、それぞれ 3.6/3.3 AP 高くなりました。
HTC++ を使う表 (c) の mini-val では、ResNeXt101-64x4d が 52.3 box AP/46.0 mask AP、Swin-B が 56.4/49.1 です。差は 4.1/3.1 AP になります。
推論速度については、ResNe(X)t は高度に最適化された Cudnn 関数を使用して構築されていますが、Swin Transformer は未完全に最適化された PyTorch の組み込み関数を使用しています。最適化カーネルについてはこの記事の範囲外なので、ここでは議論しません。
Swin vs DeiT
Cascade Mask R-CNN フレームワークを使用した DeiT-S の性能は、上表(b)に示されています。
- Swin-T の結果は DeiT-S より+2.5 のボックス AP と+2.3 のマスク AP が向上し、モデルサイズは似ており(86M vs. 80M)、推論速度は顕著に高い(15.3 FPS vs. 10.4 FPS)です。
DeiT の推論速度が低いのは、主に入力画像サイズにおける二次計算量によるものです。
Swin vs SOTA
表(c)は、最良の結果と先行する最先端モデルの結果を比較しています。
- ImageNet-22K で事前学習した Swin-L に HTC++ と多尺度テストを組み合わせると、COCO test-dev で 58.7 box AP、51.1 mask AP です。表中の Copy-Paste の 56.0 box AP、DetectoRS の 48.5 mask AP より、それぞれ 2.7/2.6 AP 高い結果です。これはシステム全体の比較で、バックボーンだけを替える消融実験とは条件が異なります。
これらの比較と実験結果から、作者は以下をまとめています:
- Swin Transformer は複数の物体検出フレームワークにおいて ResNe(X)t と DeiT を顕著に上回る性能を示しました。
- 表 (b) の近いモデル規模での比較では、物体検出とインスタンスセグメンテーションの精度が上がりました。異なるフレームワークやシステム全体の比較では、計算コストも別々に見なければなりません。
- 現在、PyTorch 関数の未最適化が推論速度に影響を与えているものの、Swin Transformer は強力な性能の潜在能力を示しています。
アブレーション実験
最後に、作者は画像分類と物体検出タスクにおける Swin Transformer のアブレーションを詳述し、重要な設計要素の有効性を検証しました。
-
シフトウィンドウ(Shifted Windows)
作者はまずシフトウィンドウの効果を探求しました。
実験の結果、シフトウィンドウを使用した Swin-T モデルは、固定ウィンドウ分割を使用したものよりもすべてのタスクで優れていました:
- ImageNet-1K で、top-1 精度が 1.1 ポイント向上。
- COCO で、ボックス AP が 2.8、マスク AP が 2.2 向上。
- ADE20K で、mIoU が 2.8 向上。
これらの結果は、シフトウィンドウが早期層でウィンドウ間の接続を効果的に構築する能力を示しています。また、シフトウィンドウによる遅延オーバーヘッドは非常に小さいです。
-
相対位置バイアス(Relative Position Bias)
次に、作者は異なる位置埋め込み方法の効果を比較しました。 結果は、相対位置バイアスを使う Swin-T が、位置埋め込みなしや絶対位置埋め込みだけの設定より、いずれのタスクでも高いことを示しました:
- ImageNet-1K で、top-1 精度がそれぞれ 1.2 と 0.8 ポイント向上。
- COCO で、ボックス AP が 1.3 と 1.5、マスク AP が 1.1 と 1.3 向上。
- ADE20K で、mIoU が 2.3 と 2.9 向上。
これにより、相対位置バイアスが画像分類、物体検出、セマンティックセグメンテーションタスクにおいて有効であることが示されました。
-
異なる自己注意計算方法(Different Self-Attention Methods)
最後に、作者は異なる自己注意計算方法の実際の速度を比較しました。
小さな窓をそのまま padding するシフト実装と比べ、循環シフトではモデル全体の FPS が Swin-T/S/B で 670/371/236 から 755/437/278 へ上がり、約 13%/18%/18% 速くなりました。点ごとの sliding window は naive 実装と最適化した kernel 実装の二種類が載っているので、速度差はどちらと比べるかによって変わります。
同じ Swin-T のバックボーンで比べると、シフトウィンドウと Performer の全体スループットは表 5 で 755 対 638 FPS、ImageNet-1K の Top-1 精度は表 6 で 81.3% 対 79.0%、差は 2.3 ポイントです。点ごとの sliding window も精度は 81.4% と近いですが、表 5 の二つの実装はどちらもシフトウィンドウより遅い結果でした。
結論
Swin Transformer は革新的な視覚 Transformer であり、その設計により階層的な特徴表現が生まれ、計算の複雑さは入力画像サイズに対して線形で増加します。COCO の物体検出や ADE20K のセマンティックセグメンテーションタスクで Swin Transformer は最先端の性能を示し、以前の最良手法を大幅に上回っています。
最後に、作者は Swin Transformer の鍵となる操作はシフトウィンドウであると指摘し、この設計が将来的に NLP 分野にも適用され、汎用的な Transformer モデルとして広まることを期待しています。