Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model
- 発表先
- ICML 2024国際会議
- arXiv への初回投稿
- arXiv:2401.09417
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{mambavim2024,
title = {{Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model}},
author = {Lianghui Zhu and Bencheng Liao and Qian Zhang and Xinlong Wang and Wenyu Liu and Xinggang Wang},
year = {2024},
eprint = {2401.09417},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2401.09417}
}
当時、Transformer が NLP 分野に登場した後、CV 分野では 3 年かかってようやく ViT が誕生しました。
今回は、Mamba が NLP 分野に現れ、以前の経験を活かして、CV 分野ではたった 1 ヶ月で Vim が登場しました。
この分野の研究者たちは、本当に寝食を忘れて働いているようです。
問題の定義
Mamba は長い系列の言語モデリングで効率の可能性を示した。特に自己回帰生成では、系列長に比例して増える attention の KV cache を必要としない。
そのため、瞬く間に多くの研究者の注目を集め、Mamba が次世代の LLM の基盤となり、Transformer に取って代わる可能性があるのかどうかが議論されています。
Mamba が本当に Transformer の後継者となるかどうか、学術界ではさらに数年の議論が続くかもしれませんが、CV 分野ではそんなに待つことはありません。この論文の著者たちは、ViT 内の Transformer アーキテクチャを Mamba に置き換えて、その効果を見てみようとしています。
問題の解決
モデルアーキテクチャ
おそらく、過去の関連研究について必要な知識はすでに習得していると思いますので、ここでは Vim のアーキテクチャから直接見ていきましょう。
上図のモデルアーキテクチャは、実際には ViT の設計スタイルを踏襲したものです。Mamba もシーケンスモデルであるため、画像入力はまずシーケンスデータに変換する必要があります。画像をシーケンスに変換する方法は ViT と同様で、画像をの小さなパッチに切り分け、それをベクトルに展開します。
画像全体を個のパッチに分けると、次のように表現されます:
次に、線形投影行列を通じて、各パッチを次元に投影します。画像分類では系列の情報を集める class token も加えます。論文の式は先頭に置く例ですが、最終的な分類設定では消融結果に従って中央に置きます。
さらに、シーケンスに学習可能な位置エンコーディングを加えます:
最後に、個の Vim ブロックを重ねて、各ブロックは前の層の出力トークンシーケンスをにマッピングし、最終的に層目のクラス・トークンを取って最終分類を行います:
式の は先頭に置いた場合の位置です。中央に挿入する設定では、中央の class token を取り出します。ここまでは ViT とよく似ていますね。主な違いは Vim ブロックの内部にあります。
Vision Mamba Block
元の Mamba は因果的であり、位置 の状態は過去の入力に依存し、後続の token は参照しない。ただし、因果的な依存関係と逐次実行は別であり、訓練では parallel scan を利用できる。Vim が変更するのは情報の流れる方向だ。
しかし、「空間的な認識が必要な」画像に関しては、最初から最後までシーケンスを一方向に入力するのは最適な方法ではありません。画像シーケンスには「左から右」だけでなく、「右から左」や広い文脈も必要とされることが多いため、ここでは双方向シーケンスモデリングの概念が導入されています。
入力された画像シーケンスは、モデルによって「正方向」と「逆方向」の SSM(状態空間モデル)演算が同時に行われ、その後出力端で統合されます。この概念は、自然言語処理における「双方向 RNN」に似ています。
上記のアーキテクチャ図に沿って、計算の流れを簡単に説明します:
- 正規化:入力を正規化し、出力をと呼びます。
- 線形投影:をとに投影し、次元はです。
- 1-D 畳み込み:各方向で に 1-D 畳み込みと SiLU を適用し、 を得る。
- SSM パラメータ: は から計算する。連続時間の は token 間で共有する学習パラメータだが、離散化後の は入力に依存する。
- 正方向/逆方向 SSM:それぞれとを得ます。
- ゲート統合:逆方向の出力を元の token 順序に戻し、両方向に を掛ける。和を 次元に投影し、残差を加える。
数式で表すと、正方向のシーケンス長さをとした場合、に対して次のように表されます:
逆方向ではからに向かって再帰します。
ブロック全体の出力は、次のようにまとめられる。
パラメータ設定
Vim アーキテクチャのハイパーパラメータ設計は以下の通りです:
- :積み重ねる Vim ブロックの数。
- :入力トークンの隠れ次元。
- :拡張後のチャネル幅。ここでの Tiny/Small は 。
- :SSM の状態次元、デフォルトは 16 に設定されています。
DeiT-Tiny や DeiT-Small などのアーキテクチャと比較した場合、対応するハイパーパラメータ設定は以下の通りです:
- Tiny サイズ:。
- Small サイズ:。
- パッチ投影サイズは 16×16、オーバーラップなし、直接フラット化して Vim ブロックに入力されます。
自己注意や別の 2D 畳み込み骨幹は使わないが、ブロック内部には 1D 畳み込みがある。
考察
画像分類の性能
ImageNet-1K の訓練は主に DeiT の設定に従い、AdamW と cosine schedule を使って A800 8 台で行う。追加の 30 epoch の長系列微調整では、patch サイズを 16×16 に保ち、抽出 stride を 8 にして重なる patch を増やす。
表には複数の骨幹が載っているが、全行でパラメータ数、入力解像度、訓練条件が同じではない。差のすべてを SSM だけの効果と考えることはできない。
DeiT との比較では、Vim Tiny/Small/Base が約 7M/26M/98M、DeiT が約 6M/22M/86M パラメータである。規模は近いものの、各組で Vim の方が大きい。Top-1 の差は次のとおり。
- Vim-Tiny は DeiT-Tiny より 3.9 ポイント高い。
- Vim-Small は DeiT-Small より 0.5 ポイント高い。
- Vim-Base は DeiT-Base より 0.1 ポイント高い。
この結果は当該ベンチマークでの競争力を示す。他のデータやハードウェアでの優位性まで保証するものではない。
最後に、Vim-Tiny、Vim-Small、Vim-Base の長シーケンス fine-tuning 後(†で示された)にも精度が向上することが確認されました。これにより、少ないパラメータ量を維持しながら、長シーケンス fine-tuning によって更に良い性能が得られることが分かります。
高解像度下の性能比較
図は Tiny 骨幹による特徴抽出のバッチ推論スループット(FPS、対数目盛)と GPU メモリを比較しています。単一リクエスト全体の遅延や訓練メモリの値ではありません。
- 画像サイズが 512×512 の場合:FPS は近い値ですが、GPU メモリは Vim が 3.32 GB、DeiT が 4.56 GB です。
- 画像サイズが 1248×1248 に増加した場合:
- Vim は DeiT よりも推論速度が 2.8 倍速い。
- GPU メモリ使用量は DeiT の 13.2%に過ぎず(86.8%節約)。
これは、自己注意機構がシーケンス長に対して二次的に増加するのに対し、Vim の SSM モジュールはほぼ線形であるためです。が非常に大きくなると、速度とメモリの優位性が一層顕著になります。
画像セグメンテーションの性能
画像分類のテストを行った後、画像セグメンテーションの性能を確認しました。著者は ADE20K データセットで実験を行い、UPerNet を基盤としたセグメンテーションフレームワークを採用し、Vim と自己注意型バックボーンネットワークの比較優位性を示しました。
上表の Tiny と Small では、Vim の mIoU は DeiT より高くなっています。Vim-Tiny は DeiT-Tiny より 1.8 ポイント、Vim-Small は DeiT-Small より 0.9 ポイント高い値です。この設定では、Vim が分割骨幹として機能することを支持しています。
UPerNet+Vim-Small と UPerNet+ResNet-101 はともに 44.9 mIoU で、表に示す分割システム全体のパラメータ数は約 46M と 86M である。「約半分」は分類骨幹単体の比較ではない。
物体検出の性能
COCO 2017 の検出とインスタンスセグメンテーションには Cascade Mask R-CNN を使う。ViT 骨幹は ViTDet に従い window/global attention を設定するが、Vim にはその変更が不要である。
Table 3 では box AP が 44.4→45.7(+1.3)、mask AP が 38.1→39.2(+1.1)。論文本文は両方を +1.3 としているが、ここでは表の数値に合わせて訂正する。
中型物体の box/mask AP は 1.6/1.3、大型物体は 1.4/1.8 改善した。長距離文脈という説明とは整合するが、スコアだけで原因を特定することはできない。
COCO の検出とインスタンス分割では、Vim 骨幹は DeiT 骨幹で使った 2D window attention を追加せずに、表中で高い AP を得ました。計算効率は、先ほどの特徴抽出時の速度とメモリの測定と合わせて見ます。
アブレーション - 双方向設計
著者は五つの方向処理戦略を説明し、そのうち四つを下の表に載せています。ImageNet 分類と ADE20K 分割で比較し、分割には二層の Segmenter head を使います。この組の消融では class token を使いません。
- None:元々の Mamba の単方向ブロックをそのまま使用し、forward 方向のみで処理を行います。画像シーケンスにおいては、このアプローチは分類には適しているかもしれませんが、「空間的な位置」や「後続の情報」を捉える能力が犠牲になり、下流のセグメンテーションに影響を与える可能性があります。
- Bidirectional Sequence:トレーニング中にランダムで視覚シーケンスの方向を反転させます。基本的にはデータ拡張の一種です。
- Bidirectional Block:2 つのブロックを 1 対として扱います。最初のブロックは forward、次のブロックは backward を担当します。言い換えれば、モデルを積み重ねる際、奇数層は正方向、偶数層は逆方向です。
- Bidirectional SSM:各ブロック内で、元々の forward SSM に加え、backward SSM を追加します。これにより、各ブロックがシーケンスを前後両方向で計算します。
- Bidirectional SSM + Conv1d:Bidirectional SSM に加え、さらにbackward Conv1dモジュールを追加し、逆方向 SSM 前に 1D 畳み込み操作を行います。
実験結果は以下の通りです:
- None:73.2 Top-1、32.3 mIoU。単方向の基準である。
- Bidirectional Layer/Block:v3 Table 4 は 70.9 Top-1、33.6 mIoU で、分類は 2.3 ポイント低下、分割は 1.3 向上する。本文には「7 ポイント低下」が残っており表と一致しないため、ここでは v3 の表に従う。
- Bidirectional SSM:72.8 Top-1、33.2 mIoU。
- Bidirectional SSM + Conv1d:73.9 Top-1、35.9 mIoU。これが採用された双方向ブロックである。元のノートが Bidirectional SSM としていた 73.2/32.3 は、実際には None の値である。
この実験には class token がないため、次節の分類戦略の 76.1% とは設定が異なります。
アブレーション - 分類戦略
著者はSSM ベースのバックボーンにおいて、異なる「分類戦略」が最終的な ImageNet の結果にどのように影響するかを検証しました。そこで、著者は以下の 5 つの戦略を提案し、比較を行いました:
- Mean pool:最終層の出力(トークン)をすべて平均プーリングし、その後分類を行います。class token は使用しません。
- Max pool:すべてのシーケンストークンに対して最大プーリングを行います。同様に class token は使用せず、各トークンには「局所的な」分類ヘッドがあり、最終的に max pool で予測を決定します。
- Head class token:DeiT に倣い、シーケンスの最前に class token を追加し、このトークンのみで分類を行います。
- Double class token:シーケンスの「先頭」と「末尾」にそれぞれ class token を配置し、これらを組み合わせて分類を行います。開始と終了両端の情報を同時に抽出したいという意図です。
- Middle class token:シーケンスの「中央」に class token を挿入し、この中央トークンのみで分類を行います。著者は、このデザインが SSM の再帰的特性を十分に活用し、ImageNet の画像における主要な物体が通常中央に位置するという経験的先入観に合致すると考えています。
実験結果は以下の通りです:
結果として、Middle class tokenが最良の Top-1 精度を提供し、76.1に達しました。
中央の class token は先頭に置いた場合の 75.2% より 0.9 ポイント高い結果です。双方向の情報の流れや ImageNet の中央寄りの物体分布は著者の解釈であり、この表だけでは二つの要因を分けて検証していません。
結論
本研究では、著者は Vision Mamba(Vim)を提案しました。その目的は、最新で高効率な Mamba を汎用的な視覚バックボーンネットワークへと拡張することです。
Vim は自己注意機構に依存せず、双方向 SSM を通じて十分な全体的コンテキストを取得します。また、長いシーケンスや高解像度画像に対しても計算とメモリの消費を合理的に保ちながら、複数の標準的な視覚タスクで優れたパフォーマンスを発揮しています。
この論文を読んだ後、最も印象的だったのは「双方向シーケンスモデリング」の概念です。
画像は 2 次元だ。左から右、右から左だけでなく、縦方向や斜め方向に走査したらどうなるだろう?
私たちは様々な方法で自由に見ることができます:
さらに、MAE や CLIP の概念もここに適用できるかもしれません。MAE は「マスク画像モデル」を通じて、または CLIP スタイルのマルチモーダル事前学習を通じて、Vim のパフォーマンスをさらに向上させる可能性があります。
これからも新たな論文が待ち受けていることでしょう!