論文ノートライブラリに戻る
arXiv 2023IJCV 2024顔のなりすまし検知論文ノート

M²A²E

舉一反三

原論文

Rethinking Vision Transformer and Masked Autoencoder in Multimodal Face Anti-Spoofing

論文の著者

Zitong Yu · Rizhao Cai · Yawen Cui · Xin Liu · Yongjian Hu · Alex Kot

arXiv への初回投稿
arXiv:2302.05744
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{faceantispoofingm2a2e2023,
  title = {{Rethinking Vision Transformer and Masked Autoencoder in Multimodal Face Anti-Spoofing}},
  author = {Zitong Yu and Rizhao Cai and Yawen Cui and Xin Liu and Yongjian Hu and Alex Kot},
  year = {2023},
  eprint = {2302.05744},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2302.05744}
}
このページの内容

私たちはこれまで論文を見てきた中で、顔認識システムがしばしば攻撃されることがあることを理解してきました。

顔認識は正確で便利になりましたが、カメラの前には昔からの問いが残ります。画面の顔は人間なのか、それとも写真なのか。

本人照合は「同じ人か」を、FAS は「提示が本物か」を扱い、両者は補完関係にあります。

問題の定義

過去 10 年間、LBP から CNN、単一モーダル RGB から多モーダル融合(RGB、IR、Depth など)に至るまで、私たちは顔認識における偽顔検出システムを構築してきました。しかし、手設計の特徴量や深層学習モデルが「新しい攻撃」や「未見のシーン」に直面すると、依然として一般化能力の壁にぶつかってしまいます。

この問題を解決するために、多モーダルが一つの解決策となりました。

特に高リスクなシーン(例えば顔認証決済や金庫のアクセス管理)では、RGB の映像だけでは情報が不足しがちです。IR、深度情報、さらには熱画像などが異なる次元の生体の手がかりを提供してくれるのです。

しかし、問題がまた発生します。

Vision Transformer(ViT)が登場したことで、多くの人がこれを FAS に適用しようとしています。その理由は簡単です:

  • ViT の長距離のモデリング能力、クロスモーダルの拡張性は、CNN の盲点を補うように見えます。

そのため、微調整したり、追加のモジュールを加えてクロスモーダル能力を強化したりすることで、効果が見られることがあります。

ただし、私たちは本当にその本質を理解しているのでしょうか?

  • ViT は本当にこのような多モーダルタスクに適しているのでしょうか?
  • なぜ、元々 ImageNet で素晴らしいパフォーマンスを発揮していた事前学習が、ここでは少し適応しきれていないのでしょうか?
  • ImageNet による初期化の後、多モダリティの FAS データで自己教師あり事前学習を行うと、タスクとモダリティの差を縮められるでしょうか?
  • モダリティ間の微妙な違い、ViT はそれを捉えていますか?

著者の問題は、単なるモデル訓練戦略の最適化にとどまらず、もっと基本的な質問に戻ります:

私たちは本当に ViT を使って FAS を解決する方法を理解しているのでしょうか?

解決策

問題の本質を理解した後、著者は ViT が多モーダル FAS においてどのように機能するかについて、3 つの重要な側面(入力データ形式、微調整戦略、事前学習方法)に対応する設計を提案しています。

順を追って見ていきましょう。

入力データ

ViT は全体的な関係を扱えますが、CNN より局所的な帰納バイアスが弱い構造です。少量データでは明示的な手がかりが役立つ可能性があります。

FAS タスクにおいて、顔の真偽を識別するための重要な要素はしばしば微妙なエッジのテクスチャや高周波の詳細に隠れています。この時、CNN のように「小さな部分」を捉えるのが得意な特性が特に重要になります。

そのため、著者は ViT の盲点を補うために、3 つのクラシックな局所的特徴記述子を再利用しました:

  • LBP(Local Binary Pattern)

    周囲と中心の画素強度を比較し、二値コードを作ります。理想的には画素の順序を保つ単調な濃度変換でコードは変わりません。

    その式は次のようになります:

    LBP=∑i=1pF(Ii−Ic)⋅2i−1,F(I)={1I≥00otherwise\text{LBP} = \sum_{i=1}^{p} F(I_i - I_c) \cdot 2^{i-1}, \quad F(I) = \begin{cases} 1 & I \ge 0 \\ 0 & \text{otherwise} \end{cases}
  • HOG(Histogram of Oriented Gradients)

    エッジの方向分布を捉え、ブロック化された勾配統計ベクトルを使って画像構造を表現し、幾何学的および照明の変化に対するある程度の耐性があります。

  • PLGF(Pattern of Local Gravitational Force)

    これは比較的マイナーですが、万有引力の法則にヒントを得て、局所的な引力分布を使ってエッジと輪郭の情報を強化し、ノイズや照明の変化に特に強いです。その式は次のようになります:

    PLGF=arctan⁡((I∗MxI)2+(I∗MyI)2)\text{PLGF} = \arctan\left( \sqrt{ \left(\frac{I * M_x}{I} \right)^2 + \left(\frac{I * M_y}{I} \right)^2 } \right)

    Mx,MyM_x,M_y は方向フィルタで、∗* は畳み込みです。除算と二乗は画素ごとの演算であり、分子を通常の乗算とみなして II を約分してはいけません。実装では強度ゼロの画素も適切に処理する必要があります。

具体的な視覚効果は次の図のようになります:

これら 3 つの特徴の視覚化効果を見ると、LBP の点状テクスチャ、HOG の方向分布、PLGF の輪郭再構築がそれぞれ異なる視点を提供しており、元のモダリティデータを補強するのに役立ちます。

著者はこれらの特徴を組み合わせ(例えば:GRAY + HOG + PLGF)て、ViT の 3 チャネル入力として使用することを試みました。このような手設計と深層特徴の組み合わせデザインは、多モーダル FAS において非常に効果的であることが示されています。

モデルアーキテクチャ

この論文のコアとなるモデルアーキテクチャを詳しく見ていきましょう。

主幹は事前学習済み ViTで、大部分の重みを固定し、一部の追加パラメータだけを微調整します:

  • 最後の分類ヘッドEheadE_{\text{head}}と、追加で挿入されたモジュールAMA(Adaptive Multimodal Adapter)のみが訓練に関与し、それ以外の ViT 構造は完全に元の形のまま保持されています。

AMA の役割は、元々単一モーダルしか扱えなかった ViT を、RGB、IR、Depth などの多モーダル入力を理解できるようにする「アダプター」です。

その構造設計は、上図に示された AMA モジュール内で 4 つのステージに分かれています:

  1. チャンネル圧縮 Θ↓\Theta↓

    各モーダルの入力トークンは、まず 1×1 の畳み込みを通して、元のチャンネル次元DDを隠れ次元D0D_0に圧縮されます。この動作は、情報を濃縮し、後続のモーダル間での融合準備をするためです。

  2. 局所モーダル融合 Θ2D\Theta_{2D}

    位置合わせされた patch tokens を 2D 特徴マップに戻し、チャネル方向に連結して (B,KD0,H,W)(B,KD_0,H,W) の四次元テンソルにします。3×3 畳み込みで KD0KD_0 チャネルを共有の D0D_0 チャネルへ写像し、局所空間情報とモダリティ間の情報を融合します。

  3. 動的モーダル重み ΘAda+σ\Theta_{\text{Ada}} + \sigma

    融合前の連結特徴に GAP、1×1 畳み込み、Sigmoid を適用して KK 個の重みを作ります。各重みを同じ融合後の D0D_0 チャネル特徴に掛けて、各モダリティの分岐を作ります。Softmax ではないため、重みの合計が 1 になる必要はありません。

  4. チャンネル復元 Θ↑\Theta↑

    各モダリティのマップを tokens に戻し、1×1 投影と GELU で次元を DD に復元して、チャネルのボトルネックを通った class tokens と連結します。AMA は Transformer block の注意/FFN の経路に挿入され、後続の主幹処理もあります。全 tokens を直接分類ヘッドへ渡すだけの構造ではありません。

この設計にはいくつかの利点があります:

  • パラメータ効率が高い:わずかなパラメータのみを微調整することで、オーバーフィッティングのリスクを低減
  • モーダル融合が精緻:従来の単純な連結(concat)とは異なり、動的な加重と畳み込みによる融合を加えた
  • 入力モダリティに応じて構成可能:単一モダリティでは ConvAdapter になります。本研究は下流の各組み合わせで微調整しており、一つの固定済みモデルから推論時に任意のセンサーを外せることまでは示していません。

言い換えれば、AMA は低侵襲、高拡張性のモーダル融合モジュールで、ViT の構造に特化して設計されています。これにより、凍結された ViT は底層を再訓練せずに、高次元の多モーダルな spoof(偽造)手がかりを処理できるようになります。

事前訓練方法

Modality-Asymmetric Masked AutoEncoder(M²A²E) は、CeFA の位置合わせされた RGB/IR/Depth を使い、生体/攻撃ラベルなしで事前学習します。ただし encoder は引き続き ImageNet の重みで初期化し、その後 400 epochs 学習します。ImageNet を全く使わずゼロから学習する方式ではありません。

単一モダリティの MAE は一部の patches を隠して復元します。ここで比較するのは、各モダリティの一部を同時に見せる多モダリティ拡張であり、モダリティ間の推論に頼らなくても復元できる可能性があります。以下は入力と復元目標を変更する動機で、すべての MAE が失敗するという結論ではありません。

  • すべてのモーダルのパッチがマスクされ、モデルは特定のモーダルに過度に依存しやすくなります
  • モデルの目標は画像を復元することです。

そこで、M²A²E はマスキングと復元のロジックを変更しました:

  • 毎回ランダムに 1 つのモーダルを選んで入力として使用
  • 選んだモダリティの patches を 40% 隠し、見える tokens だけを encoder に入力します。各モダリティで重みを共有しない decoder に可視特徴と mask tokens を渡し、MSE で復元します。
  • 同時にモデルには次のことを要求します:
    • マスクされたモーダルのパッチを復元(これは従来の MAE の部分)
    • 他のモーダルの完全な画像を復元(これが重要な革新点)

この設計では、モデルに「1 つのモーダルから他のモーダルの外観を予測する」ことを求めます。著者は、このクロスモーダル再構築によって次の効果を期待しています:

  • モーダル間の意味的関連性を学びやすくする
  • 「色の歪み」や「深度の欠落」といった spoof(偽造)の手がかりを捉えやすくする

討論

実験結果

WMCA の実験では、著者は 2 つのシナリオを設計しました:

  • 1 つはモデルがすでに攻撃タイプを見た場合(seen protocol)
  • もう 1 つは全く新しい攻撃タイプ(unseen protocol)。

上の表は、これら 2 つのシナリオでAMA と M²A²E がもたらす効果をテストした結果を示しています。この表は 3 つの視点から解釈できます:

  1. AMA の役割は「強化器」

    ベースラインの ViT に AMA(単一モダリティでは ConvAdapter)を加えると、表中の多くの設定で ACER が下がります。ただし Depth の unseen 平均 ACER は 10.42% から 10.49% にわずかに上がりました。効果はモダリティと評価条件ごとに確認する必要があります。

  2. M²A²E の役割は「一般化器」

    M²A²E による自己教師あり事前学習を加えると、unseen 攻撃で IR、Depth、RGB+IR、IR+Depth、RGB+IR+Depth の平均 ACER が下がります。一方、RGB と RGB+Depth では改善しません。これらの結果は、一部のモダリティ構成で転移が有効なことを支持します。

  3. RGB+IR+Depth は最強のモダリティ組み合わせ

    三モダリティの AMA+M²A²E は unseen 平均 ACER が 3.86% で、四モダリティの MC-CNN の 6.55% を下回ります。ただし seen 条件では MC-CNN が 1.04% で、AMA+M²A²E の 1.39% より良好です。この比較は表に示された条件に限られます。

ローカル特徴量は有用か?

図 4 は RGB、IR、Depth の記述子入力を、直接微調整と ConvAdapter で比較しています。ここでは IR を中心に見てみましょう:

  • 単一特徴量:LBP, HOG, PLGF
  • 組み合わせた入力:HOG+PLGF, LBP+HOG+PLGF, GRAY+HOG+PLGF

結果の主なポイントは次の通りです:

  • LBP は RGB と IR では弱め:両方の微調整方式で元の入力より ACER が高くなりました。Depth の図で最も悪いのは HOGです。
  • PLGF は IR の直接微調整で有効:単独の PLGF は元の入力より ACER が低いものの、ConvAdapter を組み合わせると元の入力を上回りません。
  • GRAY+HOG+PLGF は IR で最良:直接微調整でも ConvAdapter でも、この組み合わせが最も低い ACER を示しました。

この結果は、IR が局所記述子、とくに GRAY+HOG+PLGF から利益を得られることを示します。RGB と Depth では、同じ全体傾向は見られません。

AMA は単なるパラメータ増加にすぎないか?

著者は、5 種類のアダプタ構造をテストし、どの設計が ViT-FAS に最適かを確認しました:

  1. バニラアダプタ:主に全結合層(FC)
  2. ConvAdapter(単一モダリティ):FC の代わりに 2D 畳み込みを使用
  3. Multimodal ConvAdapter(圧縮版):異なるモダリティの特徴を融合し、2D 畳み込みを適用
  4. Multimodal ConvAdapter(全次元):出力次元にすべてのモダリティ積(D₀ × K)を保持
  5. Adaptive Multimodal Adapter(AMA)

観察の主なポイントは次の通りです:

  • FC から Conv に変えると、表の四構成すべてで ACER が下がり、局所特徴の有用性を支持します。
  • 圧縮版の Multimodal ConvAdapter は単一モダリティ版より良く、ViT 内でのモダリティ融合の有効性を示します。
  • 全次元版は逆に悪化します。著者は D0×KD_0 \times K チャネルの融合が過学習しやすいと考えています。
  • AMA は四構成で最も低い ACER を示し、各モダリティの寄与を適応的に調整する設計を支持します。

この四構成の比較では、畳み込みによる融合が FC アダプタより有効でした。

結論

論文ではよく Transformer が新しいタスクに適用される場面が見られますが、この論文の価値は、すぐにアーキテクチャを積み上げるのではなく、もっと基本的な問題に立ち返ったところです:

「ViT を Multimodal FAS に使用する場合、どのような特徴が必要なのか?」

著者はこの問題を、入力の詳細設計、事前訓練のロジック、そして微調整の方法という 3 つの視点で捉えました。このアプローチは、データ量が限られ、攻撃のパターンが多様な FAS タスクにとって、特に価値のあるものであると言えます。