論文ノートライブラリに戻る
IJCAI 2022arXiv 2023顔のなりすまし検知論文ノート

MA-ViT

凡所有相,皆是虚妄

原論文

MA-ViT: Modality-Agnostic Vision Transformers for Face Anti-Spoofing

論文の著者

Ajian Liu · Yanyan Liang

発表先
IJCAI 2022国際会議
arXiv への初回投稿
arXiv:2304.07549
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{faceantispoofingmavit2023,
  title = {{MA-ViT: Modality-Agnostic Vision Transformers for Face Anti-Spoofing}},
  author = {Ajian Liu and Yanyan Liang},
  year = {2023},
  eprint = {2304.07549},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2304.07549}
}
このページの内容

Face Anti-Spoofing(FAS)技術の本来の目的は、写真、動画、または立体マスクを使用して顔認識システムを欺く攻撃手法を防ぐことです。

これらの攻撃は「Presentation Attacks(PA)」と呼ばれ、顔認識技術が金融決済、スマートフォンのロック解除、自動通関などの分野で普及する中で、そのセキュリティも現代の生体認証システムにおいて避けられない試練となっています。

問題の定義

最初の FAS 方法は、ほとんどが RGB 視覚情報に依存して異常を検出していました。

しかし、攻防の駆け引きは止まることがなく、攻撃手法はますます現実的になり、センサー技術も多様化しています。私たちは、赤外線、深度、熱感知などのモダリティを導入し、「多波長の真実」を組み合わせようと試みました。

そのため、モデルアーキテクチャも進化を遂げました:halfway fusion(中層特徴の結合)から late fusion(決定段階での融合)へと、各戦略が「真偽の境界」をより確実に再構築しようとしています。

しかし、問題は静かに浮かび上がってきました。

Halfway fusion は、異なるモダリティの特徴間で相互学習を強化できますが、そのモデル設計は訓練とテストの段階で同一の入力モダリティがあると仮定しており、もしセンサーが欠ければ、予測全体が崩れる可能性があります。

Late fusion は、各モダリティの独立したチャネルを保持することで、モダリティが欠落しても推論が可能ですが、その代償としてパラメータが増加し、推論遅延が発生します。これはモバイル端末やエッジデバイスでのデプロイには不利です。

もっと根本的なボトルネックは、これらの多モダリティ手法が実は次の重要な命題を解決していないことです:

「我々は本当に「何がモダリティ間共通の生体特徴なのか」を理解しているのか?」

または、モデルは「顔の真偽」を学習しているのではなく、「モダリティの違い」をただ覚えているだけなのか?

そして、より過激な問題が浮かび上がります:もし訓練時に多モダリティの知識を使用し、テスト時には任意のモダリティの入力だけで十分であれば、「モダリティ非依存」の FAS システムを構築することはできるのでしょうか?そして、そのようなシステムは、軽量で高速かつ柔軟性を保ちながら、偽装攻撃に対する鋭い判断力を保持できるのでしょうか?

本論文の著者は、この問題について考察し、解決を試みています。

今回のアプローチは、モダリティを再度接続するのではなく、まずそれらを分解することです。

解決すべき問題

著者は共有バックボーンによって、固定のモダリティ構成への依存と多分岐の負荷を減らします。「任意のモダリティ」は訓練時に含めた種類を指します:

  • 訓練段階では多モダリティの知識を吸収
  • テスト段階では任意のモダリティで独立した予測が可能

モデルアーキテクチャ

全体のアーキテクチャは上図のように、MA-ViT は単一の ViT バックボーンに基づいており、以下の 3 つの重要なモジュールを含んでいます:

  1. Multi-Modal Tokenization Module(図の左側)
  2. Transformer Encoder(中央の黄色と黒の矢印で示されています)
  3. Modal Shared Classification Heads(右側の分類器)

従来の多分岐型融合設計とは異なり、MA-ViT の重要な革新は、すべてのモダリティデータが同じ ViT 構造を共有し、標準 Transformer Block(論文中では STB)と新たに導入された「モダリティ非依存型」Transformer Block(Modality-Agnostic Transformer Block、MATB)が交互にスタックされて、モダリティ非依存の特徴を抽出する点にあります。

上図の黄色い矢印は各モダリティが独立して STB を通過するルートを示し、黒灰色の矢印はその後 MATB(MDA)の処理フローに入ることを示しています。


MA-ViT の入力端では、RGB または Depth 画像はまずMulti-Modal Tokenization Moduleを通過します。

図の左側に示されているように、入力画像はパッチに分割され、ベクトルトークン(xpatx_\text{pat})に変換されます。これらのパッチトークンは 2 つの特別なトークンと組み合わせられます:

  • xclsx_\text{cls}:分類トークン、最終的に真偽予測タスクを担います。
  • xmodx_\text{mod}:入力の種類を予測する教師信号で学ぶモダリティトークンです。

系列に位置埋め込み(xposx_\text{pos})とモダリティ固有の spectrum embedding(xspeix^i_\text{spe})を要素ごとに加算します。別の重み付き平均を取る処理ではありません:

z0i=[xcls∥xmodi∥xpati]+(xpos+xspei)z^i_0 = [x_\text{cls} \| x^i_\text{mod} \| x^i_\text{pat}] + (x_\text{pos} + x^i_\text{spe})

これらのトークンは後続の Transformer Encoder フローに進みます。


Transformer Encoder の各層は 2 つの部分で構成されています:

  1. STB(Standard Transformer Block) 各モダリティは独立して処理され、図の黄色と黒灰色の矢印で示されているように、単一モダリティ内の局所特徴と文脈を処理します。

  2. MATB(Modality-Agnostic Transformer Block) STB に続く MATB は、2 つの注意機構に分かれています。具体的な実装の詳細は以下の図を参照してください:

    • MDA:モダリティから逃れるため

      Modal-Disentangle Attention(MDA) の任務は、モデルが過度にモダリティ特徴に依存するパッチを無視し、モダリティに依存せず、真偽識別に強く関連する手がかりに集中することを学ばせることです。

      図の左側に示されているように、MDA は最初にモダリティトークン(MOD)と各パッチトークンのドット積計算を通じてモダリティ間の関連度を計算します:

      mapmod=qmod(kmodpat)TD/h\text{map}_\text{mod} = \frac{q_\text{mod} (k^\text{pat}_\text{mod})^T}{\sqrt{D/h}}

      上の類似度に softmax を適用してモダリティ関連度の重みを作り、Γλ\Gamma_\lambda で累積重みが λ\lambda に達する強い位置を選びます。λ=0.8\lambda=0.8 は累積重みの閾値で、選択するトークン数は重みに依存します。原論文の式 (4) は softmax を省略していますが、ここでは本文と mass の定義に沿って説明します。マスク位置の CLS 注意力 logit は −∞-\infty、実装上は十分小さな値にします:

      mapcls′=ΓM0(qcls(kclspat)TD/h)\text{map}_\text{cls}' = \Gamma^0_M\left(\frac{q_\text{cls} (k^\text{pat}_\text{cls})^T}{\sqrt{D/h}}\right)

      この CLS の集約ではマスクされていないパッチを読みます。パッチ自体は後続の系列に残ります:

      MDA(zi)=softmax(mapcls′)⋅vclspat\text{MDA}(z^i) = \text{softmax}(\text{map}_\text{cls}') \cdot v^\text{pat}_\text{cls}

      これは「選択的忘却」のプロセスであり、モデルがすべてを記憶するのではなく、記憶すべき部分のみを記憶することを意味します。


    • CMA:モダリティ間でお互いを照らすため

      Cross-Modal Attention(CMA) の任務は、逆に異なるモダリティ間で交差注意機構を使用して、一つのモダリティが他のモダリティから情報を補完することです。

      図の右側に示されているように、RGB(zrz^r)と Depth(zdz^d)を例に取ると、CMA はzrz^rのクエリベクトル(qrq_r)がzdz^dのキー・バリューに注意を向けるようにします:

      Ard=softmax(qrkdTD/h),CMA(zr)=Ard⋅vdA_{rd} = \text{softmax}\left( \frac{q_r k_d^T}{\sqrt{D/h}} \right), \quad \text{CMA}(z_r) = A_{rd} \cdot v_d

      逆方向も同様で、二つの cross-modal 系列は batch 方向に連結し、残差を使います。CMA は STB の自己注意と後続 MLP の重みを共有するため、多モダリティ訓練が単一モダリティの経路にも反映されます。単一入力の推論時に、欠けたセンサーの特徴を作り出す必要はありません。

損失設計

「テスト時に任意のモダリティで判定できる」という設計を実現するために、MA-ViT はモダリティ共有の分類器を採用し、CLS トークンが真偽を予測し、MOD トークンがモダリティを予測します。この 2 つの損失は共同で最適化されます:

Lclsi=BCE(MLPcls(LN(zK,clsi)),ycls)Lmodi=BCE(MLPmod(LN(zK,modi)),ymod)Ltotali=Lclsi+Lclsrd+Lmodi\begin{aligned} L^i_\text{cls} &= \text{BCE}(\text{MLP}_\text{cls}(\text{LN}(z^i_{K, \text{cls}})), y_\text{cls}) \\ L^i_\text{mod} &= \text{BCE}(\text{MLP}_\text{mod}(\text{LN}(z^i_{K, \text{mod}})), y_\text{mod}) \\ L^i_\text{total} &= L^i_\text{cls} + L^{rd}_\text{cls} + L^i_\text{mod} \end{aligned}

上式は RGB/Depth の二モダリティ例です。LclsrdL_{\mathrm{cls}}^{rd} は cross-modal 系列の生体判定を監督し、MOD の BCE はこの二種類を区別します。単一モダリティの推論では対応する埋め込みと単一経路だけを使い、CMA の交差経路は不要です。これは入力の柔軟性であり、すべてのセンサー故障で同じ精度を保つ保証ではありません。

討論

MA-ViT フレームワークの有効性を検証するため、著者は 2 種類の評価シナリオを設計しました:

  1. 固定モダリティテスト:テストモダリティが訓練モダリティと一致。
  2. 柔軟モダリティテスト:任意のモダリティで独立した推論が可能。

また、クロスデータセットテストとアブレーション実験も含まれており、MA-ViT がモダリティ情報を分解し、転送する能力を段階的に検証しています。

固定モダリティシナリオ

従来の設定では、モデルは固定モダリティの条件で推論を行う必要があり、これは過去の方法との主な比較シナリオでもあります。

例えば、MmFA を使用して、ベースライン(MATB なしの ViT)と SEF/MS-SEF などの多モダリティ手法を比較します:

  • この ViT baseline は MmFA で SEF を下回りますが、すべての Transformer がモダリティの誘導なしでは生体を学べないという結論にはなりません。
  • MATB により TPR@FPR=10−410^{-4} は 44.33% から 82.83%、ACER は 6.51% から 0.80% へ改善します。ただし BPCER は 0.83% で、MS-SEF の 0.30% より悪い。

この比較は MATB の有効性を支持します。

次に CeFA プロトコルの実験結果を見てみましょう:

CeFA Protocol 1、2、4 の ACER は 1.10%、0.10%、1.64% です。Protocol 4 は Hulking の 2.21%、Super の 1.68% を上回る性能ですが、BOBO の 1.02% には及びません。

CeFA の評価条件には集団や攻撃の変化が含まれます。この結果はその条件下での有効性を支持しますが、平均 ACER だけで集団間の公平性や任意環境への汎化を証明することはできません。

最後に WMCA のパフォーマンスを確認します:

この WMCA 比較は RGB と Depth のみを使います。MA-ViT の既知攻撃 ACER は 1.45%、未見七種類の平均は 3.81% で、CMFL の 1.70%/7.60% より低くなっています。未見の柔軟マスクは 9.76%、眼鏡は 14.00% ですが、Prints と Papermask はどちらも 0.00% です。著者は難しい攻撃の偽装の手掛かりが局所的だと考えていますが、表だけで改善の原因を特定することはできません。

クロスデータセットの一般化能力

MmFA→WMCA(seen 条件)の HTER は 20.63% で、Aux.(Depth) の 24.54% より低く、逆方向は 10.41% 対 12.35% です。単一モジュールでは MDA-ViT が CMA-ViT より両方向で良く、MmFA→WMCA は 24.84% 対 27.97%、WMCA→MmFA は 13.30% 対 16.97% です。この二つのクロスデータセット実験では MDA の寄与が大きいことを示します。

これはモデル設計の初期の意図を裏付けるものであり、モダリティの融合を追求するよりも、まずモダリティの偏見を処理する方が重要であるということです。

柔軟モダリティシナリオ

これは MA-ViT の最も実用的な部分です。

RGB、Depth、IR で訓練した一つのモデルに、それぞれ一種類だけ入力した MmFA の ACER は次の通りです:

  • RGB:11.43%。MS-SEF の 21.00% から 9.57 ポイント改善。
  • Depth:0.80%。MS-SEF の 3.60% から 2.80 ポイント改善。
  • IR:1.50%。MS-SEF の 19.40% から 17.90 ポイント改善。

これらの MmFA の数値は、RGB、Depth、IR で訓練した同じ MA-ViT が、各モダリティのサンプルを別々に受け取って推論できることを示します。単一モダリティでのテストには再訓練も、欠けたモダリティの入力も必要ありません。

結論

MA-ViT は共有 Transformer による顔なりすまし検出手法で、一つのモデルが訓練範囲内の各単一モダリティを処理できます。柔軟な導入を支える結果ですが、モダリティごとの精度差は残ります。

この能力の鍵は、モダリティの役割を再定義し、MATB モジュール内の 2 つの重要な注意メカニズムによって実現されます:

  • MDA:モダリティの偏見を排除し、識別可能な生体特徴を保持;
  • CMA:クロスモダリティの補完を行い、局所的な弱特徴の判別能力を強化。

その貢献は、単なるモデルアーキテクチャの改善にとどまらず、設計理念の転換でもあります:

「モダリティを記憶するのではなく、本質を見るべきだ。」

実運用では、各入力を十分に活用するとともに、対応するモダリティやセンサー、許容する誤り率を明確にする必要があります。