論文ノートライブラリに戻る
ICCV 2023顔のなりすまし検知論文ノート

UDG-FAS

スタイルの断片

原論文

Towards Unsupervised Domain Generalization for Face Anti-Spoofing

論文の著者

Yuchen Liu · Yabo Chen · Mengran Gou …

著者全 7 名を表示

Yuchen Liu · Yabo Chen · Mengran Gou · Chun-Ting Huang · Yaoming Wang · Wenrui Dai · Hongkai Xiong

発表先
ICCV 2023国際会議
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@inproceedings{faceantispoofingudgfas2023,
  title = {{Towards Unsupervised Domain Generalization for Face Anti-Spoofing}},
  author = {Yuchen Liu and Yabo Chen and Mengran Gou and Chun-Ting Huang and Yaoming Wang and Wenrui Dai and Hongkai Xiong},
  year = {2023},
  booktitle = {ICCV},
  url = {https://openaccess.thecvf.com/content/ICCV2023/html/Liu_Towards_Unsupervised_Domain_Generalization_for_Face_Anti-Spoofing_ICCV_2023_paper.html}
}
このページの内容

もしあなたが FAS のモデルをトレーニングするのが十分に難しいと感じているなら、ラベルなしのデータを与えて、ただ画像を見て物語を語らせるだけで、その状況は悪化し、理解不能にさえなります。

これが今回向き合う場面です。まず、生体/攻撃ラベルのない画像から表現を学びます。ソースドメイン情報は利用し、分類評価ではラベル付き微調整や kNN の参照データを使います。

問題の定義

顔認識のためのフェイスアンチスプーフィング(FAS)は、顔認識システムの重要な防線として常に位置付けられてきましたが、次の 2 つの致命的な欠点があります:

  • データの収集とラベリングにかかるコストが非常に高い
  • モデルはシーンが変わるとすぐに無力になる

この部分については、私たちが数十本の論文を読んできた中で、おそらくあなたもすぐに口にできるでしょう。

ドメイン間(cross-dataset)の安定性を保つために、過去には様々なドメイン一般化(Domain Generalization)手法が提案されてきましたが、これらの方法には前提があります。それは、十分なラベル付きデータが必要だということです。

実際には、大量のデータを得ることができるかもしれませんが、それをラベル付けするための人力やリソースが足りないのが現実です。

そのため、最近では「教師なし学習」に注目が集まり、「ラベルなし」問題を解決しようとしています。

MoCo と SimCLR は対照学習の代表例です。

これらの対照学習手法は、一般的な画像タスクでは優れた結果を収めていますが、FAS に適用すると、そのパフォーマンスは予想通りにはいきません。「Real / Fake」という 2 クラスの FAS の場合、負のサンプルの定義が難しく、その結果、モデルはどちらを排除すべきか混乱してしまうことがよくあります。

BYOL と SimSiam は明示的な負例を不要としますが、ここでの FAS 実験では人物やドメインの手掛かりに依存する可能性があります。

ImageNet は転用できる視覚特徴を与えますが、生体/攻撃を区別する目的で学習されてはいません。著者はラベルなし FAS 画像からの事前学習を調べています。

だから、問題は最初の原点に戻ります:

  • ラベルがなく、適切な事前学習データもない場合、モデルは何を学習するのでしょうか?
  • アイデンティティとドメインのノイズがスプーフィングそのものより強い場合、どうやってモデルに「学ぶべきこと」を見せることができるのでしょうか?

この論文の答えはこうです:まず、顔を分解しましょう!

解決策

UDG-FAS の全体的な設計は、ラベルなし事前学習で人物と撮影条件による偏りを段階的に弱め、生体検出の手がかりに注意を向けることを目指します。

この目標は 3 つの戦略モジュールに分解されます:

  1. Split-Rotation-Merge (SRM) を通じて、1 つの画像内でアイデンティティバイアスを弱める
  2. 同域隣接探索(In-domain NN) によって、アイデンティティを越えた表現の差異を緩和
  3. クロスドメイン隣接探索(Cross-domain NN) によって、データソース間のスタイルの偏移を処理

状況はいつものように複雑ですが、順を追って見ていきましょう。

SRM モジュール

Split-Rotation-Merge(SRM) は、アイデンティティバイアスを弱めるための重要なモジュールであり、生体識別に必要な局所的なスプーフィング手がかりを保持しつつ、顔の構造や個体差への依存を減らすことを目指しています。

全体のプロセスは次の通りです:

まず、入力画像 x1x_1 は非破壊的なデータ拡張(例えば、明るさ調整、ミラー反転など)を施され、その後 m×mm \times m の局所ブロックに分割されます。各ブロック x1px^p_1 はランダムに回転され、元の顔の構造による対称性や空間配置の偏好を破壊し、モデルがアイデンティティに関連する信号に過剰に敏感にならないようにします。

次に、これらの局所ブロックはそれぞれエンコーダ ff を通じて対応する特徴ベクトルを生成します:

e1p=f(x1p)e^p_1 = f(x^p_1)

m2m^2 個の patch から nn 個を選ぶすべての部分集合 sis_i を列挙し、(m2n)\binom{m^2}{n} 個の結合ベクトルを作ります。下式は一組を表し、実験の m=2,n=2m=2,n=2 では六組になります:

v1=1n∑p∈se1pv_1 = \frac{1}{n} \sum_{p \in s} e^p_1

ここで ss は選ばれたパッチインデックスのサブセットを示します。この設計の背後にある考えは、スプーフィングの手がかりは多くのブロックに分布している(例えば、テクスチャ、反射、印刷ノイズなど)一方、アイデンティティの特徴は異なる顔の領域で大きく変化するという点です。平均操作を通じて、ブロック間の不安定な変動をさらに排除することができます。

生成された局所的な表現 v1v_1 は、次にプロジェクター gg と予測器 qq を通じて、対比用のベクトル p1p_1 を生成します。

これに対応するもう一つの画像ビュー x2x_2 は、切り分けや回転を行わず、エンコーダ ff とプロジェクター gg を通じて、全体的な特徴ベクトル z2z_2 を得ます。

損失設計では、著者は SimSiam のコサイン類似度損失を採用し、同時にストップグラディエント機構を使用して、コラプスを防ぎ、安定した学習を行います:

LSRMi=12⋅D(p1i,stopgrad(z2))+12⋅D(p2i,stopgrad(z1))\mathcal{L}_{\text{SRM}}^i = \frac{1}{2} \cdot \mathcal{D}(p_1^i, \texttt{stopgrad}(z_2)) + \frac{1}{2} \cdot \mathcal{D}(p_2^i, \texttt{stopgrad}(z_1))

D(p,z)=−p⊤z∥p∥2∥z∥2\mathcal{D}(p,z)=-\frac{p^\top z}{\|p\|_2\|z\|_2} は負の余弦類似度です。ii は patch の部分集合で、ビューを入れ替えて対称に計算し、全組合せの損失を平均します。Stop-gradient は SimSiam の設計要素であり、任意のモデルで表現崩壊が起きない保証ではありません。

SRM は局所構造を分割・結合し、顔全体の配置への依存を減らします。人物情報の完全な除去や全攻撃手掛かりの保存は保証せず、アブレーションや表現分析で効果を調べます。

インドメイン最寄りの隣接点

1 枚の画像でのアイデンティティの偏りを処理した後、UDG-FAS が次に直面する課題は、どのようにして複数のサンプルからなるデータセットで、アイデンティティ間の特徴拡散問題をさらに解消するかです。

SRM モジュールは、顔構造からのアイデンティティ信号を効果的に抑制できますが、実際の FAS タスクでは、大量のアイデンティティ間のサンプルで構成されたデータ分布に直面します。同じドメインからのサンプルであっても、モデルが学習する特徴はアイデンティティの違いによって分断され、引き伸ばされることがあり、意味的に一致するサンプルが正のサンプルとして認識されないことがあります。

このような「アイデンティティ間の同じカテゴリにおける特徴拡散問題」をさらに処理するために、著者はインドメイン最寄りの隣接点(IDNN)モジュールを設計し、補完的な対比機構として利用しています。

その核心的なアイデアは、ラベルなしの前提の下で、埋め込み空間の幾何学的近接性を利用し、意味的に一致するサンプルペアを推測し、それらを対照学習に組み込むことでクラス内の一致性を高めることです。

拡張前の画像 xx と特徴 zz を使い、同じドメインの拡張前の参照集合で自己を除外して最近傍を検索します。まず添字 k∗k^* を得て、そのサンプルの拡張ビュー特徴を学習用に取得します。arg⁡min⁡\arg\min が返すのはベクトルではなく添字です:

k∗=arg⁡min⁡k ∥z−zkqin∥2,zNN,a=Qzain[k∗],a∈{1,2}k^*=\underset{k}{\arg\min}\,\|z-z_k^{q_{\mathrm{in}}}\|_2,\qquad z_{\mathrm{NN},a}=Q_{z_a}^{\mathrm{in}}[k^*],\quad a\in\{1,2\}

ここで、検索はインドメインに限定されており、シーンの一貫性を保つことで検索誤差を減らし、ドメイン間の分布偏移を導入しないようにしています。

N(z,Q)N(z,Q) は QQ における zz の最近傍探索です。二つの予測分岐は、反対側の拡張ビューの集合から得た近傍特徴に対応させます:

LIDNNi=12⋅dist(p1i,stopgrad(N(z,Qz2in)))+12⋅dist(p2i,stopgrad(N(z,Qz1in)))\mathcal{L}_{\text{IDNN}}^i = \frac{1}{2} \cdot \text{dist}(p_1^i, \texttt{stopgrad}(N(z,Q^{\text{in}}_{z_2}))) + \frac{1}{2} \cdot \text{dist}(p_2^i, \texttt{stopgrad}(N(z,Q^{\text{in}}_{z_1})))

ここでも、SimSiam 型のストップグラディエント設計を使用し、対称構造を維持し、コラプスを防いでいます。

IDNN は表現をさらに引き離すのではなく、異なる人物でも同じ live/spoof クラスに属する可能性がある近傍サンプルを近づけようとします。ラベルは使わないため、推定した正例が別クラスである可能性もあります。

同じソースにも解像度、照明、機器、攻撃の違いがあります。ここでは近傍の特徴から擬似正例を選ぶ仮定を置きます。

このモジュールは、SRM が解決できなかったサンプル間の断片化を補完し、ドメイン自体の画像詳細を訓練手がかりとして保持することができます。

クロスドメイン最寄りの隣接点

単一ドメイン内での隣接検索は、モデルが異なるアイデンティティでの生体意味を合わせるのに役立ちます。

しかし、実際のアプリケーションシナリオでは、FAS システムは多様なデバイスやシーンに展開されることが多く、その入力データは解像度、撮影機器、照明条件、背景スタイルなどの違いにより強いドメインギャップを示します。

これらのクロスドメイン要因により、モデルが学習する特徴分布は高度に異質になります。もし原始埋め込みを使ってクロスデータセットでの隣接点検索を行うと、意味的に誤った一致が生じ、異なるスプーフィングタイプのサンプルが間違って近づいてしまう可能性があります。

そのため、著者は最後にクロスドメイン最寄りの隣接点(CDNN)モジュールを導入し、対照学習の第 3 の正のサンプルパスとして利用しています。

CDNN は各ドメインの座標ごとの平均と分散で検索特徴を標準化します。全体特徴 zz と局所特徴 vv はそれぞれの統計量を使います:

z^=z−μz,dσz,d2+ϵ,v^=v−μv,dσv,d2+ϵ\hat{z} = \frac{z - \mu_{z,d}}{\sqrt{\sigma_{z,d}^2 + \epsilon}}, \quad \hat{v} = \frac{v - \mu_{v,d}}{\sqrt{\sigma_{v,d}^2 + \epsilon}}

μz,d,σz,d2\mu_{z,d},\sigma_{z,d}^2 と μv,d,σv,d2\mu_{v,d},\sigma_{v,d}^2 は、そのドメインの全体特徴と局所特徴の統計量です。ϵ\epsilon は数値安定化用で、vv はすべての結合局所表現の平均です。

正規化後、サンプル間の類似度計算はもはや全体の表現だけに依存するのではなく、z^\hat{z}とv^\hat{v}の距離を結合して計算されます:

dsearch=∥z^i−z^j∥2+∥v^i−v^j∥2d_{\mathrm{search}} = \| \hat{z}_i - \hat{z}_j \|_2 + \| \hat{v}_i - \hat{v}_j \|_2

この設計は、スプーフィング情報の全体と局所の一貫性を同時に考慮しており、アイデンティティとスタイルが単一スケールで引き起こす誤導効果を効果的に低減します。

ユークリッド距離の検索スコア dsearchd_{\mathrm{search}} で順位付けし、クロスドメインの支援集合から選んだ近傍の二つの拡張特徴を取得します。二つの予測分岐では、それぞれ Qz2crQ^{\text{cr}}_{z_2} と Qz1crQ^{\text{cr}}_{z_1} を使います。学習損失に使う dist\text{dist} は負の余弦類似度で、検索の距離とは異なります:

LCDNNi=12⋅dist(p1i,stopgrad(N([z,v],Qz2cr)))+12⋅dist(p2i,stopgrad(N([z,v],Qz1cr)))\mathcal{L}_{\text{CDNN}}^i = \frac{1}{2} \cdot \text{dist}(p_1^i, \texttt{stopgrad}(N([z,v],Q^{\text{cr}}_{z_2}))) + \frac{1}{2} \cdot \text{dist}(p_2^i, \texttt{stopgrad}(N([z,v],Q^{\text{cr}}_{z_1})))

CDNN はドメインバイアスを減らすことを狙いますが、誤った近傍はノイズになります。すべての環境変化による分類失敗を解消する保証はありません。

訓練目標の統合

上記の 3 つの損失項は最終的な目標関数として統合されます:

L=LSRM+λ1⋅LIDNN+λ2⋅LCDNN\mathcal{L} = \mathcal{L}_{\text{SRM}} + \lambda_1 \cdot \mathcal{L}_{\text{IDNN}} + \lambda_2 \cdot \mathcal{L}_{\text{CDNN}}

初期は表現が未成熟なので、近傍損失の有効化を遅らせます。実験では T1=30T_1=30、T2=60T_2=60 epochs を使い、対応する重みを 0 から 1 へ切り替えます。

事前学習は生体/攻撃ラベルを使いませんが、同ドメイン・クロスドメイン探索にはソースドメイン情報を使います。その後の分類評価にはラベルが必要です。新しいバックボーンよりも、FAS 向けの表現学習手順が主な貢献です。

討論

提案された方法の異なるアプリケーションシナリオにおける一般化能力を総合的に評価するために、UDG-FAS 論文では 6 つの実験プロトコルを設計しました。

プロトコル 1:少ないラベルの下でのクロスドメイン一般化能力

Protocol 1 は I/O/C/M の三つのソースでラベルなし事前学習を行い、同じソースの 5%、10%、20%、50%、100% のラベルで微調整し、残りの対象ドメインを評価します。割合は人物単位で分け、対象ラベルは訓練に使いません。生体ラベルを全部残し、攻撃ラベルのみ減らす設定もあります。

実験結果は、UDG-FAS がより意味的構造のある初期化法として機能し、ImageNet の事前訓練やその他の教師なしベースラインと比較して優れていることを示しています。極端に少ないラベルの状況でも、事前訓練された特徴は優れた適応性を持ち、下流の分類タスクを効果的にサポートし、アイデンティティとドメインの偏りによる意味的な誤配置を軽減します。

さらに、UDG-FAS と既存の DG 手法(例えば、SSDG-R)を組み合わせることで、全体的なパフォーマンスをさらに向上させることができ、そのモジュール化された統合性と一般化の可能性を示しています。

プロトコル 2:微調整なしでの特徴品質の検証

Protocol 2 はエンコーダを微調整せず、固定した特徴を k=10k=10 の kNN で評価します。補足資料では、参照用に 10% のラベル付きデータを用いると明記されています。表現の事前学習はラベル不要で、kNN による分類には参照データのラベルを使います。

表 3 の kNN は比較した教師なし事前学習法を上回ります。OCM→I の AUC 94.75% は全ラベルで微調整した SimSiam の 92.69% より良い結果ですが、特定条件での評価手順間の比較であり、ラベルなしでクラスの意味まで決まる証拠ではありません。

この結果は少ないラベルで有用な分類ができる特徴を支持します。クラスラベルなしの表現学習と、評価時にラベルで特徴を解釈することを区別する必要があります。

プロトコル 3:大規模無ラベルデータにおける事前訓練性能の拡張性

Protocol 3 では、CelebA-Spoof のラベルなし画像を 10 万枚または 20 万枚追加する条件と、同データセットから抽出したウェブ由来の生体画像を追加する条件を比べます。その後、元のソースドメインの全ラベルで微調整し、保留したドメインを評価します。

10 万、20 万の追加では四方向の HTER が改善します。CA の生体のみを追加しても HTER は下がりますが、M の AUC は 97.31% から 97.08% へ少し低下します。全指標の単調改善や無制限の拡張性を示したものではありません。

追加のラベルなしデータの価値を支持しますが、データの多様性が常に丁寧なラベル付けより重要であることを直接比較した実験ではありません。

プロトコル 4:データソースが制限された場合の一般化能力検証

Protocol 4 は O&M と C&I の二群を作り、一方で教師なし事前学習とラベル付き微調整を行い、他方で評価します。両方向を調べ、教師あり段階は省略しません。

O&M→C&I は HTER 14.54%/AUC 93.81%、逆方向は 18.13%/88.81% です。逆方向の HTER は DF-DM† の 18.60% より良い一方、AUC は 89.76% より低く、全指標で最良ではありません。

プロトコル 5:データソースと攻撃タイプの両方に対する一般化チャレンジ

このプロトコルは、ドメイン間と攻撃タイプ間の両方の分布転送を組み合わせ、テストの難易度をさらに高めます。訓練段階では特定のデータセットといくつかの既知の攻撃タイプのみを使用して事前訓練と微調整を行い、テスト時には異なるドメインで未見のスプーフィングタイプに直面します。

Protocol 5 では、九種類の攻撃にわたる平均 AUC が 92.43%(標準偏差 6.86)で表中最高です。ただし、CASIA-MFSD の Video や Warped など、個別の攻撃では他の手法のほうが高い結果もあります。

ドメインと攻撃種類を越える転移を支持します。

プロトコル 6:未見の 3D 攻撃と大規模データにおける一般化テスト

Protocol 6 は O/C/I/M でラベルなし事前学習、ソースラベルで微調整し、3DMAD(D)と HKBU-MARs(H)の未見 3D マスクを評価します。O/C/M から CA を評価する設定もあります。RGB 画像内の攻撃種類の変化であり、未知のセンサーモダリティへの転移ではありません。

D は HTER 0.29%/AUC 99.95% ですが、H は 27.36%/80.31% です。H の HTER は SSAN の 26.98%、AUC は RFMetaFAS の 81.64% に及ばず、マスクデータセット間の差は残ります。

CA の HTER 21.35%、AUC 87.26% は表中の比較を上回りますが、誤りはまだ大きく、実運用の安全性や未知攻撃への対応には追加評価が必要です。

結論

UDG-FAS は、もっと根本的なレベルで問いを投げかけています:

もしラベルに依存しなければ、残るのは何か?

この論文の答えは、表現そのものに戻ることです。

新しいバックボーンを提案することも、複雑な損失項を設計することもなく、いくつかの手順を通じて、モデルが教師なしの条件下で、アイデンティティとスタイルのノイズを越える意味空間を構築できるようにします。

この研究の貢献は単に良い結果を提供することにとどまらず、新しい視点を提供しています:

監督情報が得られない場合、特徴設計の責任を分類器や正則化手法に押し付けることはできません。

学習の初期段階で選択と制限を行い、モデルを正しい方向に導く必要があります。それではデータに何が正しいかを教えてもらうのを待つのではなく。

こうした手法はラベル付けの負担を減らす可能性があります。ただし本文はラベルなし攻撃画像と微調整・kNN 用のラベルを使っており、攻撃サンプルの全面的な不要化を示してはいません。

結局のところ、生体かどうかの意味的境界は、単なる攻撃の表面のテクスチャだけでなく、アイデンティティを越え、撮影条件を越え、データソースを越える意味的共鳴であるべきです。

そして、これが教師なし学習の真の始まりかもしれません。