論文ノートライブラリに戻る
arXiv 2023CVPR 2023顔のなりすまし検知論文ノート

IADG

スタイルの独白

原論文

Instance-Aware Domain Generalization for Face Anti-Spoofing

論文の著者

Qianyu Zhou · Ke-Yue Zhang · Taiping Yao …

著者全 7 名を表示

Qianyu Zhou · Ke-Yue Zhang · Taiping Yao · Xuequan Lu · Ran Yi · Shouhong Ding · Lizhuang Ma

発表先
CVPR 2023国際会議
arXiv への初回投稿
arXiv:2304.05640
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{faceantispoofingiadg2023,
  title = {{Instance-Aware Domain Generalization for Face Anti-Spoofing}},
  author = {Qianyu Zhou and Ke-Yue Zhang and Taiping Yao and Xuequan Lu and Ran Yi and Shouhong Ding and Lizhuang Ma},
  year = {2023},
  eprint = {2304.05640},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2304.05640}
}
このページの内容

過去 10 年間、研究者たちは様々な方法を駆使して、真実と偽物の境界を描こうと試みてきました:

  • LBP、SIFT、HOG などの手作り特徴量を用いて質感やテクスチャを識別;
  • YCrCb 色空間やフーリエスペクトルで異常なパターンを探求;
  • 時系列の微細な違いを分析し、まばたき、微小な動き、血流から本物の証拠を探し出そうとした;

そして、領域全体が CNN にバトンを渡し、分類器、深度マップ、反射マップ、rPPG などの補助的な教師信号が登場しました。

しかし、これらの方法は、シーン、デバイス、攻撃方法を変えるだけで効果が急激に低下し、展開が困難になることが多いのです。

問題の定義

モデルが未知のドメインに適応するために、研究者たちは Domain Adaptation(DA) と Domain Generalization(DG) の概念を導入しました。

特に DG では、敵対的学習やメタ学習が主流の選択肢となり、「あなたがどこから来たとしても、私はあなたを見抜く」ための特徴表現を学習することを目的としています。

しかし、この道を歩むうちに、制限が明らかになってきました:

  • 多くの DG 手法は明示的なドメインラベルを使いますが、D²AM など、人手で定義したドメインラベルを不要とする先行手法もあります;
  • そしてこれらのラベルは、データセットの名前や撮影機器のモデルなど、時には人為的に指定された分類基準に過ぎません。

「これは Replay だ」と言っても、Replay の中には様々な照明や背景が含まれており、「これは Oulu だ」と言っても、どのようなスタイルサブグループが含まれているかを特定できる人はいません。

たとえラベルがあったとしても、これらの方法は 分布レベルで特徴を整列させる ことしかできず、ある特徴チャネルがスタイルの痕跡を密かに保持していることを制御することができません。このように見えない信号は、新しいサンプルに対してモデルの失敗の盲点となりがちです。

ドメインラベルなしで、生体と攻撃をどう見分けるのでしょうか。ここでも生体/攻撃ラベルは必要であり、教師なし学習ではありません。

真実と偽物の間に、他にどんな境界が存在するのでしょうか?

問題の解決

この問題を解決するために、著者は新しいアーキテクチャを提案しました。これを次のように呼びます:

  • Instance-Aware Domain Generalization (IADG)

このアーキテクチャの目的は、ドメインラベルに依存することなく、モデルが「インスタンスレベル」の特徴を学習し、未知のドメインでも安定したパフォーマンスを維持できるようにすることです。

IADG は主に 3 つのコアコンポーネントから成り立っています:

  • 非対称インスタンス適応型ホワイトニング(AIAW)
  • カテゴリカルスタイルアセンブリ(CSA)
  • ダイナミックカーネルジェネレーター(DKG)

それぞれのモジュールの設計を順番に詳しく見ていきましょう。

Dynamic Kernel Generator

複数のソースドメインからのサンプルは、多くの場合、高度に多様であるため、単一の静的フィルターではすべてのインスタンスの特徴を満たすことができません。これを解決するために、著者は DKG を設計しました。このモジュールは「インスタンス適応型」の動的フィルターを自動生成し、静的フィルターと協力して、より包括的な個体認識特徴を取得し、その後のクロスドメイン一般化をサポートします。

DKG の構造は、「静的畳み込み分岐」と「動的畳み込み分岐」の 2 つの部分から成り立っています:

  • 静的分岐の畳み込みパラメータは全サンプルで共有されますが、訓練中には更新されます;
  • 動的分岐(dynamic kernel branch)は、各サンプルの特徴に基づいて動的に畳み込みカーネルパラメータを生成します。

上図に示すように、XiX_i と FiF_i はそれぞれ、DKG の入力および出力特徴を表します。

トレーニング時、両分岐は同時に学習され、具体的なプロセスは次のようになります:

  1. 入力特徴 XiX_i をチャネル次元で二分し、それぞれ X^i\hat{X}_i と X~i\tilde{X}_i として記録;
  2. 静的畳み込み分岐:X~i\tilde{X}_i は静的畳み込みフィルター fθsf_{\theta_s} を通して Z~i\tilde{Z}_i を得ます;
  3. 動的畳み込み分岐:X^i\hat{X}_i はグローバル平均プーリングと畳み込みブロック fθ1f_{\theta_1} を通して、このインスタンスに関連する動的畳み込みカーネル WiW_i を生成し、これを用いて X^i\hat{X}_i に畳み込みを行い、Z^i\hat{Z}_i を得ます。

最後に Z~i\tilde{Z}_i と Z^i\hat{Z}_i をチャネル方向に連結し、畳み込みブロック fθ2f_{\theta_2} を通して FiF_i を得ます。静的フィルターと動的フィルターを組み合わせ、サンプルごとに柔軟な特徴を抽出します。

Categorical Style Assembly

CSA は実例ごとの多様なスタイル変化を生成します。改善対象は、従来のランダムなスタイル交換・混合による拡張です。

CSA はスタイル拡張の選択方法を二点変更します:

  1. 多様性の考慮:FPS で既に選んだスタイルから遠いものを順次選び、LL 個の基底を各 epoch で更新します。少数のスタイルも含めた多様性を促します。

  2. 真 / 偽を分けて処理:同じ生体/攻撃クラス内でスタイルを組み合わせ、判別の手掛かりが変わるリスクを減らします。ラベルの保存は設計上の狙いであり、一般的な数学的保証ではありません。

各クラスで LL 個の基底スタイルを選び、チャネル平均と分散の情報を保存します。組み合わせ式で使うのは平均 μbasec\mu_{\mathrm{base}}^c と標準偏差 σbasec\sigma_{\mathrm{base}}^c であり、σ\sigma と分散 σ2\sigma^2 を混同しないようにします。

クラス cc ごとに、濃度パラメータをすべて 1/L1/L とした Dirichlet 分布から、非負で和が 1 の重みを抽出します。基底の平均と標準偏差を組み合わせて μaug\mu_{\mathrm{aug}}、σaug\sigma_{\mathrm{aug}} を作り、同じクラスのサンプルを次のように変換します:

Faug=σaug(Forg−μ(Forg)σ(Forg))+μaugF_{\mathrm{aug}} = \sigma_{\mathrm{aug}} \Bigl( \frac{F_{\mathrm{org}} - \mu(F_{\mathrm{org}})}{\sigma(F_{\mathrm{org}})} \Bigr) + \mu_{\mathrm{aug}}

元の特徴と拡張特徴の組がスタイル変化を与え、その変化に敏感な相関を見つける助けになります。

Asymmetric Instance Adaptive Whitening

各サンプルの特徴を「細かく整列」させるために、著者は特徴チャネル間の関連性にさらに注目しました。

過去の研究では、特徴の共分散行列がデータのスタイル情報を含んでいることが示されています。この情報をホワイトニングすれば、特定のドメインに依存したスタイルを弱めることができます。

しかし、単純に既存の インスタンスホワイトニング 方法を適用するだけでは、「有用な識別特徴」も一緒に削除されてしまい、FAS の性能に悪影響を与える可能性があります。

非対称な制約によって、生体特徴をよりまとまりやすくし、攻撃間の違いには余地を残します。実際の手順は次の通りです:

  1. 元の特徴と CSA 拡張特徴にそれぞれ IN を適用し、C×H×WC\times H\times W を C×HWC\times HW に展開して Σ=FF⊤/(HW)\Sigma=FF^\top/(HW) を計算します。
  2. 各サンプルの二つの共分散行列から要素ごとの分散を求め、サンプル間で平均して VV を作ります。大きな値の位置はスタイル変化に敏感とみなします。
  3. 値を順位付けして二値マスク M(kc)M(k_c) を作り、対角を除く上三角だけを使います。生体の選択率 krk_r を攻撃の ksk_s より大きくします。
  4. 元の分岐と拡張分岐の両方で、選んだ共分散 Σt⊙M(kc)\Sigma_t\odot M(k_c) をゼロへ近づける損失を与えます。

つまり AIAW は選択的な非相関化損失です。全特徴に共分散の逆平方根を掛ける白色化層ではありません。以下の説明は背景となる白色化の概念です。

総体訓練と最適化

未知のドメインで安定したパフォーマンスを達成するために、分類器はさまざまな「スタイルの揺らぎ」にもかかわらず、真偽を正しく識別できなければなりません。

そのため、同一の入力サンプル XiX_i に対して、著者は元の特徴 ForgiF_{\mathrm{org}}^i と強化された特徴 FaugiF_{\mathrm{aug}}^i を用いて、二項分類損失 LCls\mathcal{L}_{\mathrm{Cls}} を監視します:

LCls=−∑i∑t∈{org,aug}∑c∈{live,spoof}Yiclog⁡pict\mathcal{L}_{\mathrm{Cls}} =-\sum_i\sum_{t\in\{\mathrm{org},\mathrm{aug}\}}\sum_{c\in\{\mathrm{live},\mathrm{spoof}\}} Y_{ic}\log p_{ic}^{t}

原論文の省略記法を二クラスの交差エントロピーとして展開しました。YicY_{ic} は one-hot ラベル、pictp_{ic}^{t} は分岐 tt のクラス cc の確率で、ii はソースの訓練サンプルを走ります。単一 sigmoid 出力を使う場合は、ylog⁡py\log p と (1−y)log⁡(1−p)(1-y)\log(1-p) の両項が必要です。

さらに、著者は先行研究を参考にし、深度推定器を使って追加の監視を行っています:真顔には深度マップを出力し、偽顔にはゼロマップを出力します。

深度損失関数 LDep\mathcal{L}_{\mathrm{Dep}} は次のように定義されます:

LDep=∑i∑t∈{org,aug}∥Dep(Fti)−Ydepi∥22.\mathcal{L}_{\mathrm{Dep}} =\sum_i\sum_{t\in\{\mathrm{org},\mathrm{aug}\}} \left\|\mathrm{Dep}(F_t^i)-Y_{\mathrm{dep}}^i\right\|_2^2.

YdepiY_{\mathrm{dep}}^i は教師信号です。生体は PRNet の疑似深度、攻撃はゼロマップを使います。センサーが測った真の深度ではなく、あらゆる攻撃が物理的に平面であるという意味でもありません。

これらを総合して、最終的な総損失関数 Ltotal\mathcal{L}_{\mathrm{total}} は次のように表されます:

Ltotal=LCls+λLDep+LAIAW.\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{Cls}} + \lambda \mathcal{L}_{\mathrm{Dep}} + \mathcal{L}_{\mathrm{AIAW}}.

推論段階では、元の特徴分岐だけが必要で、強化操作は行いません。また、AIAW 損失は訓練時にのみ有効です。

DKG、CSA、AIAW の組み合わせにより、IADG はドメインラベルを使った整合をせず、サンプル単位でスタイルの影響を弱め、未知ドメインでの識別性能を改善することを目指します。

討論

従来の方法に従い、ここでも Leave-One-Out 実験設定を採用し、最後に各モジュールの貢献を解析するアブレーション実験を行います。

現行手法との比較

表 1 は従来の FAS 手法と DG 手法を比較しています。ドメインラベルの粒度は研究の動機ですが、性能差のすべてをラベルだけに帰することはできません。

IADG の HTER は四方向とも表中で最小、AUC は三方向で最大です。OCM→I の AUC 94.50% は SSDG-M の 94.61%、SSAN の 94.58% をわずかに下回ります。ドメインラベルは不要でも、生体/攻撃の教師信号は使います。

消融実験

以下のアブレーションはすべて I&C&M→O で行われ、四方向の平均ではありません:

  • ベースラインのみ使用した場合、19.75%の HTER と 87.46%の AUC が得られます
  • DKGを追加すると、16.94% / 90.14%に改善
  • さらにCSAを加えると、12.50% / 93.62%に進展
  • 最後にAIAWを導入することで、8.86% / 97.14%に達成されました。

この積み上げ設定では、三つのモジュールを加えるたびに HTER が下がり、AUC が上がります。ただし、表はすべてのモジュールの組み合わせを個別に比較したものではありません。

次に、異なるインスタンスホワイトニングの比較を見てみましょう:

実験結果から、IW や GIW などの手法はすべての共分散要素を平等に扱うため、重要な識別特徴を誤って傷つける可能性があることが分かります。ISW は若干改善されているものの、真の顔と偽の顔の分布特性の違いを依然として無視しています。

AIAW は生体と攻撃で異なる選択率を使い、元と拡張の両分岐を制約します。表 5 の最良の比は kr:ks=1:0.2k_r:k_s=1:0.2 ですが、実際の値は kr=0.3%k_r=0.3\%、ks=0.06%k_s=0.06\% です。

視覚化分析

最後に、IADG が特徴をどのように整列させるかを直感的に理解するために、t-SNE プロジェクションを見てみましょう。

上図では、従来のドメインを意識した整合手法でも source の生体と攻撃は分かれていますが、target の二クラスは投影上で混ざりやすくなっています。IADG の投影では target の生体と攻撃が比較的分かれて見えます。ただし、図に分類器の決定境界は描かれていません。

IADG の生体特徴が比較的まとまっている様子は、サンプルごとのスタイルの影響を弱めるという設計意図と定性的に一致します。ただし、この t-SNE 図だけで汎化改善の因果関係を証明することはできません。

結論

顔なりすまし検出には、既知データでの正しい分類に加え、環境や攻撃の変化に耐える能力も必要です。

そして、この変異は攻撃方法の刷新だけでなく、データ自体の断片化からも生じます:

異なる光源、デバイス、背景、文化、撮影時期、すべてのデータはそれぞれが独自のドメインである可能性がある。

私たちはドメインラベルによってすべてを支配できると思っていましたが、実際には分類できない細部に潜んでいる差異がますます増えてきていることが証明されています。統一されたラベルを追い求めるよりも、各顔のスタイルノイズの中から不変の信号を抽出する方が賢明です。

全体を整列させることから個体を理解することへ;サンプルを分類することからスタイルを分解することへ。おそらく、私たちはまだスタイルの本質を完全には理解できていませんが、IADG は少なくとも「スタイルと共存する方法」を私たちに示してくれました。