論文ノートライブラリに戻る
arXiv 2021AAAI 2021顔のなりすまし検知論文ノート

D²AM

千界鍛魂術

原論文

Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing

論文の著者

Zhihong Chen · Taiping Yao · Kekai Sheng …

著者全 8 名を表示

Zhihong Chen · Taiping Yao · Kekai Sheng · Shouhong Ding · Ying Tai · Jilin Li · Feiyue Huang · Xinyu Jin

発表先
AAAI 2021国際会議
arXiv への初回投稿
arXiv:2105.02453
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{faceantispoofingd2am2021,
  title = {{Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing}},
  author = {Zhihong Chen and Taiping Yao and Kekai Sheng and Shouhong Ding and Ying Tai and Jilin Li and Feiyue Huang and Xinyu Jin},
  year = {2021},
  eprint = {2105.02453},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2105.02453}
}
このページの内容

先ほど、SSDG について見てきました。それは片側のドメイン汎化手法を使用して FAS の問題に取り組んでいました。

今回は、かつて一世を風靡した Meta Learning がこの戦場に加わりました。

問題の定義

DG 技術が FAS で初期の成功を収めたことを受けて、この論文の著者は次のような疑問を提起しました:

「ドメイン」とは一体何か?

それは異なる撮影シーンですか?それとも異なる攻撃方法ですか?それとも、データセットの名前をドメインラベルとして使うのでしょうか?

これらもドメインの定義方法です。課題は、混合データ内の変動を捉え、タスクに合う分割にすることです。

著者は三つの問題点を指摘しています:

  1. ドメインラベルの手作業での付与は時間がかかる。

    もし一枚の画像に対して「これは黄みがかった照明の領域に属する」と言わせる必要があれば、標準化の問題が発生します。

  2. ドメイン自体が複雑な要因で構成されており、単一の次元で分類することはできない。

    あるドメインはカメラが悪いため、別のものはモデルが不自然なため、これら二枚の画像が同じカテゴリに属するとは誰が言えるでしょうか?

  3. データセットを基に分類しても、それは必ずしも最適ではない分割に過ぎない。

    A データセットと B データセットの間には実際に多くの重複があり、モデルは既にそれらを混同しているかもしれません。


この困難に直面し、著者は以下の解決策を提案しています:

モデルに自分でクラスタリングを学ばせることはできないか?

モデルに擬似ドメインを生成させ、それらの擬似ドメインから汎化能力を訓練させるのです。

これが D²AM の核心的な考え方です。

問題解決

著者が提供するモデルアーキテクチャの図は非常に複雑に見え、少し怖くなるかもしれません。

したがって、論文内の他のセクションを参照して、このアーキテクチャを理解する必要があります。以下のアルゴリズムのロジックを参照してください:

第一段階:クラスタリング

この段階のタスクは非常に明確です:

「これらの画像がどのドメインに属するのかは分からないが、問題ない、私は自分でクラスタリングする。」

方法は概ね次の通りです:

  1. CNN のスタイル統計量(平均、標準偏差)を抽出
  2. DRLM モジュールを通して、特徴をF+F^+とF−F^-に分割
  3. エントロピー正則化で F−F^- のタスク判別情報を抑える
  4. F−F^- の注意重みが低い半数のチャネルを選び、統計量を抽出して K-means でクラスタリングする

では、詳細な手順を見ていきましょう:

  • Step 1:前処理

    アルゴリズム 1:行 2–5、初めに著者は ImageNet で事前学習した ResNet を使い、すべての画像から特徴を抽出します。

    これは分類のためではなく、スタイル特徴を抽出するためです。こうして生成されたベクトルは次のようになります:

    df(x)={μ(F1),σ(F1),...,μ(FM),σ(FM)}df(x) = \{\mu(F_1), \sigma(F_1), ..., \mu(F_M), \sigma(F_M)\}

    最初の分割では、この統計量からクラスタ数 KK と擬似ドメインを初期化します。その後のエポックでは D²AM 自身の抽出器 EE で再計算します。


  • Step 2:DRLM でドメイン特徴を強化

    DRLM は SE ブロックのような小さなモジュールで、CNN 特徴にチャネルアテンションを追加します:

    a=σ(W2⋅ReLU(W1⋅pool(F)))a = \sigma(W_2 \cdot ReLU(W_1 \cdot pool(F)))

    その後、元の特徴を 2 つに分けます:

    • F+=a⋅FF^+ = a \cdot F:タスクに関連する特徴。
    • F−=(1−a)⋅FF^- = (1 - a) \cdot F:我々が関心を持っているドメイン特徴。

  • Step 3:余分なタスク情報を排除し、エントロピー損失でクリーニング

    著者は「反エントロピー」正則化を加えました:

    Lp=P(F−)log⁡P(F−)\mathcal{L}_p = P(F^-) \log P(F^-)

    ここで、P(F−)=Sigmoid(Wp⋅pool(F−))P(F^-) = \text{Sigmoid}(W_p \cdot pool(F^-))

    意図は F−F^- の本人/攻撃の判別情報を抑えることです。ただし式には不一致があります。論文どおり p=P(F−)p=P(F^-) を一つの sigmoid 確率とすると、plog⁡pp\log p の最小点は p=e−1p=e^{-1} で、0.50.5 ではありません。二値の負のエントロピー plog⁡p+(1−p)log⁡(1−p)p\log p+(1-p)\log(1-p) なら 0.50.5 が最小になります。ここでは原論文の式 (7) を残し、本文の説明との違いを明記します。著者の実装は確認できていません。


  • Step 4:K-means クラスタリングを行い、擬似ドメインラベルを生成(アルゴリズム 1:行 8)

    注意重みを昇順に並べ、F−F^- の下位 C/2C/2 チャネルを選んで Fd−F_d^- を作ります。各層・チャネルの平均と標準偏差を df(x)df(x) とし、この統計ベクトルをクラスタリングします。本人と攻撃を別々にクラスタリングして対応付けるため、本人/攻撃のラベルは必要です。

    クラスタが不安定にならないように、著者はKuhn-Munkres(ハンガリアンアルゴリズム)を使用してエポックごとにペアリングを整列させました。

第二段階:Meta-learning

擬似ドメインが分かれたら、次にモデルは「模擬実戦トレーニング」に進みます。

この段階の精神は Meta-learning と同じです:

「私はデータを自分で異なる小さな国(ドメイン)に分け、そして『A 国で学んだことは B 国で使えるか?』を繰り返しシミュレートする。」

各 epoch の冒頭で再クラスタリングし、その中の各 iteration で meta-train/meta-test のドメインを選びます。

  • Meta-train:K−1 個のドメインでトレーニング
  • Meta-test:残りのドメインで一般化の検証
  • Meta-optimize:トレーニングとテストの結果に基づいてパラメータを更新

この部分は、毎回のトレーニングで 2 つの作業を行うことに似ています:Meta-train と Meta-test。

  • Step 5:ランダムに K−1 個の擬似ドメインを選んで Meta-train(アルゴリズム 1:行 10–12)

    各ドメインDiD_iからバッチBiB_iを抽出し、次の 3 つの作業を行います:

    1. 分類損失(交差エントロピーを最小化する記法として負号を補う。原論文の式 (8) には負号がない):
    LCls(Bi)=−∑(x,y)∈Bi[ylog⁡M(E(x))+(1−y)log⁡(1−M(E(x)))]\mathcal{L}_{Cls}(B_i) = -\sum_{(x,y) \in B_i} \left[y \log M(E(x)) + (1 - y) \log(1 - M(E(x)))\right]
    1. MMD 正則化:
    LMMD(Bi)=∥1b∑ϕ(hs)−1b∑ϕ(ht)∥H2\mathcal{L}_{MMD}(B_i) = \left\| \frac{1}{b} \sum \phi(h^s) - \frac{1}{b} \sum \phi(h^t) \right\|^2_{\mathcal{H}}

    hsh^s は meta learner の adaptation layer の特徴、hth^t は同じ次元の事前分布からの乱数です。実験では標準正規分布を使います。最終的な未知の対象データを使った domain adaptation ではありません。MMD は特徴を事前分布へ近づける正則化であり、すべての外れ値がなくなる保証ではありません。

    1. 深度回帰(本人には PRNet の擬似深度、攻撃にはゼロ目標を使用):
    LDep(Bi)=∥D(E(x))−I∥2\mathcal{L}_{Dep}(B_i) = \| D(E(x)) - I \|^2
  • Step 6:Meta-test を実行(アルゴリズム 1:行 15–16)

    meta-test ドメインも学習用データの一部であり、この inner update に対してだけ留保されています。最終評価の未知の対象データセットではありません。batch BtB_t を取り、各 inner-update 後の meta learner で評価します。

    LCls(Bt,θMi′),LMMD(Bt,θMi′)\mathcal{L}_{Cls}(B_t, \theta_{M_i}'), \quad \mathcal{L}_{MMD}(B_t, \theta_{M_i}')

    最後に、深度損失も追加されます。


  • Step 7:Meta-Optimization(アルゴリズム 1:行 17)

    ここでは、3 つのモジュールパラメータが一緒に更新され、それぞれが Eq.11–13 に対応します:

    • θEθ_E:特徴抽出器
    • θMθ_M:メタラーナー
    • θDθ_D:深度推定器

    毎回の更新では、DRLM からのエントロピー損失も含まれます:

    ∑j=13λpLpj\sum_{j=1}^3 \lambda_p \mathcal{L}_p^j

    これにより、ネットワーク全体が「一般化のためのドメイン分類能力」を学ぶことに集中します。


最後に、このパイプラインがどのように動作するかをまとめてみましょう:

  1. CNN 特徴 → DRLM:F+F^+ と F−F^- を分ける
  2. F−F^- を抽出 → クラスタリングして擬似ドメインラベルを生成
  3. これらのラベルを Meta-learning のトレーニング基盤として使用
  4. トレーニング後、再度特徴を抽出 → 再クラスタリング → 再トレーニング
  5. 学習が終わるまで繰り返し、最後に未見の対象データセットで汎化性能を評価する。

全体的に見ると、これは「自分で分類し、自分でトレーニングし、より厳しく自分に対してトレーニングを行う」自己規律型アルゴリズムです。

討論

他の方法との比較

これまで説明したように、D²AM は本当に他の方法と比べて優れているのでしょうか?

著者は上の表で一連の実験結果を示し、4 つの主要な FAS データセットを交互に「未知のテストセット」として使用し、モデルが 3 つのソースドメインだけで汎化能力を試すという設定を行いました。

4 組のうち、D²AM は 3 組で最低の HTER、2 組で最高の AUC を記録しました。Idiap Replay-Attack を対象とした O&C&M → I は HTER 15.43%/AUC 91.22%、MSU-MFSD を対象とした O&C&I → M は 12.70%/95.66%、CASIA-FASD を対象とした O&M&I → C は 20.98%/85.58%、OULU-NPU を対象とした I&C&M → O は 15.27%/90.87% です。

CASIA を対象とする設定では RFM の HTER 20.27%/AUC 88.16% が両指標で優れます。OULU を対象とする設定でも HTER は D²AM が低いものの、AUC は RFM の 91.16% が上回ります。

特徴は、手動の domain label なしでクラスタリングから meta-learning の課題を作る点です。本人/攻撃ラベルは引き続き必要です。また、この表の単一の報告値だけから、反復学習の安定性が高いとは判断できません。

t-SNE 可視化

著者は t-SNE を使って理解を助けるためにいくつかの図を描いています:

  • F+F^+(タスク特徴):本人/攻撃の分類情報がより表れます。
  • F−F^-(ドメイン特徴):出所やスタイルの情報がより表れます。ただしタスク情報が完全に消えた証明ではありません。

つまり、F−F^-は「どの世界から来たか」を特定するのを助け、F+F^+は「本物か偽物か」を担当しているということです。

これらの図は DRLM の設計意図と整合しますが、t-SNE の二次元表示は定性的な参考です。

クラスタリング可視化

著者はさらに擬似ドメインの挙動を観察し、いくつかの興味深い発見をしました:

  • エポックが進むにつれて、D²AM がクラスタリングに使う基準が変わります:

    • Epoch 3 では光の条件に焦点を当てる
    • Epoch 6 では背景に焦点を当てる
  • 隣接するエポック間の擬似ドメインラベルの NMI は約 0.6~0.8 で、学習中にクラスタの割り当てが変化していることを示します。

擬似ドメインと元のデータセットラベルの NMI は 64.9% ± 5.7% と報告されています。NMI は正規化相互情報量であり、「同じ群に割り当てられた標本の割合」ではありません。論文の overlap という表現を、約 65% の標本が一致したという意味に読み替えないでください。

以前はドメインラベルが標準的な出発点だと思われていましたが、実際にはそれが最適な分け方ではないかもしれません。

結論

D²AM は DG の分野において、全く異なるアプローチを提案しています。

「ドメインのラベルを手伝わなくても、自分でクラスタリングし、自分でトレーニングし、自分で強くなる。」

その核心的な考え方は非常にシンプルです:「汎化能力は、各ドメインが何であるかを事前に知っていることに基づくべきではない。」

DRLM、エントロピー正則化、MMD により、ドメイン分割と meta-learning を反復的に調整します。報告された多くの課題で競争力がありますが、エントロピー式と実装の一致など、確認すべき細部も残っています。

これは単なる FAS の事例に留まらず、より汎用的な機械学習の考え方です。

データソースが混在しており、ドメインが不明なシナリオにおいて、D²AM は非常に有益な出発点を示しています。