論文ノートライブラリに戻る
arXiv 2022AAAI 2023顔のなりすまし検知論文ノート

CDFTN

スタイルの絡み合い

原論文

Cyclically Disentangled Feature Translation for Face Anti-spoofing

論文の著者

Haixiao Yue · Keyao Wang · Guosheng Zhang …

著者全 7 名を表示

Haixiao Yue · Keyao Wang · Guosheng Zhang · Haocheng Feng · Junyu Han · Errui Ding · Jingdong Wang

発表先
AAAI 2023国際会議
arXiv への初回投稿
arXiv:2212.03651
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{faceantispoofingcdftn2022,
  title = {{Cyclically Disentangled Feature Translation for Face Anti-spoofing}},
  author = {Haixiao Yue and Keyao Wang and Guosheng Zhang and Haocheng Feng and Junyu Han and Errui Ding and Jingdong Wang},
  year = {2022},
  eprint = {2212.03651},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2212.03651}
}
このページの内容

SSAN に続き、スタイルと生体判定の特徴をどう分離するかという観点から CDFTN を読みます。これは概念上のつながりであり、SSAN がすべてのスタイル利用法の起点だったという主張ではありません。

その後、いくつかの研究が続き、この論文にも進展が見られます。

問題の定義

FAS は二値分類として定式化できます。難しいのは、データの出所が変わっても、学習した手がかりが信頼できるかという点です。

一方には、生身の顔があり、血肉と呼吸が存在します。もう一方には、高解像度の写真、再生されたビデオ、シリコン製の偽マスクがあります。

初期の方法は手作業で特徴を抽出するもので、例えば LBP、HOG、SIFT といった名前はかつて輝いていました。後に CNN に置き換えられ、ImageNet で事前訓練された VGG や ResNet から、より深く、広い構造へと進化しました。いくつかの方法は LSTM を使って時間的な要素を取り入れたり、材料学的な視点を導入したりしました。

しかし、方法がどう変わっても、解決されない問題があります:

データセットを変えると、モデルは役に立たなくなる。

撮影装置、環境光源、文化的な背景が変わると、生体認識モデルはまるで乱れた羅針盤のように、正しい方向を指し示せません。

そこで、Domain Generalization(DG)が登場しました。私たちは、モデルに抽象的な「生体の意味」を学習させたいと考えていますが、DG の方法はしばしば複数のラベル付きドメインに基づいています。しかし、このようなリソースは実際のシナリオではあまり見かけません。

もう一つ、より実用的な設定は Unsupervised Domain Adaptation(UDA)で、これはラベル付きのソースデータとラベルなしのターゲットデータを使います。

UDA の方法は大きく分けて 3 種類です:

  1. 特徴の整合性を取ることで、ソースとターゲットの分布差を最小化する。
  2. 敵対的訓練を使って、ソースデータの特徴を隠す。
  3. 画像変換を行い、ソースデータをターゲットデータに似せる。

これらはすべて有効ですが、いずれも次の問題を抱えています:

「意味とスタイルの絡み合いを本当に解きほぐしていない」

著者の問題意識は、分布整合や画像変換だけでは生体/攻撃の判定に必要な情報を保持できない場合がある、というものです。すべての UDA 手法が必ず意味情報を壊すという証明ではなく、上記の三つの技術を併用する場合もあります。

では、もし生体と非生体の違いが「意味」に由来し、ドメインの違いが「スタイルと背景」に由来すると認めるならば、ドメインの枠組みを真に変革するモデルを設計することができるのでしょうか?

解決策

この論文では、Cyclically Disentangled Feature Translation Network(以下、CDFTN)というアーキテクチャを提案しています。

図から伝わってくる圧迫感はすさまじいものです。一見複雑に見えますが、実際にもその通りです。

著者の目的は、真偽の顔分類を直接行うことではなく、まず「顔のさまざまな側面における潜在的特徴を解きほぐし」、それらを「異なるドメインの違いを越えて表現できる形に再構築する」ことです。

このプロセスは 2 つの段階に分かれます:

  1. 第 1 段階:特徴の解きほぐし、ドメイン間変換、新しい画像の生成
  2. 第 2 段階:第 1 段階で生成された画像を使用して最終的な分類器を訓練する

この方法の核心となる概念は、各顔を 2 つのサブスペースに分解することです:

  • 生体空間(Liveness Space):生体と偽装の意味的特徴に対応(ドメインを越えた安定性を持つことを目指す)
  • 内容空間(Content Space):デバイス、照明、背景など、ドメイン固有の情報を含む(干渉やノイズとして扱われる)

ここから、少し敵対的学習の背景が必要となりますが、あなたがすでに GAN の達人であることを前提に、次を見ていきましょう。

第 1 段階

特徴の分離と敵対的学習

各ドメインに生体特徴用と内容特徴用のエンコーダがあります:

  • EsL,EtLE_s^L, E_t^L:それぞれソースとターゲットの生体特徴を抽出するエンコーダ
  • EsC,EtCE_s^C, E_t^C:それぞれソースとターゲットの内容・スタイルを抽出するエンコーダ

EsL,EtLE_s^L, E_t^L が生体判定に関連する情報に集中し、「どのドメインから来たか」の差異を隠すために、著者は敵対的学習で、両ドメインの生体エンコーダに判別しにくい潜在ベクトル zLz^L を生成させます。その損失関数は次のように書けます:

min⁡EsL,EtLmax⁡DLLDL=Exs∼PS[log⁡DL(EsL(xs))]+Ext∼PT[log⁡(1−DL(EtL(xt)))]\min_{E_s^L,E_t^L} \max_{D_L} \mathcal{L}_{D_L} = \mathbb{E}_{x^s \sim P_S}[\log D_L(E_s^L(x^s))] + \mathbb{E}_{x^t \sim P_T}[\log(1 - D_L(E_t^L(x^t)))]

ここで DLD_L は判別器で、入力された zLz^L がソースから来たのか、ターゲットから来たのかを判断します。両ドメインの生体エンコーダは DLD_L を「騙す」ようにして、抽出される特徴を区別しにくくします。

生体判定の情報を保つ分類器

ソースの特徴に生体/攻撃の識別能力を持たせるため、分類器 CC を加え、交差エントロピーで訓練します。原論文の ysy^s は二要素の one-hot ラベルです:

LclsL=−E(xs,ys)[yslog⁡C(EsL(xs))]\mathcal{L}_{cls}^L = -\mathbb{E}_{(x^s, y^s)} [y^s \log C(E_s^L(x^s))]

ソースの分類損失は識別力を、ドメイン敵対的学習は分布の整合を促します。分離度とターゲットでの分類性能は実験で評価します。

クロスドメイン生成とスタイルの再構築

この部分がCDFTNの売りです。

第 1 段階では、モデルは生体特徴を抽出するだけでなく、「異なるドメイン間で生体特徴と内容特徴を交換」することによって、新しい「擬似ラベル画像」を生成しなければなりません。

このようにする理由は、実際のアプリケーションでは、ソースとターゲットに顕著な差異があることが多いため(例:カメラブランド、撮影環境、光源など)、ソースのデータだけで訓練すると、ターゲットに対して一般化できないからです。

このクロスドメイン再構築の方法を使うことで、モデルはさまざまなスタイルの潜在的な変化を「見る」ことができ、利用可能な訓練データを増やし、最終的に学習された生体判定のドメイン間の安定性を高めます。

まず、ソースとターゲットでそれぞれ次のように取得します:

(zsL,zsC)=(EsL(xs),EsC(xs)),(ztL,ztC)=(EtL(xt),EtC(xt)).(z^L_s, z^C_s) = (E_s^L(x^s), E_s^C(x^s)), \quad (z^L_t, z^C_t) = (E_t^L(x^t), E_t^C(x^t)).

ここでzLz^Lは「生体空間」で真偽顔判定に最も関連する特徴を表し、zCz^Cは各ドメインで比較的独特なスタイル情報(例:デバイス影響、背景、光線特性など)を表します。

次に、上記の二つのドメインの潜在ベクトルを交換し、「擬似ラベル画像」を生成します:

x^t=Gt(zsL,ztC),x^s=Gs(ztL,zsC),\hat{x}^t = G_t(z^L_s, z^C_t), \quad \hat{x}^s = G_s(z^L_t, z^C_s),

Gs,GtG_s,G_t は各ドメインの別々のデコーダです。x^t\hat{x}^t はソースの生体特徴を用いるため、ソースラベル ysy^s を引き継ぎます。これは生成サンプルへのラベル転移であり、元のラベルなしターゲット画像に予測ラベルを付ける処理ではありません。逆方向の x^s\hat{x}^s は循環制約に使われ、既知のターゲット正解ラベルを持つとは限りません。

この方法の意味は、もし元の真偽顔の意味(zLz^Lによって)を保持し、スタイル面でターゲットドメインに近づけることができれば、「ターゲットに非常に似ているが、依然として真顔または偽顔の意味を持つ」追加の訓練画像を得ることができるということです。これらの画像は後で分類器に提供され、ターゲットドメインでより良い識別を学習するために使用されます。

画像判別器 Ds,DtD_s,D_t は、各ドメインの実撮影画像と生成画像を区別します。GAN の real/fake は「実撮影/生成」であり、FAS の「生体/攻撃」とは異なります。両ドメインの敵対的損失は次の通りです:

Ladv=Exs[log⁡Ds(xs)+log⁡(1−Ds(x^s))]+Ext[log⁡Dt(xt)+log⁡(1−Dt(x^t))].\begin{aligned} \mathcal{L}_{adv} ={}& \mathbb{E}_{x^s}[\log D_s(x^s) + \log(1 - D_s(\hat{x}^s))] \\ &+ \mathbb{E}_{x^t}[\log D_t(x^t) + \log(1 - D_t(\hat{x}^t))]. \end{aligned}

判別器が生成画像を見分けられれば、生成器 Gs,GtG_s,G_t は各ドメインの実画像に近づけて判別器を「騙す」ように学習します。これは訓練目標であり、著者自身も生成画像の見た目の品質は高くないと述べています。

一貫性損失

スタイル変換の過程で、生体特徴や元画像内容が混乱したり失われたりすることを防ぐために、著者はさらに 3 つの一貫性損失を追加して制約を強化し、交換後の画像が対応する「真/偽」の意味を失わず、不要なスタイルの歪みを生じないようにしています。

  1. 再構築損失 Lre\mathcal{L}_{re}

    クロスドメイン交換を行わない場合(つまり、同じ画像のzLz^LとzCz^Cを同じデコーダに戻す場合)、元の画像を再構築できるはずです。再構築誤差が高ければ、エンコーダまたはデコーダがその画像を正しく抽出または復元できていないことを示し、訓練中に罰せられる必要があります。

  2. 周期的損失 Lcyc\mathcal{L}_{cyc}

    CycleGAN の概念を参考にして、x^\hat{x}(交換後の画像)を対応するエンコーダに再度渡し、(zL,zC)(z^L, z^C)を抽出した後、元のドメインに戻して、「元の画像とできるだけ一致する」結果を再構築することを要求します。この「往復」のメカニズムは、クロスドメインプロセスで不可逆的な情報損失を防ぎます。

  3. 潜在空間損失 Llat\mathcal{L}_{lat}

    主に、クロスドメイン交換後、生体特徴zLz^Lが重大な変形を起こさないことを保証するために使用されます。例えば、「真顔」であった場合、クロスドメイン後に多重変換を経ても理論的には「真顔」の意味を保持すべきであり、スタイル交換やノイズ操作で破壊されてはいけません。この損失は、モデルが生体特徴を適当に変更せず、交換前後の意味の一貫性を維持するように制約します。

これらのステップで、分解と交換を敵対的学習・一貫性損失で制約する閉ループの特徴変換ができます。その結果、ソースの生体ラベルとターゲットの内容を持つ擬似ラベル画像 x^t\hat{x}^t を作り、第二段階で利用します。

第二段階

第 1 段階が完了した後、著者は生成構造全体を固定し、前に生成された「擬似ラベル画像」x^t\hat{x}^tを使用して最終的な分類器MMを訓練します。 文中では 2 種類の設計が比較されています:

  • LGSC(Feng et al., 2020):分類、spoof cue の L1L_1 回帰、triplet loss を含むマルチタスク設計。
  • ResNet-18:二項分類のみ。

LGSC を使用する場合、最終的な損失は次のように書けます:

Lstage2=α1La+α2Lr+α3Ltri,\mathcal{L}_{stage2} = \alpha_1 \mathcal{L}_a + \alpha_2 \mathcal{L}_r + \alpha_3 \mathcal{L}_{tri},

ResNet-18 を使用する場合、二項分類の部分のみが残ります。


これが最近読んだ中で最も複雑な論文の一つかもしれません。全体的に、CDFTN の核心となる考え方は:

  1. まず生体意味とドメインに関連する内容を解きほぐし、敵対的学習を用いて生体特徴のドメイン間の整合性を促す。
  2. 次に 2 つのドメインの特徴を交換し、クロスドメイン生成で「擬似ラベル画像」を作り出す。
  3. 最後にこれらの偽画像を補助データとして使い、より堅牢な最終分類器の訓練を行う。

方法論としては、確かに複雑ですが、その出発点は非常に直感的です:同じ顔の「真/偽」判定はカメラブランドや光線条件などの差異に左右されるべきではない。したがって、まず「生体」の意味を抽出し、ドメインの違いを内容空間に帰し、その後クロスドメインシナリオでより一般化し、正確な生体検出を実現するのです。

討論

本論文は、クロスドメイン顔なりすまし検出の状況下で、単一ターゲットドメイン変換(SS2ST) と 多ターゲットドメイン変換(SS2MT) を通じて CDFTN の効果を検証しました。

著者は以下の 4 つの一般的なクロスドメイン FAS データセットを使用しました:

  • CASIA-MFSD (C)
  • Replay-Attack (I)
  • MSU-MFSD (M)
  • Oulu-NPU (O)

単一ターゲットドメインの設定では、1 つのソース(全データを含む)と 1 つのターゲット(そのトレーニングセットを含む)を選んで実験を行いました。

そのため、12 のテストシナリオが考えられます:

  • C → I, C → M, C → O
  • I → C, I → M, I → O
  • M → C, M → I, M → O
  • O → C, O → I, O → M

多ターゲットドメインの設定では、C, I, M, O の 4 つのデータセットから 1 つをソースとして選び、残りの 3 つをアンラベルターゲットとして使用しました。

全体で 4 つのシナリオがあります:

  • C → I & M & O
  • I → C & M & O
  • M → C & I & O
  • O → C & I & M

最後に、評価指標として著者は以下の 2 つの一般的な定量的指標を使用しました:

  1. HTER(Half Total Error Rate):

    HTER=FRR+FAR2,\mathrm{HTER} = \frac{ \mathrm{FRR} + \mathrm{FAR} }{2},

    ここで、FRR\mathrm{FRR}は誤拒否率、FAR\mathrm{FAR}は誤受け入れ率です。

  2. AUC(Area Under the Curve):高いほど分類器が真顔と偽顔を区別する能力が高いことを示します。

他の方法との比較

著者はCDFTNを他のクロスドメイン学習法と比較し、その結果を上記の表に示しています:

  • 表 1 は HTER のみ を示し、AUC は載っていません。CDFTN-L の 12 方向の平均 HTER は 13.2% ですが、各方向で常に最良ではありません。欠けた方向がある比較手法の平均とも、そのまま比較はできません。
  • 例えば CASIA → Oulu では、MDDR の HTER が 24.7%、CDFTN-L が 29.9% でした。Oulu の攻撃用機器(2 種類のプリンター、2 種類の画面)や 1920×1080 画像の縮小によるぼけは著者の推測で、原因を分離して実証した結果ではありません。

著者は特徴変換がターゲットの内容特徴を利用する助けになると考えています。

多ターゲットドメイン特徴変換

著者は 3 つの異なる設定を比較しました:

  1. SS2ST:単一ターゲットドメイン;
  2. SS2BT:複数のターゲットドメインを直接「混合」して SS2ST として扱う;
  3. SS2MT:各ターゲットに対応するエンコーダとデコーダを設け、共同で学習し、各ドメイン向けの生成画像を使う。

表の四組の平均 HTER/AUC では、SS2MT は SS2BT と SS2ST の両方を上回りました。

これは、複数のサブドメインに直面した場合、単一のエンコーダを使用してすべてのターゲットを 一つのドメインとして扱うと、ターゲットドメイン内の差異が大きすぎてパフォーマンスに影響を与えることを示しています。

SS2MT は各サブドメインを分けて学び、四組の平均指標でより良い結果を得ています。著者は複数のターゲットに 一回の訓練 で対応できると述べますが、訓練時間や計算量の比較は示していません。

アブレーション実験

著者は四つの損失を順に除去しています。上の表 3 は LGSC を使う CDFTN-L の結果で、ResNet-18 と LGSC の比較は主に表 1 にあります。

結果から以下のことがわかります:

  1. LclsLL_{cls}^L(ソースでの生体分類器のクロスエントロピー損失)を削除すると、パフォーマンスが低下し、zsLz^L_sが生体判別能力を保持しなければ、モデルが本当に識別可能な生体特徴を抽出するのが難しくなることが示されています。
  2. LcycL_{cyc}(サイクル整合性)を削除すると、モデルは閉ループ翻訳の制約を失い、平均 HTER は 8.1% から 11.0% に上がります。
  3. LreL_{re}(自己再構築損失)を削除すると、モデルは元の画像を正確に復元する能力を失い、エンコーダとデコーダの基本的な制約を失います。この実験結果はパフォーマンスにかなり顕著な影響を与えることがわかります。
  4. LlatL_{lat}(潜在空間整合性)を削除すると、平均 HTER は 11.7% に上がり、交換前後の生体特徴を制約する設計を支持します。

全体として、どの損失を外しても表の九方向の平均 HTER は上昇します。差が最も大きいのは LreL_{re}(8.1% → 19.7%)で、次は LclsLL_{cls}^L(→ 12.0%)、その次が LlatL_{lat}(→ 11.7%)です。原論文の本文では LlatL_{lat} を二番目に重要と述べていますが、この表の平均値による順位とは一致しません。

視覚化分析

上の図は M → I に対する視覚化です。著者は各ドメインから 500 サンプルを取り、t-SNE で特徴を 2D に落としました。青と橙はソースとターゲット、丸と十字は生体と攻撃を表します。

左が特徴変換前、右が変換後です。この例では同じクラスのドメインをまたぐサンプルが近づき、図中の分類境界も明瞭になっています。ただし、t-SNE だけで全場面のドメイン差を数値化することはできません。

結論

FAS の研究の中で、「スタイル」という言葉の重要性は次第に増してきました。

最初は干渉因子として見なされていましたが、後に認識の一般化失敗の重要な解釈となり、さらにモデリングの明示的な次元として組み込まれ、スタイル(style)と意味(semantics)との関係がこれまでの方法論の核心を形成してきました。

そして、CDFTN はこの経路上の重要な節目となるものです。

それは単に意味とスタイルを解きほぐすだけでなく、さらに重要なのは、この解きほぐしを生成メカニズムの一部として転換し、クロスドメインの擬似ラベルサンプルで分類器を訓練し、意味駆動型のスタイル再構築プロセスを構築しようとしています。

「ドメインシフトにどう対抗するか」という研究方向と比較すると、スタイルの存在をどう尊重し、モデルにそれと共存させる方法を学ばせることも重要な課題です。