論文ノートライブラリに戻る
arXiv 2020ECCV 2020顔のなりすまし検知論文ノート

Disentangle-FAS

魂の結び目を解く

原論文

Face Anti-Spoofing Via Disentangled Representation Learning

論文の著者

Ke-Yue Zhang · Taiping Yao · Jian Zhang …

著者全 9 名を表示

Ke-Yue Zhang · Taiping Yao · Jian Zhang · Ying Tai · Shouhong Ding · Jilin Li · Feiyue Huang · Haichuan Song · Lizhuang Ma

発表先
ECCV 2020国際会議
arXiv への初回投稿
arXiv:2008.08250
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{faceantispoofingdisentanglefas2020,
  title = {{Face Anti-Spoofing Via Disentangled Representation Learning}},
  author = {Ke-Yue Zhang and Taiping Yao and Jian Zhang and Ying Tai and Shouhong Ding and Jilin Li and Feiyue Huang and Haichuan Song and Lizhuang Ma},
  year = {2020},
  eprint = {2008.08250},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2008.08250}
}
このページの内容

この論文はわかりやすい名前をつけていません。

そこで、論文タイトルそのままにDisentangle-FASと呼びます。

問題の定義

顔偽装検知(Face Anti-Spoofing、FAS)は常に認識システムの最前線にいます。

スマホのロック解除、入退室管理、金融の本人認証、そしてさまざまな eKYC シーンまで、このタスクに頼り、「この顔は本物か、それとも何らかの偽装か?」を見分けています。

アルゴリズムの進歩、データセットの拡充、モデル精度の向上とともに、問題は解決されつつあると思われました。

しかし実際には、偽装の種類を増やしては、モデルに覚えさせる答えを増やしているだけかもしれません。

よく見ると、この分野は以下の古い問題に引っかかっています:

  • 真偽分類がブラックボックスで、判断根拠が説明できない;
  • 汎化能力が非常に低く、データセットを変えるとすぐに性能が落ちる;
  • データは常に不足し、攻撃パターンはより早く変化する。

さらに深刻なのは、「生体の特徴」が何なのか明確に説明できないことです。

これは単にモデルの構造を選び損ねた、あるいはデータ量が足りないというだけの問題ではありません。

顔に対する我々の理解自体があまりにも混沌としているのです。

顔には「身元、姿勢、照明、背景、機器特性、肌の質感」など多くの意味情報が同時に存在し、モデルにはそれらが混ざった文法の中で、一度に「真か偽か」の判定をさせているのです。

このやり方は初めから間違っているのではないでしょうか?我々には可能でしょうか:

モデルに雑音や意味情報の絡まりから、「生体」に属する独立した手がかりだけをまず抽出させることが?

解決策

「顔の意味が混ざる」問題を解くために、著者は二つの主要コンポーネントを提案しました:

  1. 生体と内容を分離する Disentanglement Process(分離処理)。
  2. LBP、Depth、識別器などの複数の補助的な教師信号(Auxiliary Supervision)で分離を強化。

Disentanglement Process

まず、著者は「交換・再構成」の流れを設計し、顔画像の潜在特徴ベクトルを2つに分けます:

  • 生体特徴 (Liveness Features, LL) :「この顔が本物か偽物か」を表す重要因子
  • 内容特徴 (Content Features, CC):人物の識別情報、背景、照明、姿勢などを残すことを目指します。これは設計上の役割分担であり、実データではこれらの要因も攻撃ラベルと相関し得ます。

上図のフローに従うと:

  1. 一枚の本物の顔 AA と一枚の偽物の顔 BB をエンコーダー (Encoder) に入力し、それぞれ (LA,CA)(L_A, C_A) と (LB,CB)(L_B, C_B) に分解。

  2. 次に、生体特徴を交換し、新たな画像 A^b\hat{A}_b と B^a\hat{B}_a を合成。具体的には:

    • 偽の生体特徴と本物の内容特徴で再構成した画像 A^b\hat{A}_b
    • 本物の生体特徴と偽の内容特徴で再構成した画像 B^a\hat{B}_a

(CA,LB)(C_A,L_B) は A の内容と B の攻撃属性を、(CB,LA)(C_B,L_A) は B の内容と A の live 属性を持つ画像になることを期待します。内容と生体特徴の出所を逆にしてはいけません。

交換と再構成損失は、内容と生体情報の分離を促します。ただし、完全な独立性を数学的に保証するものではありません。

再構成損失

Encoder + Decoder の組み合わせは、「入力画像を正しく再構成する」ことを保証する必要があります。

著者は以下2種類の再構成損失で制約をかけています:

  1. 画像再構成損失 (Image Reconstruction Loss)

    D(E(xi))D(E(x_i)) が元画像 xix_i に近くなることを期待し、以下のように定義:

    Lrecxi  =  Exi∼p(xi)∥ D(E(xi))  −  xi∥1\mathcal{L}_{rec}^{x_i} \;=\; \mathbb{E}_{x_i \sim p(x_i)} \Bigl\|\,D\bigl(E(x_i)\bigr) \;-\; x_i\Bigr\|_1

    ここで、EE はエンコーダー、DD はデコーダー、p(xi)p(x_i) は実際の画像分布。

  2. 潜在変数再構成損失 (Latent Reconstruction Loss)

    交換して組み合わせた ziz_i を画像にデコードし、再エンコードして同じ ziz_i を復元するようにします。

    Lreczi  =  Ezi∼q(zi)∥ E(D(zi))  −  zi∥1\mathcal{L}_{rec}^{z_i} \;=\; \mathbb{E}_{z_i \sim q(z_i)} \Bigl\|\, E\bigl(D(z_i)\bigr) \;-\; z_i \Bigr\|_1

この制約は、交換した生体特徴と内容特徴をデコード・再エンコードしても保持できるようにし、両者の分離を促します。ただし再構成が成功しても、人物や照明の情報が生体特徴から完全に排除された証明にはなりません。

Auxiliary Supervision

生体特徴をより「明確に」捉えるために、著者は分離プロセスに以下 3 つの補助的な教師信号を加えています:

  1. LBP マップ(Local Binary Pattern)
  2. 深度マップ(Depth Map)
  3. 判別器による教師信号(Discriminative Supervision)(識別器)

以下に、著者が用いた各補助ネットワークの構造詳細を示します:

各ネットワークは複数の畳み込み層、バッチ正規化(BN)、ReLU で構成されており、異なるレベルの特徴を用いて補正や識別を行います。

  • LBP マップ

    偽顔はしばしばテクスチャに破綻(印刷の点、スクリーンのモアレなど)が現れることを踏まえ、生体特徴に対し LBP の教師信号を課しています:

    • 本物の顔:LBP ネットワークの出力が実際の LBP マップに近づくことを期待
    • 偽顔:全 0 の目標マップを使います。これはクラスを区別する教師信号です。

    数式は以下の通りです:

    Llbp=  Eli∼P(li), xi∼P(xi)∥ LBP(li)−lbpxi∥1  +  Eli∼N(li), xi∼N(xi)∥ LBP(li)−0∥1\mathcal{L}_{lbp} =\; \mathbb{E}_{l_i \sim P(l_i),\, x_i \sim P(x_i)} \Bigl\|\, LBP(l_i) - lbp_{x_i} \Bigr\|_1 \;+\; \mathbb{E}_{l_i \sim N(l_i),\, x_i \sim N(x_i)} \Bigl\|\, LBP(l_i) - 0 \Bigr\|_1

    ここで、P(⋅)P(\cdot) は本物の顔の分布、N(⋅)N(\cdot) は偽顔の分布、lbpxilbp_{x_i} は本物顔の LBP 画像、00 は全てゼロのマップを示します。

  • 深度マップ

    本物の顔の 3D 形状情報に対し、深度の教師信号を導入しています。

    • 本物の顔は 3D アライメント手法で生成された疑似深度マップに対応
    • 偽顔は全ゼロマップに対応

    数式は以下:

    Ldep=  Exi∼N(xi)∥ Dep(xi)−0∥1  +  Exi∼P(xi)∥ Dep(xi)−depxi∥1\mathcal{L}_{dep} =\; \mathbb{E}_{x_i \sim N(x_i)} \Bigl\|\, Dep(x_i) - 0 \Bigr\|_1 \;+\; \mathbb{E}_{x_i \sim P(x_i)} \Bigl\|\, Dep(x_i) - dep_{x_i} \Bigr\|_1

    Dep(⋅)Dep(\cdot) は事前学習済みの深度ネットワークで、分離学習中は重みを固定します。生成画像へ勾配を伝えることはできますが、このネットワーク自体は更新しません。本人の目標はアルゴリズムが作った擬似深度で、攻撃を 0 にするのは教師信号の設計です。

    再構成・交換した画像には、期待する live/spoof 属性に応じて擬似深度またはゼロマップを与え、LL 分岐がこの属性を制御するよう促します。

  • 判別器による教師信号

    最後に、著者は多スケールの識別器(Discriminator)を設計し、生成された画像が本物にどれほど近いかを判定します。

    これは GAN の敵対的学習に類似しており、

    • 識別器損失 (LDisDL_{Dis}^D):生成器を固定して識別器を更新し、本物(R)と生成(G)を判別する能力を学習
    • 生成器損失 (LGenDL_{Gen}^D):識別器を固定し、Disentanglement ネットワーク全体を逆伝播で更新し、よりリアルな画像生成を促す

    数式は以下:

    LGenD=−  EI∈G log⁡(D1(I))  −  EI∈G log⁡(D2(I)).\mathcal{L}_{Gen}^{D} = - \; \mathbb{E}_{I \in G}\,\log\bigl(D_1(I)\bigr) \;-\; \mathbb{E}_{I \in G}\,\log\bigl(D_2(I)\bigr).

    ここで、D1D_1 と D2D_2 は異なるスケールの識別器で、局所的なディテールと全体構造の両方を捉えます。

最終目的関数

著者はこれらすべての損失を加算し、最終的な訓練目的関数を形成しました:

L=  LGenD  +  λ1 Lrecxi  +  λ2 Lreczi  +  λ3 Ldep  +  λ4 Llbp\mathcal{L} =\; \mathcal{L}_{Gen}^{D} \;+\; \lambda_1\,\mathcal{L}_{rec}^{x_i} \;+\; \lambda_2\,\mathcal{L}_{rec}^{z_i} \;+\; \lambda_3\,\mathcal{L}_{dep} \;+\; \lambda_4\,\mathcal{L}_{lbp}

ここで、λ1,λ2,λ3,λ4\lambda_1, \lambda_2, \lambda_3, \lambda_4 は各損失の重要度を調整するハイパーパラメータです。

訓練は典型的な敵対的反復で行われ、まず識別器を最適化し、その後ネットワーク全体を更新します。

このやり取りにより、最終的に以下を達成します:

  • 交換後の画像が十分リアルであること
  • 生体特徴と内容特徴ができるだけ分離され、再構成可能であること
  • LBP と深度の教師信号が生体特徴に真偽情報を強固に付与していること

推論時は再構成や特徴交換を行わず、LL から推定した LBP マップのスコアと、画像から深度ネットワークが推定した深度マップのスコアを平均して真偽を判定します。すべての機器差や照明変化を除去できる保証はありません。

議論

論文著者は 4 つの代表的な FAS データセットで評価を行いました:

  • Oulu-NPU、SiW(同一データセット内の評価用)
  • CASIA-MFSD と Replay-Attack(クロステスト用)

評価指標には一般的な APCER / BPCER / ACER / HTER を用いています。

同一データセット内評価:Oulu-NPU

ここでの intra-testing は同一データセット内の評価です。OULU-NPU Protocol 1 の ACER は 1.3% で FAS-TD と同率、Protocol 2 は 2.4% で FAS-TD の 1.9% より高くなっています。Protocol 3、4 は 2.2 ± 2.2%、4.4 ± 3.0% で、表中で良好な結果です。

クロステスト:CASIA-MFSD ↔ Replay-Attack

CASIA で学習し Replay でテスト、またはその逆という FAS における典型的な「クロスドメイン」実験です。

CASIA → Replay の HTER は従来最良の 23.6% から 22.4% へ、1.2 ポイント改善しました。逆方向は 30.3% で BASN の 29.9% に近いものの、Auxiliary の 28.4% より悪く、優位性は対称ではありません。

二つの方向で結果が異なるため、転移性能は学習・評価データの組み合わせに依存します。

翻訳結果と可視化

論文では「真顔 ↔ 偽顔」「真顔 ↔ 真顔」「偽顔 ↔ 偽顔」の 3 つの画像変換結果を示しています。

  • 掲載された「本人 ↔ 攻撃」の交換例では、予測深度も変化し、生体特徴がクラスに関係する情報を持つことを支持します。
  • 一方「真顔 ↔ 真顔」や「偽顔 ↔ 偽顔」の内部交換では深度はほとんど変化しません。
  • 例では ID、照明、背景が概ね保たれ、内容特徴の意図と一致しています。

さらに印刷テクスチャやスクリーンモアレなど局所的な偽装パターンにも注目し、交換後の画像が様々な「偽」の細かなテクスチャを反映していることを示しています:

これらの局所的な例では、交換後の画像にも攻撃媒体ごとのテクスチャが一部現れます。

アブレーションスタディ

多くの検証も行われ、主要な結論は:

  • 分離の有無:t-SNE 可視化で生体・内容が分離されている場合は真偽がより明確にクラスタ化される。分離しないと特徴分布が混ざる。

  • LBP + Depth の教師信号:Oulu-NPU Protocol 1 のアブレーションでは、低レベルのテクスチャ(LBP)と深度(Depth)を組み合わせ、スコアを融合した構成が表中で最も低い ACER 1.25% だった。

  • スコア融合:同じプロトコルで LBP と Depth のスコアを平均すると ACER は 1.25%。LBP 単独の 1.56%、Depth 単独の 1.67%、両者の最大値を使う場合の 1.88% より低い。

実験と可視化により、モデルが学んだ攻撃の差を調べられます。ただし t-SNE は低次元への投影であり、数値結果と合わせて読む必要があります。

結論

Disentangle-FAS はより複雑な分類器を作ることを試みませんでした。代わりにタスクを再定義し、「顔」の潜在的文法を二つの世界に切り分けました:

一つは生体、もう一つは内容。

この枠組みでは真偽は単なる出力スコアでなく、交換・生成・可視化可能な意味空間になります。

モデルは判別に加えて生成・可視化の手段を提供し、表現された本人と攻撃の差を検査できるようにします。分析には有用です。

生体特徴の画像変換、深度・テクスチャの補助的な教師信号、そしてクロスドメイン評価結果から、この論文は教えます:

「真偽を判定する」よりも、「偽装がどこから来るかを見抜く」ことをモデルに学ばせよ。

未来の混沌と変化に満ちた攻撃世界で、この道は容易ではありませんが、防御を文法的・推論可能・説明可能なものにできる可能性を与えます。

これはブラックボックスから脱却し、より意識的な視覚認識への一歩です。