論文ノートライブラリに戻る
arXiv 2021WACV 2022顔のなりすまし検知論文ノート

DualStage

複解耦の術

原論文

Disentangled Representation with Dual-stage Feature Learning for Face Anti-spoofing

論文の著者

Yu-Chun Wang · Chien-Yi Wang · Shang-Hong Lai

発表先
WACV 2022国際会議
arXiv への初回投稿
arXiv:2110.09157
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{faceantispoofingdualstage2021,
  title = {{Disentangled Representation with Dual-stage Feature Learning for Face Anti-spoofing}},
  author = {Yu-Chun Wang and Chien-Yi Wang and Shang-Hong Lai},
  year = {2021},
  eprint = {2110.09157},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2110.09157}
}
このページの内容

表現の分離(disentanglement)はますます多くの人が注目するテーマとなっている。

分離そのものについては、偽装特徴を抽出することだとおおむね共通理解がある。

では、偽装特徴以外の部分はどうなるのか?

問題の定義

多くの顔のなりすまし検知システムでは、モデルは一枚の画像から一つの事を判別しようとする:それは本物の顔か、偽装か?

しかしこの判断は、実は絡み合った信号の中から推測されているのだ:顔の素材感、光の残留や圧縮痕跡。

言い換えれば、ほぼ全ての混入し得る情報が混ざり合っている。

これがまさに表現分離が扱うべき核心である:

単に正誤を答えるだけでなく、結局あなたは何を見ているのかを明らかにすること。

ここ数年で多くの研究が様々な分離戦略を提案してきており、私たちもいくつかの関連論文を検討してきた。

ある研究は潜在空間を活体特徴と内容特徴の二つに分ける手法を採用し、別の研究は spoof trace を多尺度残差として分解し偽装の残影を模擬しようとしている。しかしほぼ全ての手法は一つの仮定に基づいている:

単一ステージで切り分けと再構築を同時に完遂できる。

著者が問題にするのは、相互に影響する目的を同時に最適化すると、学習が難しくなる可能性だ:

  • 分離と分類目的が深く重なり合うと、モデルはしばしばショートカットを選ぶ傾向がある。
  • 敵対的訓練は潜在空間の分離を促すものの、勾配の振動を引き起こし学習の不安定さを極端に増す。
  • 深度マップや rPPG などの補助的な教師信号は、攻撃形式ごとに有効性を確かめる必要がある。

つまり、モデルに偽装を判別させているが、偽装の「文法」を安定して学習する方法は与えていない。

モデルは真偽を見分けることはできるが、その間の文法的差異を理解できず、大多数のサンプルは正しく分類しても、次の攻撃がどう変形するかは理解できない。表現分離の理念は、実践面で構造の不安定さ、信号依存、未知の攻撃への予測不能性に悩まされている。

そして本論文の著者はこう考えた:

段階的に学習したほうがいいのではないか。

ゆっくり進めば、速くなる。

解決策

未知の攻撃に対して、単純な二値分類は到底不十分だ。

まず本人画像から再構成を学び、その分岐を固定する。次の分岐は再構成と攻撃検知に必要な情報を補う。live feature には本人と攻撃の両画像に共通する人物の同一性や背景などが含まれ、完全で純粋な「生体の原型」が得られると証明したものではない。

上図のように、モデル全体は二段階で訓練を完遂する必要があり、詳細な処理方法を見てみよう。

まず活体情報を学習

著者は最初に Live-info Network を構築し、自己符号化を行う。

  • 入力:本人の顔サンプルのみ x∗∈PXx^* \in P_X
  • エンコーダ ELE_L:活体特徴 FLF_L を抽出
  • デコーダ DLD_L:入力の再構築を試み、x^syn∗\hat{x}^*_{syn} を出力

第一段階の PXP_X は本人画像だけを含み、次の再構成誤差を最小化する:

LLive=Ex∗∼PX[∥x∗−x^syn∗∥22]\mathcal{L}_{Live} = \mathbb{E}_{x^* \sim P_X} \Big[\big\|x^* - \hat{x}^*_{syn}\big\|_2^2\Big]

本人画像だけで学習しても、すべての本人の変動を網羅したり、攻撃のテクスチャに完全に反応しなくなったりする保証はない。本人画像で事前学習し、後で固定する表現として使う。

このエンコーダは後続の段階で固定重みの活体情報抽出器として組み込まれる。

二重並列再構成

第 2 段階では偽装サンプルも訓練に加え、「二重並列再構成」する分離モジュールを形成する:

  1. Live-encoder ELE_L

    • 第 1 段階で学習済みの重みをそのまま読み込み、活体特徴 FLF_L を抽出。
    • 重みは凍結し更新せず、第一段階で得た表現を保つ。
  2. Spoof-encoder ESE_S

    • 偽装特徴 FSF_S を専任で抽出。これは本人の顔には存在せず、目立たない攻撃信号を表す。
  3. 再構成器 DsynD_{syn}

    • FLF_L と FSF_S を融合した表現から入力画像の再構成 x^syn\hat{x}_{syn} を試みる。

再構成損失と敵対的損失で DsynD_{syn} を学習し、後述の spoof map の目的も組み合わせて ESE_S を誘導する:

  • 再構成損失

    Lrecon=Ex∼PX[∥x−x^syn∥22]\mathcal{L}_{recon} = \mathbb{E}_{x \sim P_X} \Big[\big\|x - \hat{x}_{syn}\big\|_2^2\Big]
  • 生成器損失

    LGen=Ex∼PX[(D(x^syn)−1)2]\mathcal{L}_{Gen} = \mathbb{E}_{x \sim P_X} \Big[(D(\hat{x}_{syn}) - 1)^2\Big]
  • 識別器損失

    LDis=Ex∼PX[(D(x)−1)2+(D(x^syn))2]\mathcal{L}_{Dis} = \mathbb{E}_{x \sim P_X} \Big[(D(x) - 1)^2 + (D(\hat{x}_{syn}))^2\Big]

ここで D(⋅)D(\cdot) は識別器であり、x^syn\hat{x}_{syn} が本物かどうかを区別する。

この敵対的枠組みは、再構成画像を実画像に近づけるよう促し、ほかの損失と合わせて FLF_L と FSF_S の分離を支える。

偽装の手がかり抽出

著者は FSF_S に対し、U-Net 風のデコーダ DmapD_{map} を組み合わせ、偽装特徴を spoof map へ変換しようと試みる。

このマップで「本人の顔 vs 偽装」を最大限区別させるため、3 種の損失を導入:

  1. トリプレット損失

    • 本人の顔同士の距離を縮め、本人の顔と偽装の距離を離すことを目的とする。
    • DmapD_{map} の最後の三層に適用する。本人をアンカー fiaf_i^a とし、本人の正例 fipf_i^p、攻撃の負例 finf_i^n から、通常のトリプレット損失 Ltnormal\mathcal{L}_t^{normal} と hard triplet loss Lthard\mathcal{L}_t^{hard} を計算し、合算する。
  2. 本人の顔残影損失(Lr\mathcal{L}_r)の最小化

    • 理論的に本人の顔には明確な偽装パターンがないため、spoof map はゼロに近づける。
    Lr=Ex∼Plive[∥y^map∥1]\mathcal{L}_r = \mathbb{E}_{x \sim P_{live}} \Big[\big\|\hat{y}_{map}\big\|_1\Big]
  3. 分類器補助損失(Lc\mathcal{L}_c)

    • spoof map y^map\hat{y}_{map} を元画像 xx に重ね、補助分類器 CauxC_{aux} に入力して本人/攻撃を判定する。
    Lc=E(x,y)[−y⋅log⁡(y^c)−(1−y)⋅log⁡(1−y^c)]\mathcal{L}_c = \mathbb{E}_{(x,y)} \Big[ -y \cdot \log(\hat{y}_c) - (1-y)\cdot \log(1-\hat{y}_c) \Big]

上の二値交差エントロピーでは第二項の負号を補正した。原論文の式 (9) にも同じ印刷上の誤りがある。全体の損失は以下となる:

L=λ1Lrecon+λ2LGen+λ3Lt+λ4Lr+λ5Lc\mathcal{L} = \lambda_1 \mathcal{L}_{recon} + \lambda_2 \mathcal{L}_{Gen} + \lambda_3 \mathcal{L}_t + \lambda_4 \mathcal{L}_r + \lambda_5 \mathcal{L}_c

論文では重みを λ1=4, λ2=1, λ3=3, λ4=5, λ5=5\lambda_1=4,\ \lambda_2=1,\ \lambda_3=3,\ \lambda_4=5,\ \lambda_5=5 と設定している。

訓練と推論

  1. 訓練手順

    • 第 1 段階:本人の顔サンプルのみで ELE_L と DLD_L を学習。
    • 第 2 段階:ELE_L を凍結し、ESE_S、DsynD_{syn}、DmapD_{map} などを訓練。敵対的損失、再構成損失、複数の教師信号を通じ偽装特徴の分離を細かく行う。
  2. 推論時

    • ESE_S と DmapD_{map} のみを用いて spoof map を生成し、その平均値を spoof スコアとして用いる。
    • スコアが閾値を超えれば攻撃と判定する。

GeForce GTX 1080 環境で、著者は 121.48±1.4 FPS の推論速度を報告している。

深度や rPPG といった補助タスクの教師情報は不要だが、本人/攻撃のラベルは使う。未知の攻撃に対する性能は実験で確かめる必要がある。

討論

複数タイプの実験結果

SiW-M では攻撃タイプを一つ留保し、残りの 12 タイプと本人動画の 80% で学習する。残した攻撃と本人動画の 20% で評価し、平均 ACER は 9.65 ± 7.15%、EER は 8.63 ± 5.18% だった。この標準偏差は攻撃プロトコル間の差であり、繰り返し学習した際の安定性ではない。

MSU-MFSD、CASIA-MFSD、Replay-Attack でも一つの攻撃タイプを留保する 9 種類のテストを行い、平均 AUC 98.0% ± 4.26% を報告している。これは表中で最高だが、データセット全体を未見とする cross-dataset 評価ではない。MSU の印刷攻撃は AUC 86.78% で、比較手法より高いものの、本手法の中では最も低い。

平均値は二段階設計の有効性を支持する。

同タイプの実験結果

SiW の三つのプロトコルは姿勢・表情、提示媒体、攻撃タイプの変化を扱う。Protocol 3 は異なる攻撃タイプへの評価である:

  1. Protocol 1, 2:ともに ACER 0%。Protocol 1 では DST、Protocol 2 では DST と LGC に並ぶ。
  2. Protocol 3:ACER は 3.58 ± 3.93% で、LGC の 1.19 ± 1.39%、HMP の 2.45 ± 0.68% より高い。学習時の攻撃が一種類なので分離学習が難しい、と著者は考察するが、原因を単独で検証した結果ではない。

一種類の攻撃からの汎化は、Protocol 1、2 と分けて評価する必要がある。

Disentangled Features の可視化

分離された特徴を示すために、著者は「顔交換実験」を実施した。

各画像の live feature は保持し、二つの画像の spoof feature を交換して Dsyn(FLA,FSB)D_{syn}(F_L^A,F_S^B) と Dsyn(FLB,FSA)D_{syn}(F_L^B,F_S^A) を生成する。

結果は、特徴を交換した後、本人の顔パターンに「縞模様やグレースケールの不均衡」などの偽装テクスチャが浮かび上がり、元の偽装顔は部分的に自然な肌色に戻ることを示した。

可視化は spoof feature が攻撃のテクスチャの一部を担うという解釈を支持する。

Spoof Map の解析

最後に、分離された spoof feature が具体的にどのようなものかを調べるため、著者は U-Net 風のデコーダ DmapD_{map} を用いて検出マップを生成した。

図中の本人の顔サンプルでは spoof map はほぼゼロに近く、印刷攻撃のサンプルでは額、目と鼻、口の周辺に局所的な高輝度領域が現れる。

これにより画像空間でも手がかりを観察できる。ただし、高輝度領域が実際の攻撃の物理的な仕組みに対応するかは別途検証が必要だ。

アブレーション実験

著者は構成要素を取り除き、各損失が性能へどう影響するかを比較した。

第 1 段階を除外すると、9 種類のテストの平均 AUC は 98.0% から 95.01% へ下がる。敵対的損失を外すと 94.0%、補助分類器を外すと 93.3%、triplet loss を外すと 95.01% となる。normal triplet loss だけを使う場合は 97.25% だった。

これらの結果は、本人画像による第 1 段階、敵対的損失、二種類の triplet loss が、この評価設定でそれぞれ役立つことを支持する。

結論

DualStage は派手ではない設計を提案した:

表現の分離を 2 段階に分け、まず活体特徴を安定して学び、そこから偽装信号を剥ぎ取る。

深度や rPPG の教師情報を使わず、RGB 画像と本人/攻撃ラベルから判別に役立つ spoof map を学び、複数の公開された異種攻撃の評価で競争力のある結果を示した。

これにより、多モーダル支援がなくとも十分に成果を出せる地位を確立した。

もちろん、弱点もある。攻撃パターンが極端に少ない状況(例:SiW Protocol 3)では性能が伸び悩む。今後は判別を邪魔する「無関係」とみなされる特徴断片の処理も検討すべきだろう。

だが方法論としては、まだ色褪せないメッセージを残している:

分離は一度にやろうと急ぐ必要はない。

正しい順序さえ与えれば、モデルは徐々に学習できる。