論文ノートライブラリに戻る
arXiv 2021IEEE TCSVT 2022顔のなりすまし検知論文ノート

DSDG

偽りの再構成の前夜

原論文

Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning

論文の著者

Hangtong Wu · Dan Zen · Yibo Hu · Hailin Shi · Tao Mei

arXiv への初回投稿
arXiv:2112.00568
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{faceantispoofingdsdg2021,
  title = {{Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning}},
  author = {Hangtong Wu and Dan Zen and Yibo Hu and Hailin Shi and Tao Mei},
  year = {2021},
  eprint = {2112.00568},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2112.00568}
}
このページの内容

まだ姿を現していない偽りもある。

見破る前から。

問題の定義

顔認識システムが現実世界での認証責任を担い始めるとき、認識精度はもはやリーダーボード上の単なる数値ではなく、一つのリスクの境界線となる。FAS(Face Anti-Spoofing)はその境界の門番として、近年では二値分類タスクから多様な変異に対応する汎化の課題へと進化している。

しかし、多くの既存手法は未だに一つの根本的に解決されていない前提に囚われている:

データの限界により、モデルは未知の個体や攻撃パターンに対して総じて識別能力を欠いている。

我々が使用する訓練データセットは、大抵閉鎖環境、固定された機器、少数の個体、そして限られた攻撃形式から来ている。

ここで使う OULU-NPU、SiW の訓練集合はそれぞれ 20 人、90 人であり、データセット全体では 55 人、165 人である。人物や撮影条件の少なさは過学習につながるが、人数だけですべての実運用に対応できないと断定はできない。

「もっと多くのデータを集める」ことが当然の解決策となる。

しかし、画像変換技術を検討したとしても、多くは「顔を変えても個体は変わらない」ため、生成されるサンプルは元の個体に縛られてしまう。また、外部データを用いた合成プロセスは、著作権、アノテーション、人力、遅延などの実務的コストの問題に直面する。

さらに、生成モデルを導入してデータのボトルネックを解決しようとすると、別の問題も避けられない:

合成サンプルの品質のばらつきが、教師信号の安定性を妨げる可能性がある。

ぼけや歪みは擬似深度ラベルの信頼性を下げ、学習に悪影響を与えうる。

これは二重の問題構造である:

  • 新しい個体かつ既存の攻撃パターンを同時に持つ合成画像をどのように生成し、データの内的多様性を高めるか?
  • それらの生成サンプルが深度教師付き訓練を逆に汚染しないようにし、主ネットワークに誤った視覚的手がかりを学ばせないようにするには?

本論文の著者はこの問題に真正面から取り組み、合成データの生成ロジックと訓練フローの双方から対応策を提示している。

次章へ進む前に、まずは原点に立ち返ろう:

本当に役に立つ FAS システムは、どれほど多くの偽りを見た上で「これは本物ではない」と言える能力を持つのか?

問題解決

「データ不足」と「画像歪み」という二大問題を解決するために、著者は「生成的データ拡張」と「不確実性学習」という二つのアプローチを統合し、以下の二つのモジュール構造を構築した:

  • DSDG(Dual Spoof Disentanglement Generation)
  • DUL(Depth Uncertainty Learning)

Dual Spoof Disentanglement Generation (DSDG)

DSDG はFAS の学習標本を追加収集せず、本人/攻撃の画像対を生成する。既存ラベルや事前学習済み LightCNN、PRNet は引き続き使う。

著者は二つのエンコーダを持つ VAE(Variational Autoencoder)を用い、顔画像を「アイデンティティ特徴」と「攻撃特徴」に分解し、それらを再びデコーダに組み合わせて新たな対の画像を生成する。

この方法は、アイデンティティと攻撃パターンの両方のカバレッジを同時に拡張できる。

図 (a) に示すように、全体構造は二つのエンコーダと一つのデコーダ、加えて spoof 特徴とアイデンティティ特徴を分離するモジュールから成る。具体的な手順は以下の通り:

  1. 二つのエンコーダによる特徴抽出

    • Encs\text{Enc}_s は攻撃画像 IspoofI_{\text{spoof}} を入力し、「攻撃パターン特徴」zstz^t_s と「アイデンティティ特徴」zsiz^i_s を分離。
    • Encl\text{Enc}_l はライブ画像 IliveI_{\text{live}} をアイデンティティ特徴 zliz^i_l にマッピング。

    それぞれのエンコーダは reparameterization trick により、平均 μ\mu と標準偏差 σ\sigma を出力し、

    z=μ+ϵσ,ϵ∼N(0,I)z = \mu + \epsilon \sigma,\quad \epsilon \sim \mathcal{N}(0, I)

    として特徴ベクトルを得る。

  1. 再構成と分離

    デコーダ Dec\text{Dec} は三つの特徴 (zst,zsi,zli)(z^t_s, z^i_s, z^i_l) を受け取り、再構成された I^spoof\hat{I}_{\text{spoof}} と I^live\hat{I}_{\text{live}} を生成する。

    攻撃特徴 zstz^t_s に対しては spoof 分類器を付加し、交差エントロピー損失 (LclsL_{\text{cls}}) で正しい攻撃タイプを予測するように訓練する。

    角度直交制約 LortL_{\text{ort}} は攻撃と人物の同一性のベクトルを直交させる。ただし直交は統計的独立性や完全な分離の証明ではない。

  2. 分布整合と再構成損失

    VAE の特徴分布学習のため、KL ダイバージェンス (LklL_{\text{kl}}) を用いて潜在分布を標準正規分布に近づける。

    再構成損失 LrecL_{\text{rec}} には、本人/攻撃の再構成画像と各入力との L1 距離を使う。

    LmmdL_{\text{mmd}} は二つの同一性表現を整合させ、LpairL_{\text{pair}} は事前学習済み LightCNN で画像対の同一性特徴の L2 距離を縮める。潜在空間と画像特徴の両方で一致を促す。

全損失は以下の総目的関数にまとめられる:

L  =  Lkl+Lrec  +  λ1Lmmd  +  λ2Lpair  +  λ3Lort  +  λ4Lcls\mathcal{L} \;=\; L_{\text{kl}} + L_{\text{rec}} \;+\; \lambda_1 L_{\text{mmd}} \;+\; \lambda_2 L_{\text{pair}} \;+\; \lambda_3 L_{\text{ort}} \;+\; \lambda_4 L_{\text{cls}}

VAE 風の学習が完了すると、図 (b) のように標準正規分布から多くの (z^st,z^si)(\hat{z}^t_s, \hat{z}^i_s) をサンプリングし、z^si\hat{z}^i_s をコピーして z^li\hat{z}^i_l とし(画像対で同じ同一性入力を使う)、デコーダに入力して新規合成サンプル (I^spoof,I^live)(\hat{I}_{\text{spoof}}, \hat{I}_{\text{live}}) を生成する。

学習した人物と攻撃の分布を組み直す手法です。

ただし VAE の性質上、合成画像はぼやけや局所的歪みが生じやすく、これらノイズを訓練に直接使うと深度教師信号が混乱する恐れがある。

そこで、次に説明する Depth Uncertainty Learning を導入する。

Depth Uncertainty Learning (DUL)

合成サンプルの多様性に加え、深度教師信号への悪影響を抑えるため、不確実性表現機構を導入し、生成ノイズの影響をガウス分布で定量化し抑制する。

従来の深度教師は各画像ピクセルに固定の深度値を与えるが、合成画像の局所歪みは深度ラベルの信頼性を下げる。

著者は深度値をガウス分布 N(μi,j,σi,j2)\mathcal{N}(\mu_{i,j},\sigma_{i,j}^2) とみなし、μi,j\mu_{i,j} は学習可能な平均値、σi,j\sigma_{i,j} は不確実性を示す。

学習時はサンプリング値

di,j=μi,j+ϵσi,j,ϵ∼N(0,I)d_{i,j} = \mu_{i,j} + \epsilon \sigma_{i,j}, \quad \epsilon \sim \mathcal{N}(0, I)

を損失計算に用い、再パラメータ化によって不確実性を勾配で学習する。

Depth Uncertainty Module (DUM) は深度特徴マップを二つの畳み込み経路に通し、μi,j\mu_{i,j} と σi,j\sigma_{i,j} を出力する。

KL ダイバージェンスで N(μ^i,j,I)\mathcal{N}(\hat{\mu}_{i,j},I) に近づける。目標平均は本人画像なら PRNet の擬似深度、攻撃ならゼロであり、深度センサーによる実測値ではない。

著者は ResNet、MobileNetV2、DepthNet、CDCN などの深度教師付きネットワークに DUM を接続した。ピクセルごとの平均と標準偏差を予測し、推論時には平均深度マップを使う。

損失関数は主に平均二乗誤差 (LMSEL_{\text{MSE}}) を使い、加えて不確実性正則化のために λklLkl\lambda_{\text{kl}} L_{\text{kl}} を加える。

総合損失は以下のようになる:

Loverall  =  LMSE  +  λkl Lkl  +  λg(LMSE′+λklLkl′),L_{\text{overall}} \;=\; L_{\text{MSE}} \;+\; \lambda_{\text{kl}} \, L_{\text{kl}} \;+\; \lambda_g \Bigl(L_{\text{MSE}}' + \lambda_{\text{kl}} L_{\text{kl}}'\Bigr),

ここで λg\lambda_g は生成データの損失重みであり、バッチ中の元データの割合を決める rr とは別のパラメータである。

以上の二つの主要モジュールにより、著者は FAS の学習プロセスを「データ拡張」と「不確実性学習」という二重構造へと変換することに成功している。

議論

著者はアブレーション、データセット内とデータセット間の評価、可視化を通じて、DSDG による拡張と DUM による深度不確実性学習を検証した。それぞれのプロトコルの結果は分けて読む必要がある。

アブレーション実験

著者は主要なハイパーパラメータとモジュール構成に関するアブレーションを実施。主な焦点は、アイデンティティ数の性能影響、生成画像の割合(rr)、および各損失関数(Lmmd,Lpair,LortL_{\text{mmd}}, L_{\text{pair}}, L_{\text{ort}})のアイデンティティ分離への寄与である。

  1. アイデンティティ数と一般化性能

    OULU-NPU P1 で訓練人数を 5 人から 20 人へ増やすと、本手法の ACER は 5.1% から 0.3% へ、CDCN は 8.3% から 1.0% へ下がった。両者とも訓練人数の影響を受け、この表では本手法が各人数で低い。

  2. バッチ中の元画像の割合 rr

    r=0.75r=0.75 は各バッチの 75% が元データ、25% が生成データという意味で、OULU-NPU P1 の ACER は表中で最低の 0.3% だった。r=0r=0 は全生成、r=1r=1 は全元データである。

    生成する画像対が 10k、15k、20k、25k、30k のとき、ACER は 0.7%、0.6%、0.3%、0.3%、0.3%。20k 以降は横ばいであり、追加するとノイズのため悪化することを示してはいない。

  3. アイデンティティ分離損失の重要性

    OULU-NPU P1 では、完全な手法の ACER は 0.3%。LmmdL_{\text{mmd}}、LpairL_{\text{pair}}、LortL_{\text{ort}} をそれぞれ除去すると 1.0%、0.7%、0.7% になる。この評価で各損失の寄与は確認できる。

  4. ハイパーパラメータ λkl\lambda_{\text{kl}} と λg\lambda_g

    λg=0.1\lambda_g=0.1、λkl=10−3\lambda_{\text{kl}}=10^{-3} がこの比較で最良だった。多くの設定は CDCN の ACER 1.0% より良いが、λg=0.01\lambda_g=0.01 では 1.4% となる。

Intra Testing

OULU-NPU および SiW データセットを用い、モデルの同一ドメイン内識別能力を検証。

  • OULU-NPU(Table X):四つの ACER は 0.3%、1.2%、1.4%、2.3% で、表内で最良または同率。Protocol 2 は SCNN-PL-TC と同率だった。
  • SiW(Table XI):前二つの協定は ACER 0% で同率最良。Protocol 3 は 3.80 ± 1.44% で、元の CDCN の 1.71 ± 0.11% より悪い。

生成拡張と深度不確実性の効果は、データと攻撃条件に依存する。

モデル分析と可視化

多彩な可視化により、生成画像の特徴、攻撃パターンの分離、深度不確実性の分布を示し、DSDG および DUM の内部動作理解を支援。

  1. 生成画像

    元のデータと、生成した本人/攻撃の画像対を比べた図。異なる人物と攻撃パターンの生成例は見られるが、この図だけで画像対の同一人物性を検証したことにはならない。

    SiW-M では Replay、Print、3D マスク、メイク、部分攻撃などの生成例も示される。生成範囲の例示であり、歪みの程度を定量化したものではない。

  2. 攻撃パターン分離

    この図は原論文 Figure 7 の t-SNE 投影である。攻撃タイプ分類器と直交損失 LortL_{\text{ort}} を使わない場合は攻撃表現が混在し、両方を用いる完全な DSDG では 4 種類のクラスタがより明瞭に分かれる。二つの制約を同時に変えた比較なので、どちらか一方の効果とは言えない。

  3. 深度不確実性

    ここに載せた図は原論文 Figure 9 で、CDCN と DUM を加えた場合の深度マップ、予測標準偏差を比較する。反射、顔の輪郭、背景では標準偏差が高い例がある。ただし、式では画素誤差を 1/σ21/\sigma^2 で重み付けしていないため、標準偏差の高さから「その画素の損失重みを自動で下げた」とは言えない。

結論

DSDG が答えようとしたのは、素朴で長く残る問いだ。

追加のアノテーションや外部データなしで、人物と攻撃の多様性を同時に増やし、生成ノイズが深度監督に及ぼす影響をどう抑えるか?

論文が発表された頃は、deepfake の拡大や Diffusion モデルの普及がまだ今ほど進んでいなかった。著者は「データの問題は、データを増やすだけでは解けない」と考え、生成と不確実性という二つの方法で、当時の汎化性能の限界を押し広げようとした。

もちろん限界もある:

  • VAE を生成の骨格としたため、解像度や細部の安定性に制約がある。
  • 深度依存設計により、非深度教師付きシナリオへの適用は難しい。
  • spoof type への依存は依然残り、完全な無ラベル設定での性能低下が懸念される。

だがこれらは技術チェーン内での位置づけを妨げず、DSDG は教えてくれる:

データ多様性、教師信頼度、モデルの頑健性は同時に考慮されねばならず、さもなければ強化はノイズの積み重ねに過ぎない。

モデルは進化し攻撃は変化し、アルゴリズムは忘れ去られるだろう。

だが問題構造の分解を試み、点数競争だけを追わなかった者たちの影は、後続に道標を残すのだ。