On Disentangling Spoof Trace for Generic Face Anti-Spoofing
- 発表先
- ECCV 2020国際会議
- arXiv への初回投稿
- arXiv:2007.09273
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{faceantispoofingstdn2020,
title = {{On Disentangling Spoof Trace for Generic Face Anti-Spoofing}},
author = {Yaojie Liu and Joel Stehouwer and Xiaoming Liu},
year = {2020},
eprint = {2007.09273},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2007.09273}
}
モデルは「これは偽物だ」と教えてくれる。しかし、その理由は語らない。
そんなモデルをあなたは信じられるだろうか?
問題の定義
顔認証におけるアンチスプーフィング(FAS)は、生体認証システムの最初の防衛線として、研究はすでに十年以上の歴史がある。
初期の視線検出や頭部の微細な動きから、近年では CNN 判別器や深度を教師信号にした学習に至るまで、モデルの精度は向上しているように見える。しかし、未知の攻撃手法や異なる機器・照明条件に対しては、依然として汎化性能が壁となっている。
問題はモデルが「真偽を見分けることを学べるか」ではなく、モデルが実際に何を学んでいるのか、である。
モデルは本当に偽装そのものの痕跡を見ているのだろうか?
それとも、解像度や色の飽和度、トリミング位置の違いなど、特定のデータセット上の差異だけを学んでいるのか?
特に、写真、スクリーン、マスク、化粧など異なる攻撃手法を一括りにし、汎用的な FAS システムを構築しようとするとき、私たちは初めて気づく。
既存の多くの手法は「ブラックボックス判定」に依存している:ある顔画像を入力し、スコアを出力するだけだ。
しかし、そのスコアが何に基づいて決定されたかは説明できない。実際、モデルに「これは偽物だ」と判断した理由を語らせることすらできていない。
スコアだけでは、モデルがどの手掛かりを使ったか調べにくい。可視化できる中間表現は分析を助ける。
可視化は、モデルが推定した手掛かりを調べるために用いる。
この論文の著者はこう言う。
モデルに真偽を問うのをやめ、私たちが問うべきは、
この顔のどこに、これが生きていないと感じさせる何かがあるのか?
問題の解決
従来の二分類タスクでは、モデルは「真偽のスコア」を出すだけで、「何を見てそう判断したのか?」を説明できない。
著者はここで別のアプローチ、Spoof Trace Disentanglement Network(STDN)を提案した。
上図の設計概念に示されるように、モデルは入力された顔画像から潜在する「偽装の痕跡(spoof trace)」を抽出し、以下の処理を行う:
- 再構築(Reconstructed Live):推定 trace を差し引き、live ドメインらしい画像を生成する。
- 合成(Synthesized Spoof):抽出した偽装痕跡を別の活体顔に移植し、新たな攻撃サンプルを生成する。
この方法により、spoof trace は隠れた判断根拠ではなく、明示的かつ操作可能な可視変数となり、システム全体の中核的な信号となる。
Spoof Trace
入力画像を とし、これはスプーフ領域 またはライブ領域 に属するとする。
目標はライブ領域に属する画像 を見つけ、元画像との差異を最小化すること:
ここで はフロベニウスノルムを示す。
定義に基づき、スプーフトレースは以下のように表される:
がライブ領域の画像であれば理論上 となり、スプーフ画像の場合は視覚的な偽造残差を表す。
スプーフトレースの説明力と合成能力を高めるために、著者は過去研究を踏まえ以下の 4 つの階層的成分に分解した:
- Color range bias:、画素強度範囲の調整;
- Color balance bias:、チャンネル間の色バランス調整;
- Smooth content pattern:、滑らかなテクスチャ(アップサンプリングを要する);
- High-frequency texture:、モアレ模様やエッジ輪郭などの高周波ディテール。
これらの要素が合わさってスプーフトレースの構築関数となる:
ここで は を と同じ空間解像度にアップサンプリングする操作を示す。
STDN は推定 trace を明示的な中間変数にし、モデルが除去可能と考えた成分を観察できるようにする。ただし学習には画素単位の真の trace の対応ラベルがなく、推定結果を唯一の物理的原因とみなすことはできない。
このモデリングは以下の 3 つのコアな利点をもたらす:
- 可視化と説明性:モデル出力としてスプーフトレースを提示し、判断の視覚的根拠とすることが可能;
- 合成とデータ拡張能力:トレースを他画像に適用し、新たなスプーフサンプルを生成可能;
- 汎化の検討:照明や背景など攻撃以外の手掛かりへの依存を減らすことを目指す。成否は条件を変えた実験で確かめる必要がある。
解離生成
STDN における spoof trace の分離は、Encoder–Decoder 構造に基づく生成器によって実現されており、その役割は入力画像から spoof trace の構成要素 を層別に抽出することである。
上図のアーキテクチャに示されるように、入力画像 はまず Encoder に入り、一連の畳み込み層を通じて段階的にダウンサンプリングされ、最終的に潜在表現テンソル
を生成する。この潜在特徴が Decoder による spoof trace 分離の基盤となる。
Decoder は転置畳み込み層(Transpose Conv)を用いて段階的にアップサンプリングを行い、異なる空間解像度に応じて spoof trace の各要素を生成する:
- 色補正項 :それぞれ色チャネルごとの全域的な値、計三つを持つ。空間解像度が低いため Decoder の初期段階で出力する。
- 低周波テクスチャ :中間層で生成され、解像度は約 、アップサンプリング後に合成に用いられる。
- 高周波テクスチャ :Decoder の最終層から出力され、入力画像と同解像度の を維持する。
この coarse-to-fine の分離設計は、各層の spoof 特徴の空間的性質と組み合わさり、spoof trace 表現の明確な意味的分離と生成対応性を実現する。
さらに、高周波ディテールの保持と合成品質の向上のため、生成器は U-Net 構造を参考に Encoder と Decoder の対応層間にスキップコネクションを設け、局所テクスチャ情報の直接伝達を可能にしている。
双域入力戦略
一般的な GAN がソースドメイン(例:spoof)に対してのみ生成訓練を行うのに対し、本手法の生成器は 2 つのドメインからの入力画像を受け入れる:
- spoof ドメイン:正のトレースを提供;
- live ドメイン:対照として、spoof trace がほぼゼロとなることを期待。
この設計により、モデルは生体と偽装画像の双方から判別力が高く意味の明確な spoof trace を学習し、trace 自体が分類バイアスを起こすことを回避できる。
しかし、spoof trace の強度やパターンは攻撃タイプ(写真、マスク、化粧)によって異なるため、trace だけでは完全な分類根拠とはならない。そこで著者は追加でEarly Spoof Regressor(ESR)を導入し、潜在空間における判別能力を強化している。
Early Spoof Regressor
ESR モジュールは以下の通り設計される:
- 入力はボトルネック特徴テンソル ;
- 出力は連続値の spoof スコアマップ 。学習目標は live が全 0、spoof が全 1 である。目標が二値でも、出力が 0 と 1 だけになるわけでも、校正済み確率になるわけでもない。
この spoof マップは入力画像に対する「空間的判定」とみなされ、生成器は trace の生成に加え初期分類も行う。
この設計に伴い、生成器は「重い Encoder、軽い Decoder」構成を採用。Encoder には多チャネルかつ深いブロックを用い、ESR が十分な spoof 特徴を活用できるようにしている。
テスト段階の分類戦略
テスト時の最終 spoof スコアは以下 2 つの指標の組み合わせ:
- ESR 出力マップ の L1 強度平均;
- Spoof trace の全体 L1 強度平均。
計算式は:
ここで
- :ESR 出力マップの空間解像度;
- :入力画像の空間解像度;
- :spoof trace の最終スコアへの寄与度を調整するハイパーパラメータ。
この 2 指標融合の分類戦略は spoof の強弱に対する感度を高め、trace と ESR の判定差に緩衝領域を提供する。
再構築と合成
spoof trace の分離後、STDN は分類判定だけでなく trace を構造的信号として以下 2 つのタスクに活用する:
- 再構築(Reconstruction):spoof 画像から trace を差し引き、対応するライブ画像を復元。
- 合成(Synthesis):ある spoof 画像から抽出した trace を任意のライブ顔に移植し、合成 spoof サンプルを生成。
ライブ画像再構築タスクでは、
入力画像 、対応する spoof trace を用い、
ここで は推定された live ドメインの対応画像である。最小変化の式は学習の目的を示す。
再構成画像は trace の視覚的な確認や敵対的な教師信号に使えるが、物理的な撮影過程を逆算できた証明にはならない。
合成タスクでは、
- :ソース spoof 画像(trace は )、
- :ターゲットライブ画像
を用い、
と合成 spoof 画像を生成する。
しかし課題として、spoof trace は元顔の幾何構造に強く関連する局所テクスチャ(マスクの縁やシワなど)を含む場合があり、異なる顔型・姿勢画像に直接適用すると明確な幾何歪みや視覚的不整合を招く。
この問題を解決するため、著者は微分可能なオンライン 3D 変形層(Online 3D Warping Layer)を提案し、spoof trace の位置合わせ調整を行う。
幾何歪み層
本モジュールは 3D Morphable Model(3DMM)に基づき顔の対応点セットを構築し、Delaunay 三角分割を用いて疎な点群から密な場への幾何変換を行う。
手順は以下の通り:
-
spoof trace の抽出 ソース画像 に対する spoof trace を
と定義する。ここで は元のピクセル座標グリッド。
-
dense offset の計算 spoof trace をターゲット画像 に適用するには、密なオフセット場 を計算し、
と warp 後の trace を得る。非整数値のため、位置対応は双線形補間で実装。
-
疎点から密点への変換 各顔の 3DMM をフィッティングし、代表的な頂点 個の 2D 射影位置
を抽出。ソースとターゲット間の疎なオフセットは
-
三角形補間による dense offset 生成 Delaunay 三角分割補間を適用し、
三角分割と座標を固定した場合、補間とサンプリングを通じて勾配を伝え、trace 合成を学習に組み込める。3DMM のフィッティングと頂点抽出はデータ準備段階で行われる。ここでは論文の変位表記を維持するが、逆向きサンプリングで実装する場合は、ソースからターゲットへの変位と逆方向の対応を確認する必要がある。
Spoof Trace の操作
spoof trace の構造的性質により操作が可能。
著者は訓練データ強化として、合成 spoof 画像作成時に
spoof trace の要素 のいずれかをランダムに除去し、偽装強度の弱い harder example を模擬し学習に利用する手法を提案。
この戦略は、一つの強い手掛かりに依存しすぎず、その手掛かりが弱い場合にも他の特徴を使えるように促す。
従来の明度やぼかし、人工的歪み操作よりも、意味的に明確な spoof 要素を直接操作でき、よりリアルで構造的な合成データ生成が可能。実験でも伝統的データ増強を上回る効果を示している。
マルチスケール識別器
STDN 設計では、生成器は spoof trace の妥当性だけでなく、それに基づく合成サンプル(再構築ライブや合成 spoof)が視覚的・意味的に信頼できることを保証する必要がある。
そのため、著者は
異なる解像度の PatchGAN 判別器を 3 つ配置し、低~高周波からグローバル構造まで多尺度情報をカバーする設計を採用。
具体的には:
- :元解像度()画像を入力し、高周波テクスチャ(spoof trace の )を重視。
- :1/2 にダウンサンプリングした画像()を用い、中周波構造・滑らかなテクスチャ()を評価。
- :1/4 にダウンサンプリング()画像で低周波・全体的な偏移や色バランス()を検証。
この階層的識別により、3 種類の解像度で再構築画像と合成画像を評価する。ただし、4 成分それぞれの「相互検証」の効果を個別に測定したものではない。
判別器の詳細は PatchGAN 構造で、純粋な畳み込み層 FCN からなる。FAS や画像生成での優れた性能が実証済み。
各判別器は以下を含む:
- 10 層の畳み込み層(活性化関数と BatchNorm 含む)
- 3 回のダウンサンプリング(stride=2)
- 出力は 2 チャネルのレスポンスマップ(サイズ )、各位置が 1 パッチの判別結果を示す。2 チャネルは各ドメインの信頼度スコア。
2 チャネル出力の意味は:
- チャンネル 1:再構築ライブ画像と実ライブ画像の比較による真実性評価。
- チャンネル 2:合成 spoof 画像と実 spoof 画像の比較による攻撃性評価。
双方向の教師信号により生成器は「復元」と「偽装」の両面で品質を向上させ、spoof trace の意味的一貫性と再構築の可逆性を強化する。
損失関数
STDN の訓練はマルチタスク学習の枠組みを採用しており、5 種類の損失関数と3 つの訓練ステップで構成されている。これにより、生成器とマルチスケール判別器が協調して spoof trace の分離、可逆性、および可視性を学習する。
-
1. ESR 損失(Early Spoof Regressor Loss)
ESR が出力する spoof map に対して、生体画像には全て 0、spoof 画像(合成された spoof を含む)には全て 1 を出力することを期待する。これを L1 損失で次のように定義する:
ここで:
- :spoof map の解像度
- :生成器が合成した spoof ドメイン
- :L1 ベクトルノルム
-
2. 生成器の敵対損失(Generator Adversarial Loss)
生成器が再構成した生体画像と合成した spoof 画像をそれぞれ所属する実ドメインに近づけるため、Least Squares GAN(LSGAN)損失を用いる。3 つのスケールの判別器 に対し損失は以下の通り:
ここで:
- :第 判別器の生体ドメイン出力チャネル
- :第 判別器の spoof ドメイン出力チャネル
-
3. 判別器の敵対損失(Discriminator Adversarial Loss)
判別器は実サンプルと生成器が合成したサンプルを正しく識別する必要があり、損失関数は以下のように定義される:
-
4. Trace 正則化損失(Trace Regularizer Loss)
spoof trace の意味的な一貫性を強化し、生体サンプルに残る不要な trace を抑制するために L2 正則化項を追加する:
ここで は生体 trace 圧縮の強さを制御する。
-
5. ピクセルレベル監督損失(Supervised Pixel Loss)
合成 spoof では、合成時にモデルが生成して変形した trace を画素単位の参照として使える。これは実際の攻撃画像に付与された真の trace ラベルではない。stop-gradient 操作を用いて、この参照 trace を固定する:
この損失により、生成器は spoof trace の構造を正しく抽出することを学習し、入力内容の単純な再現を防ぐ。
訓練プロセス設計
上図のように、STDN の訓練はマルチタスク協調最適化機構を採用し、各ミニバッチは生成器、判別器、trace 分離監督の 3 つの補完的なサブステップからなる。各段階の詳細は以下の通り:
-
1. 生成器ステップ(Generator Step)
このステップでは、生体顔 と spoof 攻撃サンプル を生成器に入力し、spoof trace の分離を行う。モデルは以下の 2 つの生成タスクを実施する:
- 生体画像の再構成: を用いて対応する生体バージョン を復元する;
- spoof 画像の合成:spoof trace を別の生体顔 に適用し、合成 spoof 画像 を生成する。
生成器の更新目標は以下 3 つの損失から構成される:
- :敵対損失(合成サンプルを実ドメインに近づける);
- :初期 spoof 判別の教師信号;
- :trace 強度正則化。
合計損失は次のように表される:
-
2. 判別器ステップ(Discriminator Step)
同一バッチのサンプルを使い、以下の画像を 3 つのマルチスケール判別器 に入力し、実ドメインと合成ドメインの識別を学習する:
- 元の生体サンプル
- 元の spoof サンプル
- 再構成サンプル
- 合成 spoof
各スケールの判別器は以下を学習する:
- 第一チャネル で実生体 vs. 再構成生体を識別;
- 第二チャネル で実 spoof vs. 合成 spoof を識別。
判別器の敵対損失は以下の通り:
敵対訓練は不安定になりやすいため、このステップの学習率は他のステップの半分に設定し、勾配強度と訓練の安定性をバランスさせる。
-
3. 追加の教師あり学習ステップ(Extra Supervision Step)
この段階では spoof trace の「合成監督性」を導入し、生成器が spoof trace 構造を正確に識別し分離する能力を強化する。
入力データは以下:
- 元の生体顔
- 対応する spoof trace 合成画像
- 合成時に用い、stop-gradient で固定した参照 trace
このステップでは生成器のパラメータのみ更新し、目標損失は以下:
- :spoof 判別精度のさらなる監督;
- :ピクセルレベル spoof trace 分離誤差(stop-gradient により参照 trace を固定)。
総合損失は次の通り:
討論
方法論が大部分を占めたため、最後にいくつかの重要なポイントに絞って議論する。
既知攻撃の検出
OULU-NPU の 4 プロトコルでは、STDN の ACER は表中の従来手法を上回らず、Protocol 3 の平均 2.8% は STASN と同率だった。Protocol 1 は 1.5% から 1.1%(相対減少率約 27%)、Protocol 4 は 5.6% から 3.8%(同約 32%)に改善した。SiW では Protocol 1 と 2 がともに 0%、Protocol 3 は 7.9% で、Meta-FAS-DR の 7.7% よりわずかに悪い。
SiW-M の既知の 13 種類の攻撃では、STDN 全体の ACER は 4.1% で、表中の Auxiliary の 6.3% を下回る。ただし cosmetic makeup は 24.5% で、攻撃種別ごとの差も残る。これらの結果を未知攻撃での安定性まで広げて解釈することはできない。
未知攻撃(Unknown Spoof)の検出
SiW-M の未知攻撃テストでは、STDN の平均 EER は 12.0%、ACER は 14.2% で、表中の DTL の 16.1%、16.8% より低い。一方、BPCER は 16.2% で Auxiliary の 8.9% より高い。
透明マスクの APCER は 9.7% だが、obfuscation makeup では 96.1% に達する。同じ攻撃を学習時に含めた既知攻撃の設定では後者の ACER は 3.0% だった。論文はこの差を説明している。少数例の追加による適応は別途検証が必要だ。
さらに未知攻撃では、FDR = 0.5% における TDR は 35.7% にとどまる。
Spoof Trace の可視化と評価
-
Spoof Medium Classification
STDN を固定し、媒体ラベルを使って簡単な CNN(AlexNet)を学習したところ、trace の 3 クラス分類は 92.0%、5 クラス分類は 83.3% だった。同じ CNN に元画像を入力した場合はそれぞれ 86.3%、80.6%。この設定では trace に媒体を区別できる情報が残っているが、本人情報や撮影条件からの独立性までは証明しない。
-
視覚的分解
図では、印刷、メイク、3D マスク、紙製攻撃などが の 4 成分で異なる変化やテクスチャの残り方を示す。この図は分解と再構築を示している。別の顔への合成は原論文の Figure 8 にあり、この図だけで 3D 幾何変形層の効果を定量化することはできない。
モジュール貢献とアブレーション実験
アブレーションは OULU-NPU Protocol 1 で行われた。ESR 単独の ACER は 2.6%、単層 trace の GAN を加えると 2.1%、四成分の D-GAN では 1.6% となる。D-GAN は trace の分離生成を指しており、この差をマルチスケール判別器だけの効果と解釈してはいけない。
画素単位の損失 を加えた完全な構成では ACER が 1.1% になる。一方、単層 trace の ESR + GAN に同じ教師信号を加えると、2.1% から 4.5% に悪化する。合成画像の品質が重要であり、実験の安定性は反復して評価する必要がある。
結論
真偽を問うより先に、偽装の痕跡はどこに現れるのか?
STDN は活体検知を「ブラックボックス分類」から「痕跡の分解 — 再構築 — 合成」という循環へと書き換えた。初期の de-spoofing や顕著性マップの手法を発展させ、可視化できる痕跡をモデルの出力として扱う。
単なるネットワーク構造の変更ではなく、考え方の転換でもある。偽装を理解してから、真偽を識別する。
もちろん、STDN にも弱点は残る。
- 痕跡の定義は画像領域に限られ、高精細な 3D マスクや異なるモダリティの攻撃には、さらに検証が必要だ。
- 合成画像の幾何的・質感的な整合性は、生成器の能力と教師信号に左右される。
- 音響、深度、血流など別の感覚情報で trace をどう定義するかは、まだ分かっていない。
それでも STDN は、追跡できる一つの道筋を示した。
偽装を明示できれば、合成できる。合成できれば、対抗する機会が生まれる。
真偽の見分けが難しくなる中、価値があるのは判定スコアだけではない。偽装の構造を分解して理解することだ。
この道は分類より遠回りかもしれない。それでも STDN は、複数の攻撃を扱う「痕跡の分離」の初期の重要な一歩となった。