Single-Side Domain Generalization for Face Anti-Spoofing
- 発表先
- CVPR 2020国際会議
- arXiv への初回投稿
- arXiv:2004.14043
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{faceantispoofingssdg2020,
title = {{Single-Side Domain Generalization for Face Anti-Spoofing}},
author = {Yunpei Jia and Jie Zhang and Shiguang Shan and Xilin Chen},
year = {2020},
eprint = {2004.14043},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2004.14043}
}
顔認識システムへの攻撃手法は多岐に渡り、その解決方法も負けじと豊富です。
この記事では、Domain Generalization(DG)技術に基づいた FAS 研究を見ていきましょう。
問題の定義
FAS の問題に関して、研究者たちは主に二つの技術的アプローチを開発しました:
-
テクスチャ指向: 画像の細部の違いを用いて、偽の顔を識別する方法です。例えば、色の歪みや材質のテクスチャ異常などです。この方法には、手設計の特徴量(例:LBP、HOG、SIFT)や、最近の CNN 特徴学習があります。
-
時系列指向: 複数のフレームにおける変化を分析します。例えば、目の瞬き、口の動き、rPPG 脈拍信号などです。これらを CNN-LSTM や RNN 構造で活用し、生体らしさの手掛かりを捕える方法です。
これらの方法は特定のデータセット内(intra-database)では非常に優れたパフォーマンスを示しますが、モデルが別のデータセットに適用されると(cross-database)、精度は急激に低下します。
一例を挙げてみましょう:
まず左側の図を見てみましょう。
各色をスマートフォンの機種だと考えてみましょう。これは domain shift を理解するための比喩であり、元の図の実際の機種ラベルではありません。
- 緑色:iPhone XX
- 紫色:Samsung OO
- 青色:Pixel YY
次に:
- オレンジ色:撮影品質が他のものと大きく異なるスマートフォンですが、トレーニングデータセットには含まれていません。
最初に 3 つのデータセットで FAS モデルを訓練した後、「オレンジ色」のスマートフォンの通過率が特に低いことに気づきました。しかし、オレンジ色のスマートフォンのユーザーは非常に多いため、このモデルを提供すると大量のクレームが届きました。
期待していたのは右側の図のような状況で、モデルは訓練段階で一定の汎化能力を持ち、異なるデータソースに対しても良いパフォーマンスを発揮するはずでしたが、現実は痛烈に打たれました。
異なるデータソースに対して効果的に汎化できない問題は繰り返し発生し、その原因はさまざまです:
- 分布の差異:訓練データセットとテストデータセットの出所が異なること、例えば背景、解像度、光の条件、撮影機器、人種の構成など。
- 偽の顔の多様性は真の顔よりもはるかに高い:攻撃手法や製造プロセスが大きく異なり、偽の顔特徴を統一するのが難しく、それが分類の境界をぼかす原因となります。
従来の方法はデータセット固有の特徴に過度に依存しており、その結果、モデルは「データセットのバイアス」を学習してしまいます。
そのため、この論文の著者は FAS の課題はこうあるべきだと考えています:
ターゲットデータを一切使用できない前提で、高い汎化能力を持つモデルを設計すること。
それができなければ、たとえ多くのデータセットを集めても、異なるソースや攻撃タイプの偽の顔には対応できません。
問題の解決
「偽の顔特徴の高度な異質性」と「真の顔の相対的一貫性」によって生じる汎化の困難さを解決するため、著者は新しいなりすまし検知訓練戦略としてSingle-Side Domain Generalization(SSDG)を提案しています。
上記の図のように、このアーキテクチャの設計理念は一言でまとめることができます:
本人の顔の特徴はドメインをまたいで近づけ、攻撃サンプルは出所ごとの差を保つ。
つまり、SSDG は本人と攻撃の顔画像のために共通の汎化空間を構築することを要求せず、非対称戦略を採用しています。真の顔に対してはクロスドメイン敵対訓練を行い、その分布を一致させるようにし、偽の顔に対しては分布の差異を意図的に保持し、その特異性を強化します。
このような対照的な学習設計により、分類境界はより堅牢になり、未知のターゲットデータセットにも効果的に汎化できるようになります。
全体のモデルは以下の重要なモジュールを含んでいます:
- 特徴生成器(Feature Generator, G)
- ドメイン分類器(Domain Discriminator, D)
- なりすまし検知分類器(Face Anti-Spoofing Classifier)
- 非対称 Triplet Loss 訓練
- 特徴と重みの正規化モジュール
これらを順番に見ていきましょう。
一辺対抗学習
DG 領域では、モデルがクロスドメインの課題を克服するために、一般的に敵対訓練(Adversarial Training)を追加します。この方法では、モデルがサンプルがどのドメインから来たかを識別できないようにして、ドメイン不変(domain-invariant)の特徴を学習させます。
方法は簡単で、モデルに「ドメイン分類器」を追加し、サンプルを「ソース A」または「ソース B」に分類するよう学習させます。
ドメイン分類器は分類損失を最小化し、出所を正しく当てようとします。一方、特徴生成器には逆向きの勾配を渡し、その損失を増やして出所を判別しにくくします。「分類が正確になるほど交差エントロピーが増える」のではなく、二つのモジュールの最適化方向が逆なのです。
この論文では、新しい敵対学習方法を提案しています:
- 片側の敵対学習(Single-Side Adversarial Learning)。
モデル化は以下のようになります:
個のソースデータセットを定義し、 と記述します。それぞれには以下が含まれます:
- 本人の顔サンプル
- 攻撃サンプル
これらを特徴生成器に入力し、特徴表現を得ます:
パラメータが共有されているため、実際にはとは同じモデルであり、概念的には入力ソースで区別しています。
次に、をドメイン分類器に入力し、どのデータセットに属するかを判定します。モデルがクロスドメインで一致する本人の顔特徴を学習できるように、ここでは特徴生成器 G がこの分類器を「欺く」ことを試み、敵対学習のプロセスを形成します。
全体の損失関数は次のようになります:
ここではドメインラベル、は指示関数で、サンプルが番目のデータセットに属するかどうかを示します。
攻撃サンプルは ドメイン敵対学習の分岐には入りませんが、本人・攻撃の分類と非対称トリプレット学習には使われます。
この「一辺で訓練し、互いに敵対する」メカニズムを実装するために、著者はGradient Reversal Layer(GRL)を採用しました。これは DG モデルでよく使われるトリックで、後で説明します。
非対称三元組学習
ここでは攻撃サンプルを共通の特徴空間に圧縮することを放棄したので、攻撃サンプル同士を分離し、本人の顔から距離を置く方法を考える必要があります。これが非対称トリプレット損失(Asymmetric Triplet Loss)が解決しようとする問題です。
実装方法は次の通りです:
3 つのソースデータセットがあると仮定し、サンプルを 4 つのカテゴリに再分けします:
- すべての本人の顔 → 1 カテゴリ(Cross)
- 三つの学習元の攻撃サンプル → 学習元ごとに一カテゴリ(Circle / Square / Triangle)
目標は以下の条件を満たすことです:
- 異なる学習元の攻撃サンプルは分離し、同じ学習元の攻撃サンプルは近づける(inter-domain separation と intra-domain compactness)
- 本人の顔同士を集約する(intra-class compactness)
- 本人の顔と攻撃サンプルの間で距離を開ける(inter-class separation)
次の図に示すように:
各組み合わせ(anchor / positive / negative)に対して、非対称トリプレット損失は次のように定義されます:
はマージン、 です。原論文の式 (3) では正部分の演算子が省略されているため、ここでは通常の hinge 形式を明示しました。著者の公開 HardTripletLoss も ReLU で負値を切り捨て、有効な組の選択と平均を処理します。距離を二乗するかどうかは実装設定に依存します。
この設計により、モデルは特徴空間内で自然に本人の顔と攻撃サンプルを区別できるようになり、本人の顔の安定した集中的な分布を維持できます。
特徴と重みの正規化
著者は特徴の一貫性と分類境界の安定性を高めるために、二重の正規化設計を導入しました:
-
特徴の正規化: 出力されたすべての特徴に L2 正規化を適用し、それらが単位球面上に位置するようにし、特徴の長さの差を取り除きます。
-
重みの正規化: 分類器の重みベクトルを単位長さに正規化し、バイアスを 0 に設定します。これにより、分類決定は次のように簡略化されます:
これにより、モデルは方向性による区別に焦点を合わせ、特徴の大きさに頼ることなく、分類結果の安定性をさらに高めます。
上記のモジュールを統合した後、SSDG フレームワークの訓練損失は次のようになります:
ここで:
- :通常の分類器のクロスエントロピー損失
- :バランス係数で、敵対損失とトリプレット損失の重みを制御します
この総損失は GRL と合わせて解釈する必要があります。ドメイン分類器は敵対項を最小化しますが、生成器に渡る同じ項の勾配は反転します。
論文で比較する MADDG の段階的な学習に対し、SSDG はこれらのモジュールを同時に最適化します。従来法すべてが段階的学習を必要とするという意味でも、事前学習済みバックボーンを使えないという意味でもありません。
延伸補充
GRL とは何か?なぜ DG でそれが重要なのか?
Gradient Reversal Layer(GRL) は、Domain Generalization(DG)や Domain Adaptation(DA)で敵対的に特徴を学習するための手法です。DANN の研究は 2014 年のプレプリントにさかのぼり、ICML 2015 で Unsupervised Domain Adaptation by Backpropagation として発表されました。
GRL を一言で説明すると、次のようになります:
Forward 時は何もしない、Backward 時に勾配に-1 を掛ける。
これにより、2 つの訓練目標が引っ張り合う効果を作り出します:特徴抽出器は「データのソースを識別できないように」努力し、ドメイン分類器は「データのソースを識別する」ように努力する。これがまさに敵対学習の精神です。
DG の目標は、学習時に未知だったドメインへ汎化することです。ドメイン不変特徴の学習はその一つの方針であり、敵対学習は実現手段の一つです。
- データが異なるドメインから来る場合、特徴抽出器はドメイン分類器を欺いて、その識別を困難にする
- 二つのモジュールを競わせ、タスクに必要な情報を残しながら出所の情報を減らそうとします。
そして GRL は、この引っ張り合いメカニズムを実装するための強力なツールであり、プロセス全体を標準的なバックプロパゲーションを通じて自動的に最適化します。
GRL の forward と backward プロセスを簡単に実装してみましょう:
import torch
from torch.autograd import Function
class GradientReversalFunction(Function):
@staticmethod
def forward(ctx, x, lambd):
ctx.lambd = lambd
return x.view_as(x)
@staticmethod
def backward(ctx, grad_output):
return grad_output.neg() * ctx.lambd, None
def grad_reverse(x, lambd=1.0):
return GradientReversalFunction.apply(x, lambd)
次の例では GRL を forward に挿入し、real_mask で SSDG のドメイン分岐を本人サンプルに限定します。完全な SSDG の学習実装ではなく、データの流れを示す例です。domain loss のラベルも対応する本人サンプルだけを選び、batch には本人サンプルを含めてください。
class DomainAdversarialNetwork(torch.nn.Module):
def __init__(self, feature_extractor, classifier, domain_discriminator):
super().__init__()
self.feature_extractor = feature_extractor
self.classifier = classifier
self.domain_discriminator = domain_discriminator
def forward(self, x, real_mask, lambd=1.0):
feat = self.feature_extractor(x)
class_out = self.classifier(feat)
reversed_feat = grad_reverse(feat[real_mask], lambd)
domain_out = self.domain_discriminator(reversed_feat)
return class_out, domain_out
ここでlambdは逆方向の強度を制御するハイパーパラメータで、SSDG 論文では時間動的調整式が使われています:
この設計では訓練初期の敵対学習の強度を小さくし、訓練が進むにつれて徐々に大きくします。
討論
データセットテスト設定
著者は 4 つの公開データセットを使用して実験を行いました。データセットの出典は以下の通りです:
- O:OULU-NPU
- C:CASIA-FASD
- I:Replay-Attack
- M:MSU-MFSD
各データセットを順番に未知の評価対象とし、残りの三つを学習元にする、次の四つの固定タスクで評価します。
- O & C & I → M
- O & M & I → C
- O & C & M → I
- I & C & M → O
この交差設計で、モデルが未知のデータの出所に対応できるかを調べます。ただし、実際の運用には、この四つのデータセットが含まない条件もあります。
他の方法との比較
著者は、現在最も代表的な FAS 方法を集約し、4 つの cross-database テストタスクにおけるパフォーマンスを示しました:
- CNN ベースの方法(Yang et al., Atoum et al.)
- 時系列および生理信号方法(Liu et al. rPPG)
- 伝統的特徴派(LBP、SURF)
- MADDG(この比較表における DG ベースライン)
上記の表で、SSDG が MADDG ベースのアーキテクチャを使用している場合、SSDG-M と呼ばれ、ResNet18 ベースの場合は SSDG-R と呼ばれます。
表中の SSDG-M と SSDG-R は、四つのタスクで HTER、AUC とも MADDG より良い結果です。SSDG-R は掲載された手法の中で、各タスクの HTER が最低、AUC が最高でした:
- HTER の低下
- AUC の向上
- 四つのタスクで順位が一致しています。ただし反復実験のばらつきは示されていないため、結果の変動までは判断できません。
この結果に基づき、著者は以下の重要な観察を行いました:
-
ほとんどの現存する方法は cross-database の分布問題を処理していない:
- 表中の多くの方法は、この四つのクロスデータセット課題で SSDG より HTER が高い
- 著者はデータセット固有の特徴が汎化を妨げる可能性を挙げるが、表はその特徴自体を直接測っていない
-
MADDG は少数の例外だが、DG を使用しているものの戦略的には盲点がある:
- それでも本人の顔と攻撃サンプルのために共通の一般化特徴空間を構築しようとしている
- この四つの課題では SSDG の結果が MADDG より良い。ただし、表から MADDG の収束の難しさは判断できない
対照的に、SSDG が採用した非対称学習戦略は、むしろより実践的です:
- 本人の顔:クロスドメインの整列、安定した特徴を学習
- 攻撃サンプル:積極的に分離し、無理に整列させない
この「集まるべきものは集め、散るべきものは散らす」という非対称の設計については、次のアブレーションで寄与をさらに確かめられます。
アブレーション実験
この表では、著者が SSDG の 3 つの主要なモジュールを分解して、単独でモジュールを除外した場合にどのような影響が出るかを観察しています:
- ssad:片側の敵対学習(Single-side adversarial)
- triplet:非対称トリプレット損失(Asymmetric triplet loss)
- norm:特徴および重みの正規化
両アーキテクチャとも、いずれかのモジュールを除くと四つのタスクの HTER が上昇します。ただし AUC には例外があります。SSDG-R の O & C & M → I では、ssad を除いた場合が 96.63%、完全なモデルが 96.59% です。組合せの有効性は支持されます。
結論
SSDG フレームワークの焦点は、学習元データの構造をどう利用するかにあります。その設計上の仮定は、次のようにまとめられます。
本人の顔にはドメイン間で共有できる手掛かりがあり、異なる攻撃の出所を無理に一致させる必要はない。
これはモデル設計の仮定です。SSDG は論文の四つのクロスデータセット課題で良好な結果を示し、学習元が限られる条件でも可能性を示しました。クラスの構造に合わせて汎化目標を設計する、という考え方が参考になります。