Searching Central Difference Convolutional Networks for Face Anti-Spoofing
- 発表先
- CVPR 2020国際会議
- arXiv への初回投稿
- arXiv:2003.04092
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{faceantispoofingcdcn2020,
title = {{Searching Central Difference Convolutional Networks for Face Anti-Spoofing}},
author = {Zitong Yu and Chenxu Zhao and Zezheng Wang and Yunxiao Qin and Zhuo Su and Xiaobai Li and Feng Zhou and Guoying Zhao},
year = {2020},
eprint = {2003.04092},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2003.04092}
}
人は、モデルが十分に深く、データが豊富であれば、システムは自然と「本物」と「偽物」を見分けられると考えがちだ。
しかし、私たちはもっと根本的な問題を見逃しているかもしれない。
今回は非常に有名な古典的論文「CDCN」を見てみよう。
問題の定義
顔認証が標準となった時代において、顔の生体検出(Face Anti-Spoofing, FAS)は認証プロセスの重要な関門となっている。攻撃手法は高解像度印刷、映像再生、リアルな 3D マスクなど多様化している。
このような相手に対し、技術コミュニティはかつて手設計の特徴の繊細さに期待を寄せた。LBP、DoG、HOG、SIFT などの局所記述子は、人間の目では識別困難な微細な模様やノイズ、印刷の残像を捉えようとしてきた。
だが、これらの手法はシーン変化に弱く、ノイズ耐性が低いため、現代の応用要求には適合しなかった。
そこで深層学習へと舵を切り、畳み込みニューラルネットワーク(CNN)に真偽の境界を判別させることとなった。
しかし CNN の強みは、同時に盲点でもある。
深層構造は抽象的な意味情報の抽出に優れるが、設計によっては低レベルの細部情報が弱まることがある。特に特定の光や角度でのみ顕在化する格子模様、モアレ模様や反射エッジなどは捉えにくい。環境が少し変わったり撮影装置が異なると、これらモデルは一般化できず、背景のテクスチャや画面の枠を誤って生体特徴と認識することもある。
深層の意味情報の穴埋めとして、深度マップを補助教師信号に導入し、より細かい空間認識を学習させようとする試みもあった。しかしこれらの構造は多くが専門家の手設計であり、ResNet や VGG、DenseNet のような分類タスク向けのバックボーンはもともと FAS 用ではなく、一般化能力には限界があった。
問題は根本に立ち返る:もし畳み込み自体が細部に鈍感ならば、上位層の設計で視覚基盤の歪みを補うことは難しい。
では畳み込み自体こそが、未だ開かれていない扉ではないか?
解決策
まず畳み込みの計算方法を復習しよう。
標準的な 2D 畳み込みは次のように書ける:
ここで、 は出力特徴マップの位置、 は受容野(例えば 3×3)である。
この「局所的加重和」の考え方は視覚タスクの基盤となっているが、攻撃検知には十分ではない。なぜなら極めて微細な偽装の痕跡は、ピクセル強度自体ではなく、ピクセル間の差分に隠れているからだ。
Central Difference Convolution (CDC)
LBP に着想を得て、著者らは「中心差分」を畳み込みに導入し、計算ごとに「変化量」を含めることを試みた:
従来の畳み込みと比べ、この方法は「値の大きさ」ではなく「中心との差異」に注目する。
細かいシワや突起を検出するとき、私たちが注目すべきは「全体の明るさ」より「エッジ」かもしれない。
しかし純粋な中心差分では画像自体の絶対情報が失われることもある。
そこで著者は混合形態を提案した:
ここで はバランス係数である:
- のときは従来の畳み込みに戻り、
- のときは完全に差分量に注力する。
この混合操作を CDC(Central Difference Convolution)と名付け、「強度」と「差分」という二つの情報源を同時に保持する。
実装を容易にするため、最終的に以下の形に整理できる:
こうして、一般的な深層学習フレームワーク(PyTorch、TensorFlow)では数行のコードで CDC をネットワークに無理なく組み込め、パラメータの増加もない。
以下は学習用の実装例である。二つの分岐の中心位置を合わせるため、奇数のカーネルと対称なゼロパディング(例:kernel_size=3, padding=1)に限定する。任意の Conv2d 設定をそのまま置き換えられる実装ではない:
import torch.nn as nn
import torch.nn.functional as F
class Conv2dCD(nn.Module):
"""CDC for odd kernels with centered, zero-padded sampling."""
def __init__(self, *, theta=0.7, bias=False, **conv_kwargs):
super().__init__()
if not 0 <= theta <= 1:
raise ValueError("theta must be between 0 and 1")
self.theta = theta
self.conv = nn.Conv2d(bias=bias, **conv_kwargs)
expected_padding = tuple(
d * (k - 1) // 2
for k, d in zip(self.conv.kernel_size, self.conv.dilation)
)
if (any(k % 2 == 0 for k in self.conv.kernel_size)
or self.conv.padding != expected_padding
or self.conv.padding_mode != "zeros"):
raise ValueError("Use an odd kernel with centered zero padding")
def forward(self, x):
out = self.conv(x)
if self.theta == 0:
return out
# Same sampled centers and output shape as the regular convolution.
kernel_sum = self.conv.weight.sum(dim=(2, 3), keepdim=True)
difference = F.conv2d(
x, kernel_sum, stride=self.conv.stride, groups=self.conv.groups
)
return out - self.theta * difference
CDC ネットワーク
過去の研究では、多くが「深度マップ」を補助教師信号として利用し、ピクセルレベルの対比を通じて生体検知を強化している。
著者もこの考え方を参考に、DepthNet をベースとしたネットワーク骨格を構築し、すべての畳み込みを CDC に置き換えることで、Central Difference Convolutional Networks (CDCN) を形成した。
-
ネットワークの入力/出力:
- 入力:単一フレームの RGB 顔画像(3×256×256)
- 出力:予測されるグレースケール深度マップ(32×32)
-
特徴融合:低レベル、中レベル、高レベルの特徴を連結して統合し、顔のテクスチャや空間構造の捉えやすさを向上。
-
ハイパーパラメータ:実験では をデフォルト設定とし、差分信号を重視しつつ原画像の強度情報も保持。
損失関数は、偽装痕跡をより精密に監督するため以下の 2 種類を導入:
- MSE 損失 :予測深度マップと教師信号の擬似深度マップ間の平均二乗誤差を測定。
- 対照深度損失 :より微細な深度差異を捉え、顔の境界の真の凹凸と印刷による偽模様を区別するのに寄与。
全体の損失は次の通り:
CDCN++
ただし CDC の全体構造は手作業で設計されています。
そこで著者は Neural Architecture Search (NAS) を組み合わせ、指定した探索空間とデータ条件の中で FAS に適した構造を探索する手法を導入し、結果として進化版の CDCN++ を実現した(上図参照)。
従来 NAS は画像分類や検出に多用されるが、本研究は深度監督を伴う FAS タスクへ応用。二層最適化(bi-level optimization)により訓練セットと検証セットを往復し、重みと構造パラメータを調整する(下図参照)。
検索空間は複数のセルに分割され、各セルは skip-connect、CDC、none などの候補演算を含み、ノードアテンションによって中間ノードの重要度を自動判断する。
最終的に、その探索条件で選ばれたバックボーンを得る。すべての構造の中で大域的な最適解だと保証するものではない。
多尺度注意力融合モジュール
NAS によるバックボーンを得ても、低・中・高レベル特徴を単純連結するだけでは、注目すべき空間領域を見落とす恐れがある。
この問題を解決するため、著者は 多尺度注意力融合モジュール (MAFM) を導入した:
ここで はハダマード積(要素ごとの掛け算)、 と は空間次元を保ちながらチャネル軸に沿って行う平均プーリングと最大プーリング、 はシグモイド関数、 は低・中・高レベルにそれぞれ 7×7、5×5、3×3 のカーネルを用いる通常の畳み込みを示す。
最終的に、CDCN++ は 「差分畳み込み」+「NAS 探索バックボーン」+「多尺度注意力融合」 を組み合わせ、深度監督により駆動されて、高精度かつ高い一般化性能を実現している。
討論
著者は 6 つの公開データセットで評価を行い、高解像度の OULU-NPU、SiW、低解像度の CASIA-MFSD、Replay-Attack、MSU-MFSD に加え、SiW-M を用いて未知の攻撃タイプに対するクロステストも実施した。
データセットやシーンに応じて、ACER、HTER、AUC、EER などの指標でモデルの識別性能および未知環境での一般化能力を評価している。
訓練段階では PyTorch を用い、Adam を最適化器とし、PRNet で本人の顔の擬似深度マップを生成して [0,1] に正規化し、攻撃サンプルの目標はゼロにする。これは分類用の教師信号である。モデルは単一フレームの顔の深度予測を出力し、その平均値を最終分類スコアとする。特に断りがない限り、すべての実験で CDC のパラメータはに固定されている。
CDC パラメータの影響
-
の重要性
図 (a) に示されるように、 とモデル性能は非線形の関係にある。 では ACER が 3.8%、 では 3.6%である。
が最良で、ACER は 1.0%だった。照明と撮影シーンが異なるこの Protocol-1 では、適度に重み付けされた中心差分が細かなテクスチャの判別に役立つことを示す。この図だけで撮影機器の変化は評価できない。
-
他の畳み込み手法との比較
図 (b) では同じ Protocol-1 条件で、CDC の ACER は 1.0%。Local Binary Convolution の 3.2%、Gabor Convolution の 5.3%より低い。LBConv も通常の畳み込みの 3.8%を少し下回り、この課題で局所差分情報を使う根拠になっている。
NAS と MAFM の貢献
実験では、NAS の探索時に varied cells と node attention を両方使うと、テスト ACER が baseline の 1.7%から 1.3%に下がった。
低・中・高レベルの cell で別々の構造を探し、node attention で中間ノードの出力に重みを付ける、という設計だ。このアブレーションは、検証した条件で両方の工夫が効いたことを示している。
探索で得られたバックボーンを多層融合すると、NAS なしのベースラインより優れるが、まだ最適化余地は存在し、下表に示される。
7×7、5×5、3×3 の通常の畳み込みを使う MAFM を加えると、ACER は 0.7%から 0.2%へ、0.5 ポイント下がった。三つとも 3×3 の CDC カーネルにした行は、逆に 1.2%となっている。
OULU-NPU での性能
OULU-NPU において CDCN++は 4 つの Protocol 全てで最低 ACER(最低 0.2%、最高 5.0%)を記録し、SiW でも比較対象の先行手法を上回った。ただし Protocol 3 では CDCN の 1.71% が CDCN++ の 1.90% より低い。
多フレーム動的特徴を必要とする最先端法(STASN、Auxiliary 等)と比較し、CDCN++は単一フレームのみで同等以上の性能を示し、リアルタイム展開の可能性を高めている。
クロスデータセットの一般化能力
未知の攻撃タイプ(SiW-M の 13 種攻撃)やデータセット間で、CDC 構造は依然として優れた一般化能力を発揮。
CASIA-MFSD → Replay-Attack では CDCN++ の HTER は 6.5% で、FAS-TD の 17.5% より 11 ポイント低い。一方、逆方向では CDCN++ が 29.8%、FAS-TD が 24.0% と順序が逆転する。汎化性能の改善は方向に依存し、一つの結果だけで未知環境全体を代表させることはできない。
分析と可視化
図は OULU-NPU Protocol-1 での実験結果。通常の畳み込みモデルは development set では ACER が低いが、照明とシーンが異なる test set では明らかに高くなる。CDC モデルでは二つのデータセット間の差が小さい。この図に訓練セットの曲線は描かれていない。
t-SNE 可視化では、CDC を使うと、本物とさまざまな攻撃サンプルが投影上でより離れている。これは定性的な観察であり、この投影だけから分類性能を定量化することはできない。
結論
本論文の中心には、直感的な作業仮説がある:
偽装の痕跡は、局所勾配に異常を残すかもしれない。
再現された顔は、エッジ、テクスチャ、反射に差を生むことがある。これは有用な仮定だが、あらゆる攻撃への保証ではない。
CDC は、そうした差を制御しやすく解釈可能な形で畳み込みに組み込む。偽装の痕跡を捉えるための帰納バイアスと考えられる。
後続の特徴分離やドメイン汎化の研究と比較できる部分はあるものの、同一の方法として扱うべきではない。CDC は、「差異の形」を描こうとした初期の道具の一つである。