CelebA-Spoof: Large-Scale Face Anti-Spoofing Dataset with Rich Annotations
- 発表先
- ECCV 2020国際会議
- arXiv への初回投稿
- arXiv:2007.12342
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{faceantispoofingcelebaspoof2020,
title = {{CelebA-Spoof: Large-Scale Face Anti-Spoofing Dataset with Rich Annotations}},
author = {Yuanhan Zhang and Zhenfei Yin and Yidong Li and Guojun Yin and Junjie Yan and Jing Shao and Ziwei Liu},
year = {2020},
eprint = {2007.12342},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2007.12342}
}
Face Anti-Spoofing(FAS)は、ここ数年でコンピュータビジョンの分野で広く知られる技術となり、スマートフォンのロック解除、顔認証によるアクセス管理、モバイル決済など、ほぼすべての顔認識システムは「この顔が本物かどうか」という根本的な疑問を避けて通れなくなっています。
しかし、技術が次々と進展する中で、ひとつの重要な問題が静かに浮かび上がってきました:
データセットが不足している。
問題の定義
現在の FAS データセットには、次の 3 つの明らかな問題があります:
- 多様性の欠如(Lack of Diversity):顔画像が不十分で、シーンが単一、センサー数が少なく、一般的なデータセットは通常 2000 人未満、4 つのシーン、10 台以下のデバイスしかありません。こんなデータでは異なるシーンでの展開には耐えられません。
- 注釈が不十分(Lack of Annotations):ほとんどが「Live」または「Spoof」のラベルのみで、場合によってはスプーフィングの種類が示されることがありますが、照明条件や背景環境については全く言及されていません。これではモデルが「顔ではないが密接に関連する」リアルな手がかりを学ぶことはできません。
- 性能が限界に達している(Performance Saturation):いくつかのデータセット(例えば SiW、OULU-NPU)では、ResNet-18 のリコール率が FPR=0.5%で 100.0%や 99.0%に達しており、これらの特定の評価設定ではモデル間の差を見分けにくくなっているということです。
データの規模や多様性が限られると、学習と信頼できる評価が難しくなります。一部の設定でスコアが飽和すると、新手法との差も見えにくくなります。ただし、従来のデータセットで深層モデルを学習できないという意味でも、すべてのクロスドメイン課題が解決済みという意味でもありません。
この論文の著者たちは、この問題に取り組みました:私たちが解決します。
解決策
この問題を解決するために、著者たちはCelebA-Spoofを提案しました。
著者らは、当時として大規模で、アノテーションが豊富かつ撮影条件の多様な顔なりすまし検知データセットとして位置付けています。
まず、その仕様を見てみましょう:
- データ規模が非常に大きい:10,177 人の異なる個人、625,537 枚の画像を収録。
- シーンとデバイスが豊富:10 種類以上の異なる入力デバイス(スマホ、タブレット、PC など)から、8 つのセッション(2 種類の環境 × 4 種類の照明条件)で撮影された画像。
- 豊富な注釈属性:Live 画像は CelebA の 40 種類の顔属性を引き継ぎ、Spoof 画像には次の属性も付けられています:
- スプーフィングの種類(例えば、印刷物、画面表示など)
- 照明条件(通常、強光、逆光、暗所など)
- 撮影環境(屋内または屋外)
合計で43 種類の属性が定義されています。
CelebA-Spoof Dataset
CelebA-Spoof は当時の大規模でアノテーションが豊富な FAS データセットの一つです。画像数だけでなく、多様性と意味情報にも配慮して構築されています。
著者たちは、既存のデータをそのまま使用するのではなく、Live と Spoof のデータを基に、現実的な応用シーンに合った高品質なデータセットを一から構築しました。
Live 画像の出所は、元の CelebA に含まれる 202,599 枚の画像です。これは選別後の最終的な Live 枚数ではありません。著者らは、ポスターや漫画など本人画像ではない可能性のある 347 枚を手作業で除外しました。ここでの Live は、画像を分類するためのデータセット上のラベルです。
スプーフィング画像の作成には、選ばれた Live 画像から、各人物の顔のサイズに基づいて順位をつけ、最大 20 枚をスプーフィング撮影の素材として選定しました。これにより、サンプルの多様性を保ちながら、異なる人物間でスプーフィング画像の均等な分布を維持できました。最終的には 87,926 枚の画像がスプーフィング素材として選ばれました。
次に、著者たちは 8 人のデータ収集者と 2 人のアノテーターを動員し、スプーフィング画像が角度、形状、撮影デバイスにおいて十分な変異を持つようにするための厳密な収集プロセスを確立しました。
収集の 3 つの軸は、以下の図のように設定されました:
- 角度:攻撃媒体を撮影する際、媒体とカメラの相対角度を正面・下向き・上向き・前傾・後傾の 5 方向で変えます。傾斜角は -30°~+30° です。写真に写っている人物の頭部姿勢を指すものではありません。
- 形状:物理的またはデジタルメディアの再生方法をシミュレートし、通常の平面表示、内折、外折、角度付き表示などのシナリオを含む。
- 装置:PC、タブレット、スマートフォン、カメラにまたがる 24 種類のセンサーを用い、1200 万~4000 万画素の異なる解像度で再撮影時の条件に変化を持たせます。
画像そのものに加えて、CelebA-Spoof は各画像の意味的情報も整理しました。
Live 画像は CelebA の元々の 40 種類の顔属性(性別、髪型、眼鏡の有無、笑顔など)を引き継いでおり、これらの属性はなりすまし検知タスクのために設計されたものではありませんが、FAS 分野に初めて導入され、モデルに「顔の自然さ」を理解するための追加の手がかりを提供します。
スプーフィング画像には次の 3 つの意味的属性が加えられています:
- Spoof Type(攻撃メディアタイプ)
- Illumination(照明条件)
- Environment(撮影環境)。
環境と照明の組合せで、8 セッション(2 環境 × 4 照明条件)を構成します。屋外の攻撃画像を体系的に収録して条件を広げています。CeFA にも屋外の印刷攻撃が含まれています。
最後に、著者は CelebA-Spoof の統計的特性も計画しました:
- 総画像数:625,537 枚で、Live と Spoof の比率は約 1:3。
- 顔の枠サイズ:主に 0.01M から 0.1M ピクセルに集中し、スマートフォン撮影条件に近い。
- 訓練/検証/テスト:8:1:1 に分割し、3 つのデータセットにおいて同一人物が重複しないよう厳密に管理。
- 照明条件の分布:通常の照明に加え、12%が暗い(dark)、11%が逆光(back light)、19%が強光(strong)。
- 攻撃タイプの分布バランス:さまざまなスプーフィングタイプに対応した一貫した特徴を学習できるように設計。
以下は CelebA-Spoof と他のデータセットとの比較表です:
モデルアーキテクチャ
データセットに加えて、著者はこのデータセットをテストするために次のようなモデルアーキテクチャを提案しました:
- AENet(Auxiliary Information Embedding Network)。
上記の図からわかるように、AENet は典型的な深層ネットワークに見られる積み重ね式設計ではなく、メインの特徴を共有し、2 つのサブタスクをデカップリングする形で、CelebA-Spoof データセットが提供する多層次元の注釈情報を統合しています。
その構造を分解してみましょう:
AENet の主体は、入力画像から中・高レベルの意味的特徴を抽出するための事前学習済みの CNN バックボーンで構成されています。この基盤の上に、モデルは 3 つの機能モジュールを拡張します:
-
メイン分類サブネット(緑色):画像が Live か Spoof かを予測する部分で、従来の softmax 分類器を使用します。
-
意味的予測サブネット(オレンジ色):三つの全結合層を用い、次の 3 つの意味的情報を予測します:
- :顔属性(face attributes、Live 画像に適用)
- :スプーフィングタイプ(例えば、印刷物や画面再生)
- :照明条件(例えば、暗い光、逆光)
学習目標は、次のように符号化します。
- Spoof の 目標は全要素を 0 にします。これは補助タスクの符号化です。
- Live の は “No attack”、 は “No illumination” にします。後者は、spoof 用の照明ラベルを適用対象外にする符号化です。
-
幾何学的予測サブネット(青色):2 層の畳み込みの後、アップサンプルを使用して、出力サイズを生成し、次の 2 つを出力します:
- :深度マップ(Depth Map)
- :反射マップ(Reflection Map)
これらはモデルから生成した補助的な教師信号であり、センサーで測定した物理的な深度や反射率ではありません。
- Spoof の深度目標は全 0 とし、Live の擬似深度と区別します。ただし、物理的な 3D マスクには深度があります。
- 反射マップは再撮影の手掛かりを補いますが、素材の実際の光学特性を正確に復元できる保証はありません。
上記の 3 つのサブネット設計に対して、著者は 2 つの損失関数を定義しており、これらは意味的および幾何学的なマルチタスク学習シナリオに対応しています。
-
意味的学習損失():
- :2 クラス分類タスクの損失(softmax)
- :顔属性予測(binary cross entropy)
- :スプーフィングタイプと照明条件(softmax)
- ハイパーパラメータの設定:、、
これらの係数は補助損失の釣合いを取るために実験で設定された値です。数値をそのまま情報の信頼度と解釈することはできません。
-
幾何学的学習損失():
- , :それぞれ深度および反射の MSE(mean squared error)
- 重みはに設定されています。
グラウンドトゥルースの生成に関して、著者は教師信号の生成規則を定めています:
-
Live 画像の深度マップは PRNet によって予測されます(以下の補足情報 1 参照)。
-
スプーフィング画像の反射マップは、過去の文献に基づく方法から取得されます(以下の補足情報 2 参照)。
-
Spoof の深度と Live の反射の目標は、設計上すべて 0 にします。
評価指標
異なる論文では異なる指標が使用されており、読者にとっては混乱することがあります。
そこで、著者は以下の評価指標を統一して使用しています:
- APCER:スプーフィングが Live として誤分類される割合
- BPCER:Live がスプーフィングとして誤分類される割合
- ACER:APCER と BPCER の平均値
- EER:等誤差率(誤分類率が等しい時の交差点)
- HTER:半総誤差率(クロスデータセットテストでよく使用されます)
- Recall@FPR:攻撃の誤受入れ率を固定したときの、本人サンプルの再現率です。主文の表では FPR が 1%、0.5%、0.1% の結果を使います。付録には逆に Recall を固定して FPR を見る指標も定義されており、混同しないよう注意が必要です。
- AUC:ROC 曲線下の面積(全体的な分類能力指標)
同一データセットの評価では APCER、BPCER、ACER、EER、AUC、固定 FPR での Recall を報告し、クロスデータセット評価では HTER を用います。ここでの APCER は spoof 全体で計算するため、最悪の攻撃カテゴリの APCER とは区別が必要です。クロスデータセットの閾値も論文のソースデータにおける EER 手順に従い、対象テストデータで最適化した閾値を既知の運用設定として扱わないようにします。
討論
消融実験
上の表に示すように、著者は 3 つのモデルを比較する実験を行いました:
- Baseline:Live/Spoof の二値分類の教師信号のみを使用
- :意味属性の教師信号のみを使用(分類タスクなし)
- :分類と意味情報の両方を学習
-
問題 1:意味情報は単独で分類できるか?
実験結果は次の通りです:
- の ACER は 4.17%で、Baseline の 3.8%より高い。ただし EER と BPCER は少し低い。
- の ACER は 2.85%へ下がりました。この実験では、意味情報が補助的な教師信号として有効です。
-
問題 2:どの意味情報が最も重要か?
著者は単一の意味的次元の影響をさらに分析しました:
- Spoof Type()を外す → APCER は 4.62%から 5.31%に上がる
- Face Attribute()を外す → BPCER は 1.09%から 1.37%に上がる
このアブレーションでは、 は攻撃の誤判定率、 は Live の誤判定率を下げる助けになりました。ただし、表だけでモデルがどんな文脈の手掛かりを学んだかまでは分かりません。
意味情報に加えて、著者は幾何情報に対してもアブレーション実験を行い、次の結果を得ました:
深度マップだけで分類する の ACER は 4.51%で、Baseline の 3.8%より高い。一方、分類と幾何の教師信号を組み合わせた は 3.26%でした。
最後に、著者は幾何情報が分類に与える影響についても探求しました:
上の図 (a) では、Replay の各タイプで、深度マップを外して反射マップを残した の APCER が低くなっています。反射の手掛かりが再生攻撃に役立つという論文の解釈と一致します。
Print では、反射マップを外して深度マップを残した が Poster で最も低い APCER を示し、A4 と Photo との差は小さめです。深度の手掛かりが一部の印刷攻撃に役立つことを示します。
次に、図(b)では、深度マップが照明に非常に敏感であるという重要な観察が示されています。
A4 攻撃から暗所のサンプルを除き、通常光・強光・逆光だけで比べると、 の APCER は明らかに下がります。この比較は暗所のサンプルが A4 での成績に影響したことを示します。論文は深度の教師信号が暗所に敏感だと解釈しています。図には暗所のサンプルだけの誤り率は示されていません。
全体として、意味情報や幾何情報だけでは分類の教師信号を安定して置き換えられません。補助タスクに使うと、それぞれ表中の一部の指標が改善しました。
結論
CelebA-Spoof はデータ規模を拡大し、顔属性、攻撃、照明、環境の情報を提供することで、多タスク学習や条件別の評価を進めやすくしました。ただし、深度などの補助的な教師信号を使った最初の FAS 研究ではありません。
このデータセットとベースラインは、後続研究の有用な基盤です。一方、Live は CelebA、Spoof は再撮影という構築方法からは、モデルが攻撃の手掛かりに加え、データの出所や撮影工程の差も学ぶ可能性が考えられます。これは収集方法からの推論であり、汎化性能は別のデータソースで検証する必要があります。