Interpretable Face Anti-Spoofing: Enhancing Generalization with Multimodal Large Language Models
- 発表先
- AAAI 2025国際会議
- arXiv への初回投稿
- arXiv:2501.01720
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{faceantispoofingifas2025,
title = {{Interpretable Face Anti-Spoofing: Enhancing Generalization with Multimodal Large Language Models}},
author = {Guosheng Zhang and Keyao Wang and Haixiao Yue and Ajian Liu and Gang Zhang and Kun Yao and Errui Ding and Jingdong Wang},
year = {2025},
eprint = {2501.01720},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2501.01720}
}
顔の生体判定は、通常 Real か Spoof かの二値分類として扱われる。
しかし「なぜ?」と一言聞いても、多くのモデルは答えられない。
そもそも、その問いを投げかけることさえ許してくれない。
問題の定義
従来の顔なりすまし検出モデルは、そのほとんどが一つの目標、すなわち入力画像を本物と偽物に分けるために訓練されてきた。
この仕組みは長く使われてきたが、次のような場面ではたびたび行き詰まる。
- テスト環境と訓練データの見た目が大きく異なる
- 偽顔の作り方が新しくなる(高精細なリプレイや 3D マスクなど)
- 利用者の文化、機器、地理的な分布が変わる
研究者たちは、さまざまな方法で汎化能力を高めようとしてきた。例えば、
- Domain Adaptation(DA):目標ドメインのデータを使い、特徴を整合させる
- Domain Generalization(DG):複数のソースドメインから安定した特徴分布を学ぶ
- Incremental Learning(IL):既存の知識を保ちながら、新しいデータ環境を取り込む
しかし、いずれも基本的には画像から「生体らしさの特徴」を取り出す。その特徴をモデル自身が説明できるとは限らない。
ここに問題の核心がある。
私たちは、判定はできても、それを言葉にできないシステムを訓練してきた。
「偽物だ」とは言えても、「どこが偽物なのか」「なぜ偽物なのか」は説明できない。
モデルには画像を見せたが、筋の通った話として語る方法は教えてこなかった。
ところが人間の判定は、まさにそうした話の上に成り立っている。
問題の解決
「これは本物だろうか?」
生体判定モデルにとって、この問いには答えだけでなく説明も必要なはずだ。
I-FAS はその考えから、FAS を「画像についての問答」へと置き換える。
人間のように答えさせるため、著者は 言語の構築、特徴の整合、訓練方法 という三つの層から取り組む。
Spoof-aware Captioning and Filtering(SCF)
一般的な captioner は、顔の表情や服装、背景には注目しても、肝心の偽顔の手掛かりを見落としがちだ。
次の図を見てほしい。
従来の captioner が出す文章を 、著者が微調整した spoof-aware captioner の文章を とする。
図にある通り、従来の説明は曖昧だが、微調整後の spoof-aware captioner は、これらの例で screen や paper といった攻撃媒体を文の中に挙げられる。ただし、その文章が本当に画像の手掛かりに対応しているかどうかは、キーワードだけでは保証できない。
SCF の流れは次の通り。
- 公開データセット 12 種を にまとめ、真偽ラベル付きのサンプル を用意する。
- 攻撃の種類ごとに分類した spoof keyword の辞書 を作る。
- 一般的な captioner で、すべての偽顔画像について最初の説明文 を作る。
- 対応するキーワードを含まない caption のサンプルを除き、攻撃の特徴を明確に表す部分集合 を残す。
- で を微調整し、spoof-aware captioner を得る。
- 最後に本物の顔にも caption を付け、意味の違いを持つ訓練データを作る。
こうして各サンプルにはラベルだけでなく 意味を持つ説明 も付けられ、対照的な学習と解釈可能性につなげる。
Multimodal Instruction Tuning with GAC
訓練データが整ったところで、モデルの訓練に進もう。
上図の I-FAS は、主に次の三つで構成される。
- 視覚エンコーダ :入力画像 から特徴 を取り出す。
- クロスモーダル連結器 : を言語モデルの token 空間に写す。
- 言語モデル :視覚特徴と文章の指示を受け、自然言語で問いに答える。
図では視覚エンコーダと言語モデルを凍結し、主に GAC を通して視覚特徴を言語モデルへ渡す。
Globally Aware Connector(GAC)
視覚的な意味をより広く、細かく捉えるため、著者は GAC を提案する。異なる層の global features を言語モデルに渡す仕組みだ。手順は次のようになる。
-
視覚エンコーダの各層から (cls token)を取り出し、 を作る。
-
これを線形射影して とし、学習可能な query ベクトル と連結する:。
-
続いて multi-head self-attention(MSA)と cross-attention(MCA)を使い、局所特徴 と組み合わせる。
つまり を起点に画像特徴へ問い合わせ、生体判定に固有の手掛かりを探す。
一般に、浅い層の特徴はモアレやぼけといった質感の細部を捉えやすく、深い層の特徴は抽象的な意味を表しやすい。GAC はこれらの視点を言語出力へまとめるためにある。したがって言語モデルに渡るのは単一の特徴ではなく、視覚特徴の深浅、空間と意味を融合したクロスモーダル表現 となる。
Lopsided Language Model Loss(L-LM Loss)
モデルが話せるようになったら、次の問いが残る。
まず「結果」を言うべきか、それとも「理由」を言うべきか?
著者は FAS を一往復の問答として捉え直す。訓練データは の三つから成る。
ここで、
-
は固定の質問文「Is this photo of a real person?」。
-
は二つの部分からなる回答だ。
は真偽の判断(“Yes” または “No”)、 は captioner( または )が生成する、その判断を説明する文章である。
通常の LM Loss では、 全体を一続きの文章として自己回帰的に学習する。
すると二つの問題が生じる。
- 意味上の重心が曖昧になる:モデルは後半の caption の文体を過度にまね、肝心の判断語を見落とすかもしれない。
- ノイズが収束を妨げる:説明文には細部やノイズが多く、FAS の主たる判定にはあまり役立たず、かえって収束を遅らせる場合がある。
「正しい判定」を訓練中に重く見ながら、「筋の通った説明」も学べるよう、著者は非対称な重みを持つ Lopsided LM Loss(L-LM Loss) を使う。
ここで、
- は判断部分(Yes/No)の token-level loss。
- は説明部分の loss。
- は重みの焦点を制御するハイパーパラメータだ。
を調整すれば、二種類の token loss の比重を変えられる。論文では同じ重み付きの目標で訓練しており、先に判断だけを学習してから説明を加える段階的な流れは述べていない。推論では「Yes」と答える確率を本物の顔のスコアとする。
この設計の効果は表の HTER/AUC だけでなく、L-LM Loss を使ったときの訓練損失曲線が速く下がり、変動も小さいことにも表れている。
実験結果の考察
クロスドメイン能力の検証
まず Protocol 1 では、四つの古典的なデータセットを使い、一つのドメインを残してテストする。
表を見ると、I-FAS の HTER は四組すべてで最低で、平均は 1.33% に下がった。一方、AUC が最高なのは三組だ。O&C&M→I では I-FAS の 98.48% は DiVT-M の 99.29% を下回る。この結果は論文で試した協定でのクロスドメイン性能を支持するが、差のすべてを自然言語による監督だけに帰することはできない。
Protocol 2 では、さらに厳しい条件へ進む。CelebA-Spoof だけを単一の訓練ソースとし、攻撃方法もセンサーも異なる未知の 11 データセットでテストする。
結果は次の通り。
この設定で I-FAS の平均 AUC は 93.71%。FLIP の 87.90% より 5.81 ポイント、ViTAF の 82.82% より 10.89 ポイント高い。SURF-3DMask と SIW-M-V2 では HTER/AUC とも表の比較対象を上回る。HKBU-MARs-V1+ でも AUC は FLIP より少し高いが、HTER 18.64% は FLIP の 17.25% より悪い。改善の幅はデータセットと指標によって異なる。
モジュールの寄与
各モジュールの実質的な寄与を確かめるため、著者は完全なモデルから三つの主要な部品をそれぞれ個別に取り外し、汎化性能の変化を調べる。結果は上の表の通り。
- SCF を外すと、モデルは Yes/No だけを出す回答形式に戻り、HTER は 3.17 ポイント上がり、AUC は 3.30 ポイント下がる。この消融では caption と説明の出力を同時に外している。
- GAC を外し、学習可能な query で token 数を保つと、HTER は 3.54 ポイント上がり、AUC は 2.93 ポイント下がる。この設定では多層の全域特徴が役立つことを示す。
- L-LM Loss を通常の LM Loss に替えると、HTER は 11.30% から 12.06% に上がり、AUC は 93.71% から 92.81% に下がる。収束曲線の揺れも大きいが、これらの結果は過学習を直接測ったものではない。
Caption の種類を分析する
文章の多様さは、そのまま汎化能力を意味するのだろうか?
著者はこの問いを実験で検討する。上表でさまざまな文章による監督を比べると、重要なのは caption の意味内容だと分かる。
- I-FAS で判断語(Yes/No)だけを使った HTER/AUC は 14.47%/90.41%。一般的な caption を加えると 14.23%/90.22% となる。FLIP では spoof-aware な説明に替えると 18.73%/87.90% から 17.30%/89.15% になる。
- spoof-aware caption が攻撃の手掛かりを挙げると、表の平均 AUC は 93.71% に上がる。一般的な caption の対応する設定は 90.22% だ。
- spoof-aware caption を一般的な caption()に替えると性能は下がる。単に文章を多様にすることより、情報が攻撃に向いていることのほうが大切だ。
L-LM Loss のハイパーパラメータ
図を見ると、著者が試した の値では、0.4 付近で平均 AUC が最高、平均 HTER が最低となる。右側は L-LM Loss を使う場合と使わない場合の訓練損失を比較している。
- が高すぎると、説明部分の重みは小さくなり、図のクロスドメイン指標も悪くなる。
- が低すぎると説明の重みが増える。著者は caption のノイズが学習を妨げる可能性を考え、図の も 0.4 に届かない。
この結果は、判断と説明の間で損失の重みを調整することを支持する。
説明能力の可視化
冒頭では、spoof-aware caption と一般的な caption を比べた。前者は paper、tablet、screen などの攻撃媒体を挙げ、一般的な説明よりもタスクに近い文章で監督できる。
最後にもう一枚見てみよう。次の図は、CelebA-Spoof という単一ソースで訓練した後、SIW-M-V2 と Rose-Youtu から選んだテスト例への回答だ。判断と説明の二部分を含むので、出力の形は分かる。しかし、モデルが本当にその手掛かりに基づいて判断したかどうかは、この定性的な図だけでは検証できない。
結論
モデルが「はい」か「いいえ」しか答えられないなら、得られるのも信頼度スコアだけだ。なぜそう判断したのか、どの手掛かりを使ったのかは分からない。
分類として捉えることは、システムの開発や評価には便利だった。一方で、モデルを長くブラックボックスに閉じ込め、クロスドメインの汎化、攻撃の更新、現場の条件の変化に向き合いにくくしてきた。
この研究は出力の形を捉え直そうとする。自然言語による問答と caption による補助的な監督を導入し、「本物か偽物か」に答えると同時に、「判断の根拠」も語らせるのだ。
これは近年、多くのコンピュータビジョン分野で見られる、監督に用いる言葉の転換でもある。
一つのラベルから、構造を持つ意味の説明へ。
実験では、この意味による誘導に実際の効果が見られた。Protocol 1 の複数ソースによる汎化でも、Protocol 2 の単一ソースという厳しい設定でも、I-FAS は OCIM の指標でこれまで最も優れた結果を得た。
言語は学習の助けになるだけでなく、異常なサンプルに対するモデルの知覚と理解を安定して高められるということだ。この言語による書き換えは、モデルが話せるようになる過程にとどまらない。FAS というタスクの境界を、私たちが考え直すきっかけにもなる。
モデルが口を開いたそのとき、再定義されるのは FAS だけではないのかもしれない――
すべての分類タスクは、いつか別の結末へと向かう。