論文ノートライブラリに戻る
arXiv 2025CVPR 2026顔のなりすまし検知論文ノート

FaceCoT

六段構成の作文

原論文

Harnessing Chain-of-Thought Reasoning in Multimodal Large Language Models for Face Anti-Spoofing

論文の著者

Honglu Zhang · Zhiqin Fang · Ningning Zhao …

著者全 7 名を表示

Honglu Zhang · Zhiqin Fang · Ningning Zhao · Saihui Hou · Long Ma · Renwang Pei · Zhaofeng He

発表先
CVPR 2026国際会議
arXiv への初回投稿
arXiv:2506.01783
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{faceantispoofingfacecot2025,
  title = {{Harnessing Chain-of-Thought Reasoning in Multimodal Large Language Models for Face Anti-Spoofing}},
  author = {Honglu Zhang and Zhiqin Fang and Ningning Zhao and Saihui Hou and Long Ma and Renwang Pei and Zhaofeng He},
  year = {2025},
  eprint = {2506.01783},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2506.01783}
}
このページの内容

再撮影した写真を一枚、汎用のマルチモーダル大規模言語モデルに渡して「これは攻撃ですか?」と聞いたら、どうなるだろう?

この論文の付録が、ちょうどその実験をしている。著者らは Rose-Youtu の攻撃画像を、微調整していないモデルにそのまま渡して、攻撃と判定した割合を種類ごとに数え、FaceCoT で訓練した後の結果と比べた。

横棒グラフ。Rose-Youtu の 7 種類の攻撃に、それぞれ 2 本の棒。マスク 3 種類は、ゼロショットでそれぞれ 100%、74%、93.43%、訓練後はすべて 100%。紙 2 種類と画面の動画 2 種類は、ゼロショットではすべて 0%、訓練後はそれぞれ 95.50%、68%、96.02%、71.36%。
原論文の付録 Table 8 の数値から本稿で作図。

マスクはほとんど見抜けたのに、紙と画面は一枚も捕まえられなかった。汎用モデルにとって、画面の中の顔は、ただの顔に見えるのだ。

滴滴出行(DiDi)、北京郵電大学、北京師範大学のチームは、足りないのはデータだと考えた。なりすまし検知のデータセットには、画像と真偽のラベルしかない。大規模言語モデルに判断の根拠を一歩ずつ語らせるには、まず画像とテキストの問答データが要る。そこで彼らは FaceCoT を作った。108 万件の問答で、どれにも六段構成の推論が付いている。さらに、それを使うための二段階の訓練方法も設計した。

問題の定義

I-FAS はモデルにまず真偽を答えさせ、続けて一文の説明を付けさせる。説明は微調整した captioner が生成し、文の中に screen や paper といった攻撃媒体を挙げる。単なるラベルよりは少し意味が増えるが、結局は一文にすぎない。

著者らが求めたのは、判断の過程全体だ。まず画像全体を見て、次に顔を見て、目鼻や肌の細部を挙げ、それから推論し、攻撃手法を説明して、最後にようやく結論を出す。これを実現するには、一件ごとにこうした推論が書かれたデータと、推論と分類を同時に学べる訓練方法の両方が必要になる。

訓練方法については、著者らが別に理由を述べている。推論の文章と分類ラベルを混ぜて end-to-end で訓練すると、分類のほうが早く収束し、推論を学び終える前に訓練が終わってしまう。視覚エンコーダも、細部の描写から何かを学ぶ機会を得られない。

問題の解決

FaceCoT の三段構成のフロー図。1 段目は FaceCoT-Gold100K:10 万枚の画像、4 カテゴリ各 2.5 万枚を GPT-4o に渡し、ラベルとヒントを添えて六段の推論を書かせ、結論をラベルと照合して 98,976 件が通過し、最終的に 581 件の人手による修正を含む。2 段目は FaceCoT-Silver982K:caption モデルを SFT で訓練して一致率 88%、強化学習を加えて一致率 99.6%、CelebA-Spoof と WFAS の二つの訓練セットにアノテーションを付け、一致しないものは人手で修正する。3 段目は CEPL:MiniCPM-V-2.6-8B、入力 448×448、Stage 1 は全パラメータで CoT だけを学び、視覚エンコーダを残してほかは事前学習の重みに戻し、Stage 2 は LoRA で CoT とラベルを学ぶ。スコアは最初の token の Yes/No の確率から取る。
原論文の第 3–5 節と付録から本稿で作図。

全体の流れは三段に分かれる。前の二段でデータを作り、三段目でモデルを訓練する。

データはどこから来たか

画像は二つのデータセットから来ている。CelebA-Spoof は 62.5 万枚の画像、1 万人、10 種類の攻撃。WFAS は制御されていない環境で集めた野外データで、138 万枚の画像のうち 85.3 万枚が攻撃、52.9 万枚が本物で、14 種類の攻撃を含む。

選び抜いた 10 万枚は、2.5 万枚ずつ四つのカテゴリに分かれる。

  • 本物:すべて WFAS から取った。シーンが最も多様だからだ。
  • 印刷:写真とポスターが各 5,000、新聞、アルバム、A4、顔の印刷、上半身の印刷が各 3,000。
  • 再生:スマートフォンとタブレットが各 10,000、PC の画面が 5,000。
  • マスク:3D マスク 12,768、部分マスク 10,579、ガレージキット 1,488、リアルドール 165。

三つの大きなカテゴリの下に、合わせて 14 種類の攻撃がある。各カテゴリの中では、サブカテゴリごとの枚数ができるだけ揃うようにしている。

六段構成の推論

回答はどれも六つのタグで区切られる:

text
<Caption>画像全体に何が写っているか</Caption>
<Facial Description>顔の様子</Facial Description>
<Facial Attributes>目、鼻、口、肌などの細部</Facial Attributes>
<Reasoning>ここまでの情報をまとめ、一歩ずつ判断する</Reasoning>
<Spoofing Description>攻撃手法と決め手になる痕跡</Spoofing Description>
<Conclusion>Yes または No</Conclusion>

質問は「あなたは顔のなりすまし検知の専門家です。答えてください:これは攻撃ですか?」なので、Yes は攻撃、No は本物を表す。

論文冒頭の例は、女性の顔が印刷された紙のマスクを手に持つ人で、目、鼻、口の位置には穴が開けてある。六段の中身を順に並べると、次のようになる。

いちばん上に質問「これは攻撃ですか?」と例がある。例は、女性の顔が印刷された紙のマスクを手に持つ人で、目、鼻、口の位置には穴が開けてある。その下に六つの枠が上から下へ並ぶ。Caption:穴を開けたマスクを持ち、自分の顔を隠している人がいる。Facial Description:マスクには女性の顔が印刷され、穴は目鼻口の位置に合わせてある。Facial Attributes:印刷された目と目の穴が重なり、鼻の穴の部分はへこみ、口には穴が開き、素材は紙。Reasoning:本当の顔はマスクの裏に隠れ、印刷された目鼻と本当の顔がずれている。Spoofing Description:顔の特徴を印刷した紙のマスク。最後の枠は赤枠で示した Conclusion:Yes。
原論文 Figure 1 の例を言い換えて本稿で作図。

大きなものから小さなものへ、全体から部分へと進み、最後にようやく結論を出す。著者らによれば、人が真偽を見分けるときの順序をまねたものだという。

GPT-4o に答えを見ながら書かせる

Gold100K の六段の文章は GPT-4o が書いた。付録には、GPT-4o が毎回受け取る五つのものが書かれている。画像、システムプロンプト、質問、ヒント、そしてその画像のラベルだ。

システムプロンプトは GPT-4o に「審査員」の役を与え、六段の形式で答えさせる。しかも結論は模範解答と完全に一致しなければならない。つまり GPT-4o が書くのは自分の判断ではなく、答えを知ったうえでの詳しい解説だ。

なぜ答えとヒントを渡すのか。付録に例が一つある。日本の新聞を撮影した画像で、GPT-4o は新聞の紙面だと見抜いたのに、攻撃ではないと判定した。理由は、顔が鮮明で自然、加工の跡がなく、新聞にも顔の入れ替えや改ざんの兆候はない、というものだった。GPT-4o は「攻撃」をデジタルな改ざんのことだと受け取っていたのだ。

上は攻撃とラベル付けされた画像で、撮影された日本の新聞。左の分岐はヒントなしで、GPT-4o は、日本の新聞の紙面だと分かる、顔は鮮明で自然で加工の跡がない、新聞にも顔の入れ替えや改ざんの兆候はない、と書き、結論は No で誤り。右の分岐ではヒント「新聞の撮影は攻撃にあたる」を加え、GPT-4o は、新聞に印刷された写真で、直接撮影した人物ではなく、間接的に得た画像にあたる、と書き、結論は Yes でラベルと一致。
原論文の付録 Figure 7 にある二つのアノテーションを言い換えて本稿で作図。

「新聞の撮影は攻撃にあたる」というヒントを加えると、GPT-4o は答えを変えた。新聞に印刷されているのは、確かに実在の人物だ。新聞を撮った画像を攻撃とみなすかどうかは、なりすまし検知というタスク独自のルールである。そこで著者らは、紙と画面による 10 種類の攻撃それぞれに、「ポスターの撮影は攻撃にあたる」「スマートフォン画面の撮影は攻撃にあたる」のようなヒントを一文ずつ書いた。マスク類はモデルが自分で見分けられるので、ヒントは付けていない。

ゼロショットのモデルが紙と画面をすべて本物とみなしたのも、おそらくこれが理由の一つだ。このルールを教わっていないのである。

書き終えたら、正規表現で <Conclusion> の中身を取り出し、ラベルと照合する。一回目で 98,976 件が一致し、残りは GPT-4o にもう一度アノテーションさせた。それでも一致しなかった 581 件は難しいサンプルとして人手に回した。人手ではまず結論を確認し、次に推論や描写のどこが誤っているかを探し、直したうえで後ろの段がつながるように書き直す。

GPT-4o の費用は一枚あたり約 0.01 ドルで、10 万枚ならおよそ 1,000 ドルだ。

98 万件に広げる

さらに 100 万枚にアノテーションを付けるとなると、GPT-4o と人手では高くつきすぎる。著者らは代わりに、六段構成の推論を書くことに特化した caption モデルを訓練した。

まず Gold100K で教師あり微調整(SFT)をする。それで未見の画像にアノテーションを付けると、結論がラベルと一致したのは 88% だけで、よくある失敗は内容の誤りと形式の崩れだった。続いて強化学習を一段加える。報酬は二つだけだ。結論がラベルと一致すれば 1 点、形式が六段のテンプレートに合っていれば 1 点。さらに KL ペナルティで引き止め、SFT 版から離れすぎないようにする。これを終えると、無作為に抽出した未アノテーションの画像 2,000 枚で、一致率は 99.6% まで上がった。

このモデルで CelebA-Spoof と WFAS の訓練セットにアノテーションを付けたものが Silver982K で、うち本物は約 36.8 万件。結論がラベルと一致しないサンプルは、こちらも人手で修正した。caption モデルの訓練は A100 8 枚でおよそ一日、アノテーション自体は約 288 GPU 時間。二つのサブセットの人手によるクリーニングには、アノテーター 6 人で三日かかった。

CEPL:まず目を鍛え、それから話すことを学ぶ

バックボーンは MiniCPM-V-2.6-8B で、視覚エンコーダ、resampler、言語モデルからなり、入力は 448×448 にリサイズする。CEPL(CoT-Enhanced Progressive Learning)は二つの段階に分かれる:

  • Stage 1、視覚強化の事前学習:全パラメータを微調整し、六段の推論の文章だけを教師信号にする。狙いは、視覚エンコーダが文章中の細部の描写、たとえばマスクの縁、紙の質感、画面の反射に導かれて、そうした箇所に注意を向けられるようにすることだ。
  • Stage 2、マルチタスクの同時訓練:Stage 1 の視覚エンコーダだけを残し、resampler と言語モデルはもとの事前学習の重みに戻す。言語モデルに LoRA を加え、推論の文章と二値ラベルを同時に使って訓練する。

Stage 2 では、なぜ言語モデルをリセットするのか。論文は、視覚エンコーダが学んだ細部を保ち、ほかのモジュールは事前学習の重みに戻すと述べるだけで、それ以上は説明していない。一つの解釈として、Stage 1 は文章による教師信号を借りて視覚エンコーダを訓練する手段にすぎず、その段階で言語モデルが学んだことは残す必要がない、と見ることができる。

訓練は AdamW、学習率 1e-6、最大 10 epoch、バッチサイズ 256、A100 8 枚で、各実験は三つの乱数シードで回して平均を取る。

スコアはどこから来るのか

なりすまし検知の指標である HTER と AUC には、連続値のスコアが必要だ。付録にそのやり方が明記されている。ランダム性を切って貪欲デコードを行い、モデルが生成する最初の token について Yes と No の logits を取り、softmax をかける:

preal=eℓNoeℓNo+eℓYesp_{\text{real}} = \frac{e^{\ell_{\text{No}}}}{e^{\ell_{\text{No}}} + e^{\ell_{\text{Yes}}}}
フロー図。画像と質問「これは攻撃ですか?」を、CEPL で訓練した MiniCPM-V に渡す。モデルが生成する最初の token が赤枠で示され、中に Yes と No の logit がある。その下に「両者に softmax をかけ、No の確率を取る」が続き、本物のスコアとなって HTER と AUC の計算に使われる。最初の token の右側には灰色の後続の出力があり、スコアに影響しないと注記されている。
原論文の付録 2.3 節から本稿で作図。

最初の token が出た時点では、推論の文章はまだ一文字も出ていない。つまり表の成績が測っているのは、モデルが直接答える力だ。六段の推論が影響するのはモデルの学び方で、スコアそのものは推論の文章が現れる前に決まっている。

討論

One-to-Eleven

プロトコルは I-FAS の Protocol 2 を踏襲し、訓練後そのまま 11 のデータセットでテストする:MSU-MFSD、CASIA-MFSD、Replay-Attack、OULU-NPU、SiW、Rose-Youtu、HKBU-MARs-V1+、WMCA、SiW-M-V2、CASIA-SURF-3DMask、HiFiMask。

比べるときは、訓練データを区別しておく必要がある。表のベースライン手法はどれも CelebA-Spoof だけで訓練しており、著者らのモデルには三つのバージョンがある。HTER と AUC はどちらも 11 データセットの平均(%)だ:

手法訓練画像HTERAUC
ViTAFCelebA-Spoof23.8582.82
ViT-LCelebA-Spoof21.0885.61
FLIPCelebA-Spoof18.7387.90
I-FASCelebA-Spoof11.3093.71
Ours-CelebACelebA-Spoof8.5696.37
Ours-100KGold100K7.6596.59
Ours-All全 108 万件6.3097.77

論文の言う「HTER が 5 ポイント下がった」は、Ours-All と I-FAS の比較だ。Ours-All には WFAS の画像が加わっていて、条件が違う。条件が最も近いのは Ours-CelebA で、CelebA-Spoof の画像だけを使い、HTER は 11.30% から 8.56% に下がった。そこで使う六段の推論は caption モデルが書いたもので、その caption モデルは WFAS の画像を含む Gold100K で学習している。

データセットごとに見ると、訓練データの影響がよりはっきりする(HTER、%):

テストデータセットI-FASCelebAAll
CASIA-SURF-3DMask6.186.210.40
HiFiMask28.2328.6815.93
HKBU-MARs-V1+18.646.967.34
OULU-NPU14.869.475.86
WMCA20.0711.5110.16
SiW4.020.790.48
MSU-MFSD5.638.335.00
Replay-Attack9.159.8712.75
  • CASIA-SURF-3DMask と HiFiMask は、CelebA-Spoof だけでは I-FAS とほとんど変わらず、WFAS を加えて初めて大きく改善する。この二つのデータセットでの進歩は、主に WFAS に含まれるマスクのデータによるものだ。
  • 同じくマスクのデータセットである HKBU-MARs-V1+ は、CelebA-Spoof だけで 18.64% から 6.96% に下がる。OULU-NPU、WMCA、SiW も、CelebA-Spoof だけの段階ではっきり改善している。
  • 逆向きの例もある。MSU-MFSD は CelebA-Spoof だけだと I-FAS より悪い。Replay-Attack はデータを増やすと、かえって 9.87% から 12.75% に上がり、I-FAS の 9.15% よりも高くなる。

CoT、CEPL と解像度

アブレーション実験はどれも Gold100K で訓練している。いくつかの表に散らばった HTER を、一枚にまとめて描いた:

縦棒グラフ。縦軸は HTER(%)で、低いほど良い。入力 224×224:ラベルのみ・単一段階 17.07、ラベル+CoT・単一段階 11.28、CEPL は未測定。入力 448×448:ラベルのみ・単一段階 9.07、ラベル+CoT・単一段階 8.84、ラベル+CoT・CEPL 7.65。
原論文 Table 2、3、4 と付録 Table 11 の数値から本稿で作図。モデルはいずれも Gold100K で訓練。

この図を順に見ていく:

  1. 最も効くのは解像度だ。ラベルだけで 224 から 448 に替えると、HTER は 17.07% から 9.07% に下がる。
  2. CoT が最も役立つのは低解像度のとき。224 で六段の推論を加えると、HTER は 6 ポイント近く下がる。448 では、同じ単一段階の訓練で 0.23 しか下がらない。著者らの解釈では、推論の文章が、低解像度ではよく見えない細部をモデルが取り戻す助けになる。裏を返せば、画像が十分に鮮明なとき、その文章が補えるものは多くない。
  3. 448 で差が出るのは CEPL だ。8.84% から 7.65% に下がる。
  4. CEPL の後にさらに強化学習を加えても、良くはならない。HTER は 7.80% だ。著者らは、教師データがすでに十分多く、強化学習による上積みはわずかだと考えている。

付録でも触れているとおり、I-FAS を含め、なりすまし検知の手法の多くは 224×224 の入力を使う。主表でこの論文は 448×448 で比べており、上のアブレーションを見る限り、この一点だけでも小さくない優位を得ている可能性がある。

データの質についても、一組の比較がある。SFT だけの caption モデルでアノテーションしたデータで訓練すると、HTER は 8.00%。強化学習を加えた版に替えると、6.87% に下がる。

バックボーン、ゼロショット、従来の試験

  • バックボーンの交換:MiniCPM-V-2.6-8B のゼロショットの平均 HTER は 17.91%、訓練後は 6.30%。Qwen2.5-VL-7B はゼロショット 19.60%、訓練後 9.32%。どちらのバックボーンも恩恵を受けており、結果は MiniCPM-V のほうが良い。
  • 最も難しい攻撃:Rose-Youtu で、訓練後も最も見抜けていないのは、静止した紙(68.00%)と、Mac の画面で再生した動画(71.36%)だ。
  • OCIM:付録では、O、C、I、M の四つのデータセットを順にテストセットにする従来の試験方式も試しており、平均 HTER は 1.06%、I-FAS は 1.33%。四組のうち二組は、HTER で I-FAS に負けている(ICM→O は 2.81% 対 1.74%、OCI→M は 0.42% 対 0.32%)。著者ら自身も、この試験方式では AUC がすでにどれも 99% を超えていて、優劣がつけにくいと述べている。

まだ答えの出ていない問い

  • HTER の閾値:論文は閾値の決め方も、最大 10 epoch のうちどのチェックポイントを使ったかも書いていない。AUC は閾値を必要としないので、影響は比較的小さい。
  • 推論は忠実か:六段の推論は、もともと GPT-4o が答えを見ながら書いたもので、モデルが学ぶのはその書き方だ。しかもスコアは、推論より前の最初の token から取る。モデルが書いた理由が、実際に頼っている手がかりなのかどうか、論文は検証していない。著者らも限界の節で、FaceCoT は解釈可能性の評価に使えるが、今回はまだ行っていないと述べている。
  • 推論時のコスト:8B のモデルに 448×448 の画像を入れるが、論文は推論時間を報告していない。
  • 公開の範囲:データセットは契約に署名して著者に申請する必要があり、学術用途に限られる。しかも公開されるのはテキストのアノテーションだけで、画像は CelebA-Spoof と WFAS から自分で入手しなければならない。GitHub にはモデルの重みとコードを「論文の正式採択後に公開」と書かれており、今も未公開の表示のままだ。

結論

FaceCoT は、108 万件、各件に六段の推論が付いたなりすまし検知の問答データを作った。最初の 10 万件は GPT-4o が答えを見ながら書いて人手で仕上げ、残りは強化学習で調整したアノテーション用のモデルで増やした。これで MiniCPM-V を訓練すると、One-to-Eleven の平均 HTER は 6.30% まで下がり、CelebA-Spoof の画像だけでも 8.56% になる。

とはいえ、いちばん実用的なのはアブレーションの表だ。ラベルだけで入力を 224 から 448 に替えると、HTER は 17.07% から 9.07% に下がる。448 では、単一段階の訓練で六段の推論が上乗せしたのは 0.23 ポイントだけだった。手元のマルチモーダルななりすまし検知モデルがまだ 224 の顔を入力にしているなら、まず解像度を上げよう。1,000 ドルかけて GPT-4o に解説を書かせるかどうかは、それから決めればいい。

同じ CVPR の TAR-FAS は、別の道を選んだ。推論を長く書かせる代わりに、推論の途中で LBP や FFT といった古いツールを呼び出して見させる。二つの論文は同じ One-to-Eleven を使っており、CelebA-Spoof だけで訓練した場合、TAR-FAS の 7.54% はこの論文の 8.56% より少し低い。ただし、バックボーンも入力解像度も違う。

冒頭で本物扱いされた紙と画面については、汎用モデルばかりを責めるわけにもいかない。最初は GPT-4o でさえ、教えてもらうまで、新聞を撮るのも反則だとは知らなかったのだから。