論文ノートライブラリに戻る
arXiv 2024CVPR 2024顔のなりすまし検知論文ノート

CFPL-FAS

クラスなしのプロンプト学習

原論文

CFPL-FAS: Class Free Prompt Learning for Generalizable Face Anti-spoofing

論文の著者

Ajian Liu · Shuai Xue · Jianwen Gan …

著者全 8 名を表示

Ajian Liu · Shuai Xue · Jianwen Gan · Jun Wan · Yanyan Liang · Jiankang Deng · Sergio Escalera · Zhen Lei

発表先
CVPR 2024国際会議
arXiv への初回投稿
arXiv:2403.14333
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{faceantispoofingcfplfas2024,
  title = {{CFPL-FAS: Class Free Prompt Learning for Generalizable Face Anti-spoofing}},
  author = {Ajian Liu and Shuai Xue and Jianwen Gan and Jun Wan and Yanyan Liang and Jiankang Deng and Sergio Escalera and Zhen Lei},
  year = {2024},
  eprint = {2403.14333},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2403.14333}
}
このページの内容

この論文の構成は少し複雑です。でも題名から、三つの分かりやすい手掛かりを拾えます。

  • 一つ目は Class Free。
  • 二つ目は Prompt Learning。
  • そして使う場面は Face Anti-spoofing です。

この三つを押さえると、読み進めやすくなります。

FAS は顔認証を守る仕組みです。写真や動画を使って別人になりすます攻撃を防ぎます。著者の狙いは FAS なので、まず従来の考え方から見ていきましょう。

問題の定義

初期の研究は、テクスチャ、スペクトル、動きなどの特徴を設計し、本物の顔と偽物を分けました。ただし手作りの特徴には限りがあります。そこで CNN などの深層学習で、偽顔の特徴を探すようになります。

しかし、守る側が進めば攻める側も進みます。攻撃者は高品質の写真や動画を使うようになりました。

未知の攻撃へ備える近年の方法の一つが、Domain Generalization(DG) です。学習データへの過度な適合を抑え、見たことのないデータでも使える特徴を目指します。

さらに大規模モデルの時代になり、異なるモダリティの知識を FAS に使う研究も増えました。


ここからは Prompt Learning を入口に考えます。

大規模モデル全体を自分で訓練するのは、普通は難しい。そこでプロンプトを使って大規模モデルからテキスト側の特徴を得て、自分のモデルの学習を導く考え方が広まりました。

CLIP 以降によく知られるようになり、BLIP-2 は少数の token で知識を取り出す Q-Former を提案しました。

この論文へ戻ります。

著者も FAS に Prompt Learning を使いたい。ただし FAS のクラスは少なく、事前学習モデルは FAS のために訓練されたわけでもありません。固定されたクラス説明をプロンプトにするだけでは、役に立つ手掛かりや汎化を得にくいのです。

そこで問題ははっきりします。FAS で Prompt Learning を使いながら、事前に用意したクラスごとの提示に頼らず、未知のドメインへ汎化できるか?

具体的な方法を見ましょう。

問題の解決

モデルの構成

上は全体図です。そのまま読もうとするのは、あまり人間工学的ではありません。

順に分けて見ます。

Prompts Generation

FAS の手掛かりは、画像の中に目立たず隠れています。

著者は、その手掛かりを得るために二組の特徴を作ります。

  1. Content Q-Former(CQF):軽い Transformer の学習可能なクエリを画像の内容特徴に向け、内容のプロンプトを作る。
  2. Style Q-Former(SQF):別のクエリを画像のスタイル統計へ向け、スタイルのプロンプトを作る。

全体図では、次の部分です。

クエリは学習可能で、各組 16 個です。著者は ICM→O の設定で個数を比較し、この値を採用しました。

クエリが参照するのは、CLIP の Image Encoder から得る特徴です。スタイルにはエンコーダの各層の出力を使います。層ごとの平均と標準偏差を連結し、さらに層間で平均すると、画像のスタイル特徴 vs\boldsymbol{v}_s になります。

vs=∑l=1LvslL,vsl=[μ(vl) ∣∣ σ(vl)],vs∈R1×2d\boldsymbol{v}_{s} = \frac{\sum_{l=1}^{L}\boldsymbol{v}^{l}_{s}}{L}, \quad \boldsymbol{v}^{l}_{s} = \left[\mu(\boldsymbol{v}^{l}) \,||\, \sigma(\boldsymbol{v}^{l})\right], \quad \boldsymbol{v}_{s} \in \mathbb{R}^{1 \times 2d}

LL は画像エンコーダの層数、[⋅∣∣⋅][\cdot||\cdot] は特徴を埋め込み次元で連結することを表します。

最終層の出力を正規化すると、画像の内容特徴 vc\boldsymbol{v}_c です。

vc=vL−μ(vL)σ(vL),vc∈Rn×d\boldsymbol{v}_{c} = \frac{\boldsymbol{v}^{L} - \mu(\boldsymbol{v}^{L})}{\sigma(\boldsymbol{v}^{L})}, \quad \boldsymbol{v}_{c} \in \mathbb{R}^{n \times d}

CQF は vc\boldsymbol{v}_c を、SQF は vs\boldsymbol{v}_s を参照します。こうして二組のプロンプト特徴を得ます。

学習中には Diversified Style Prompt(DSP) も使います。同じバッチの異なる画像の平均と標準偏差を混ぜ、SQF にさまざまなスタイルを見せます。推論時には使いません。

Prompt Optimization

ここでは、図の青と緑で囲まれた部分を見ます。

前の段階で作ったプロンプトは、そのままでは FAS の判断に使いにくい。CLIP は FAS 専門の知識を持っていないからです。

そこで著者は、Content Q-Former(以下 CQF)へ一致判定の課題を与えます。プロンプトとテキストの特徴を組にして、内容が合っているかを予測させるのです。

まず、「a photo of a [CLASS] face」という文を用意します。[CLASS] は live と fake の二つです。CLIP の Text tokenizer と Text embedding 層で文を埋め込みへ変え、学習の監督に使います。ここでも真偽ラベルは必要です。

準備ができたら、正例と負例の組を作ります。

ALBEF の Hard Negative Mining を参考に、似ていて間違えやすい不一致の組を選びます。プロンプトごとに合わないテキストを、テキストごとに合わないプロンプトを選ぶ仕組みです。論文は、プロンプトを別途ため込む memory bank を説明していません。

組にした特徴を全結合層に渡し、交差エントロピーで最適化します。式を順に見ましょう。

S=Embed(Tokenizer(T)),S∈RB×77×d\boldsymbol{S} = \texttt{Embed}(\texttt{Tokenizer}(\boldsymbol{T})), \quad \boldsymbol{S} \in \mathbb{R}^{B \times 77 \times d} S=Mean&Expand(S),S∈RB×N×d\boldsymbol{S} = \texttt{Mean\&Expand}(\boldsymbol{S}), \quad \boldsymbol{S} \in \mathbb{R}^{B \times N \times d} Rp=[P ∣∣ S]2,Rp∈RB×N×2d\boldsymbol{R}_{p} = \left[\boldsymbol{P} \,||\, \boldsymbol{S}\right]_{\texttt{2}}, \quad \boldsymbol{R}_{p} \in \mathbb{R}^{B \times N \times 2d} R=[Rp ∣∣ Rnprompt ∣∣ Rntext]0,R∈R3B×N×2d\boldsymbol{R} = \left[\boldsymbol{R}_{p} \,||\, \boldsymbol{R}^{prompt}_{n} \,||\, \boldsymbol{R}^{text}_{n}\right]_{\texttt{0}}, \quad \boldsymbol{R} \in \mathbb{R}^{3B \times N \times 2d}

最後に、組が一致している確率を予測します。

Lptm=∑i=13BH(yiptm,Mean(FCptm(Ri)))\mathcal{L}_{ptm} = \sum_{i=1}^{3B} \mathcal{H}\left(\boldsymbol{y}^{ptm}_{i}, \texttt{Mean}(\texttt{FC}^{ptm}(\boldsymbol{R}_{i}))\right)

各クエリの特徴を二クラスの線形分類器へ入れ、得られた logits の平均を組の一致スコアにします。H(⋅,⋅)\mathcal{H}(\cdot,\cdot) は交差エントロピー、FCptm\texttt{FC}^{ptm} は softmax を伴う全結合層、yptm∈{0,1}\boldsymbol{y}^{ptm}\in\{0,1\} は一致・不一致のラベルです。


LptmL_{ptm} の R\boldsymbol{R} には三つの組が入ります。Rp\boldsymbol{R}_p は一致する正例、Rnprompt\boldsymbol{R}^{prompt}_n と Rntext\boldsymbol{R}^{text}_n は二種類の不一致の負例です。

PTM の経路は、合うプロンプト・テキストと、二通りの合わない組を同時に比べているわけです。

Class Free Prompt

最後に、Class Free Prompt です。

プロンプトの特徴も、最適化の方法もそろいました。ここからは意外と簡単です。

従来のプロンプト学習では、クラスを表す文章の特徴を、そのまま分類器の重みとして使う方法があります。著者は、そのような決め打ちのクラス説明に依存すると、ドメインをまたいだ汎化を狭めると考えました。

そこで内容とスタイルのプロンプトを画像ごとに動的に作ります。Text Encoder に通してチャネルごとの調整重みを得ますが、最後の仕事は依然として live/fake の二値分類です。PTM もこの二つのラベルを使います。攻撃の種類をすべて文章で列挙し、その文章を分類器の重みにする必要がない、という意味の Class Free です。


赤く囲んだ部分が、この分類経路です。

CQF と SQF のプロンプトをそれぞれ CLIP の Text Encoder に通します。二つのテキスト特徴を連結し、sigmoid を備えたゲートで、各チャネルの重み w\boldsymbol{w} を作ります。CLIP Image Encoder の視覚特徴に要素ごとに掛け、最後の全結合層が live/fake を予測します。最適化には交差エントロピーを使います。

Prompt Modulation の式は次のとおりです。

w=δ(ge(t,W))=δ(W2σrelu(W1t)),\boldsymbol{w} = \delta (\texttt{g}_{e}(\boldsymbol{t}, \mathbf{W})) = \delta (\mathbf{W}_{2}\sigma_{\textrm{relu}}(\mathbf{W}_{1}\boldsymbol{t})), v~=[v~1,v~2,…,v~d],v~c=wc⋅vc,\boldsymbol{\tilde{v}} = \left[\boldsymbol{\tilde{v}}^{1}, \boldsymbol{\tilde{v}}^{2}, \dots, \boldsymbol{\tilde{v}}^{d} \right], \quad \boldsymbol{\tilde{v}}^{c} = \boldsymbol{w}^{c} \cdot \boldsymbol{v}^{c}, Lcls=∑i=1BH(yicls,FCcls(v~i)),v~∈RB×d\mathcal{L}_{cls} = \sum_{i=1}^{B} \mathcal{H}(\boldsymbol{y}^{cls}_{i}, \texttt{FC}^{cls}(\boldsymbol{\tilde{v}}_{i})), \quad \boldsymbol{\tilde{v}} \in \mathbb{R}^{B \times d}

σrelu\sigma_{\textrm{relu}} は ReLU、W1∈Rdr×2d\mathbf{W}_1 \in \mathbb{R}^{\frac{d}{r} \times 2d} と W2∈Rd×dr\mathbf{W}_2 \in \mathbb{R}^{d \times \frac{d}{r}} は学習する全結合層の重みです。縮小率 rr は 16。各視覚チャネル vc\boldsymbol{v}^{c} に、対応する一つの重み wc\boldsymbol{w}^{c} を掛けます。調整後の v~\boldsymbol{\tilde{v}} が分類層 FCcls\texttt{FC}^{cls} に入り、真顔か偽顔かの確率を出します。ycls\boldsymbol{y}^{cls} は、その二値ラベルです。

学習するのは画像エンコーダ、CQF、SQF、二つの分類層、ゲートです。CLIP の Text Encoder は凍結します。

データセット、プロトコル、評価指標

著者は二つのプロトコルで、見たことのないドメインへの汎化を調べます。

  • プロトコル 1:MSU-MFSD(M)、CASIA-FASD(C)、Idiap Replay-Attack(I)、OULU-NPU(O)の四つ。
  • プロトコル 2:CASIA-SURF(S)、CASIA-SURF CeFA(C)、WMCA(W)の RGB 画像。利用者数、攻撃、撮影条件がより多様です。

データセットを一つのドメインとし、一つを残してほかで学習します。指標は三つです。

  1. HTER(Half Total Error Rate):FRR と FAR の平均。低いほど良い。
  2. AUC(Area Under Curve):判定閾値を変えたとき、真偽を区別できる度合い。高いほど良い。
  3. FPR=1% での TPR:誤報率を 1% に固定したときの真陽性率。高いほど良い。

実装の詳細

  • クエリ:内容とスタイルの長さはそれぞれ 16、次元は 512。CQF と SQF の深さは 1。
  • スタイルの多様化:学習時に確率 50% で使い、テスト時には使わない。
  • 学習:バッチサイズ 12、Adam、weight decay 0.05、第二段階の最小学習率 1e-6。画像は 224×224 にし、ランダム切り出しと水平反転を加えて、計 500 epoch 学習する。

実験結果の考察

実験結果

プロトコル 1:CelebA-Spoof を追加しない方法どうしでは、CFPL は四つの対象データセットの HTER と AUC で表中最良です。ほかの手法には TPR@FPR=1% が載っていないため、この指標を横並びには比べられません。

HTER を見ると、M は 3.09% 対 5.41%、C は 2.56% 対 8.70%、I は 5.43% 対 10.62%、O は 3.33% 対 8.86%。いずれも CFPL のほうが低い値です。

平均 HTER は 3.60% で、従来の比較結果 7.82% より低くなりました。CelebA-Spoof を追加した場合、CFPL* は FLIP-MCL* の 3.01% に対して 2.98%。ただし、目標ドメインの画像を五枚使う ViTAF*-5-shot の 2.83% には届きません。


プロトコル 2:CelebA-Spoof を追加しない場合、CFPL は W と C の HTER で表中の比較法より低い値です。ただし C の AUC と TPR@FPR=1% は最良ではありません。

S では CLIP-V のほうが強く、CFPL の HTER/AUC/TPR は 8.77%/96.83%/53.34%、CLIP-V は 8.32%/97.23%/57.28% です。CLIP の TPR も 60.75%。著者は、CASIA-SURF の攻撃には目に見える手掛かりが多く、視覚特徴だけでも汎化しやすい可能性を挙げています。

CelebA-Spoof を追加した CFPL* の平均 HTER は 7.01%。ViT* の 10.82%、FLIP-MCL* の 8.61% より低い一方、ViTAF*-5-shot は 6.83% です。後者は目標ドメインの画像を五枚使うため、学習条件は同じではありません。

アブレーション実験

  1. 各部品の働き

    • Baseline は PTM、DSP、PM を外しても、CQF と SQF は残します。CoOp の自由な学習ベクトルと比べ、画像を条件にした内容・スタイルのプロンプトだけでも、平均 HTER は 0.67 ポイント低く、AUC は 1.32 ポイント高く、TPR@FPR=1% は 7.88 ポイント高くなります。
    • テキスト監督の PTM を加えると、HTER 7.50%、AUC 96.39%、TPR 54.78% に改善します。この設定では、内容のプロンプトへクラスに関係する情報を持たせることが役立ちました。
    • DSP によってスタイルを多様化すると、さらに HTER は 0.42 ポイント低下、AUC は 0.40 ポイント上昇、TPR は 2.83 ポイント上昇します。
    • PM のゲートを外すと、HTER は 6.72% から 7.08% へ上がり、AUC は 97.09% から 96.79%、TPR は 60.35% から 57.61% へ下がります。
  2. CQF と SQF の構成

    • ICM→O では、単純な二層ボトルネックより CQF と SQF のほうが良い結果でした。HTER はそれぞれ 1.68、1.96 ポイント低下し、AUC は 1.38、1.48 ポイント上昇、TPR は 13.26、26.67 ポイント上昇しました。
    • CQF と SQF を合わせると、HTER 3.33%、AUC 99.05%、TPR 90.06% と、表の三指標で最良です。この評価方向では、二つを組み合わせる意味があります。
  3. クエリ数と Q-Former の深さ

    • ICM→O でクエリ数を 8、16、32、64、深さを 1、4、8、12 と変えて調べています。

    • 表からは二つのことが分かります。

      1. クエリ数 16 は最良に近い値ですが、深さ 1・クエリ数 64 の HTER 3.30% が表の最小値です。数を増やす利得は小さく、深さを変えても一方向には改善しません。
      2. Q-Former の深さによる性能差は比較的小さく、値は少しずつ上下します。

    そのため著者は、クエリ数 16、深さ 1 を標準の設定にします。

可視化分析

著者は、選んだサンプルについて Baseline と CFPL の視覚的な注意マップを比べます。この例では Baseline が誤り、CFPL が正答しました。ヒートマップはモデルが見た領域を考える助けになりますが、数枚の図だけで、すべての誤りの原因は分かりません。

プロトコル 1 の OCM→I の真顔の例では、Baseline の注意は背景へ寄り、CFPL は顔と背景の境界も見て正しく分類しました。Replay 攻撃の例でも見た場所は異なります。ただし、明るく表示された部分だけでは、どの偽造の手掛かりが決定的だったかを確定できません。

結論

読み終えると、著者の設計の面白さが見えてきます。

CLIP の知識は使いたい。でも CLIP は FAS を専門に学んだわけではありません。どうすればよいのでしょう?

著者は画像の内容とスタイルから CQF と SQF でプロンプトを作ります。これは FAS の特徴を扱うための、調整できるプラグインのようなものです。プロンプトを学習済みの CLIP Text Encoder に通し、画像に合わせたテキスト側の特徴を得ます。ここで Text Encoder は凍結し、Image Encoder と二つの Q-Former は学習します。

たとえば「Monitor」「Face」などの token の組み合わせで Replay の手掛かりに近いものを、「Paper」「Texture」などの組み合わせで Print の手掛かりに近いものを表せるかもしれません。大事なのは、モデルが画像に応じて役立つ表現を探すことです。

最後は、テキスト側の特徴から作るチャネルごとの重みを、Image Encoder の視覚特徴に掛け、live/fake を分類します。画像と文章の単純な内積ではありません。

面白い設計ですね。