論文ノートライブラリに戻る
ACM Multimedia 2024顔のなりすまし検知論文ノート

FM-CLIP

言語からの指針

原論文

FM-CLIP: Flexible Modal CLIP for Face Anti-Spoofing

論文の著者

Ajian Liu · Hui Ma · Junze Zheng …

著者全 9 名を表示

Ajian Liu · Hui Ma · Junze Zheng · Haocheng Yuan · Xiaoyuan Yu · Yanyan Liang · Sergio Escalera · Jun Wan · Zhen Lei

発表先
ACM Multimedia 2024国際会議
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@inproceedings{faceantispoofingfmclip2024,
  title = {{FM-CLIP: Flexible Modal CLIP for Face Anti-Spoofing}},
  author = {Ajian Liu and Hui Ma and Junze Zheng and Haocheng Yuan and Xiaoyuan Yu and Yanyan Liang and Sergio Escalera and Jun Wan and Zhen Lei},
  year = {2024},
  booktitle = {ACM Multimedia},
  url = {https://doi.org/10.1145/3664647.3680856},
  doi = {10.1145/3664647.3680856}
}
このページの内容

FAS(顔偽装防止)の分野で言う「マルチモーダル」とは、通常、RGB、深度、赤外線などの異なるセンサーを指す。

しかし近年、もう一つの「モーダル」が台頭している。それは自然言語である。

問題の定義

Face Anti-Spoofing(FAS)の最初の戦場は映像そのものであった。

研究者たちは畳み込みネットワークを設計し、テクスチャ、深度、反射率などの特徴を抽出して、本物か偽物かを判別してきた。

しかし攻撃手法が進化するにつれ、高解像度のプリント、リプレイ、3D マスクにより、単一モーダルの防御線は徐々に破られていった。

この攻防に対応するため、FAS ではマルチモーダル融合が導入された。RGB は可視光、IR は赤外信号、Depth は幾何構造を記録し、それぞれの手がかりを補い合わせる。

しかしこの路線にも亀裂がある。

多くの融合モデルは RGB、Depth、IR が訓練時に揃い、テスト時も同じ入力が来ると想定する。センサーが欠けると性能が大きく落ちる場合があり、入力経路を変更しないと動かない構成もある。ハードウェアのコストや設置条件を考えると、この「モーダルの一貫性」は保証しにくい。

そこで「Flexible Modal」の概念が生まれた。

訓練時には対応づけられた複数モーダルを使い、テスト時には RGB、Depth、IR のどれか一つだけでも処理できるようにする。FM-ViT などの先行手法は、主にセンサー特徴の間で移し替えられる偽装の手がかりを探していた。

自然言語の台頭により、新たな可能性が見えてきた。

言語は世界の光や形を直接捉えるのではなく、経験の記述や解釈、整合を行う。

言語はセンサーの次元を超えた整合の仕組みを与え、異なる観測の間に意味的な共通点を探せます。

もしかすると、分断されたモーダルの隙間に自然言語で橋を架け、真偽を捉え直せるかもしれません。

問題の解決

モデル構造

著者は、FAS のために CLIP を基盤とするマルチモーダル整合モデル FM-CLIP を提案します。

全体は凍結した CLIP の画像・テキストエンコーダの上に作ります。視覚側の CMSE アダプターと、テキスト prompt の context ベクトルは学習します。

上図のように、FM-CLIP は主に二つのブランチに分けられる:

  • 視覚ブランチ:訓練時に RGB、Depth、IR などのセンサー情報を受け取り、ViT の画像エンコーダで処理します。
  • 言語ブランチ:prompt learning で作るテキストベクトルを補助信号にし、視覚特徴の整合を導きます。

信号の流れに沿って、部品を一つずつ見ていきましょう。

CMS-Enhancer

ViT は基本的に自己注意によって情報を扱うため、局所的な構造や周波数の信号を明示的に取り出す経路がありません。

そこで著者は、ViT に偽装の手掛かりを強めるモジュールを挿入します。

  • Cross-Modal Spoofing Enhancer(CMS-Enhancer)

入力特徴を二つの平行チャネルに分解する:

  • 空間特徴:Spatial Extractor(SE)を用いて細粒度のテクスチャを抽出。
  • 周波数特徴:Frequency Extractor(FE)で ViT の特徴に DCT をかけ、周波数情報を取り出します。

Spatial Extractor (SE) の処理は以下の通り:

FSE_output(j)=Conv1(GELU(Conv3(GELU(Conv1(Finput(j))))))F_{\text{SE\_output}}^{(j)} = \text{Conv1}(\text{GELU}(\text{Conv3}(\text{GELU}(\text{Conv1}(F_{\text{input}}^{(j)})))))

簡単な畳み込み構造に GELUGELU 活性化関数を組み合わせて、局所的な画像特徴を取得する。

最後に残差接続を加える:

F^spatial(j)=FSE_output(j)⊕Finput(j)\hat{F}_{\text{spatial}}^{(j)} = F_{\text{SE\_output}}^{(j)} \oplus F_{\text{input}}^{(j)}

Frequency Extractor (FE) は以下のように定義される:

FFE_output(j)=σ(Conv1(GELU(Conv1(DCT(Finput(j))))))F_{\text{FE\_output}}^{(j)} = \sigma(\text{Conv1}(\text{GELU}(\text{Conv1}(\text{DCT}(F_{\text{input}}^{(j)})))))

ViT の特徴に DCT をかけ、その後に畳み込みと GELU を適用します。ここで扱うのは特徴の周波数情報で、別の入力画像ではありません。

その重みと入力特徴を要素ごとに掛け合わせる。

F^frequency(j)=FFE_output(j)⊗Finput(j)\hat{F}_{\text{frequency}}^{(j)} = F_{\text{FE\_output}}^{(j)} \otimes F_{\text{input}}^{(j)}

Cross-Modal Interactor

異なるモーダルの空間特徴は大きく違っても、周波数の側には共有できる手掛かりがあるかもしれません。そこで著者は、Cross-Modal Interactor(CMI) を設計します。

  • 各モーダルについて gate map を計算し、元の特徴への重みを決めます。
  • 逆向きの重み 1−M1-M を使い、もう一方のモーダルから情報を補います。

gate map の計算:

Mfreq.RGB=σ(Conv3(Ffreq.RGB))M_{\text{freq.RGB}} = \sigma(\text{Conv3}(F_{\text{freq.RGB}})) Mfreq.Depth=σ(Conv3(Ffreq.Depth))M_{\text{freq.Depth}} = \sigma(\text{Conv3}(F_{\text{freq.Depth}}))

sigmoid を通すため、重みは 0〜1 の間になります。人が注釈した情報密度図ではなく、学習された gate です。

続いて相互補完過程:

eFfreq.RGB-Depth=(1−Mfreq.RGB)⊗eFfreq.DeptheF_{\text{freq.RGB-Depth}} = (1-M_{\text{freq.RGB}}) \otimes eF_{\text{freq.Depth}} eFfreq.Depth-RGB=(1−Mfreq.Depth)⊗eFfreq.RGBeF_{\text{freq.Depth-RGB}} = (1-M_{\text{freq.Depth}}) \otimes eF_{\text{freq.RGB}}

RGB 側の重みが小さいところでは、1−Mfreq.RGB1-M_{\text{freq.RGB}} により Depth の強化特徴から補います。もう一方の向きも同じです。

最後に元の特徴、強化特徴、補完特徴を融合:

FE_freq.RGB=Ffreq.RGB⊕eFfreq.RGB⊕eFfreq.RGB-DepthF_{E\_\text{freq.RGB}} = F_{\text{freq.RGB}} \oplus eF_{\text{freq.RGB}} \oplus eF_{\text{freq.RGB-Depth}} FE_freq.Depth=Ffreq.Depth⊕eFfreq.Depth⊕eFfreq.Depth-RGBF_{E\_\text{freq.Depth}} = F_{\text{freq.Depth}} \oplus eF_{\text{freq.Depth}} \oplus eF_{\text{freq.Depth-RGB}}

これらを対応する空間特徴と統合し、強化特徴とする。

こうしてマルチモーダル訓練では、自分のモーダルの細部だけでなく、別のモーダルからの補足情報も学びます。Flexible Modal のテストでは、視覚入力は一種類だけです。

言語誘導パッチ整合

視覚信号の処理が一段落した後、著者は自然言語モーダルを導入し、各パッチを偽装の手がかりに注目させることを試みる。

テキストブランチでは Prompt Learning によりコンテキストベクトル v={v1,v2,...,vM}\mathbf{v} = \{v_1, v_2, ..., v_M\} を学習し、real/fake のクラス cic_i とつなげる。

ti={v1,v2,...,vM,ci}t_i = \{v_1, v_2, ..., v_M, c_i\}

この手法自体は近年よく使われています。簡単で効果的ですが、学習された token が何を意味するのかを言葉で説明するのは難しいところです。

テキストエンコーダ g(⋅)g(\cdot) を通し、テキスト特徴量 ftextf_{\text{text}} を生成する。

先ほどの視覚ブランチでは、CLS token fimg(0)f_{\text{img}}^{(0)} と Patch token fimg(1:N)f_{\text{img}}^{(1:N)} を得ました。著者はここで二重の整合を行います。

  1. CLS token の整合:CLS と real/fake に対応する EOS ベクトルを比較し、大域的に分類します。
  2. Patch token の整合(LGPA):各 Patch token とテキスト特徴の類似度行列を計算します。
S=fimg(1:N)⋅(ftext)TS = f_{\text{img}}^{(1:N)} \cdot (f_{\text{text}})^T

続いて加重和を計算:

f^img(1:N)=softmax(S)⋅ftext+fimg(1:N)\hat{f}_{\text{img}}^{(1:N)} = \text{softmax}(S) \cdot f_{\text{text}} + f_{\text{img}}^{(1:N)}

こうして各 Patch が言語の手掛かりを使い、偽装の痕跡がありそうな局所情報へ改めて目を向けます。

損失関数設計

グローバルとローカル双方の整合を同時に監督するため、最後に二つの損失項が導入される:

  • CLS 損失(グローバル整合):

    LC=CrossEntropy(pcls_token,y)L_C = \text{CrossEntropy}(p_{\text{cls\_token}}, y)
  • パッチ損失(ローカル整合):

    LP=CrossEntropy(ppatch_token,y)L_P = \text{CrossEntropy}(p_{\text{patch\_token}}, y)

最終的な総損失は:

Ltotal=LC+LPL_{\text{total}} = L_C + L_P

大域的な判定と局所的な細部の両方を見て、全体の意味と小さな破綻の間の張り合いを保つ設計です。

実験結果と考察

著者は、マルチモーダル FAS でよく使われる三つのデータセットで試します。

  • CASIA-SURF(SURF):RGB、Depth、IR の三つのモーダルを含みます。
  • CASIA-SURF CeFA(CeFA):民族属性やモーダルの違いを含み、Protocol 1、2、4 を使います。
  • WMCA:多様な攻撃を含み、seen と unseen の評価を行います。

二つのテスト条件を使います。WMCA では、これに加えて seen/unseen の攻撃協定も分けて読みます。

  • 固定モーダル(Fixed Modal):訓練時とテスト時に同じモーダルを使います。
  • 柔軟モーダル(Flexible Modal):複数モーダルで訓練し、テスト時には一種類だけを渡します。

指標には APCER、BPCER、ACER を使います。

固定モーダル結果

固定モーダルの設定では、FM-CLIP に改善の傾向が見られます。ただし、各表を分けて読む必要があります。

  • SURF(Table 1):FM-ViT の ACER 0.45% は CMS-Enhancer で 0.44%、LGPA も加えた FM-CLIP では 0.43% に下がります。ただし VisionLabs の 0.08% より高く、表全体の最良値ではありません。
  • WMCA(unseen protocol): 未知攻撃の平均 ACER は FM-ViT 2.49%、CMS-Enhancer 2.36%、FM-CLIP 2.29% へ下がります。
  • CeFA データセット: 三つの protocol で FM-CLIP の ACER は 0.95%、0.30%、0.87% です。Protocol 2 は FM-ViT の 0.30% と同じで、APCER は 0.46% から 0.47% へ上がります。また両モデルの Protocol 2 の APCER と BPCER から、表記された ACER は算出できません。ここは表の報告値として読む。

WMCA の seen 設定では、FM-CLIP の ACER 1.05% は FM-ViT の 1.00% より少し高い値です。論文には FM-CLIP の学習可能パラメータが少ないともありますが、FLOPs は逆に高いため、パラメータ数だけでこの結果や推論費用は説明できません。

柔軟モーダル結果

より難しい Flexible Modal テストでは、訓練に RGB、Depth、IR を使い、テストではどれか一種類だけを渡します。

この条件では、FM-CLIP に目立つ改善が見られます。

  • SURF:RGB、Depth、IR の単独入力では、FM-CLIP の ACER はいずれも FM-ViT より低く、もっとも大きい差は RGB の 2.17 ポイントです。
  • CeFA Protocol 4: RGB の ACER は 21.06% から 11.87% へ下がり、差は 9.19 ポイントです。IR は 2.88% から 2.07% で 0.81 ポイントの改善ですが、Depth は 2.25% から 2.29% へ少し悪化します。論文本文には IR の差が 8.1 と書かれていますが、表の値とは一致しません。
  • WMCA(seen protocol): RGB、Depth、IR のいずれでも、FM-ViT に対してさらに ACER が下がります。

コアコンポーネント分析

著者は二つの主要モジュール、CMS-Enhancer と VLA(Vision-Language Alignment)を外したときの違いも調べます。WMCA(seen)、SURF、CeFA(Protocol 4)の Flexible Modal 条件での比較です。

  • CMS-Enhancer のみでは WMCA、SURF、CeFA の ACER が、それぞれ 1.07、4.54、5.32 ポイント下がります。
  • VLA のみでは 1.27、4.20、4.73 ポイント下がります。この試験は Prompt Learning と LGPA の寄与を個別には分けていません。
  • 両方を使う FM-CLIP では 1.39、8.31、8.85 ポイント下がり、三つの試験すべてで単独の場合より良い結果でした。

結論

VLM(Vision-Language Model)を FAS 領域に導入することは近年のホットトピックである。

データの出どころも攻撃の形も多様になり、ひとつのセンサーや手作りの特徴だけでは、安定した判定を支えるのが難しくなっています。自然言語は、センサーや攻撃をまたぐ意味的な接点を作れるかもしれません。多くの研究者がその力を借りようとする理由です。

この研究から、二つの方向が見えます。

  1. 物理的な観測がどうしても断片的になるなら、意味の側で整合し補うことが、判定を支える柱になります。
  2. 言語による誘導だけでは、センサー由来の情報を補うことはできません。 周波数、局所構造、意味のつながりを、もっと緊密に編み合わせる必要があります。

FM-CLIP はこの道の途中で、異なるモーダルを結ぶ可能性を示しました。同時に、より深い構造の学習や、欠けた観測を能動的に補う仕組みを考える余地も残しています。