{"notes":[{"id":"face-antispoofing/fm-clip","category":"face-antispoofing","legacyPath":"face-antispoofing/2410-fm-clip","legacySlug":"2410-fm-clip","legacyPaths":[],"title":"FM-CLIP","subtitle":"言語からの指針","author":"Z. Yuan","paperDate":"2024","publishedOn":"2025-04-28","paperTitle":"FM-CLIP: Flexible Modal CLIP for Face Anti-Spoofing","paperUrl":"https://doi.org/10.1145/3664647.3680856","bibliography":{"title":"FM-CLIP: Flexible Modal CLIP for Face Anti-Spoofing","authors":["Ajian Liu","Hui Ma","Junze Zheng","Haocheng Yuan","Xiaoyuan Yu","Yanyan Liang","Sergio Escalera","Jun Wan","Zhen Lei"],"url":"https://doi.org/10.1145/3664647.3680856","pdfUrl":"https://openreview.net/pdf?id=Gl3a5nusJP","codeUrl":null,"preprint":null,"publication":{"venue":"ACM Multimedia","year":2024,"kind":"conference","url":"https://doi.org/10.1145/3664647.3680856"},"citation":"@inproceedings{faceantispoofingfmclip2024,\n  title = {{FM-CLIP: Flexible Modal CLIP for Face Anti-Spoofing}},\n  author = {Ajian Liu and Hui Ma and Junze Zheng and Haocheng Yuan and Xiaoyuan Yu and Yanyan Liang and Sergio Escalera and Jun Wan and Zhen Lei},\n  year = {2024},\n  booktitle = {ACM Multimedia},\n  url = {https://doi.org/10.1145/3664647.3680856},\n  doi = {10.1145/3664647.3680856}\n}\n","citationPath":"/content/papers/citations/face-antispoofing/fm-clip.c04a3f754058.bib"},"thumbnail":{"src":"/content/papers/assets/ff4f207069c6c32976b2ca939ce32d042ef50ca9e8f70a9cfee4995000e10969.jpg","width":1646,"height":840},"locale":"ja","path":"/content/papers/ja/face-antispoofing/fm-clip.799c192de012.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデル構造","text":"モデル構造","depth":3},{"id":"cms-enhancer","text":"CMS-Enhancer","depth":3},{"id":"cross-modal-interactor","text":"Cross-Modal Interactor","depth":3},{"id":"言語誘導パッチ整合","text":"言語誘導パッチ整合","depth":3},{"id":"損失関数設計","text":"損失関数設計","depth":3},{"id":"実験結果と考察","text":"実験結果と考察","depth":2},{"id":"固定モーダル結果","text":"固定モーダル結果","depth":3},{"id":"柔軟モーダル結果","text":"柔軟モーダル結果","depth":3},{"id":"コアコンポーネント分析","text":"コアコンポーネント分析","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"討論":"実験結果と考察"},"guide":null,"relatedReading":[{"id":"multimodality/clip","relation":"background","topic":"CLIP を柔軟なマルチモーダル顔なりすまし検知に適応"}]},{"id":"multimodality/clip","category":"multimodality","legacyPath":"multimodality/2103-clip","legacySlug":"2103-clip","legacyPaths":["multi-model/2021/clip"],"title":"CLIP","subtitle":"次元の壁を打破する","author":"Z. Yuan","paperDate":"2021-02-26","publishedOn":"2024-04-04","paperTitle":"Learning Transferable Visual Models From Natural Language Supervision","paperUrl":"https://arxiv.org/abs/2103.00020","bibliography":{"title":"Learning Transferable Visual Models From Natural Language Supervision","authors":["Alec Radford","Jong Wook Kim","Chris Hallacy","Aditya Ramesh","Gabriel Goh","Sandhini Agarwal","Girish Sastry","Amanda Askell","Pamela Mishkin","Jack Clark","Gretchen Krueger","Ilya Sutskever"],"url":"https://arxiv.org/abs/2103.00020","pdfUrl":"https://cdn.openai.com/papers/Learning_Transferable_Visual_Models_From_Natural_Language.pdf","codeUrl":"https://github.com/openai/CLIP","preprint":{"id":"2103.00020","submittedOn":"2021-02-26","url":"https://arxiv.org/abs/2103.00020"},"publication":{"venue":"ICML","year":2021,"kind":"conference","url":"https://proceedings.mlr.press/v139/radford21a.html"},"citation":"@misc{multimodalityclip2021,\n  title = {{Learning Transferable Visual Models From Natural Language Supervision}},\n  author = {Alec Radford and Jong Wook Kim and Chris Hallacy and Aditya Ramesh and Gabriel Goh and Sandhini Agarwal and Girish Sastry and Amanda Askell and Pamela Mishkin and Jack Clark and Gretchen Krueger and Ilya Sutskever},\n  year = {2021},\n  eprint = {2103.00020},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2103.00020}\n}\n","citationPath":"/content/papers/citations/multimodality/clip.a63b118c04c7.bib"},"thumbnail":{"src":"/content/papers/assets/03a0527e167fb49905db2879fecd0e0b7b140cb837e239778ffa7f83f02e25ef.jpg","width":1726,"height":622},"locale":"ja","path":"/content/papers/ja/multimodality/clip.3e2e7153ea03.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題解決","text":"問題解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"大規模データセット","text":"大規模データセット","depth":3},{"id":"訓練の詳細","text":"訓練の詳細","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"ゼロショット","text":"ゼロショット？","depth":3},{"id":"表現能力はどうか","text":"表現能力はどうか？","depth":3},{"id":"ドメイン横断は可能か","text":"ドメイン横断は可能か？","depth":3},{"id":"人間と比較できるか","text":"人間と比較できるか？","depth":3},{"id":"モデルは答えを見ていないか","text":"モデルは答えを見ていないか？","depth":3},{"id":"制限は何か","text":"制限は何か？","depth":3},{"id":"データからの悪意","text":"データからの悪意","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-tuning/coop","relation":"next","topic":"プロンプトによる画像・テキストモデルの適応"},{"id":"multimodality/flip","relation":"comparison","topic":"画像・テキスト事前学習の拡大と高速化"},{"id":"multimodality/florence","relation":"comparison","topic":"画像・テキスト事前学習の拡大と高速化"}]}],"text":"FAS（顔偽装防止）の分野で言う「マルチモーダル」とは、通常、RGB、深度、赤外線などの異なるセンサーを指す。\n\nしかし近年、もう一つの「モーダル」が台頭している。それは自然言語である。\n\n## 問題の定義\n\nFace Anti-Spoofing（FAS）の最初の戦場は映像そのものであった。\n\n研究者たちは畳み込みネットワークを設計し、テクスチャ、深度、反射率などの特徴を抽出して、本物か偽物かを判別してきた。\n\nしかし攻撃手法が進化するにつれ、高解像度のプリント、リプレイ、3D マスクにより、単一モーダルの防御線は徐々に破られていった。\n\nこの攻防に対応するため、FAS ではマルチモーダル融合が導入された。RGB は可視光、IR は赤外信号、Depth は幾何構造を記録し、それぞれの手がかりを補い合わせる。\n\nしかしこの路線にも亀裂がある。\n\n多くの融合モデルは RGB、Depth、IR が訓練時に揃い、テスト時も同じ入力が来ると想定する。センサーが欠けると性能が大きく落ちる場合があり、入力経路を変更しないと動かない構成もある。ハードウェアのコストや設置条件を考えると、この「モーダルの一貫性」は保証しにくい。\n\nそこで「Flexible Modal」の概念が生まれた。\n\n訓練時には対応づけられた複数モーダルを使い、テスト時には RGB、Depth、IR のどれか一つだけでも処理できるようにする。FM-ViT などの先行手法は、主にセンサー特徴の間で移し替えられる偽装の手がかりを探していた。\n\n自然言語の台頭により、新たな可能性が見えてきた。\n\n言語は世界の光や形を直接捉えるのではなく、経験の記述や解釈、整合を行う。\n\n言語はセンサーの次元を超えた整合の仕組みを与え、異なる観測の間に意味的な共通点を探せます。\n\nもしかすると、分断されたモーダルの隙間に自然言語で橋を架け、真偽を捉え直せるかもしれません。\n\n## 問題の解決\n\n\n> [!TIP]\n> \n> 本論文は CLIP を基盤アーキテクチャとして採用している。もし CLIP に不慣れであれば、以前の論文を参照されたい。\n> \n> - [**[21.03] CLIP: 次元の壁を打破する**](/blog/papers/multimodality/clip)\n> \n\n\n### モデル構造\n\n\n\n![凍結された CLIP、学習する CMSE アダプター、言語誘導パッチ整合を示す FM-CLIP の構成](/content/papers/assets/ff4f207069c6c32976b2ca939ce32d042ef50ca9e8f70a9cfee4995000e10969.jpg)\n\n\n\n著者は、FAS のために CLIP を基盤とするマルチモーダル整合モデル **FM-CLIP** を提案します。\n\n全体は凍結した CLIP の画像・テキストエンコーダの上に作ります。視覚側の CMSE アダプターと、テキスト prompt の context ベクトルは学習します。\n\n上図のように、FM-CLIP は主に二つのブランチに分けられる：\n\n- **視覚ブランチ**：訓練時に RGB、Depth、IR などのセンサー情報を受け取り、ViT の画像エンコーダで処理します。\n- **言語ブランチ**：prompt learning で作るテキストベクトルを補助信号にし、視覚特徴の整合を導きます。\n\n信号の流れに沿って、部品を一つずつ見ていきましょう。\n\n### CMS-Enhancer\n\nViT は基本的に自己注意によって情報を扱うため、局所的な構造や周波数の信号を明示的に取り出す経路がありません。\n\nそこで著者は、ViT に偽装の手掛かりを強めるモジュールを挿入します。\n\n- **Cross-Modal Spoofing Enhancer（CMS-Enhancer）**\n\n入力特徴を二つの平行チャネルに分解する：\n\n- **空間特徴**：Spatial Extractor（SE）を用いて細粒度のテクスチャを抽出。\n- **周波数特徴**：Frequency Extractor（FE）で ViT の特徴に DCT をかけ、周波数情報を取り出します。\n\n**Spatial Extractor (SE)** の処理は以下の通り：\n\n$$\nF_{\\text{SE\\_output}}^{(j)} = \\text{Conv1}(\\text{GELU}(\\text{Conv3}(\\text{GELU}(\\text{Conv1}(F_{\\text{input}}^{(j)})))))\n$$\n\n簡単な畳み込み構造に $GELU$ 活性化関数を組み合わせて、局所的な画像特徴を取得する。\n\n最後に残差接続を加える：\n\n$$\n\\hat{F}_{\\text{spatial}}^{(j)} = F_{\\text{SE\\_output}}^{(j)} \\oplus F_{\\text{input}}^{(j)}\n$$\n\n**Frequency Extractor (FE)** は以下のように定義される：\n\n$$\nF_{\\text{FE\\_output}}^{(j)} = \\sigma(\\text{Conv1}(\\text{GELU}(\\text{Conv1}(\\text{DCT}(F_{\\text{input}}^{(j)})))))\n$$\n\nViT の特徴に DCT をかけ、その後に畳み込みと GELU を適用します。ここで扱うのは特徴の周波数情報で、別の入力画像ではありません。\n\nその重みと入力特徴を要素ごとに掛け合わせる。\n\n$$\n\\hat{F}_{\\text{frequency}}^{(j)} = F_{\\text{FE\\_output}}^{(j)} \\otimes F_{\\text{input}}^{(j)}\n$$\n\n### Cross-Modal Interactor\n\n異なるモーダルの空間特徴は大きく違っても、周波数の側には共有できる手掛かりがあるかもしれません。そこで著者は、**Cross-Modal Interactor（CMI）** を設計します。\n\n- 各モーダルについて gate map を計算し、元の特徴への重みを決めます。\n- 逆向きの重み $1-M$ を使い、もう一方のモーダルから情報を補います。\n\ngate map の計算：\n\n$$\nM_{\\text{freq.RGB}} = \\sigma(\\text{Conv3}(F_{\\text{freq.RGB}}))\n$$\n\n$$\nM_{\\text{freq.Depth}} = \\sigma(\\text{Conv3}(F_{\\text{freq.Depth}}))\n$$\n\nsigmoid を通すため、重みは 0〜1 の間になります。人が注釈した情報密度図ではなく、学習された gate です。\n\n続いて相互補完過程：\n\n$$\neF_{\\text{freq.RGB-Depth}} = (1-M_{\\text{freq.RGB}}) \\otimes eF_{\\text{freq.Depth}}\n$$\n\n$$\neF_{\\text{freq.Depth-RGB}} = (1-M_{\\text{freq.Depth}}) \\otimes eF_{\\text{freq.RGB}}\n$$\n\nRGB 側の重みが小さいところでは、$1-M_{\\text{freq.RGB}}$ により Depth の強化特徴から補います。もう一方の向きも同じです。\n\n最後に元の特徴、強化特徴、補完特徴を融合：\n\n$$\nF_{E\\_\\text{freq.RGB}} = F_{\\text{freq.RGB}} \\oplus eF_{\\text{freq.RGB}} \\oplus eF_{\\text{freq.RGB-Depth}}\n$$\n\n$$\nF_{E\\_\\text{freq.Depth}} = F_{\\text{freq.Depth}} \\oplus eF_{\\text{freq.Depth}} \\oplus eF_{\\text{freq.Depth-RGB}}\n$$\n\nこれらを対応する空間特徴と統合し、強化特徴とする。\n\nこうしてマルチモーダル訓練では、自分のモーダルの細部だけでなく、別のモーダルからの補足情報も学びます。Flexible Modal のテストでは、視覚入力は一種類だけです。\n\n### 言語誘導パッチ整合\n\n視覚信号の処理が一段落した後、著者は自然言語モーダルを導入し、各パッチを偽装の手がかりに注目させることを試みる。\n\nテキストブランチでは **Prompt Learning** によりコンテキストベクトル $\\mathbf{v} = \\{v_1, v_2, ..., v_M\\}$ を学習し、real／fake のクラス $c_i$ とつなげる。\n\n$$\nt_i = \\{v_1, v_2, ..., v_M, c_i\\}\n$$\n\nこの手法自体は近年よく使われています。簡単で効果的ですが、学習された token が何を意味するのかを言葉で説明するのは難しいところです。\n\nテキストエンコーダ $g(\\cdot)$ を通し、テキスト特徴量 $f_{\\text{text}}$ を生成する。\n\n先ほどの視覚ブランチでは、CLS token $f_{\\text{img}}^{(0)}$ と Patch token $f_{\\text{img}}^{(1:N)}$ を得ました。著者はここで二重の整合を行います。\n\n1. **CLS token の整合**：CLS と real/fake に対応する EOS ベクトルを比較し、大域的に分類します。\n2. **Patch token の整合（LGPA）**：各 Patch token とテキスト特徴の類似度行列を計算します。\n\n$$\nS = f_{\\text{img}}^{(1:N)} \\cdot (f_{\\text{text}})^T\n$$\n\n続いて加重和を計算：\n\n$$\n\\hat{f}_{\\text{img}}^{(1:N)} = \\text{softmax}(S) \\cdot f_{\\text{text}} + f_{\\text{img}}^{(1:N)}\n$$\n\nこうして各 Patch が言語の手掛かりを使い、偽装の痕跡がありそうな局所情報へ改めて目を向けます。\n\n### 損失関数設計\n\nグローバルとローカル双方の整合を同時に監督するため、最後に二つの損失項が導入される：\n\n- **CLS 損失（グローバル整合）**：\n\n  $$\n  L_C = \\text{CrossEntropy}(p_{\\text{cls\\_token}}, y)\n  $$\n\n- **パッチ損失（ローカル整合）**：\n\n  $$\n  L_P = \\text{CrossEntropy}(p_{\\text{patch\\_token}}, y)\n  $$\n\n最終的な総損失は：\n\n$$\nL_{\\text{total}} = L_C + L_P\n$$\n\n大域的な判定と局所的な細部の両方を見て、全体の意味と小さな破綻の間の張り合いを保つ設計です。\n\n## 実験結果と考察\n\n著者は、マルチモーダル FAS でよく使われる三つのデータセットで試します。\n\n- **CASIA-SURF（SURF）**：RGB、Depth、IR の三つのモーダルを含みます。\n- **CASIA-SURF CeFA（CeFA）**：民族属性やモーダルの違いを含み、Protocol 1、2、4 を使います。\n- **WMCA**：多様な攻撃を含み、seen と unseen の評価を行います。\n\n二つのテスト条件を使います。WMCA では、これに加えて seen／unseen の攻撃協定も分けて読みます。\n\n- **固定モーダル（Fixed Modal）**：訓練時とテスト時に同じモーダルを使います。\n- **柔軟モーダル（Flexible Modal）**：複数モーダルで訓練し、テスト時には一種類だけを渡します。\n\n指標には APCER、BPCER、ACER を使います。\n\n### 固定モーダル結果\n\n\n> [!TIP]\n> \n> 紙幅の都合で、ここには SURF の表だけを載せます。WMCA と CeFA の表は原論文をご覧ください。\n\n\n\n\n![固定モーダル SURF の TPR、APCER、BPCER、ACER を比較した原論文 Table 1](/content/papers/assets/6b9dbdbe915d35a56555e83b01a681c6b09429e66fbb136ebd927b7056d6e541.jpg)\n\n\n\n固定モーダルの設定では、FM-CLIP に改善の傾向が見られます。ただし、各表を分けて読む必要があります。\n\n- **SURF（Table 1）**：FM-ViT の ACER 0.45% は CMS-Enhancer で 0.44%、LGPA も加えた FM-CLIP では 0.43% に下がります。ただし VisionLabs の 0.08% より高く、表全体の最良値ではありません。\n- **WMCA（unseen protocol）**：\n  未知攻撃の平均 ACER は FM-ViT 2.49%、CMS-Enhancer 2.36%、FM-CLIP 2.29% へ下がります。\n- **CeFA データセット**：\n  三つの protocol で FM-CLIP の ACER は 0.95%、0.30%、0.87% です。Protocol 2 は FM-ViT の 0.30% と同じで、APCER は 0.46% から 0.47% へ上がります。また両モデルの Protocol 2 の APCER と BPCER から、表記された ACER は算出できません。ここは表の報告値として読む。\n\nWMCA の seen 設定では、FM-CLIP の ACER 1.05% は FM-ViT の 1.00% より少し高い値です。論文には FM-CLIP の学習可能パラメータが少ないともありますが、FLOPs は逆に高いため、パラメータ数だけでこの結果や推論費用は説明できません。\n\n### 柔軟モーダル結果\n\nより難しい Flexible Modal テストでは、訓練に RGB、Depth、IR を使い、テストではどれか一種類だけを渡します。\n\n![SURF、CeFA Protocol 4、WMCA seen の単一モーダルテストを比較する原論文 Table 4](/content/papers/assets/15673e8621a888241d341bca43684f6999b36c12629d53652df60d401cc0fa8f.jpg)\n\nこの条件では、FM-CLIP に目立つ改善が見られます。\n\n- **SURF**：RGB、Depth、IR の単独入力では、FM-CLIP の ACER はいずれも FM-ViT より低く、もっとも大きい差は RGB の **2.17 ポイント**です。\n- **CeFA Protocol 4**：\n  RGB の ACER は 21.06% から 11.87% へ下がり、差は **9.19 ポイント**です。IR は 2.88% から 2.07% で **0.81 ポイント**の改善ですが、Depth は 2.25% から 2.29% へ少し悪化します。論文本文には IR の差が 8.1 と書かれていますが、表の値とは一致しません。\n- **WMCA（seen protocol）**：\n  RGB、Depth、IR のいずれでも、FM-ViT に対してさらに ACER が下がります。\n\n### コアコンポーネント分析\n\n\n\n![三データセットで CMS-Enhancer と VLA を除去した原論文 Table 5](/content/papers/assets/d39f740456c57e0212200aa99174105af23c43bcbcb0682a230e2ecf9a4cef4a.jpg)\n\n\n\n著者は二つの主要モジュール、CMS-Enhancer と VLA（Vision-Language Alignment）を外したときの違いも調べます。WMCA（seen）、SURF、CeFA（Protocol 4）の Flexible Modal 条件での比較です。\n\n- **CMS-Enhancer のみ**では WMCA、SURF、CeFA の ACER が、それぞれ 1.07、4.54、5.32 ポイント下がります。\n- **VLA のみ**では 1.27、4.20、4.73 ポイント下がります。この試験は Prompt Learning と LGPA の寄与を個別には分けていません。\n- **両方を使う FM-CLIP** では 1.39、8.31、8.85 ポイント下がり、三つの試験すべてで単独の場合より良い結果でした。\n\n## 結論\n\nVLM（Vision-Language Model）を FAS 領域に導入することは近年のホットトピックである。\n\nデータの出どころも攻撃の形も多様になり、ひとつのセンサーや手作りの特徴だけでは、安定した判定を支えるのが難しくなっています。自然言語は、センサーや攻撃をまたぐ意味的な接点を作れるかもしれません。多くの研究者がその力を借りようとする理由です。\n\nこの研究から、二つの方向が見えます。\n\n1. **物理的な観測がどうしても断片的になるなら、意味の側で整合し補うことが、判定を支える柱になります。**\n2. **言語による誘導だけでは、センサー由来の情報を補うことはできません。** 周波数、局所構造、意味のつながりを、もっと緊密に編み合わせる必要があります。\n\nFM-CLIP はこの道の途中で、異なるモーダルを結ぶ可能性を示しました。同時に、より深い構造の学習や、欠けた観測を能動的に補う仕組みを考える余地も残しています。\n","imageSizes":{"/content/papers/assets/ff4f207069c6c32976b2ca939ce32d042ef50ca9e8f70a9cfee4995000e10969.jpg":{"width":1646,"height":840},"/content/papers/assets/6b9dbdbe915d35a56555e83b01a681c6b09429e66fbb136ebd927b7056d6e541.jpg":{"width":1224,"height":360},"/content/papers/assets/15673e8621a888241d341bca43684f6999b36c12629d53652df60d401cc0fa8f.jpg":{"width":1586,"height":774},"/content/papers/assets/d39f740456c57e0212200aa99174105af23c43bcbcb0682a230e2ecf9a4cef4a.jpg":{"width":1036,"height":260}}}
