{"notes":[{"id":"face-antispoofing/instructflip","category":"face-antispoofing","legacyPath":"face-antispoofing/2507-instructflip","legacySlug":"2507-instructflip","legacyPaths":[],"title":"InstructFLIP","subtitle":"嘆息之壁","author":"Z. Yuan","paperDate":"2025-07-16","publishedOn":"2025-07-18","paperTitle":"InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing","paperUrl":"https://doi.org/10.1145/3746027.3754939","bibliography":{"title":"InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing","authors":["Kun-Hsiang Lin","Yu-Wen Tseng","Kang-Yang Huang","Jhih-Ciang Wu","Wen-Huang Cheng"],"url":"https://doi.org/10.1145/3746027.3754939","pdfUrl":"https://arxiv.org/pdf/2507.12060v2","codeUrl":"https://github.com/kunkunlin1221/InstructFLIP","preprint":{"id":"2507.12060","submittedOn":"2025-07-16","url":"https://arxiv.org/abs/2507.12060"},"publication":{"venue":"ACM Multimedia","year":2025,"kind":"conference","url":"https://doi.org/10.1145/3746027.3754939"},"citation":"@misc{faceantispoofinginstructflip2025,\n  title = {{InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing}},\n  author = {Kun-Hsiang Lin and Yu-Wen Tseng and Kang-Yang Huang and Jhih-Ciang Wu and Wen-Huang Cheng},\n  year = {2025},\n  eprint = {2507.12060},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2507.12060}\n}\n","citationPath":"/content/papers/citations/face-antispoofing/instructflip.d3741ce6514a.bib"},"thumbnail":{"src":"/content/papers/assets/f939a936e3ea5eb6ddd394e6797d1dc1e2b878b9d4750b8826f1baefa55f11c0.jpg","width":1224,"height":664},"locale":"zh-hant","path":"/content/papers/zh-hant/face-antispoofing/instructflip.8eed533d1538.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構","text":"模型架構","depth":3},{"id":"內容分支","text":"內容分支","depth":3},{"id":"風格分支","text":"風格分支","depth":3},{"id":"特徵融合與判斷模組","text":"特徵融合與判斷模組","depth":3},{"id":"多重目標學習","text":"多重目標學習","depth":3},{"id":"實作細節","text":"實作細節","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"模組貢獻分析","text":"模組貢獻分析","depth":3},{"id":"llm-模組的影響","text":"LLM 模組的影響","depth":3},{"id":"spoof-類型分類細緻度","text":"Spoof 類型分類細緻度","depth":3},{"id":"style-prompt-多樣性","text":"Style Prompt 多樣性","depth":3},{"id":"質性分析","text":"質性分析","depth":2},{"id":"成功案例分析","text":"成功案例分析","depth":3},{"id":"失敗案例分析","text":"失敗案例分析","depth":3},{"id":"與開源-vlm-模型對比","text":"與開源 VLM 模型對比","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-antispoofing/i-fas","relation":"comparison","topic":"用多模態語言模型判斷人臉偽造"},{"id":"face-antispoofing/faceshield","relation":"comparison","topic":"用多模態語言模型判斷人臉偽造"}]},{"id":"face-antispoofing/i-fas","category":"face-antispoofing","legacyPath":"face-antispoofing/2501-i-fas","legacySlug":"2501-i-fas","legacyPaths":[],"title":"I-FAS","subtitle":"分類的終章","author":"Z. Yuan","paperDate":"2025-01-03","publishedOn":"2025-06-06","paperTitle":"Interpretable Face Anti-Spoofing: Enhancing Generalization with Multimodal Large Language Models","paperUrl":"https://ojs.aaai.org/index.php/AAAI/article/view/33073","bibliography":{"title":"Interpretable Face Anti-Spoofing: Enhancing Generalization with Multimodal Large Language Models","authors":["Guosheng Zhang","Keyao Wang","Haixiao Yue","Ajian Liu","Gang Zhang","Kun Yao","Errui Ding","Jingdong Wang"],"url":"https://ojs.aaai.org/index.php/AAAI/article/view/33073","pdfUrl":"https://ojs.aaai.org/index.php/AAAI/article/download/33073/35228","codeUrl":null,"preprint":{"id":"2501.01720","submittedOn":"2025-01-03","url":"https://arxiv.org/abs/2501.01720"},"publication":{"venue":"AAAI","year":2025,"kind":"conference","url":"https://ojs.aaai.org/index.php/AAAI/article/view/33073"},"citation":"@misc{faceantispoofingifas2025,\n  title = {{Interpretable Face Anti-Spoofing: Enhancing Generalization with Multimodal Large Language Models}},\n  author = {Guosheng Zhang and Keyao Wang and Haixiao Yue and Ajian Liu and Gang Zhang and Kun Yao and Errui Ding and Jingdong Wang},\n  year = {2025},\n  eprint = {2501.01720},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2501.01720}\n}\n","citationPath":"/content/papers/citations/face-antispoofing/i-fas.e7abfbdbfc49.bib"},"thumbnail":{"src":"/content/papers/assets/9b282e23d59b1e4c08a08ac3725d9d52ad3fae33f7537e3563d41c260ae095c1.jpg","width":1674,"height":490},"locale":"zh-hant","path":"/content/papers/zh-hant/face-antispoofing/i-fas.9d91b540cd89.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"spoof-aware-captioning-and-filteringscf","text":"Spoof-aware Captioning and Filtering（SCF）","depth":2},{"id":"multimodal-instruction-tuning-with-gac","text":"Multimodal Instruction Tuning with GAC","depth":2},{"id":"globally-aware-connectorgac","text":"Globally Aware Connector（GAC）","depth":3},{"id":"lopsided-language-model-lossl-lm-loss","text":"Lopsided Language Model Loss（L-LM Loss）","depth":2},{"id":"討論","text":"討論","depth":2},{"id":"跨域能力驗證","text":"跨域能力驗證","depth":3},{"id":"模組貢獻","text":"模組貢獻","depth":3},{"id":"caption-類型分析","text":"Caption 類型分析","depth":3},{"id":"l-lm-loss-超參數探討","text":"L-LM Loss 超參數探討","depth":3},{"id":"解釋能力可視化","text":"解釋能力可視化","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-antispoofing/faceshield","relation":"comparison","topic":"用多模態語言模型判斷人臉偽造"},{"id":"face-antispoofing/instructflip","relation":"comparison","topic":"用多模態語言模型判斷人臉偽造"}]},{"id":"face-antispoofing/faceshield","category":"face-antispoofing","legacyPath":"face-antispoofing/2505-faceshield","legacySlug":"2505-faceshield","legacyPaths":[],"title":"FaceShield","subtitle":"臉的庇護所","author":"Z. Yuan","paperDate":"2025-05-14","publishedOn":"2025-06-20","paperTitle":"FaceShield: Explainable Face Anti-Spoofing with Multimodal Large Language Models","paperUrl":"https://arxiv.org/abs/2505.09415","bibliography":{"title":"FaceShield: Explainable Face Anti-Spoofing with Multimodal Large Language Models","authors":["Hongyang Wang","Yichen Shi","Zhuofu Tao","Yuhao Gao","Liepiao Zhang","Xun Lin","Jun Feng","Xiaochen Yuan","Zitong Yu","Xiaochun Cao"],"url":"https://arxiv.org/abs/2505.09415","pdfUrl":"https://arxiv.org/pdf/2505.09415v1","codeUrl":"https://github.com/Why0912/FaceShield","preprint":{"id":"2505.09415","submittedOn":"2025-05-14","url":"https://arxiv.org/abs/2505.09415"},"publication":{"venue":"AAAI","year":2026,"kind":"conference","url":"https://ojs.aaai.org/index.php/AAAI/article/view/37945"},"citation":"@misc{faceantispoofingfaceshield2025,\n  title = {{FaceShield: Explainable Face Anti-Spoofing with Multimodal Large Language Models}},\n  author = {Hongyang Wang and Yichen Shi and Zhuofu Tao and Yuhao Gao and Liepiao Zhang and Xun Lin and Jun Feng and Xiaochen Yuan and Zitong Yu and Xiaochun Cao},\n  year = {2025},\n  eprint = {2505.09415},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2505.09415}\n}\n","citationPath":"/content/papers/citations/face-antispoofing/faceshield.46ea2b7a56fa.bib"},"thumbnail":{"src":"/content/papers/assets/72227f25d8bae3bb37fab6ee6e697210da60a8f59ddb17f11dd2634a8bb762df.jpg","width":1436,"height":560},"locale":"zh-hant","path":"/content/papers/zh-hant/face-antispoofing/faceshield.f96e66b80226.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構","text":"模型架構","depth":3},{"id":"spoof-aware-vision-perceptionsavp","text":"Spoof-Aware Vision Perception（SAVP）","depth":3},{"id":"prompt-guided-vision-token-maskingpvtm","text":"Prompt-Guided Vision Token Masking（PVTM）","depth":3},{"id":"模型流程","text":"模型流程","depth":3},{"id":"二階段訓練","text":"二階段訓練","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"intra-dataset-評估","text":"Intra-dataset 評估","depth":3},{"id":"cross-dataset-評估","text":"Cross-dataset 評估","depth":3},{"id":"消融實驗","text":"消融實驗","depth":3},{"id":"可視化分析","text":"可視化分析","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-antispoofing/i-fas","relation":"comparison","topic":"用多模態語言模型判斷人臉偽造"},{"id":"face-antispoofing/instructflip","relation":"comparison","topic":"用多模態語言模型判斷人臉偽造"}]}],"text":"人臉辨識技術是一面鏡子。\n\n它反映了人工智慧在「看見」人類外貌的進展，也揭露了我們對「真實」定義的脆弱。\n\n## 定義問題\n\n這項技術從生物辨識的邊緣走入日常，替代密碼、解鎖裝置、甚至決定誰能穿越邊境。\n\n但當一張高解析的照片、一段循環播放的影片，甚至一張臉型完美的矽膠面具，足以欺騙系統的時候，我們不得不承認：這面鏡子並不可靠。\n\nFace Anti-Spoofing（FAS）因此而生。研究者從二分類模型出發，漸次加入注意力機制、生成對抗網路與輔助學習模組，試圖拆穿假臉的假象。\n\n接著，Domain Adaptation（DA）與 Domain Generalization（DG）進場，針對跨設備、跨場景的問題提出補救機制。但它們的代價是龐大的標註成本與重複訓練的折磨，也讓「每多一個場景，就要多一份代價」這件事成了產業無法忽視的痛點。\n\n直到 2023 年，**FLIP** 的出現帶來了新的想像。\n\n它首次引入 CLIP 的語言模態，試圖將「臉的語意」納入偵測系統，用語言描述畫面中的真實與否。這樣的做法為 FAS 開啟了跨模態大門，但語言僅扮演輔助角色，語意尚未成為核心。\n\n緊接著，**CFPL-FAS** 延續這條路徑，採用更強大的 BLIP-2 架構與 Q-Former 橋接模塊，嘗試更深入地對齊圖像與語言特徵。它引入更結構化的 prompt 設計，將「攻擊類型」與「環境條件」轉化為語言指令，改善了模型對情境的感知力。\n\n然而，它仍未擺脫「依賴明確標註」與「每個 domain 都需單獨訓練」的框架限制，泛化能力依舊不穩，而且語言描述的能力有限，無法作為真正的語意理解。\n\n2025 年，**I-FAS** 則進一步強調模型對語境的理解，透過「提示工程」強化語言引導的深度，提升對未知攻擊類型的適應力。儘管成效可見，但它仍建立於傳統 leave-one-out 的 DG 訓練流程上，導致計算資源重複耗損、模型難以統一泛化。\n\n換句話說，這些研究，從 FLIP 到 CFPL，再到 I-FAS，雖然不斷擴展 FAS 任務的語意邊界，卻都在同一堵牆邊留下嘆息：\n\n> **模型無法用統一語言理解世界，也無法在多樣環境中保持推理一致性**。\n\n那麼，我們是否真的需要更多訓練、更大模型，才能翻越這堵牆？語言是否還有未被啟用的力量？我們是否能夠，建立一個能聽懂語言、看穿假象、一次學會全局的模型？\n\n## 解決問題\n\n在處理 FAS 任務時，模型所面對的最大挑戰之一，是來自不同資料集、場景、設備所導致的特徵分布落差。\n\n傳統解法通常選擇「廣撒網」的方法：在多組 domain 上反覆訓練，再逐一驗證，試圖拼湊出一個跨域適用的模型。留一域驗證每換一組目標域就需要重新訓練，因而增加訓練成本。\n\n為了解決這個問題，InstructFLIP 提出一種 **統一化的泛化架構**，其核心思路是：\n\n> **與其讓模型自己盲猜每張臉背後的攻擊與環境，不如直接給它清楚的語言指令。**\n\n這項策略建立在一個關鍵資料集上：**CelebA-Spoof**。\n\nCelebA-Spoof 具有攻擊類型與場景條件標註，允許我們針對圖像設計明確的提示語句，讓模型在這些標註範圍內學習 spoof 與場景條件。\n\n為了有效覆蓋語意空間，InstructFLIP 的指令設計被清楚拆成兩類：\n\n- **內容指令（Content Prompts）**：詢問「這張圖是哪種攻擊類型？」\n\n  選項包含：照片、螢幕、平面面具、區域遮蔽、3D 假臉等攻擊類型，以及真實臉部，共 11 種類別。例如：\n\n  > _“Choose the correct option for the following question: Which spoof type is in this image?”_\n\n- **風格指令（Style Prompts）**：詢問「這張圖的拍攝環境是什麼？」\n\n  選項涵蓋：光照條件（正常／背光／黑暗／強光）、場景（室內／室外）、相機品質（低／中／高）。例如：\n\n  > _“What is the illumination condition in this image?”_\n\n  > _“What is the environment of this image?”_\n\n  > _“What is the camera quality in this image?”_\n\n這樣的語言結構把內容與風格標註轉成不同指令，分別監督模型學習攻擊類型及拍攝條件。\n\n### 模型架構\n\n\n\n![model_arch](/content/papers/assets/f939a936e3ea5eb6ddd394e6797d1dc1e2b878b9d4750b8826f1baefa55f11c0.jpg)\n\n\n\n上圖是整個 InstructFLIP 的架構圖，可分為三個核心模組：\n\n- **(a) 內容分支（Content Branch）**\n- **(b) 風格分支（Style Branch）**\n- **(c) 特徵融合與判斷模組（Fusion + Classifier & Cue Generator）**\n\n以下，我們依照數據流動順序，一步步解構這張圖。\n\n### 內容分支\n\n內容分支（Content Branch）負責學習與攻擊類型直接相關的語意表徵，目標是讓模型能夠根據輸入影像，判斷其屬於哪一類 spoof 攻擊，或是否為真實人臉。\n\n整體流程從圖像 $x$ 出發，透過視覺編碼器 $E$ 取得深層特徵 $f_c$，代表影像中的內容語意。接著，進入語言驅動的關鍵模組 **Q-Former**，串起了語言指令與圖像語意之間的橋樑。\n\n具體來說，作者設計一組內容提示，形式為選擇題式的語句，例如：\n\n> _\"Choose the correct option for the following question: Which spoof type is in this image?\"_\n\n選項涵蓋真人臉（real face）與各類 spoof 類型（如照片、螢幕回放、2D 面具、3D 面具等，合計 11 類），這些指令會先被轉換為指令嵌入向量 $T_c \\in \\mathbb{R}^{j \\times d}$，並與一組可學習查詢向量 $Q_c \\in \\mathbb{R}^{k \\times d}$ 串接，作為 Q-Former 的初始輸入：\n\n$$\nh = Q_c \\oplus T_c\n$$\n\nQ-Former 內部堆疊多層注意力模組：\n\n1. **自注意力（MSA）**：更新查詢與語意指令之間的內部關聯：\n\n$$\n\\tilde{h} = h + \\phi(h)\n$$\n\n2. **跨模態注意力（MCA）**：將隱狀態與圖像內容特徵 $f_c$ 互動，提取視覺資訊；原論文式 (3) 將此處的輸入仍記為 $h$：\n\n$$\n\\hat{h} = h + \\psi(h, f_c)\n$$\n\n這個過程讓查詢向量學會「對應」指令所要尋找的語意目標，例如「這張臉是否有可疑的攻擊特徵」，或「它是否呈現特定的 spoof 模式」。\n\n最終的查詢表示會與原始指令嵌入一起組成 soft prompt，進入 LLM 冷凍層進行語意引導式預測，產生內容分支預測結果 $p_c$。\n\n損失函數使用標準的交叉熵：\n\n$$\n\\mathcal{L}_c = - \\sum y_c \\log(p_c)\n$$\n\n其中 $y_c$ 為 ground truth 類別標籤。這一設計以攻擊類型與真人臉標籤監督內容分支；是否排除背景干擾，仍須由實驗驗證。\n\n### 風格分支\n\n風格分支更像一位背景觀察者，主要功能是：理解「這張臉是怎樣被拍下來的」。\n\nFAS 任務中的 domain shift，也可能來自「環境與設備」的差異。例如：一張在黃昏拍攝、解析度低的真人臉，可能比一張光線明亮、拍攝清晰的假臉更像攻擊樣本。\n\n這就是為什麼，我們需要風格分支的理由：**它以光照、環境及相機品質為監督訊號，學習與攻擊類型不同的變異因子。**\n\n風格分支在結構上與內容分支對稱，它同樣接收一組風格提示，如：\n\n- “What is the illumination condition in this image?”\n- “What is the camera quality in this image?”\n- “Is this photo taken indoors or outdoors?”\n\n這些指令被編碼為嵌入向量 $T_s$，並與可學習查詢向量 $Q_s$ 串接後，進入 Q-Former 模組，讓風格分支預測對應的拍攝條件。\n\n而在特徵設計上，風格分支採用不同於內容的建構方式：\n\n1. 首先從視覺編碼器中抽取多層中間輸出 $E_1(x), E_2(x), \\dots, E_L(x)$。\n2. 對每一層，計算其均值 $\\mu_i$ 與標準差 $\\sigma_i$，組成統計表示：\n\n   $$\n   s_i = \\mu_i \\oplus \\sigma_i\n   $$\n\n3. 最後將所有層級組合為多尺度風格特徵：\n\n   $$\n   f_s = s_1 \\oplus s_2 \\oplus \\cdots \\oplus s_L \\in \\mathbb{R}^{2L \\times d}\n   $$\n\n這樣的設計靈感來自於風格轉換任務中的 Adaptive Instance Normalization（AdaIN）。\n\n風格分支的預測結果 $p_s$ 同樣經由語言驅動的語意對齊，最後以 cross-entropy 損失優化其辨識正確率：\n\n$$\n\\mathcal{L}_s = -\\sum y_s \\log(p_s)\n$$\n\n風格分支不直接輸出 spoof／real 標籤，但其查詢向量 $Q_s$ 會參與後續融合與最終判斷。\n\n### 特徵融合與判斷模組\n\n當內容分支與風格分支各自完成了任務語意與場景語意的解析後，InstructFLIP 並未將兩者簡單拼接輸出，而是設計了一個 **語意引導的融合模組**，將這兩條通道的知識匯聚為最終判斷依據。\n\n這個模組的關鍵操作來自 Q-Former 結構中的注意力機制，作者首先將內容分支與風格分支所學得的查詢向量（$Q_c$, $Q_s$）串接為融合查詢：\n\n$$\nQ = Q_c \\oplus Q_s \\in \\mathbb{R}^{2k \\times d}\n$$\n\n接著，將這組查詢與內容特徵 $f_c$ 再次進行跨模態注意力互動，得到最終融合表示 $\\hat{Q}$：\n\n$$\n\\hat{Q} = Q + \\psi(Q, \\tilde{f_c})\n$$\n\n在這裡，特別需要注意的是：**風格特徵 $f_s$ 並未參與融合**。這是刻意的決策，因為風格特徵是 domain-specific，加入後可能反而削弱泛化能力。\n\n也就是說，InstructFLIP 透過風格分支來學習免疫機制，但不讓其主導最終判斷。\n\n融合後的表示 $\\hat{Q}$ 被拆成兩段：\n\n- **$t_{cls}$**：前導 token，作為 spoofing classifier $C$ 的輸入，用於預測是否為詐欺樣本。\n- **$t_{cue}$**：其餘 token，傳入提示圖產生器 $G$，產生輔助判斷的 **cue map**。\n\n### 多重目標學習\n\n為了同時最佳化語言理解、視覺推理與可解釋性輸出，作者採用多重損失函數組合：\n\n$$\n\\mathcal{L} = \\lambda_1 \\mathcal{L}_c + \\lambda_2 \\mathcal{L}_s + \\lambda_3 \\mathcal{L}_{cls} + \\lambda_4 \\mathcal{L}_{cue}\n$$\n\n- $\\mathcal{L}_c$ / $\\mathcal{L}_s$：分別來自內容與風格分支的指令分類任務（即語意對齊）。\n- $\\mathcal{L}_{cls}$：最終判斷 spoof / real 的分類損失，使用標準交叉熵預測與 ground truth 差異。\n- $\\mathcal{L}_{cue}$：提示圖 cue map 的學習損失，靈感來自 one-class training，設計如下：\n\n$$\n\\mathcal{L}_{cue} =\n\\begin{cases}\n\\frac{d^2}{\\beta} & \\text{if } d < \\beta \\\\\nd - \\frac{\\beta}{2} & \\text{otherwise}\n\\end{cases}\n$$\n\n其中 $d = |p_{cue} - y_{mask}|$ 為預測 cue map 與目標圖之間的差異，$\\beta$ 為切換 L1 / L2 懲罰的閾值。論文沒有使用人工標註的攻擊區域：假臉的目標圖設為全白，真臉則設為全黑。\n\n這項設計以「白圖＝假臉、黑圖＝真臉」提供輔助訓練訊號，不能將 cue map 當成有區域標註監督的攻擊位置預測。\n\n### 實作細節\n\nInstructFLIP 採用 **CelebA-Spoof (CA)** 作為唯一訓練來源。\n\n這個資料集提供 11 個內容選項（10 類 spoof 與真人臉），同時還具備環境標註資料，包括：\n\n- **光照條件**（illumination）\n- **拍攝環境**（environment）\n- **相機品質**（camera quality）\n\n這些語意標註可以建構豐富的 **內容指令（content prompts）** 與 **風格指令（style prompts）**，用於訓練模型以自然語言驅動其特徵學習能力。\n\n不同於以往 leave-one-out 或一對一訓練策略，InstructFLIP 採取 **一次訓練 → 多資料集測試** 的方式，並於七個公開 FAS 資料集中進行泛化評估：\n\n- **MSU-MFSD (M)**\n- **CASIA-FASD (C)**\n- **Replay-Attack (I)**\n- **OULU-NPU (O)**\n- **WMCA (W)**\n- **CASIA-CeFA (C)**\n- **CASIA-SURF (S)**\n\n此種 protocol 代表更嚴苛的泛化場景，也就是 **模型無須針對目標 domain 調整，而是直接應對未知領域的攻擊樣態與風格分佈。**\n\n以下配置為模型實作細節：\n\n- **輸入處理**：所有人臉圖像皆經由 MTCNN 對齊，並調整為 $224 \\times 224$ 的 RGB 輸入。\n- **視覺骨幹**：採用 CLIP 的 ViT-B/16 模型作為特徵提取器 $E$。\n- **語言模型（LLM）**：使用 **FLAN-T5 base**，並在訓練期間保持凍結。\n- **訓練策略**：採用 AdamW 優化器與 OneCycleLR 調度器。初始學習率 $1 \\times 10^{-6}$，高峰學習率 $5 \\times 10^{-6}$，weight decay 為 $1 \\times 10^{-6}$。\n- **訓練參數**：單張 NVIDIA RTX 4090，batch size 為 24，總共訓練 20 個 epoch。\n- **損失加權設定**：\n\n  - $\\lambda_1 = 0.4$（內容分支）\n  - $\\lambda_2 = 0.4$（風格分支）\n  - $\\lambda_3 = 0.15$（最終分類器）\n  - $\\lambda_4 = 0.05$（提示圖產生器）\n\n這些是論文的訓練設定；推論成本須依實際採用的模型版本評估。附錄另列出去除凍結 LLM 的 InstructFLIP⁻ 版本。\n\n評估指標的部分，作者遵循先前文獻慣例，採用三項經典指標進行評估：\n\n- **HTER**（Half Total Error Rate）\n- **AUC**（Area Under ROC Curve）\n- **TPR\\@FPR**（在特定 False Positive Rate 下的 True Positive Rate）\n\n為了確保實驗穩定性與結果可信度，每組模型皆以 **五種隨機種子重複訓練**，報告其平均表現。\n\n## 討論\n\n為評估 InstructFLIP 在統一設定下的真實實力，作者納入當前最具代表性的 FAS 方法作為比較基準，涵蓋不同設計思維與技術路線，包括：\n\n- **SSDG**：使用 style separation 強化 domain-invariant 特徵。\n- **ViT**：純視覺變壓器架構，本文採用其 zero-shot 設定，排除 ViTAF few-shot 版本以維持比較公平性。\n- **SAFAS**：採用 self-adaptive filter 增強泛化能力。\n- **FLIP**：首次導入 CLIP 模型進行跨模態 FAS 的先驅性研究。\n- **CFPL**：進一步引入 BLIP2 與 Q-Former，擴展語言指令在 FAS 任務中的應用範圍。\n\n由於 **BUDoPT、DiffFAS 與 FGPL** 尚未公開程式碼，故未納入實作比較。\n\n其餘方法皆已在作者所設計的統一實驗流程下重新實作與訓練，以確保評估一致性。\n\n實驗結果如下表：\n\n![results](/content/papers/assets/16274c53fa1d33d722519b0817f3cfdca9fa88d99df50c8e40611d0bd194935b.jpg)\n\n- **HTER（錯誤率）**：InstructFLIP 在七個測試集中的六個優於表列對照方法；**CASIA-CeFA 是例外**，HTER 為 8.49%，高於 CFPL 的 5.50%。與 CFPL 相比，其餘六組 HTER 如下：\n\n  - MSU-MFSD (M)：8.45% → **5.52%**\n  - CASIA-FASD (C)：2.77% → **1.47%**\n  - Replay-Attack (I)：10.00% → **9.12%**\n  - OULU-NPU (O)：17.21% → **14.33%**\n  - WMCA (W)：26.85% → **19.51%**\n  - CASIA-SURF (S)：42.29% → **30.33%**\n\n- **AUC（曲線下面積）**：六個測試集高於 CFPL；CASIA-CeFA 為 96.81%，低於 CFPL 的 98.74%。\n\n- **TPR\\@FPR=1%（固定低誤報率下的真陽性率）**：六個測試集高於 CFPL；CASIA-CeFA 為 70.17%，低於 CFPL 的 78.72%。\n\n**CASIA-CeFA** 的三項指標都低於 CFPL。論文提出文化與環境差異可能是原因，但沒有針對這些因素做消融，不能由這張表判定原因。\n\n### 模組貢獻分析\n\n\n\n![module_contribution](/content/papers/assets/02b28ad3c542c5e6f63711a80b61e818a5150a36193e486ef91d848edcde075c.jpg)\n\n\n\n消融實驗一開始，作者首先評估三個主要模組的效益：\n\n- **內容分支（CB）**\n- **風格分支（SB）**\n- **提示圖產生器（Cue）**\n\n基準模型為「不使用任何語言提示，僅圖像輸入」的傳統 FAS 架構，作為公平比較的起點。\n\n- 單獨加入 CB，平均 HTER 從 21.96% 降至 14.25%，AUC 從 82.88% 升至 90.23%。\n- 單獨加入 SB，平均 HTER 為 16.25%，TPR\\@FPR=1% 從 26.89% 升至 41.92%；CB 與 SB 合用時，該 TPR 升至 60.84%。\n- 再加入 Cue，平均 HTER 從 13.25% 降至 12.68%，TPR\\@FPR=1% 從 60.84% 升至 65.23%；表格未評估 cue map 的區域定位準確率。\n\n這組消融支持三個模組在此統一評估設定下對平均分類指標有貢獻。\n\n### LLM 模組的影響\n\n\n\n![llm_impact](/content/papers/assets/beda79055638d0396236c51860ff374713f755d41a64343197614b07df9c0e86.jpg)\n\n\n\n為釐清性能提升究竟來自大型語言模型（LLM）的語意能力，還是 meta-domain 提供的結構標註，作者設計了變體 **InstructFLIP†**：\n\n- 保留 CB 與 SB，但將 LLM 替換為輕量分類器。\n\n結果顯示：\n\n- 不使用凍結 LLM 的 InstructFLIP†，平均 HTER／AUC 為 14.39%／89.97%，優於 CFPL 的 16.15%／88.65%；但 TPR\\@FPR=1% 為 48.33%，低於 CFPL 的 53.98%。\n- 使用凍結 LLM 的完整模型，三項平均指標進一步達到 12.68%、93.68% 與 65.23%。這比較顯示該模組在此架構下有幫助，無法單獨證明提升來自「語言推理」。\n\n換言之，結構化標註與凍結 LLM 在這組模型變體中都影響了結果，效益仍須按指標分開看。\n\n### Spoof 類型分類細緻度\n\n\n\n![spoof_type_detail](/content/papers/assets/290d5e61afa44b5bb373ff6e8f75f425fa914c0fdd958ca9992982159a7e4c61.jpg)\n\n\n\n在這組實驗中，作者評估 spoof 類型的「語意分類細緻度」對模型效能的影響。將 print／replay／2D mask 各自從一類逐步細分至三類，真人臉與 3D mask 仍各為一類。\n\n從各一類增至各三類時，平均 HTER 從 19.11% 降至 12.68%，AUC 從 87.14% 升至 93.68%；但中間的各兩類設定，TPR\\@FPR=1% 從 39.13% 降至 38.30%，並非每增加一類都改善所有指標。\n\n這支持在此資料與模型設定下使用較細的攻擊類別標註。\n\n### Style Prompt 多樣性\n\n\n\n![style_prompt_diversity](/content/papers/assets/9342b183533e145ccc56dc88985b70e9fd6f77e0c25a66a50aeb197c69708b2e.jpg)\n\n\n\n最後，作者檢視不同數量的 style prompt 對效能的影響。分別加入：\n\n- Style 1：光照條件\n- Style 2：拍攝環境\n- Style 3：相機品質\n\n在這三組設定中，加入更多 style prompt 後，平均 HTER 依序為 20.65%、19.25%、12.68%，TPR\\@FPR=1% 依序為 37.48%、45.08%、65.23%。這支持在此設定下加入三種風格標註有幫助，但表格沒有直接量測特徵是否已解耦。\n\n## 質性分析\n\n除了量化指標外，作者亦透過一系列質性觀察來解析 InstructFLIP 的實際推論表現，涵蓋成功案例、失敗案例與與開源 VLM 模型的對照分析。\n\n為確保分析公平性與語意完整性，作者這裡針對每個樣本設計四組提示語：\n\n- **Content**：偵測攻擊類型\n- **Style1**：光照條件\n- **Style2**：拍攝場景\n- **Style3**：相機品質\n\n此提示設計參考下表，能幫助模型在語意與視覺建立清晰對應關係，提升情境基礎能力。\n\n\n\n![prompt_components](/content/papers/assets/3cb16c14ddbd8613e10ca5b1477c507fcc693edeaad860cc062e6000aec89bcc.jpg)\n\n\n\n### 成功案例分析\n\n![success_cases](/content/papers/assets/9dd74f56964256288c605515b3f1c2e29616bf443c16f8dc7176b62ccc84f28c.jpg)\n\n如上圖 (a) 所示，一個 live face 樣本被模型正確分類為真實人臉，fake score 僅為 **0.001**，顯示幾近於零的錯誤預測機率。\n\n同樣，在 (b) 中，一張 spoof 圖像（平板螢幕重播）被準確辨識為偽造樣本，fake score 達到 **0.998**，展現出極高的自信度與語意一致性。\n\n在這些成功案例中，我們可以觀察到：\n\n- **LLM 預測的語意輸出**（如 spoof 類型、光照、環境、畫質）與 ground truth 完美對齊。\n- **Cue map** 所生成的提示區域精準標示了可疑紋理與偽造邊界，強化最終決策的合理性與可解釋性。\n- 模型對於 **跨 domain 測試集中的未知變異條件** 仍能穩健推理，證實語言指令的語意引導具有效泛化性。\n\n### 失敗案例分析\n\n儘管整體表現優異，InstructFLIP 在部分情境中仍存在誤判風險。\n\n作者將失敗案例依誤判類型分為：\n\n- **假陽性（False Positive）**\n\n  如上圖 (c) 所示，模型誤將一張 **海報攻擊樣本辨識為真實人臉**。推測可能原因包括：\n\n  - 海報材質與臉部質感相近，導致 gloss 特徵難以區分。\n  - 模型誤判光照為 Normal，而非實際的 Backlight，顯示其在 luminance gradient 敏感度上仍有提升空間。\n\n- **假陰性（False Negative）**\n\n  如上圖 (d) 所示，模型將一張 **真人臉誤判為螢幕播放**。儘管光照與環境預測準確，但模型可能受到 **反光面特徵過度擴張學習** 的干擾，將真實臉部誤投射至 spoof 類別。此外，相機畫質也被過度評估，反映模型在 **清晰度與真實性之間** 的判斷邏輯尚未完全解耦。\n\n  這些案例提醒我們：**模型仍需增強對材質細節與反光背景的敏感度。**\n\n### 與開源 VLM 模型對比\n\n![vlm_comparison](/content/papers/assets/9d15837f4242e9e757ce0b543c8062f58c5b158446e6ac166e01d78c5a36e54c.jpg)\n\n為進一步驗證 InstructFLIP 在指令理解上的優勢，作者選擇兩個代表性模型作為對照組：\n\n- **InstructBLIP**：語言對齊能力佳，但缺乏 spoof 特化能力。\n- **GPT-4o**：語言表達強大，但預測決策不具明確分類功能。\n\n作者比較兩組樣本（fake 與 live），分別給予完整的 content + style 指令。\n\n結果顯示 GPT-4o 在大部分的情況下都會拒絕回答，或是給出模糊的描述，無法提供明確的 spoof 類型或環境條件。而 InstructBLIP 雖然能給出部分正確的預測，但在 spoof 類型識別上仍有多次誤判，無法達到 InstructFLIP 的精確度。\n\n整體看來，InstructFLIP 在語意對齊與推理能力上，穩定性與準確度均優於其他兩個模型。\n\n## 結論\n\nInstructFLIP 延續了 CFPL 對語意驅動 FAS 的研究脈絡，兩者在架構上表面相似，皆採用 Q-Former 搭配多模態指令設計，但實質上，InstructFLIP 在三個關鍵層面完成了顯著的改進：\n\n首先，透過 meta-domain 訓練策略，InstructFLIP 不再依賴冗長的 leave-one-out 設定，而能以一次訓練泛化多個未知場景，顯著降低部署成本。\n\n其次，它首度將 spoof 類型與環境因素透過雙分支架構顯式解耦，分別優化、分別對齊，讓模型在辨識攻擊時能有意識地排除非關語意的干擾，提升語意清晰度與泛化韌性。\n\n最後，InstructFLIP 引入查詢融合（Query Fusion）與 cue map 產生器，使得模型在不依賴 LLM 解碼的情況下即可進行即時預測，讓整體推論流程更加輕量且適合部署。值得一提的是，若有需求，LLM 模組依然可以保留在系統中，用於進一步解釋模型決策背後的語意依據，實現推論與解釋的靈活切換。\n\n從工程實作的角度來看，InstructFLIP 讓我們不必犧牲語言推理力，也不必綁死在大型語言模型的運算負擔中。只要設計得當，語言可以是一種高效的監督方式，而指令本身，也可以成為模型與任務規格之間最自然的介面。\n","imageSizes":{"/content/papers/assets/f939a936e3ea5eb6ddd394e6797d1dc1e2b878b9d4750b8826f1baefa55f11c0.jpg":{"width":1224,"height":664},"/content/papers/assets/16274c53fa1d33d722519b0817f3cfdca9fa88d99df50c8e40611d0bd194935b.jpg":{"width":1604,"height":778},"/content/papers/assets/02b28ad3c542c5e6f63711a80b61e818a5150a36193e486ef91d848edcde075c.jpg":{"width":1024,"height":336},"/content/papers/assets/beda79055638d0396236c51860ff374713f755d41a64343197614b07df9c0e86.jpg":{"width":856,"height":268},"/content/papers/assets/290d5e61afa44b5bb373ff6e8f75f425fa914c0fdd958ca9992982159a7e4c61.jpg":{"width":992,"height":256},"/content/papers/assets/9342b183533e145ccc56dc88985b70e9fd6f77e0c25a66a50aeb197c69708b2e.jpg":{"width":920,"height":240},"/content/papers/assets/3cb16c14ddbd8613e10ca5b1477c507fcc693edeaad860cc062e6000aec89bcc.jpg":{"width":1000,"height":592},"/content/papers/assets/9dd74f56964256288c605515b3f1c2e29616bf443c16f8dc7176b62ccc84f28c.jpg":{"width":1770,"height":524},"/content/papers/assets/9d15837f4242e9e757ce0b543c8062f58c5b158446e6ac166e01d78c5a36e54c.jpg":{"width":1578,"height":452}}}
