InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing
- 發表版本
- ACM Multimedia 2025會議
- arXiv 首次提交
- arXiv:2507.12060
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{faceantispoofinginstructflip2025,
title = {{InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing}},
author = {Kun-Hsiang Lin and Yu-Wen Tseng and Kang-Yang Huang and Jhih-Ciang Wu and Wen-Huang Cheng},
year = {2025},
eprint = {2507.12060},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2507.12060}
}
人臉辨識技術是一面鏡子。
它反映了人工智慧在「看見」人類外貌的進展,也揭露了我們對「真實」定義的脆弱。
定義問題
這項技術從生物辨識的邊緣走入日常,替代密碼、解鎖裝置、甚至決定誰能穿越邊境。
但當一張高解析的照片、一段循環播放的影片,甚至一張臉型完美的矽膠面具,足以欺騙系統的時候,我們不得不承認:這面鏡子並不可靠。
Face Anti-Spoofing(FAS)因此而生。研究者從二分類模型出發,漸次加入注意力機制、生成對抗網路與輔助學習模組,試圖拆穿假臉的假象。
接著,Domain Adaptation(DA)與 Domain Generalization(DG)進場,針對跨設備、跨場景的問題提出補救機制。但它們的代價是龐大的標註成本與重複訓練的折磨,也讓「每多一個場景,就要多一份代價」這件事成了產業無法忽視的痛點。
直到 2023 年,FLIP 的出現帶來了新的想像。
它首次引入 CLIP 的語言模態,試圖將「臉的語意」納入偵測系統,用語言描述畫面中的真實與否。這樣的做法為 FAS 開啟了跨模態大門,但語言僅扮演輔助角色,語意尚未成為核心。
緊接著,CFPL-FAS 延續這條路徑,採用更強大的 BLIP-2 架構與 Q-Former 橋接模塊,嘗試更深入地對齊圖像與語言特徵。它引入更結構化的 prompt 設計,將「攻擊類型」與「環境條件」轉化為語言指令,改善了模型對情境的感知力。
然而,它仍未擺脫「依賴明確標註」與「每個 domain 都需單獨訓練」的框架限制,泛化能力依舊不穩,而且語言描述的能力有限,無法作為真正的語意理解。
2025 年,I-FAS 則進一步強調模型對語境的理解,透過「提示工程」強化語言引導的深度,提升對未知攻擊類型的適應力。儘管成效可見,但它仍建立於傳統 leave-one-out 的 DG 訓練流程上,導致計算資源重複耗損、模型難以統一泛化。
換句話說,這些研究,從 FLIP 到 CFPL,再到 I-FAS,雖然不斷擴展 FAS 任務的語意邊界,卻都在同一堵牆邊留下嘆息:
模型無法用統一語言理解世界,也無法在多樣環境中保持推理一致性。
那麼,我們是否真的需要更多訓練、更大模型,才能翻越這堵牆?語言是否還有未被啟用的力量?我們是否能夠,建立一個能聽懂語言、看穿假象、一次學會全局的模型?
解決問題
在處理 FAS 任務時,模型所面對的最大挑戰之一,是來自不同資料集、場景、設備所導致的特徵分布落差。
傳統解法通常選擇「廣撒網」的方法:在多組 domain 上反覆訓練,再逐一驗證,試圖拼湊出一個跨域適用的模型。留一域驗證每換一組目標域就需要重新訓練,因而增加訓練成本。
為了解決這個問題,InstructFLIP 提出一種 統一化的泛化架構,其核心思路是:
與其讓模型自己盲猜每張臉背後的攻擊與環境,不如直接給它清楚的語言指令。
這項策略建立在一個關鍵資料集上:CelebA-Spoof。
CelebA-Spoof 具有攻擊類型與場景條件標註,允許我們針對圖像設計明確的提示語句,讓模型在這些標註範圍內學習 spoof 與場景條件。
為了有效覆蓋語意空間,InstructFLIP 的指令設計被清楚拆成兩類:
-
內容指令(Content Prompts):詢問「這張圖是哪種攻擊類型?」
選項包含:照片、螢幕、平面面具、區域遮蔽、3D 假臉等攻擊類型,以及真實臉部,共 11 種類別。例如:
“Choose the correct option for the following question: Which spoof type is in this image?”
-
風格指令(Style Prompts):詢問「這張圖的拍攝環境是什麼?」
選項涵蓋:光照條件(正常/背光/黑暗/強光)、場景(室內/室外)、相機品質(低/中/高)。例如:
“What is the illumination condition in this image?”
“What is the environment of this image?”
“What is the camera quality in this image?”
這樣的語言結構把內容與風格標註轉成不同指令,分別監督模型學習攻擊類型及拍攝條件。
模型架構
上圖是整個 InstructFLIP 的架構圖,可分為三個核心模組:
- (a) 內容分支(Content Branch)
- (b) 風格分支(Style Branch)
- (c) 特徵融合與判斷模組(Fusion + Classifier & Cue Generator)
以下,我們依照數據流動順序,一步步解構這張圖。
內容分支
內容分支(Content Branch)負責學習與攻擊類型直接相關的語意表徵,目標是讓模型能夠根據輸入影像,判斷其屬於哪一類 spoof 攻擊,或是否為真實人臉。
整體流程從圖像 出發,透過視覺編碼器 取得深層特徵 ,代表影像中的內容語意。接著,進入語言驅動的關鍵模組 Q-Former,串起了語言指令與圖像語意之間的橋樑。
具體來說,作者設計一組內容提示,形式為選擇題式的語句,例如:
"Choose the correct option for the following question: Which spoof type is in this image?"
選項涵蓋真人臉(real face)與各類 spoof 類型(如照片、螢幕回放、2D 面具、3D 面具等,合計 11 類),這些指令會先被轉換為指令嵌入向量 ,並與一組可學習查詢向量 串接,作為 Q-Former 的初始輸入:
Q-Former 內部堆疊多層注意力模組:
- 自注意力(MSA):更新查詢與語意指令之間的內部關聯:
- 跨模態注意力(MCA):將隱狀態與圖像內容特徵 互動,提取視覺資訊;原論文式 (3) 將此處的輸入仍記為 :
這個過程讓查詢向量學會「對應」指令所要尋找的語意目標,例如「這張臉是否有可疑的攻擊特徵」,或「它是否呈現特定的 spoof 模式」。
最終的查詢表示會與原始指令嵌入一起組成 soft prompt,進入 LLM 冷凍層進行語意引導式預測,產生內容分支預測結果 。
損失函數使用標準的交叉熵:
其中 為 ground truth 類別標籤。這一設計以攻擊類型與真人臉標籤監督內容分支;是否排除背景干擾,仍須由實驗驗證。
風格分支
風格分支更像一位背景觀察者,主要功能是:理解「這張臉是怎樣被拍下來的」。
FAS 任務中的 domain shift,也可能來自「環境與設備」的差異。例如:一張在黃昏拍攝、解析度低的真人臉,可能比一張光線明亮、拍攝清晰的假臉更像攻擊樣本。
這就是為什麼,我們需要風格分支的理由:它以光照、環境及相機品質為監督訊號,學習與攻擊類型不同的變異因子。
風格分支在結構上與內容分支對稱,它同樣接收一組風格提示,如:
- “What is the illumination condition in this image?”
- “What is the camera quality in this image?”
- “Is this photo taken indoors or outdoors?”
這些指令被編碼為嵌入向量 ,並與可學習查詢向量 串接後,進入 Q-Former 模組,讓風格分支預測對應的拍攝條件。
而在特徵設計上,風格分支採用不同於內容的建構方式:
-
首先從視覺編碼器中抽取多層中間輸出 。
-
對每一層,計算其均值 與標準差 ,組成統計表示:
-
最後將所有層級組合為多尺度風格特徵:
這樣的設計靈感來自於風格轉換任務中的 Adaptive Instance Normalization(AdaIN)。
風格分支的預測結果 同樣經由語言驅動的語意對齊,最後以 cross-entropy 損失優化其辨識正確率:
風格分支不直接輸出 spoof/real 標籤,但其查詢向量 會參與後續融合與最終判斷。
特徵融合與判斷模組
當內容分支與風格分支各自完成了任務語意與場景語意的解析後,InstructFLIP 並未將兩者簡單拼接輸出,而是設計了一個 語意引導的融合模組,將這兩條通道的知識匯聚為最終判斷依據。
這個模組的關鍵操作來自 Q-Former 結構中的注意力機制,作者首先將內容分支與風格分支所學得的查詢向量(, )串接為融合查詢:
接著,將這組查詢與內容特徵 再次進行跨模態注意力互動,得到最終融合表示 :
在這裡,特別需要注意的是:風格特徵 並未參與融合。這是刻意的決策,因為風格特徵是 domain-specific,加入後可能反而削弱泛化能力。
也就是說,InstructFLIP 透過風格分支來學習免疫機制,但不讓其主導最終判斷。
融合後的表示 被拆成兩段:
- :前導 token,作為 spoofing classifier 的輸入,用於預測是否為詐欺樣本。
- :其餘 token,傳入提示圖產生器 ,產生輔助判斷的 cue map。
多重目標學習
為了同時最佳化語言理解、視覺推理與可解釋性輸出,作者採用多重損失函數組合:
- / :分別來自內容與風格分支的指令分類任務(即語意對齊)。
- :最終判斷 spoof / real 的分類損失,使用標準交叉熵預測與 ground truth 差異。
- :提示圖 cue map 的學習損失,靈感來自 one-class training,設計如下:
其中 為預測 cue map 與目標圖之間的差異, 為切換 L1 / L2 懲罰的閾值。論文沒有使用人工標註的攻擊區域:假臉的目標圖設為全白,真臉則設為全黑。
這項設計以「白圖=假臉、黑圖=真臉」提供輔助訓練訊號,不能將 cue map 當成有區域標註監督的攻擊位置預測。
實作細節
InstructFLIP 採用 CelebA-Spoof (CA) 作為唯一訓練來源。
這個資料集提供 11 個內容選項(10 類 spoof 與真人臉),同時還具備環境標註資料,包括:
- 光照條件(illumination)
- 拍攝環境(environment)
- 相機品質(camera quality)
這些語意標註可以建構豐富的 內容指令(content prompts) 與 風格指令(style prompts),用於訓練模型以自然語言驅動其特徵學習能力。
不同於以往 leave-one-out 或一對一訓練策略,InstructFLIP 採取 一次訓練 → 多資料集測試 的方式,並於七個公開 FAS 資料集中進行泛化評估:
- MSU-MFSD (M)
- CASIA-FASD (C)
- Replay-Attack (I)
- OULU-NPU (O)
- WMCA (W)
- CASIA-CeFA (C)
- CASIA-SURF (S)
此種 protocol 代表更嚴苛的泛化場景,也就是 模型無須針對目標 domain 調整,而是直接應對未知領域的攻擊樣態與風格分佈。
以下配置為模型實作細節:
-
輸入處理:所有人臉圖像皆經由 MTCNN 對齊,並調整為 的 RGB 輸入。
-
視覺骨幹:採用 CLIP 的 ViT-B/16 模型作為特徵提取器 。
-
語言模型(LLM):使用 FLAN-T5 base,並在訓練期間保持凍結。
-
訓練策略:採用 AdamW 優化器與 OneCycleLR 調度器。初始學習率 ,高峰學習率 ,weight decay 為 。
-
訓練參數:單張 NVIDIA RTX 4090,batch size 為 24,總共訓練 20 個 epoch。
-
損失加權設定:
- (內容分支)
- (風格分支)
- (最終分類器)
- (提示圖產生器)
這些是論文的訓練設定;推論成本須依實際採用的模型版本評估。附錄另列出去除凍結 LLM 的 InstructFLIP⁻ 版本。
評估指標的部分,作者遵循先前文獻慣例,採用三項經典指標進行評估:
- HTER(Half Total Error Rate)
- AUC(Area Under ROC Curve)
- TPR@FPR(在特定 False Positive Rate 下的 True Positive Rate)
為了確保實驗穩定性與結果可信度,每組模型皆以 五種隨機種子重複訓練,報告其平均表現。
討論
為評估 InstructFLIP 在統一設定下的真實實力,作者納入當前最具代表性的 FAS 方法作為比較基準,涵蓋不同設計思維與技術路線,包括:
- SSDG:使用 style separation 強化 domain-invariant 特徵。
- ViT:純視覺變壓器架構,本文採用其 zero-shot 設定,排除 ViTAF few-shot 版本以維持比較公平性。
- SAFAS:採用 self-adaptive filter 增強泛化能力。
- FLIP:首次導入 CLIP 模型進行跨模態 FAS 的先驅性研究。
- CFPL:進一步引入 BLIP2 與 Q-Former,擴展語言指令在 FAS 任務中的應用範圍。
由於 BUDoPT、DiffFAS 與 FGPL 尚未公開程式碼,故未納入實作比較。
其餘方法皆已在作者所設計的統一實驗流程下重新實作與訓練,以確保評估一致性。
實驗結果如下表:
-
HTER(錯誤率):InstructFLIP 在七個測試集中的六個優於表列對照方法;CASIA-CeFA 是例外,HTER 為 8.49%,高於 CFPL 的 5.50%。與 CFPL 相比,其餘六組 HTER 如下:
- MSU-MFSD (M):8.45% → 5.52%
- CASIA-FASD (C):2.77% → 1.47%
- Replay-Attack (I):10.00% → 9.12%
- OULU-NPU (O):17.21% → 14.33%
- WMCA (W):26.85% → 19.51%
- CASIA-SURF (S):42.29% → 30.33%
-
AUC(曲線下面積):六個測試集高於 CFPL;CASIA-CeFA 為 96.81%,低於 CFPL 的 98.74%。
-
TPR@FPR=1%(固定低誤報率下的真陽性率):六個測試集高於 CFPL;CASIA-CeFA 為 70.17%,低於 CFPL 的 78.72%。
CASIA-CeFA 的三項指標都低於 CFPL。論文提出文化與環境差異可能是原因,但沒有針對這些因素做消融,不能由這張表判定原因。
模組貢獻分析
消融實驗一開始,作者首先評估三個主要模組的效益:
- 內容分支(CB)
- 風格分支(SB)
- 提示圖產生器(Cue)
基準模型為「不使用任何語言提示,僅圖像輸入」的傳統 FAS 架構,作為公平比較的起點。
- 單獨加入 CB,平均 HTER 從 21.96% 降至 14.25%,AUC 從 82.88% 升至 90.23%。
- 單獨加入 SB,平均 HTER 為 16.25%,TPR@FPR=1% 從 26.89% 升至 41.92%;CB 與 SB 合用時,該 TPR 升至 60.84%。
- 再加入 Cue,平均 HTER 從 13.25% 降至 12.68%,TPR@FPR=1% 從 60.84% 升至 65.23%;表格未評估 cue map 的區域定位準確率。
這組消融支持三個模組在此統一評估設定下對平均分類指標有貢獻。
LLM 模組的影響
為釐清性能提升究竟來自大型語言模型(LLM)的語意能力,還是 meta-domain 提供的結構標註,作者設計了變體 InstructFLIP†:
- 保留 CB 與 SB,但將 LLM 替換為輕量分類器。
結果顯示:
- 不使用凍結 LLM 的 InstructFLIP†,平均 HTER/AUC 為 14.39%/89.97%,優於 CFPL 的 16.15%/88.65%;但 TPR@FPR=1% 為 48.33%,低於 CFPL 的 53.98%。
- 使用凍結 LLM 的完整模型,三項平均指標進一步達到 12.68%、93.68% 與 65.23%。這比較顯示該模組在此架構下有幫助,無法單獨證明提升來自「語言推理」。
換言之,結構化標註與凍結 LLM 在這組模型變體中都影響了結果,效益仍須按指標分開看。
Spoof 類型分類細緻度
在這組實驗中,作者評估 spoof 類型的「語意分類細緻度」對模型效能的影響。將 print/replay/2D mask 各自從一類逐步細分至三類,真人臉與 3D mask 仍各為一類。
從各一類增至各三類時,平均 HTER 從 19.11% 降至 12.68%,AUC 從 87.14% 升至 93.68%;但中間的各兩類設定,TPR@FPR=1% 從 39.13% 降至 38.30%,並非每增加一類都改善所有指標。
這支持在此資料與模型設定下使用較細的攻擊類別標註。
Style Prompt 多樣性
最後,作者檢視不同數量的 style prompt 對效能的影響。分別加入:
- Style 1:光照條件
- Style 2:拍攝環境
- Style 3:相機品質
在這三組設定中,加入更多 style prompt 後,平均 HTER 依序為 20.65%、19.25%、12.68%,TPR@FPR=1% 依序為 37.48%、45.08%、65.23%。這支持在此設定下加入三種風格標註有幫助,但表格沒有直接量測特徵是否已解耦。
質性分析
除了量化指標外,作者亦透過一系列質性觀察來解析 InstructFLIP 的實際推論表現,涵蓋成功案例、失敗案例與與開源 VLM 模型的對照分析。
為確保分析公平性與語意完整性,作者這裡針對每個樣本設計四組提示語:
- Content:偵測攻擊類型
- Style1:光照條件
- Style2:拍攝場景
- Style3:相機品質
此提示設計參考下表,能幫助模型在語意與視覺建立清晰對應關係,提升情境基礎能力。
成功案例分析
如上圖 (a) 所示,一個 live face 樣本被模型正確分類為真實人臉,fake score 僅為 0.001,顯示幾近於零的錯誤預測機率。
同樣,在 (b) 中,一張 spoof 圖像(平板螢幕重播)被準確辨識為偽造樣本,fake score 達到 0.998,展現出極高的自信度與語意一致性。
在這些成功案例中,我們可以觀察到:
- LLM 預測的語意輸出(如 spoof 類型、光照、環境、畫質)與 ground truth 完美對齊。
- Cue map 所生成的提示區域精準標示了可疑紋理與偽造邊界,強化最終決策的合理性與可解釋性。
- 模型對於 跨 domain 測試集中的未知變異條件 仍能穩健推理,證實語言指令的語意引導具有效泛化性。
失敗案例分析
儘管整體表現優異,InstructFLIP 在部分情境中仍存在誤判風險。
作者將失敗案例依誤判類型分為:
-
假陽性(False Positive)
如上圖 (c) 所示,模型誤將一張 海報攻擊樣本辨識為真實人臉。推測可能原因包括:
- 海報材質與臉部質感相近,導致 gloss 特徵難以區分。
- 模型誤判光照為 Normal,而非實際的 Backlight,顯示其在 luminance gradient 敏感度上仍有提升空間。
-
假陰性(False Negative)
如上圖 (d) 所示,模型將一張 真人臉誤判為螢幕播放。儘管光照與環境預測準確,但模型可能受到 反光面特徵過度擴張學習 的干擾,將真實臉部誤投射至 spoof 類別。此外,相機畫質也被過度評估,反映模型在 清晰度與真實性之間 的判斷邏輯尚未完全解耦。
這些案例提醒我們:模型仍需增強對材質細節與反光背景的敏感度。
與開源 VLM 模型對比
為進一步驗證 InstructFLIP 在指令理解上的優勢,作者選擇兩個代表性模型作為對照組:
- InstructBLIP:語言對齊能力佳,但缺乏 spoof 特化能力。
- GPT-4o:語言表達強大,但預測決策不具明確分類功能。
作者比較兩組樣本(fake 與 live),分別給予完整的 content + style 指令。
結果顯示 GPT-4o 在大部分的情況下都會拒絕回答,或是給出模糊的描述,無法提供明確的 spoof 類型或環境條件。而 InstructBLIP 雖然能給出部分正確的預測,但在 spoof 類型識別上仍有多次誤判,無法達到 InstructFLIP 的精確度。
整體看來,InstructFLIP 在語意對齊與推理能力上,穩定性與準確度均優於其他兩個模型。
結論
InstructFLIP 延續了 CFPL 對語意驅動 FAS 的研究脈絡,兩者在架構上表面相似,皆採用 Q-Former 搭配多模態指令設計,但實質上,InstructFLIP 在三個關鍵層面完成了顯著的改進:
首先,透過 meta-domain 訓練策略,InstructFLIP 不再依賴冗長的 leave-one-out 設定,而能以一次訓練泛化多個未知場景,顯著降低部署成本。
其次,它首度將 spoof 類型與環境因素透過雙分支架構顯式解耦,分別優化、分別對齊,讓模型在辨識攻擊時能有意識地排除非關語意的干擾,提升語意清晰度與泛化韌性。
最後,InstructFLIP 引入查詢融合(Query Fusion)與 cue map 產生器,使得模型在不依賴 LLM 解碼的情況下即可進行即時預測,讓整體推論流程更加輕量且適合部署。值得一提的是,若有需求,LLM 模組依然可以保留在系統中,用於進一步解釋模型決策背後的語意依據,實現推論與解釋的靈活切換。
從工程實作的角度來看,InstructFLIP 讓我們不必犧牲語言推理力,也不必綁死在大型語言模型的運算負擔中。只要設計得當,語言可以是一種高效的監督方式,而指令本身,也可以成為模型與任務規格之間最自然的介面。