返回論文筆記資料庫
arXiv 2025ACM Multimedia 2025人臉防偽論文筆記

InstructFLIP

嘆息之壁

原始論文

InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing

論文作者

Kun-Hsiang Lin · Yu-Wen Tseng · Kang-Yang Huang · Jhih-Ciang Wu · Wen-Huang Cheng

發表版本
ACM Multimedia 2025會議
arXiv 首次提交
arXiv:2507.12060
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{faceantispoofinginstructflip2025,
  title = {{InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing}},
  author = {Kun-Hsiang Lin and Yu-Wen Tseng and Kang-Yang Huang and Jhih-Ciang Wu and Wen-Huang Cheng},
  year = {2025},
  eprint = {2507.12060},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2507.12060}
}
本頁內容

人臉辨識技術是一面鏡子。

它反映了人工智慧在「看見」人類外貌的進展,也揭露了我們對「真實」定義的脆弱。

定義問題

這項技術從生物辨識的邊緣走入日常,替代密碼、解鎖裝置、甚至決定誰能穿越邊境。

但當一張高解析的照片、一段循環播放的影片,甚至一張臉型完美的矽膠面具,足以欺騙系統的時候,我們不得不承認:這面鏡子並不可靠。

Face Anti-Spoofing(FAS)因此而生。研究者從二分類模型出發,漸次加入注意力機制、生成對抗網路與輔助學習模組,試圖拆穿假臉的假象。

接著,Domain Adaptation(DA)與 Domain Generalization(DG)進場,針對跨設備、跨場景的問題提出補救機制。但它們的代價是龐大的標註成本與重複訓練的折磨,也讓「每多一個場景,就要多一份代價」這件事成了產業無法忽視的痛點。

直到 2023 年,FLIP 的出現帶來了新的想像。

它首次引入 CLIP 的語言模態,試圖將「臉的語意」納入偵測系統,用語言描述畫面中的真實與否。這樣的做法為 FAS 開啟了跨模態大門,但語言僅扮演輔助角色,語意尚未成為核心。

緊接著,CFPL-FAS 延續這條路徑,採用更強大的 BLIP-2 架構與 Q-Former 橋接模塊,嘗試更深入地對齊圖像與語言特徵。它引入更結構化的 prompt 設計,將「攻擊類型」與「環境條件」轉化為語言指令,改善了模型對情境的感知力。

然而,它仍未擺脫「依賴明確標註」與「每個 domain 都需單獨訓練」的框架限制,泛化能力依舊不穩,而且語言描述的能力有限,無法作為真正的語意理解。

2025 年,I-FAS 則進一步強調模型對語境的理解,透過「提示工程」強化語言引導的深度,提升對未知攻擊類型的適應力。儘管成效可見,但它仍建立於傳統 leave-one-out 的 DG 訓練流程上,導致計算資源重複耗損、模型難以統一泛化。

換句話說,這些研究,從 FLIP 到 CFPL,再到 I-FAS,雖然不斷擴展 FAS 任務的語意邊界,卻都在同一堵牆邊留下嘆息:

模型無法用統一語言理解世界,也無法在多樣環境中保持推理一致性。

那麼,我們是否真的需要更多訓練、更大模型,才能翻越這堵牆?語言是否還有未被啟用的力量?我們是否能夠,建立一個能聽懂語言、看穿假象、一次學會全局的模型?

解決問題

在處理 FAS 任務時,模型所面對的最大挑戰之一,是來自不同資料集、場景、設備所導致的特徵分布落差。

傳統解法通常選擇「廣撒網」的方法:在多組 domain 上反覆訓練,再逐一驗證,試圖拼湊出一個跨域適用的模型。留一域驗證每換一組目標域就需要重新訓練,因而增加訓練成本。

為了解決這個問題,InstructFLIP 提出一種 統一化的泛化架構,其核心思路是:

與其讓模型自己盲猜每張臉背後的攻擊與環境,不如直接給它清楚的語言指令。

這項策略建立在一個關鍵資料集上:CelebA-Spoof。

CelebA-Spoof 具有攻擊類型與場景條件標註,允許我們針對圖像設計明確的提示語句,讓模型在這些標註範圍內學習 spoof 與場景條件。

為了有效覆蓋語意空間,InstructFLIP 的指令設計被清楚拆成兩類:

  • 內容指令(Content Prompts):詢問「這張圖是哪種攻擊類型?」

    選項包含:照片、螢幕、平面面具、區域遮蔽、3D 假臉等攻擊類型,以及真實臉部,共 11 種類別。例如:

    “Choose the correct option for the following question: Which spoof type is in this image?”

  • 風格指令(Style Prompts):詢問「這張圖的拍攝環境是什麼?」

    選項涵蓋:光照條件(正常/背光/黑暗/強光)、場景(室內/室外)、相機品質(低/中/高)。例如:

    “What is the illumination condition in this image?”

    “What is the environment of this image?”

    “What is the camera quality in this image?”

這樣的語言結構把內容與風格標註轉成不同指令,分別監督模型學習攻擊類型及拍攝條件。

模型架構

上圖是整個 InstructFLIP 的架構圖,可分為三個核心模組:

  • (a) 內容分支(Content Branch)
  • (b) 風格分支(Style Branch)
  • (c) 特徵融合與判斷模組(Fusion + Classifier & Cue Generator)

以下,我們依照數據流動順序,一步步解構這張圖。

內容分支

內容分支(Content Branch)負責學習與攻擊類型直接相關的語意表徵,目標是讓模型能夠根據輸入影像,判斷其屬於哪一類 spoof 攻擊,或是否為真實人臉。

整體流程從圖像 xx 出發,透過視覺編碼器 EE 取得深層特徵 fcf_c,代表影像中的內容語意。接著,進入語言驅動的關鍵模組 Q-Former,串起了語言指令與圖像語意之間的橋樑。

具體來說,作者設計一組內容提示,形式為選擇題式的語句,例如:

"Choose the correct option for the following question: Which spoof type is in this image?"

選項涵蓋真人臉(real face)與各類 spoof 類型(如照片、螢幕回放、2D 面具、3D 面具等,合計 11 類),這些指令會先被轉換為指令嵌入向量 Tc∈Rj×dT_c \in \mathbb{R}^{j \times d},並與一組可學習查詢向量 Qc∈Rk×dQ_c \in \mathbb{R}^{k \times d} 串接,作為 Q-Former 的初始輸入:

h=Qc⊕Tch = Q_c \oplus T_c

Q-Former 內部堆疊多層注意力模組:

  1. 自注意力(MSA):更新查詢與語意指令之間的內部關聯:
h~=h+ϕ(h)\tilde{h} = h + \phi(h)
  1. 跨模態注意力(MCA):將隱狀態與圖像內容特徵 fcf_c 互動,提取視覺資訊;原論文式 (3) 將此處的輸入仍記為 hh:
h^=h+ψ(h,fc)\hat{h} = h + \psi(h, f_c)

這個過程讓查詢向量學會「對應」指令所要尋找的語意目標,例如「這張臉是否有可疑的攻擊特徵」,或「它是否呈現特定的 spoof 模式」。

最終的查詢表示會與原始指令嵌入一起組成 soft prompt,進入 LLM 冷凍層進行語意引導式預測,產生內容分支預測結果 pcp_c。

損失函數使用標準的交叉熵:

Lc=−∑yclog⁡(pc)\mathcal{L}_c = - \sum y_c \log(p_c)

其中 ycy_c 為 ground truth 類別標籤。這一設計以攻擊類型與真人臉標籤監督內容分支;是否排除背景干擾,仍須由實驗驗證。

風格分支

風格分支更像一位背景觀察者,主要功能是:理解「這張臉是怎樣被拍下來的」。

FAS 任務中的 domain shift,也可能來自「環境與設備」的差異。例如:一張在黃昏拍攝、解析度低的真人臉,可能比一張光線明亮、拍攝清晰的假臉更像攻擊樣本。

這就是為什麼,我們需要風格分支的理由:它以光照、環境及相機品質為監督訊號,學習與攻擊類型不同的變異因子。

風格分支在結構上與內容分支對稱,它同樣接收一組風格提示,如:

  • “What is the illumination condition in this image?”
  • “What is the camera quality in this image?”
  • “Is this photo taken indoors or outdoors?”

這些指令被編碼為嵌入向量 TsT_s,並與可學習查詢向量 QsQ_s 串接後,進入 Q-Former 模組,讓風格分支預測對應的拍攝條件。

而在特徵設計上,風格分支採用不同於內容的建構方式:

  1. 首先從視覺編碼器中抽取多層中間輸出 E1(x),E2(x),…,EL(x)E_1(x), E_2(x), \dots, E_L(x)。

  2. 對每一層,計算其均值 μi\mu_i 與標準差 σi\sigma_i,組成統計表示:

    si=μi⊕σis_i = \mu_i \oplus \sigma_i
  3. 最後將所有層級組合為多尺度風格特徵:

    fs=s1⊕s2⊕⋯⊕sL∈R2L×df_s = s_1 \oplus s_2 \oplus \cdots \oplus s_L \in \mathbb{R}^{2L \times d}

這樣的設計靈感來自於風格轉換任務中的 Adaptive Instance Normalization(AdaIN)。

風格分支的預測結果 psp_s 同樣經由語言驅動的語意對齊,最後以 cross-entropy 損失優化其辨識正確率:

Ls=−∑yslog⁡(ps)\mathcal{L}_s = -\sum y_s \log(p_s)

風格分支不直接輸出 spoof/real 標籤,但其查詢向量 QsQ_s 會參與後續融合與最終判斷。

特徵融合與判斷模組

當內容分支與風格分支各自完成了任務語意與場景語意的解析後,InstructFLIP 並未將兩者簡單拼接輸出,而是設計了一個 語意引導的融合模組,將這兩條通道的知識匯聚為最終判斷依據。

這個模組的關鍵操作來自 Q-Former 結構中的注意力機制,作者首先將內容分支與風格分支所學得的查詢向量(QcQ_c, QsQ_s)串接為融合查詢:

Q=Qc⊕Qs∈R2k×dQ = Q_c \oplus Q_s \in \mathbb{R}^{2k \times d}

接著,將這組查詢與內容特徵 fcf_c 再次進行跨模態注意力互動,得到最終融合表示 Q^\hat{Q}:

Q^=Q+ψ(Q,fc~)\hat{Q} = Q + \psi(Q, \tilde{f_c})

在這裡,特別需要注意的是:風格特徵 fsf_s 並未參與融合。這是刻意的決策,因為風格特徵是 domain-specific,加入後可能反而削弱泛化能力。

也就是說,InstructFLIP 透過風格分支來學習免疫機制,但不讓其主導最終判斷。

融合後的表示 Q^\hat{Q} 被拆成兩段:

  • tclst_{cls}:前導 token,作為 spoofing classifier CC 的輸入,用於預測是否為詐欺樣本。
  • tcuet_{cue}:其餘 token,傳入提示圖產生器 GG,產生輔助判斷的 cue map。

多重目標學習

為了同時最佳化語言理解、視覺推理與可解釋性輸出,作者採用多重損失函數組合:

L=λ1Lc+λ2Ls+λ3Lcls+λ4Lcue\mathcal{L} = \lambda_1 \mathcal{L}_c + \lambda_2 \mathcal{L}_s + \lambda_3 \mathcal{L}_{cls} + \lambda_4 \mathcal{L}_{cue}
  • Lc\mathcal{L}_c / Ls\mathcal{L}_s:分別來自內容與風格分支的指令分類任務(即語意對齊)。
  • Lcls\mathcal{L}_{cls}:最終判斷 spoof / real 的分類損失,使用標準交叉熵預測與 ground truth 差異。
  • Lcue\mathcal{L}_{cue}:提示圖 cue map 的學習損失,靈感來自 one-class training,設計如下:
Lcue={d2βif d<βd−β2otherwise\mathcal{L}_{cue} = \begin{cases} \frac{d^2}{\beta} & \text{if } d < \beta \\ d - \frac{\beta}{2} & \text{otherwise} \end{cases}

其中 d=∣pcue−ymask∣d = |p_{cue} - y_{mask}| 為預測 cue map 與目標圖之間的差異,β\beta 為切換 L1 / L2 懲罰的閾值。論文沒有使用人工標註的攻擊區域:假臉的目標圖設為全白,真臉則設為全黑。

這項設計以「白圖=假臉、黑圖=真臉」提供輔助訓練訊號,不能將 cue map 當成有區域標註監督的攻擊位置預測。

實作細節

InstructFLIP 採用 CelebA-Spoof (CA) 作為唯一訓練來源。

這個資料集提供 11 個內容選項(10 類 spoof 與真人臉),同時還具備環境標註資料,包括:

  • 光照條件(illumination)
  • 拍攝環境(environment)
  • 相機品質(camera quality)

這些語意標註可以建構豐富的 內容指令(content prompts) 與 風格指令(style prompts),用於訓練模型以自然語言驅動其特徵學習能力。

不同於以往 leave-one-out 或一對一訓練策略,InstructFLIP 採取 一次訓練 → 多資料集測試 的方式,並於七個公開 FAS 資料集中進行泛化評估:

  • MSU-MFSD (M)
  • CASIA-FASD (C)
  • Replay-Attack (I)
  • OULU-NPU (O)
  • WMCA (W)
  • CASIA-CeFA (C)
  • CASIA-SURF (S)

此種 protocol 代表更嚴苛的泛化場景,也就是 模型無須針對目標 domain 調整,而是直接應對未知領域的攻擊樣態與風格分佈。

以下配置為模型實作細節:

  • 輸入處理:所有人臉圖像皆經由 MTCNN 對齊,並調整為 224×224224 \times 224 的 RGB 輸入。

  • 視覺骨幹:採用 CLIP 的 ViT-B/16 模型作為特徵提取器 EE。

  • 語言模型(LLM):使用 FLAN-T5 base,並在訓練期間保持凍結。

  • 訓練策略:採用 AdamW 優化器與 OneCycleLR 調度器。初始學習率 1×10−61 \times 10^{-6},高峰學習率 5×10−65 \times 10^{-6},weight decay 為 1×10−61 \times 10^{-6}。

  • 訓練參數:單張 NVIDIA RTX 4090,batch size 為 24,總共訓練 20 個 epoch。

  • 損失加權設定:

    • λ1=0.4\lambda_1 = 0.4(內容分支)
    • λ2=0.4\lambda_2 = 0.4(風格分支)
    • λ3=0.15\lambda_3 = 0.15(最終分類器)
    • λ4=0.05\lambda_4 = 0.05(提示圖產生器)

這些是論文的訓練設定;推論成本須依實際採用的模型版本評估。附錄另列出去除凍結 LLM 的 InstructFLIP⁻ 版本。

評估指標的部分,作者遵循先前文獻慣例,採用三項經典指標進行評估:

  • HTER(Half Total Error Rate)
  • AUC(Area Under ROC Curve)
  • TPR@FPR(在特定 False Positive Rate 下的 True Positive Rate)

為了確保實驗穩定性與結果可信度,每組模型皆以 五種隨機種子重複訓練,報告其平均表現。

討論

為評估 InstructFLIP 在統一設定下的真實實力,作者納入當前最具代表性的 FAS 方法作為比較基準,涵蓋不同設計思維與技術路線,包括:

  • SSDG:使用 style separation 強化 domain-invariant 特徵。
  • ViT:純視覺變壓器架構,本文採用其 zero-shot 設定,排除 ViTAF few-shot 版本以維持比較公平性。
  • SAFAS:採用 self-adaptive filter 增強泛化能力。
  • FLIP:首次導入 CLIP 模型進行跨模態 FAS 的先驅性研究。
  • CFPL:進一步引入 BLIP2 與 Q-Former,擴展語言指令在 FAS 任務中的應用範圍。

由於 BUDoPT、DiffFAS 與 FGPL 尚未公開程式碼,故未納入實作比較。

其餘方法皆已在作者所設計的統一實驗流程下重新實作與訓練,以確保評估一致性。

實驗結果如下表:

  • HTER(錯誤率):InstructFLIP 在七個測試集中的六個優於表列對照方法;CASIA-CeFA 是例外,HTER 為 8.49%,高於 CFPL 的 5.50%。與 CFPL 相比,其餘六組 HTER 如下:

    • MSU-MFSD (M):8.45% → 5.52%
    • CASIA-FASD (C):2.77% → 1.47%
    • Replay-Attack (I):10.00% → 9.12%
    • OULU-NPU (O):17.21% → 14.33%
    • WMCA (W):26.85% → 19.51%
    • CASIA-SURF (S):42.29% → 30.33%
  • AUC(曲線下面積):六個測試集高於 CFPL;CASIA-CeFA 為 96.81%,低於 CFPL 的 98.74%。

  • TPR@FPR=1%(固定低誤報率下的真陽性率):六個測試集高於 CFPL;CASIA-CeFA 為 70.17%,低於 CFPL 的 78.72%。

CASIA-CeFA 的三項指標都低於 CFPL。論文提出文化與環境差異可能是原因,但沒有針對這些因素做消融,不能由這張表判定原因。

模組貢獻分析

消融實驗一開始,作者首先評估三個主要模組的效益:

  • 內容分支(CB)
  • 風格分支(SB)
  • 提示圖產生器(Cue)

基準模型為「不使用任何語言提示,僅圖像輸入」的傳統 FAS 架構,作為公平比較的起點。

  • 單獨加入 CB,平均 HTER 從 21.96% 降至 14.25%,AUC 從 82.88% 升至 90.23%。
  • 單獨加入 SB,平均 HTER 為 16.25%,TPR@FPR=1% 從 26.89% 升至 41.92%;CB 與 SB 合用時,該 TPR 升至 60.84%。
  • 再加入 Cue,平均 HTER 從 13.25% 降至 12.68%,TPR@FPR=1% 從 60.84% 升至 65.23%;表格未評估 cue map 的區域定位準確率。

這組消融支持三個模組在此統一評估設定下對平均分類指標有貢獻。

LLM 模組的影響

為釐清性能提升究竟來自大型語言模型(LLM)的語意能力,還是 meta-domain 提供的結構標註,作者設計了變體 InstructFLIP†:

  • 保留 CB 與 SB,但將 LLM 替換為輕量分類器。

結果顯示:

  • 不使用凍結 LLM 的 InstructFLIP†,平均 HTER/AUC 為 14.39%/89.97%,優於 CFPL 的 16.15%/88.65%;但 TPR@FPR=1% 為 48.33%,低於 CFPL 的 53.98%。
  • 使用凍結 LLM 的完整模型,三項平均指標進一步達到 12.68%、93.68% 與 65.23%。這比較顯示該模組在此架構下有幫助,無法單獨證明提升來自「語言推理」。

換言之,結構化標註與凍結 LLM 在這組模型變體中都影響了結果,效益仍須按指標分開看。

Spoof 類型分類細緻度

在這組實驗中,作者評估 spoof 類型的「語意分類細緻度」對模型效能的影響。將 print/replay/2D mask 各自從一類逐步細分至三類,真人臉與 3D mask 仍各為一類。

從各一類增至各三類時,平均 HTER 從 19.11% 降至 12.68%,AUC 從 87.14% 升至 93.68%;但中間的各兩類設定,TPR@FPR=1% 從 39.13% 降至 38.30%,並非每增加一類都改善所有指標。

這支持在此資料與模型設定下使用較細的攻擊類別標註。

Style Prompt 多樣性

最後,作者檢視不同數量的 style prompt 對效能的影響。分別加入:

  • Style 1:光照條件
  • Style 2:拍攝環境
  • Style 3:相機品質

在這三組設定中,加入更多 style prompt 後,平均 HTER 依序為 20.65%、19.25%、12.68%,TPR@FPR=1% 依序為 37.48%、45.08%、65.23%。這支持在此設定下加入三種風格標註有幫助,但表格沒有直接量測特徵是否已解耦。

質性分析

除了量化指標外,作者亦透過一系列質性觀察來解析 InstructFLIP 的實際推論表現,涵蓋成功案例、失敗案例與與開源 VLM 模型的對照分析。

為確保分析公平性與語意完整性,作者這裡針對每個樣本設計四組提示語:

  • Content:偵測攻擊類型
  • Style1:光照條件
  • Style2:拍攝場景
  • Style3:相機品質

此提示設計參考下表,能幫助模型在語意與視覺建立清晰對應關係,提升情境基礎能力。

成功案例分析

如上圖 (a) 所示,一個 live face 樣本被模型正確分類為真實人臉,fake score 僅為 0.001,顯示幾近於零的錯誤預測機率。

同樣,在 (b) 中,一張 spoof 圖像(平板螢幕重播)被準確辨識為偽造樣本,fake score 達到 0.998,展現出極高的自信度與語意一致性。

在這些成功案例中,我們可以觀察到:

  • LLM 預測的語意輸出(如 spoof 類型、光照、環境、畫質)與 ground truth 完美對齊。
  • Cue map 所生成的提示區域精準標示了可疑紋理與偽造邊界,強化最終決策的合理性與可解釋性。
  • 模型對於 跨 domain 測試集中的未知變異條件 仍能穩健推理,證實語言指令的語意引導具有效泛化性。

失敗案例分析

儘管整體表現優異,InstructFLIP 在部分情境中仍存在誤判風險。

作者將失敗案例依誤判類型分為:

  • 假陽性(False Positive)

    如上圖 (c) 所示,模型誤將一張 海報攻擊樣本辨識為真實人臉。推測可能原因包括:

    • 海報材質與臉部質感相近,導致 gloss 特徵難以區分。
    • 模型誤判光照為 Normal,而非實際的 Backlight,顯示其在 luminance gradient 敏感度上仍有提升空間。
  • 假陰性(False Negative)

    如上圖 (d) 所示,模型將一張 真人臉誤判為螢幕播放。儘管光照與環境預測準確,但模型可能受到 反光面特徵過度擴張學習 的干擾,將真實臉部誤投射至 spoof 類別。此外,相機畫質也被過度評估,反映模型在 清晰度與真實性之間 的判斷邏輯尚未完全解耦。

    這些案例提醒我們:模型仍需增強對材質細節與反光背景的敏感度。

與開源 VLM 模型對比

為進一步驗證 InstructFLIP 在指令理解上的優勢,作者選擇兩個代表性模型作為對照組:

  • InstructBLIP:語言對齊能力佳,但缺乏 spoof 特化能力。
  • GPT-4o:語言表達強大,但預測決策不具明確分類功能。

作者比較兩組樣本(fake 與 live),分別給予完整的 content + style 指令。

結果顯示 GPT-4o 在大部分的情況下都會拒絕回答,或是給出模糊的描述,無法提供明確的 spoof 類型或環境條件。而 InstructBLIP 雖然能給出部分正確的預測,但在 spoof 類型識別上仍有多次誤判,無法達到 InstructFLIP 的精確度。

整體看來,InstructFLIP 在語意對齊與推理能力上,穩定性與準確度均優於其他兩個模型。

結論

InstructFLIP 延續了 CFPL 對語意驅動 FAS 的研究脈絡,兩者在架構上表面相似,皆採用 Q-Former 搭配多模態指令設計,但實質上,InstructFLIP 在三個關鍵層面完成了顯著的改進:

首先,透過 meta-domain 訓練策略,InstructFLIP 不再依賴冗長的 leave-one-out 設定,而能以一次訓練泛化多個未知場景,顯著降低部署成本。

其次,它首度將 spoof 類型與環境因素透過雙分支架構顯式解耦,分別優化、分別對齊,讓模型在辨識攻擊時能有意識地排除非關語意的干擾,提升語意清晰度與泛化韌性。

最後,InstructFLIP 引入查詢融合(Query Fusion)與 cue map 產生器,使得模型在不依賴 LLM 解碼的情況下即可進行即時預測,讓整體推論流程更加輕量且適合部署。值得一提的是,若有需求,LLM 模組依然可以保留在系統中,用於進一步解釋模型決策背後的語意依據,實現推論與解釋的靈活切換。

從工程實作的角度來看,InstructFLIP 讓我們不必犧牲語言推理力,也不必綁死在大型語言模型的運算負擔中。只要設計得當,語言可以是一種高效的監督方式,而指令本身,也可以成為模型與任務規格之間最自然的介面。