Interpretable Face Anti-Spoofing: Enhancing Generalization with Multimodal Large Language Models
- 發表版本
- AAAI 2025會議
- arXiv 首次提交
- arXiv:2501.01720
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{faceantispoofingifas2025,
title = {{Interpretable Face Anti-Spoofing: Enhancing Generalization with Multimodal Large Language Models}},
author = {Guosheng Zhang and Keyao Wang and Haixiao Yue and Ajian Liu and Gang Zhang and Kun Yao and Errui Ding and Jingdong Wang},
year = {2025},
eprint = {2501.01720},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2501.01720}
}
活體辨識的常態是一個二分類任務:Real 或 Spoof。
但如果我們問一句「為什麼?」,大多數模型是無法回答的。
甚至,它們連「為什麼」都不允許你問。
定義問題
現有的臉部防偽模型,大多訓練於單一目標,也就是將輸入影像分為真實與偽造。
這套邏輯行之有年,但在以下情境中頻頻失效:
- 測試場景與訓練資料風格落差過大
- 假臉製作手法翻新(如高清重播、3D 面具)
- 使用者群體出現文化、設備、地理分佈的差異
研究者試圖透過各種方法強化泛化能力,例如:
- Domain Adaptation(DA):讓模型接觸目標域資料、進行特徵對齊
- Domain Generalization(DG):從多個來源域中學習穩定特徵分佈
- Incremental Learning(IL):在維持舊知識的同時,引入新資料環境
但無論是哪種方法,本質上仍是從影像中提取「活體特徵」,而這些特徵,大多仍是模型自己解釋不出來的。
這就是問題的核心:
我們訓練出一個能判斷,但無法表達的系統。
它可以告訴你「這是假的」,卻無法說明「哪裡是假的」、「為什麼是假的」。
我們讓模型看到圖像,但卻沒教它如何說出一個合理的故事。
偏偏人類的辨識,恰恰是建立在故事之上。
解決問題
「這是真的嗎?」
對於活體辨識模型而言,這個問題不該只有答案,還應該有解釋。
I-FAS 框架正是基於這樣的信念,將 FAS 任務轉譯為一場「圖像問答」。
而要讓模型回答得像人一樣,需要從三個層面出發:語言建構、特徵對齊、訓練策略。
Spoof-aware Captioning and Filtering(SCF)
多數通用敘述模型(captioner)只會注意臉部表情、服裝或背景,卻忽略關鍵的假臉線索。
如下圖所示:
傳統 captioner 產出是 ,經過作者微調後 的 spoof-aware captioner 是 。
如上圖所示,傳統 captioner 產出的描述過於模糊,而微調後的 spoof-aware captioner 在這些例子中能指出攻擊媒介(如 screen, paper),並內嵌於句中。
SCF 策略的流程如下:
- 將 12 個公開資料集彙整為 ,標註為真假樣本 。
- 建立一組 spoof keyword 字典 ,依攻擊型態分類。
- 使用通用 captioner 對所有 fake 圖像生成初始敘述 。
- 過濾 caption 中未包含對應關鍵字的樣本,留下能夠明確反映攻擊特徵的 subset,記為 。
- 使用 微調 得到 spoof-aware captioner 。
- 最後對所有 real 圖像也產生 caption,組成具語意差異的訓練資料。
此策略讓每筆資料除了 label,還附帶語意說明,提升模型學習對比性與可解釋性。
Multimodal Instruction Tuning with GAC
完成訓練資料的製作後,就可以進入模型訓練的章節。
整體模型架構如上圖所示,I-FAS 由以下三個主要組件構成:
- 視覺編碼器 :提取輸入圖像 對應的特徵 。
- 跨模態連結器 :將 映射至語言模型的 token 空間。
- 語言模型 :在視覺特徵與文字提示下,自動回應問題,生成自然語言敘述。
圖中的視覺編碼器與語言模型保持凍結;主要透過 GAC 將視覺特徵接入語言模型。
Globally Aware Connector(GAC)
為使視覺語意更全面細緻,作者提出 GAC 模組,目標是將多層次的 global features 傳遞給語言模型。詳細過程如下:
-
從每層視覺編碼器提取 (即 cls token),構成 。
-
將其線性投影為 ,與可學習查詢向量 組合: 。
-
接著經歷多頭自注意力(MSA)與交叉注意力(MCA)與區域特徵 結合:
意思就是以 為主體,向影像特徵進行查詢,找出專屬於活體的特徵。
一般來說,淺層特徵有助於捕捉紋理細節(如摩爾紋、模糊),深層特徵則傾向抽象語意;GAC 正是為了將這些視角整合進語言輸出。如此一來,輸入語言模型的不是單一特徵,而是融合了視覺層次深淺、空間與語義的跨模態表示。
Lopsided Language Model Loss(L-LM Loss)
當模型學會說話之後,接下來的問題是:
它究竟應該先說出「結果」,還是先說出「理由」?
作者將 FAS 任務重新表述為單輪問答格式,訓練資料由三部分組成:
其中:
-
為固定指令句:「Is this photo of a real person?」
-
為雙段答案格式:
其中, 是模型的真偽判斷(“Yes” 或 “No”), 則是由 captioner( 或 )產出的語意敘述,用以說明判斷依據。
若套用傳統 LM Loss,模型會將整個 當作一段連續文本進行自回歸學習。
這將導致兩個問題:
- 語意重心不明確:模型可能過度模仿句尾 caption 的風格,卻忽略關鍵判斷字詞。
- 雜訊干擾收斂:解釋敘述常包含細節與雜訊,對 FAS 任務判斷本身幫助有限,反而拖慢模型對主任務的收斂速度。
為了在訓練時更重視「正確判斷」,同時學習「合理解釋」,作者採用一種非對稱權重設計的語言模型損失函數,稱為 Lopsided LM Loss(L-LM Loss):
其中:
- 是判斷部分(Yes/No)的 token-level loss
- 是敘述部分的 loss
- 是控制焦點的超參數
調整 可以改變兩種 token 損失的比重;論文使用同一組加權目標訓練,並未描述先訓練判斷、再逐步加入解釋的階段式流程。推論時,模型以回答「Yes」的機率作為真臉分數。
這項設計的效果不只體現在表列 HTER/AUC 上,訓練損失曲線也顯示使用 L-LM Loss 時下降較快、波動較小。
討論
跨域能力驗證
首先是 Protocol 1,採用四個經典資料集進行 leave-one-domain-out 測試。
從上表可見,I-FAS 在四組測試的 HTER 都最低,平均降至 1.33%;AUC 則在三組最高,O&C&M→I 為 98.48%,低於 DiVT-M 的 99.29%。這支持論文所測協定下的跨域表現,但不能單憑此表把差距全部歸因於自然語言監督。
Protocol 2 進一步將實驗推向極端:只使用 CelebA-Spoof 作為單一訓練來源,測試資料則涵蓋 11 個未知資料集,攻擊手法與感測裝置皆有差異。
實驗效果如下:
在此設定下,I-FAS 的平均 AUC 為 93.71%,比 FLIP 的 87.90% 高 5.81 個百分點,比 ViTAF 的 82.82% 高 10.89 個百分點。SURF-3DMask 與 SIW-M-V2 的 HTER/AUC 都優於表中對照;HKBU-MARs-V1+ 的 AUC 略高於 FLIP,但 HTER 18.64% 仍高於 FLIP 的 17.25%。各資料集與指標的改善幅度仍有差異。
模組貢獻
為驗證各模組的實質貢獻,作者對三個核心元件分別進行移除實驗,觀察其對泛化能力的影響,實驗結果如上表:
- SCF 拿掉後,模型回到僅輸出 Yes/No 的回應格式,HTER 上升 3.17 個百分點,AUC 下降 3.30 個百分點;這組消融同時移除了 caption 與解釋輸出。
- 移除 GAC 並以可學習查詢保持 token 數量後,HTER 上升 3.54 個百分點,AUC 下降 2.93 個百分點,支持多層全域特徵在此設定下的作用。
- 將 L-LM Loss 改為標準 LM Loss,HTER 從 11.30% 升至 12.06%,AUC 從 93.71% 降至 92.81%;收斂曲線也顯示損失波動較大,但這些結果未直接測量過擬合。
Caption 類型分析
文字多樣性,是否就代表了泛化能力?
作者對此提出相關的實驗,上表對比各種文字監督格式,說明 caption 的語義內容才是關鍵:
- 在 I-FAS 中只用判斷字詞(Yes/No)的 HTER/AUC 為 14.47%/90.41%;加入一般 caption 後為 14.23%/90.22%,兩項指標沒有同時改善。FLIP 換用 spoof-aware 敘述則從 18.73%/87.90% 改為 17.30%/89.15%。
- 當 spoof-aware caption 指出攻擊線索時,表列平均 AUC 提高至 93.71%;一般 caption 的對應設定為 90.22%。
- 將 spoof-aware caption 替換為一般 caption()時,模型性能反而下降,說明資訊的針對性遠比語料的多樣性來得重要。
L-LM Loss 超參數探討
從上圖分析可見,在作者測試的 值中,約 0.4 對應最高平均 AUC 與最低平均 HTER;右側另比較有無 L-LM Loss 的訓練損失:
- 若 過高,解釋部分在總損失中的權重下降,圖中跨域指標也變差。
- 若 過低,解釋部分權重升高;作者推測 caption 雜訊可能干擾學習,圖中的 也不如 0.4。
這組結果支持在判斷與解釋之間調整損失權重。
解釋能力可視化
一開始我們已經看了 spoof-aware caption 與通用 caption 的對比,圖中的前者能提到 paper、tablet、screen 等攻擊媒介,提供比通用描述更貼近任務的文字監督。
最後,再來看一張可視化結果,下圖顯示在 CelebA-Spoof 單一來源訓練後,模型於 SIW-M-V2 與 Rose-Youtu 所選測試樣本上的回答。這些例子包含判斷與敘述兩個部分,能說明輸出形式;是否真的依所述線索做出判斷,還需要超出這張定性圖的驗證。
結論
當模型只能學會回答「是」或「不是」,我們也就只能期待它輸出一個信心分數,卻無法得知它為什麼這麼判斷、又依據什麼線索做出決策。
這種分類想像雖然有利於系統開發與評估,卻也讓模型長期困於黑盒架構之中,難以面對跨域泛化、攻擊類型更新與場景條件變動等實際部署需求。
本研究試圖重新定義這種任務的輸出型態,透過引入自然語言問答格式與 caption 輔助監督,讓模型在「回答真假」的同時,也能說出「判斷依據」。
這也是近年來在各大電腦視覺領域中,監督語法上的轉向:
從單一標籤走向具結構的語意敘述。
實驗結果顯示,這樣的語意引導確實帶來了實質效益。無論在 Protocol 1 的多源泛化測試,或 Protocol 2 的單源極端設定中,I-FAS 在 OCIM 指標上皆取得目前為止最優異的表現。
這證實語言不僅可以輔助學習,更能穩定地提升模型對異常樣本的感知與理解能力。這場來自語言的改寫,不只是模型學會說話的過程,更是我們重新思考 FAS 任務邊界的契機。
當模型開口說話的那一刻,也許不只是 FAS 任務被重新定義 ——
所有的分類任務,都終將迎向另一種結局。