Instance-Aware Domain Generalization for Face Anti-Spoofing
- 發表版本
- CVPR 2023會議
- arXiv 首次提交
- arXiv:2304.05640
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{faceantispoofingiadg2023,
title = {{Instance-Aware Domain Generalization for Face Anti-Spoofing}},
author = {Qianyu Zhou and Ke-Yue Zhang and Taiping Yao and Xuequan Lu and Ran Yi and Shouhong Ding and Lizhuang Ma},
year = {2023},
eprint = {2304.05640},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2304.05640}
}
在過去的十年裡,研究者用盡各種方法來畫出真與假的邊界:
- 用 LBP、SIFT、HOG 等手工特徵辨識質感與紋理;
- 探索 YCrCb 色域與傅立葉頻譜中的異常模式;
- 分析時間序列中的微妙差異,試圖從眨眼、微動與血流中找出真人的證據;
接著,整個領域交棒給 CNN,用分類器、深度圖、反射圖與 rPPG 等輔助監督。
但這些方法往往只要換個場景、換個裝置、換個攻擊方式就效果驟降,難以部署。
定義問題
為了讓模型適應未知場域,研究者引入了 Domain Adaptation(DA) 與 Domain Generalization(DG) 的概念。
尤其在 DG 裡,對抗學習與元學習成為主流選擇,目的是學出一種「不管你來自哪裡,我都能識破你」的表徵方式。
但這條路走著走著,也開始暴露出侷限:
- 幾乎所有方法都依賴明確的 domain label;
- 而這些 label,往往只是資料集的名稱、拍攝裝置的型號
甚至是人為指定的某種分類準則,粗糙地讓人發笑。
你說「這是 Replay」,但 Replay 裡面有多種光線、多種背景;你說「這是 Oulu」,卻沒人能標出它到底包含了幾種風格子群。
即使有標籤,這些方法也只能做到 在分布層級對齊特徵,卻無法控制某些特徵通道仍偷偷保留了風格痕跡。這些看似無害的訊號,在面對新的樣本時,往往成為模型失效的盲點。
如果,我們不能在依賴 domain label,那麼我們還能怎麼判斷「異類」?
真與假之間,是否還有其他的邊界?
解決問題
為了解決問題,作者提出了一個新的架構,稱為:
- Instance-Aware Domain Generalization (IADG)。
目的是希望在不依賴 domain label 的情況下,讓模型能夠學習到「實例層級」的特徵,並且能夠在未知的場域中保持穩定的表現。
它主要包含三個核心組件:
- 非對稱實例自適應白化 (AIAW)
- 分類樣式組裝 (CSA)
- 動態核心產生器 (DKG)
我們按照順序,來仔細看看每個模組的設計。
Dynamic Kernel Generator
由於多個來源域中的樣本往往具有高度多樣性,單一靜態濾波器難以兼顧所有實例的特徵需求。為此,作者設計了 DKG 來自動生成「實例自適應」的動態濾波器,與靜態濾波器協同運作,取得更全面的個體感知特徵,協助之後的跨域泛化。
DKG 的結構包含「靜態卷積分支」與「動態卷積分支」兩部分:
- 靜態分支(static convolution branch)擁有固定參數;
- 動態分支(dynamic kernel branch)則依據每個樣本的特徵動態產生卷積核參數。
如上圖所示,令 與 分別代表第 筆樣本在 DKG 的輸入與輸出特徵。
訓練時,兩條分支會同步學習,具體流程如下:
- 將輸入特徵 在通道維度一分為二,分別記為 與 ;
- 靜態卷積分支: 經由靜態卷積濾波器 得到 ;
- 動態卷積分支: 先通過全域平均池化與一個卷積區塊 ,生成與此實例相關的動態卷積核 ,再用此動態參數去卷積 ,得到 。
最後將 與 沿通道串接,送入卷積區塊 得到 。如此便可讓模型在靜態與動態濾波器的共同作用下,針對每個實例萃取更具彈性的特徵表示。
Categorical Style Assembly
為了在更廣的特徵空間中模擬「實例層級」的風格變動,作者提出 CSA 來產生風格更豐富的樣本。之前我們看過的 AdaIN 也是用來進行風格轉換,但它的風格來源往往是「隨機」的,並且沒有考量到不同類別樣本的風格分布差異。
針對 AdaIN 的不足,CSA 則做出了兩點改良:
-
多樣性考量:以 Farthest Point Sampling(FPS)從所有來源樣本的風格中,迭代篩選出 個差異度最高的「基底風格」,確保涵蓋了主要分布,也包含距主流樣式較遠的罕見風格。並且在每個 epoch 動態更新,以因應風格空間隨著訓練而改變。
-
真 / 假分開處理:考量到真臉(real)與假臉(spoof)有不同標籤,若任意混合可能導致錯誤標籤的情況。為避免衍生負面效應,CSA 僅在「同一類別」的情況下進行風格組合,確保增強後的樣本不會發生真變假、假變真的混亂。
我們搭配上圖來看,具體流程就是,首先對真臉與假臉各自選出 個基底風格,並將其均值 與變異 存入記憶體(memory bank)中,記為 與 。
接著,對同一類別的原始特徵進行「風格線性組合」:從 Dirichlet 分布抽樣組合權重,對基底風格的均值與標準差加權,取得新的 與 ,再生成最終的風格重組特徵:
藉此,我們能在不改變樣本原本類別的前提下,有效地擴張風格多樣性,進而協助後續的白化流程。
Asymmetric Instance Adaptive Whitening
為了將每個樣本的特徵都「細緻對齊」,作者進一步關注特徵通道之間的相關性。
過去研究指出,特徵的協方差矩陣往往蘊含著資料的風格訊息;若能對其進行白化,即可削弱部分 domain-specific 風格。
但如果只是簡單套用既有的 instance whitening 方法,可能會「連同有用的辨識特徵」一起被移除,導致 FAS 效果受損。
因此,作者在實例白化中引入了「非對稱」的概念:真臉與假臉的特徵分佈需求並不相同,對真臉應該更緊密,對假臉則可以更鬆散。
具體來說,作者先計算每筆樣本原特徵與 CSA 增強特徵的通道協方差,取兩者逐元素的變異,並在批次上平均。變異較大的位置被視為對風格敏感;AIAW 依真臉與假臉各自的選取比例,挑出協方差上三角中的這些位置,對原特徵和增強特徵施加相同遮罩,將選中的協方差壓向零。它並非把整個協方差矩陣都白化。
總體訓練與優化
為了在未知域中達到穩定表現,分類器必須能夠在各式「風格擾動」下仍然正確分辨真偽。
因此,對於同一個輸入樣本 ,作者同時使用原特徵 與增強特徵 進行二元分類損失 的監督:
其中 為第 筆樣本在資料集 上的二元標籤。
另外,作者也參考先前研究文獻,使用深度估計器來進行附加監督:對真臉輸出深度圖,對假臉輸出全零圖。
深度損失函數 為:
其中 為深度標籤(真臉使用 PRNet 產生的偽深度圖,假臉為零)。
綜合上述,最終的總損失函數 為:
在推論階段,只需要原特徵分支,不需要再執行任何增強操作;而 AIAW 損失僅在訓練時生效。
有了這三大模組(DKG、CSA、AIAW)的結合,IADG 旨在「實例層級」削弱風格干擾,無須倚賴 domain label 進行對齊,以改善未知領域的辨識表現。
討論
照慣例,這裡也是遵循前人慣用的 Leave-One-Out(LOO) 實驗設置,最後再進行消融實驗來剖析各模組的貢獻。
與現有方法的比較
實驗結果如上表,傳統 FAS 方法在跨域任務上表現較弱。作者指出,表中的多種 DG FAS 方法依賴人工定義的 domain label 進行分佈對齊;但這張比較表本身無法單獨證明標籤依賴就是效能差距的原因。
而 IADG 不需依賴這種標籤,透過實例層級的風格壓制,在四種跨數據集情境下皆取得最低 HTER,三種情境下取得最高 AUC;O&C&M→I 的 AUC 為 94.50%,略低於 SSDG-M 的 94.61% 與 SSAN 的 94.58%。
消融實驗
上表是在 I&C&M→O 設定下,逐步加入模組的消融實驗結果:
- 只使用骨幹(baseline)可達 19.75% HTER 與 87.46% AUC
- 加入 DKG 改進至 16.94% / 90.14%
- 再疊加 CSA 後進一步推進至 12.50% / 93.62%
- 最終引入 AIAW 使表現達 8.86% / 97.14%。
在這組累加設定中,三個模組逐步加入後,HTER 持續下降、AUC 持續上升;這張表未單獨測試各模組的所有組合。
接著再看一下不同 Instance Whitening 的比較:
從實驗結果可以看出 IW、GIW 等方法對所有協方差元素一視同仁,易誤傷關鍵判別特徵;ISW 雖稍有改進,仍忽略了真臉與假臉在分佈特性的差異。
而 AIAW 針對真臉與假臉採取非對稱性(asymmetric)壓制,且同時約束原特徵與增強後特徵。另依原論文表 5,在 I&C&M→O 的測試比例中, 時表現最好;實驗設定分別取 、。
視覺化分析
最後,為了更直觀地理解 IADG 如何對特徵進行對齊,我們來看一下 t-SNE 投影。
如上圖所示,傳統 domain-aware alignment 方法雖可在 source 資料集中區分真假樣本,目標域(target)的真假樣本在投影中仍較易混在一起。相對地,IADG 的 t-SNE 投影顯示目標域真假樣本較易區分;圖中沒有畫出分類器的決策邊界。
IADG 圖中的真臉特徵相對更集中,與作者希望減弱每筆實例風格影響的設計方向一致。
結論
Face Anti-Spoofing 的挑戰從來不在「辨識」,而在於「對抗變異」。
而這種變異,不只來自攻擊方式的翻新,更來自資料本身的碎片化:
不同的光源、裝置、背景、文化、拍攝時機,每一筆資料都可能是它自己的 domain。
我們原以為可以靠 domain label 統御一切,但事實證明,愈來愈多的差異正潛伏於那些無法被歸類的細節中。與其追求統一的標籤,不如從每一張臉的風格噪聲中,抽出不變的訊號。
從對齊整體,到理解個體;從分類樣本,到拆解風格;或許我們還無法完全理解風格的本質是什麼,但 IADG 至少給了我們一種「與風格共處」的方法。