返回論文筆記資料庫
arXiv 2023CVPR 2023人臉防偽論文筆記

IADG

風格的獨白

原始論文

Instance-Aware Domain Generalization for Face Anti-Spoofing

論文作者

Qianyu Zhou · Ke-Yue Zhang · Taiping Yao …

查看全部 7 位作者

Qianyu Zhou · Ke-Yue Zhang · Taiping Yao · Xuequan Lu · Ran Yi · Shouhong Ding · Lizhuang Ma

發表版本
CVPR 2023會議
arXiv 首次提交
arXiv:2304.05640
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{faceantispoofingiadg2023,
  title = {{Instance-Aware Domain Generalization for Face Anti-Spoofing}},
  author = {Qianyu Zhou and Ke-Yue Zhang and Taiping Yao and Xuequan Lu and Ran Yi and Shouhong Ding and Lizhuang Ma},
  year = {2023},
  eprint = {2304.05640},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2304.05640}
}
本頁內容

在過去的十年裡,研究者用盡各種方法來畫出真與假的邊界:

  • 用 LBP、SIFT、HOG 等手工特徵辨識質感與紋理;
  • 探索 YCrCb 色域與傅立葉頻譜中的異常模式;
  • 分析時間序列中的微妙差異,試圖從眨眼、微動與血流中找出真人的證據;

接著,整個領域交棒給 CNN,用分類器、深度圖、反射圖與 rPPG 等輔助監督。

但這些方法往往只要換個場景、換個裝置、換個攻擊方式就效果驟降,難以部署。

定義問題

為了讓模型適應未知場域,研究者引入了 Domain Adaptation(DA) 與 Domain Generalization(DG) 的概念。

尤其在 DG 裡,對抗學習與元學習成為主流選擇,目的是學出一種「不管你來自哪裡,我都能識破你」的表徵方式。

但這條路走著走著,也開始暴露出侷限:

  • 幾乎所有方法都依賴明確的 domain label;
  • 而這些 label,往往只是資料集的名稱、拍攝裝置的型號

甚至是人為指定的某種分類準則,粗糙地讓人發笑。

你說「這是 Replay」,但 Replay 裡面有多種光線、多種背景;你說「這是 Oulu」,卻沒人能標出它到底包含了幾種風格子群。

即使有標籤,這些方法也只能做到 在分布層級對齊特徵,卻無法控制某些特徵通道仍偷偷保留了風格痕跡。這些看似無害的訊號,在面對新的樣本時,往往成為模型失效的盲點。

如果,我們不能在依賴 domain label,那麼我們還能怎麼判斷「異類」?

真與假之間,是否還有其他的邊界?

解決問題

為了解決問題,作者提出了一個新的架構,稱為:

  • Instance-Aware Domain Generalization (IADG)。

目的是希望在不依賴 domain label 的情況下,讓模型能夠學習到「實例層級」的特徵,並且能夠在未知的場域中保持穩定的表現。

它主要包含三個核心組件:

  • 非對稱實例自適應白化 (AIAW)
  • 分類樣式組裝 (CSA)
  • 動態核心產生器 (DKG)

我們按照順序,來仔細看看每個模組的設計。

Dynamic Kernel Generator

由於多個來源域中的樣本往往具有高度多樣性,單一靜態濾波器難以兼顧所有實例的特徵需求。為此,作者設計了 DKG 來自動生成「實例自適應」的動態濾波器,與靜態濾波器協同運作,取得更全面的個體感知特徵,協助之後的跨域泛化。

DKG 的結構包含「靜態卷積分支」與「動態卷積分支」兩部分:

  • 靜態分支(static convolution branch)擁有固定參數;
  • 動態分支(dynamic kernel branch)則依據每個樣本的特徵動態產生卷積核參數。

如上圖所示,令 XiX_i 與 FiF_i 分別代表第 ii 筆樣本在 DKG 的輸入與輸出特徵。

訓練時,兩條分支會同步學習,具體流程如下:

  1. 將輸入特徵 XiX_i 在通道維度一分為二,分別記為 X^i\hat{X}_i 與 X~i\tilde{X}_i;
  2. 靜態卷積分支:X~i\tilde{X}_i 經由靜態卷積濾波器 fθsf_{\theta_s} 得到 Z~i\tilde{Z}_i;
  3. 動態卷積分支:X^i\hat{X}_i 先通過全域平均池化與一個卷積區塊 fθ1f_{\theta_1},生成與此實例相關的動態卷積核 WiW_i,再用此動態參數去卷積 X^i\hat{X}_i,得到 Z^i\hat{Z}_i。

最後將 Z~i\tilde{Z}_i 與 Z^i\hat{Z}_i 沿通道串接,送入卷積區塊 fθ2f_{\theta_2} 得到 FiF_i。如此便可讓模型在靜態與動態濾波器的共同作用下,針對每個實例萃取更具彈性的特徵表示。

Categorical Style Assembly

為了在更廣的特徵空間中模擬「實例層級」的風格變動,作者提出 CSA 來產生風格更豐富的樣本。之前我們看過的 AdaIN 也是用來進行風格轉換,但它的風格來源往往是「隨機」的,並且沒有考量到不同類別樣本的風格分布差異。

針對 AdaIN 的不足,CSA 則做出了兩點改良:

  1. 多樣性考量:以 Farthest Point Sampling(FPS)從所有來源樣本的風格中,迭代篩選出 LL 個差異度最高的「基底風格」,確保涵蓋了主要分布,也包含距主流樣式較遠的罕見風格。並且在每個 epoch 動態更新,以因應風格空間隨著訓練而改變。

  2. 真 / 假分開處理:考量到真臉(real)與假臉(spoof)有不同標籤,若任意混合可能導致錯誤標籤的情況。為避免衍生負面效應,CSA 僅在「同一類別」的情況下進行風格組合,確保增強後的樣本不會發生真變假、假變真的混亂。

我們搭配上圖來看,具體流程就是,首先對真臉與假臉各自選出 LL 個基底風格,並將其均值 μ\mu 與變異 σ2\sigma^2 存入記憶體(memory bank)中,記為 μbaser,σbaser\mu^r_\mathrm{base}, \sigma^r_\mathrm{base} 與 μbases,σbases\mu^s_\mathrm{base}, \sigma^s_\mathrm{base}。

接著,對同一類別的原始特徵進行「風格線性組合」:從 Dirichlet 分布抽樣組合權重,對基底風格的均值與標準差加權,取得新的 μaug\mu_{\mathrm{aug}} 與 σaug\sigma_{\mathrm{aug}},再生成最終的風格重組特徵:

Faug=σaug(Forg−μ(Forg)σ(Forg))+μaugF_{\mathrm{aug}} = \sigma_{\mathrm{aug}} \Bigl( \frac{F_{\mathrm{org}} - \mu(F_{\mathrm{org}})}{\sigma(F_{\mathrm{org}})} \Bigr) + \mu_{\mathrm{aug}}

藉此,我們能在不改變樣本原本類別的前提下,有效地擴張風格多樣性,進而協助後續的白化流程。

Asymmetric Instance Adaptive Whitening

為了將每個樣本的特徵都「細緻對齊」,作者進一步關注特徵通道之間的相關性。

過去研究指出,特徵的協方差矩陣往往蘊含著資料的風格訊息;若能對其進行白化,即可削弱部分 domain-specific 風格。

但如果只是簡單套用既有的 instance whitening 方法,可能會「連同有用的辨識特徵」一起被移除,導致 FAS 效果受損。

因此,作者在實例白化中引入了「非對稱」的概念:真臉與假臉的特徵分佈需求並不相同,對真臉應該更緊密,對假臉則可以更鬆散。

具體來說,作者先計算每筆樣本原特徵與 CSA 增強特徵的通道協方差,取兩者逐元素的變異,並在批次上平均。變異較大的位置被視為對風格敏感;AIAW 依真臉與假臉各自的選取比例,挑出協方差上三角中的這些位置,對原特徵和增強特徵施加相同遮罩,將選中的協方差壓向零。它並非把整個協方差矩陣都白化。

總體訓練與優化

為了在未知域中達到穩定表現,分類器必須能夠在各式「風格擾動」下仍然正確分辨真偽。

因此,對於同一個輸入樣本 XiX_i,作者同時使用原特徵 ForgiF_{\mathrm{org}}^i 與增強特徵 FaugiF_{\mathrm{aug}}^i 進行二元分類損失 LCls\mathcal{L}_{\mathrm{Cls}} 的監督:

LCls=−∑DYclsi[log⁡(Cls(Forgi))+log⁡(Cls(Faugi))]\mathcal{L}_{\mathrm{Cls}} = - \sum_{D} Y_{\mathrm{cls}}^i \Bigl[ \log\bigl(\mathrm{Cls}(F_{\mathrm{org}}^i)\bigr) + \log\bigl(\mathrm{Cls}(F_{\mathrm{aug}}^i)\bigr) \Bigr]

其中 YclsiY_{\mathrm{cls}}^i 為第 ii 筆樣本在資料集 DD 上的二元標籤。

另外,作者也參考先前研究文獻,使用深度估計器來進行附加監督:對真臉輸出深度圖,對假臉輸出全零圖。

深度損失函數 LDep\mathcal{L}_{\mathrm{Dep}} 為:

LDep=∑D∥Dep(Forgi)−Ydepi∥22+∥Dep(Faugi)−Ydepi∥22,\mathcal{L}_{\mathrm{Dep}} = \sum_{D} \Bigl\| \mathrm{Dep}(F_{\mathrm{org}}^i) - Y_{\mathrm{dep}}^i \Bigr\|_2^2 + \Bigl\| \mathrm{Dep}(F_{\mathrm{aug}}^i) - Y_{\mathrm{dep}}^i \Bigr\|_2^2,

其中 YdepiY_{\mathrm{dep}}^i 為深度標籤(真臉使用 PRNet 產生的偽深度圖,假臉為零)。

綜合上述,最終的總損失函數 Ltotal\mathcal{L}_{\mathrm{total}} 為:

Ltotal=LCls+λLDep+LAIAW.\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{Cls}} + \lambda \mathcal{L}_{\mathrm{Dep}} + \mathcal{L}_{\mathrm{AIAW}}.

在推論階段,只需要原特徵分支,不需要再執行任何增強操作;而 AIAW 損失僅在訓練時生效。

有了這三大模組(DKG、CSA、AIAW)的結合,IADG 旨在「實例層級」削弱風格干擾,無須倚賴 domain label 進行對齊,以改善未知領域的辨識表現。

討論

照慣例,這裡也是遵循前人慣用的 Leave-One-Out(LOO) 實驗設置,最後再進行消融實驗來剖析各模組的貢獻。

與現有方法的比較

實驗結果如上表,傳統 FAS 方法在跨域任務上表現較弱。作者指出,表中的多種 DG FAS 方法依賴人工定義的 domain label 進行分佈對齊;但這張比較表本身無法單獨證明標籤依賴就是效能差距的原因。

而 IADG 不需依賴這種標籤,透過實例層級的風格壓制,在四種跨數據集情境下皆取得最低 HTER,三種情境下取得最高 AUC;O&C&M→I 的 AUC 為 94.50%,略低於 SSDG-M 的 94.61% 與 SSAN 的 94.58%。

消融實驗

上表是在 I&C&M→O 設定下,逐步加入模組的消融實驗結果:

  • 只使用骨幹(baseline)可達 19.75% HTER 與 87.46% AUC
  • 加入 DKG 改進至 16.94% / 90.14%
  • 再疊加 CSA 後進一步推進至 12.50% / 93.62%
  • 最終引入 AIAW 使表現達 8.86% / 97.14%。

在這組累加設定中,三個模組逐步加入後,HTER 持續下降、AUC 持續上升;這張表未單獨測試各模組的所有組合。

接著再看一下不同 Instance Whitening 的比較:

從實驗結果可以看出 IW、GIW 等方法對所有協方差元素一視同仁,易誤傷關鍵判別特徵;ISW 雖稍有改進,仍忽略了真臉與假臉在分佈特性的差異。

而 AIAW 針對真臉與假臉採取非對稱性(asymmetric)壓制,且同時約束原特徵與增強後特徵。另依原論文表 5,在 I&C&M→O 的測試比例中,kr:ks=1:0.2k_r : k_s = 1 : 0.2 時表現最好;實驗設定分別取 kr=0.3%k_r=0.3\%、ks=0.06%k_s=0.06\%。

視覺化分析

最後,為了更直觀地理解 IADG 如何對特徵進行對齊,我們來看一下 t-SNE 投影。

如上圖所示,傳統 domain-aware alignment 方法雖可在 source 資料集中區分真假樣本,目標域(target)的真假樣本在投影中仍較易混在一起。相對地,IADG 的 t-SNE 投影顯示目標域真假樣本較易區分;圖中沒有畫出分類器的決策邊界。

IADG 圖中的真臉特徵相對更集中,與作者希望減弱每筆實例風格影響的設計方向一致。

結論

Face Anti-Spoofing 的挑戰從來不在「辨識」,而在於「對抗變異」。

而這種變異,不只來自攻擊方式的翻新,更來自資料本身的碎片化:

不同的光源、裝置、背景、文化、拍攝時機,每一筆資料都可能是它自己的 domain。

我們原以為可以靠 domain label 統御一切,但事實證明,愈來愈多的差異正潛伏於那些無法被歸類的細節中。與其追求統一的標籤,不如從每一張臉的風格噪聲中,抽出不變的訊號。

從對齊整體,到理解個體;從分類樣本,到拆解風格;或許我們還無法完全理解風格的本質是什麼,但 IADG 至少給了我們一種「與風格共處」的方法。