返回論文筆記資料庫
arXiv 2022CVPR 2022人臉防偽論文筆記

SSAN

風格的殘影

原始論文

Domain Generalization via Shuffled Style Assembly for Face Anti-Spoofing

論文作者

Zhuo Wang · Zezheng Wang · Zitong Yu …

查看全部 7 位作者

Zhuo Wang · Zezheng Wang · Zitong Yu · Weihong Deng · Jiahong Li · Tingting Gao · Zhongyuan Wang

發表版本
CVPR 2022會議
arXiv 首次提交
arXiv:2203.05340
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{faceantispoofingssan2022,
  title = {{Domain Generalization via Shuffled Style Assembly for Face Anti-Spoofing}},
  author = {Zhuo Wang and Zezheng Wang and Zitong Yu and Weihong Deng and Jiahong Li and Tingting Gao and Zhongyuan Wang},
  year = {2022},
  eprint = {2203.05340},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2203.05340}
}
本頁內容

這次來看一篇有名的論文。

這篇論文引入了「風格」的概念,搭配對比學習強調活體相關線索,是 style-aware DG 設計的重要突破。

定義問題

活體辨識(Face Anti-Spoofing, FAS)始終處於一場看不見的戰爭之中。

傳統 FAS 方法仰賴手工特徵,如 LBP 與 SIFT,擷取圖像中紋理細節;深度學習時代後,開始以 CNN 為基礎,訓練出活體與攻擊的二元分類器,並導入各種輔助資訊:深度圖、反射圖、血流訊號(rPPG)等,以豐富輸入的辨識線索。

然而,即使表現穩定,這類方法多半只在「實驗室條件」下奏效。

一旦踏出原始訓練資料的邊界,效能就會明顯下滑,尤其是在面對不同設備、不同光線、不同攻擊手法的情境下,模型判斷開始搖擺不定,甚至出現嚴重錯判。

此現象被歸結為 跨域泛化困境(Cross-Domain Generalization),其根源主要來自以下三點:

  • 資料偏態:訓練資料覆蓋範圍狹窄,無法囊括所有潛在變異;
  • 特徵過擬合:模型學到的是某一類域的表面樣貌,而非活體本質;
  • 模型泛化結構設計不足:大多數模型仍延續傳統 CNN 流程,忽略了樣本間細緻差異。

為了改善泛化能力,研究者們投入大量精力於 Domain Adaptation (DA) 與 Domain Generalization (DG):

  • DA 方法如 MMD 最小化、對抗式對齊、多判別器學習等,致力於在不同資料分布間找到共同嵌入空間;
  • DG 則嘗試在無目標資料參與下,學得可泛用的表徵,例如利用特徵解耦(Disentangled Representation)、元學習(Meta-Learning)等策略。

這些方法在某些設定下確實提升了模型穩定性,但也揭露出一個更深層的問題:

我們對「何為關鍵特徵」的理解仍不完整。

活體辨識並非圖像分類任務,它不依賴整體語意,而依賴細節:如皮膚紋理的連續性、反光區域的擴散程度、微弱脈動的節奏感。而這些,恰恰是風格與統計資訊所攜帶的訊號。

此處,正規化層(Normalization Layers) 成為關鍵觀察點:

  • Batch Normalization (BN) 側重於跨樣本的整體統計,能強化語意一致性;
  • Instance Normalization (IN) 則聚焦於單張樣本,捕捉獨特樣態與風格表徵。

兩者對模型行為的導向南轅北轍,前者追求穩定,後者擷取變異。而在 FAS 任務中,這種微妙平衡經常被忽略。

目前對於風格轉換(Style Transfer)的嘗試,多半停留在訓練前的資料增強階段,無法直接納入模型學習過程中,更不容易規模化部署於真實環境。

換句話說,在缺乏統一視角、缺乏多域驗證、缺乏語意區分的當下,我們對於「如何讓模型學會忽略不重要的風格,專注活體本質」仍處於摸索的階段。

這篇論文的作者試著切入這個核心缺口:

我們早已知道風格能誤導模型,那麼,是否有可能反過來,讓風格成為揭露假面的鑰匙?

跨域的問題還沒結束,風格剖析的問題卻已經快速襲來。

一波未平一波又起。

解決問題

作者以多個帶標籤來源域訓練,目標是在未參與訓練的資料域辨識活體,並於特徵層重組風格。

本篇論文提出的 Shuffled Style Assembly Network(SSAN),以內容域對抗、風格組裝及對比學習構成跨域 FAS 框架。

其核心架構如上圖所示,我們可以將整體流程拆為三個階段:

  1. 特徵拆解:將圖像分解為內容與風格
  2. 風格重組:透過 AdaIN 進行自組與洗牌組合
  3. 對比學習:對照風格語意與活體標籤,調整空間結構

內容與風格的雙流拆解

輸入圖像首先進入 Feature Generator,此模組負責抽取低階語意與紋理資訊,並餵給兩條分支進行進一步處理:

  • 內容分支(Content Stream) 使用 Batch Normalization(BN)提取全域語意,並透過 Gradient Reversal Layer(GRL)進行對抗學習,迫使模型學得對不同 domain 不敏感的表示。

    對抗學習的目標函數為:

    min⁡Dmax⁡GLadv(G,D)=−E(x,y)∼(X,YD)∑i=1M1[i=y]log⁡D(G(x))\min_D \max_G \mathcal{L}_{adv}(G, D) = -\mathbb{E}_{(x, y) \sim (X, Y_D)} \sum_{i=1}^{M} \mathbf{1}_{[i = y]} \log D(G(x))
    • GG:內容特徵生成器
    • DD:domain 判別器
    • YDY_D:資料的 domain 標籤集合
    • 使用 GRL 將梯度反向,使 GG 學會跨域共享語意表示
  • 風格分支(Style Stream) 則以 Instance Normalization(IN)為基礎,從多層級的特徵圖中擷取粗到細的風格統計資訊。這些包含亮度、材質、紋理等風格因素,將在後續組裝中扮演關鍵角色。

風格重組與洗牌

一旦取得內容特徵 fcf_c 與風格特徵 fsf_s,模型透過 Style Assembly Layer(SAL) 進行風格重組。

SAL 的核心來自於 Adaptive Instance Normalization(AdaIN):

AdaIN(x,γ,β)=γ⋅x−μ(x)σ(x)+β\text{AdaIN}(x, \gamma, \beta) = \gamma \cdot \frac{x - \mu(x)}{\sigma(x)} + \beta

其中,μ(x)\mu(x) 與 σ(x)\sigma(x) 為通道統計量,而 γ,β\gamma, \beta 則來自風格輸入 fsf_s 經由 MLP 生成的參數。

整體 SAL 運作如下:

γ,β=MLP[GAP(fs)]z=ReLU[AdaIN(K1⊗fc,γ,β)]SAL(fc,fs)=AdaIN(K2⊗z,γ,β)+fc\begin{align*} \gamma, \beta &= \text{MLP}[\text{GAP}(f_s)] \\ z &= \text{ReLU}[\text{AdaIN}(K_1 \otimes f_c, \gamma, \beta)] \\ \text{SAL}(f_c, f_s) &= \text{AdaIN}(K_2 \otimes z, \gamma, \beta) + f_c \end{align*}

這裡的 K1,K2K_1, K_2 是 3×3 的卷積核,而最終輸出會與原內容殘差相加,保留語意主幹的同時引入風格調性。

為了引入變異性,SSAN 設計了兩種組合策略:

  • 自組合(Self-Assembly):

    S(xi,xi)=SAL(fc(xi),fs(xi))S(x_i, x_i) = \text{SAL}(f_c(x_i), f_s(x_i))

    用自身的內容與風格結合,建立 anchor 特徵

  • 洗牌組合(Shuffle-Assembly):

    S(xi,xi∗)=SAL(fc(xi),fs(xi∗)),i∗∈random(1,…,N)S(x_i, x_i^*) = \text{SAL}(f_c(x_i), f_s(x_i^*)), \quad i^* \in \text{random}(1,\dots,N)

    使用其他樣本的風格與自身內容組合,增加跨域風格干擾,創造難以辨識的混合表徵

風格中的對比學習

如上圖所示,SSAN 透過對比學習,在組裝後的特徵空間中引導模型區分:

  • 哪些風格變異與活體無關(應該被忽略)
  • 哪些風格差異帶有攻擊特徵(應該被強化)

具體而言:

  • 將 自組合特徵 a=S(xi,xi)a = S(x_i, x_i) 設為 anchor,使用 stop-gradient 固定其在特徵空間中的位置;
  • 將 洗牌特徵 b=S(xi,xi∗)b = S(x_i, x_i^*) 作為對比樣本,依據標籤相同與否,計算餘弦相似度損失:
Sim(a,b)=−a∥a∥2⋅b∥b∥2\text{Sim}(a, b) = -\frac{a}{\|a\|_2} \cdot \frac{b}{\|b\|_2}

再進一步定義對比損失:

Lcontra=∑i=1NEq(xi,xi∗)⋅Sim(stopgrad(a),b)\mathcal{L}_{contra} = \sum_{i=1}^N \text{Eq}(x_i, x_i^*) \cdot \text{Sim}(\text{stopgrad}(a), b)

其中:

Eq(xi,xi∗)={+1,label(xi)==label(xi∗)−1,otherwise\text{Eq}(x_i, x_i^*) = \begin{cases} +1, & \text{label}(x_i) == \text{label}(x_i^*) \\ -1, & \text{otherwise} \end{cases}

這項損失讓同真假標籤的洗牌組合靠近自組合 anchor、異標籤者遠離;它利用來源域的標籤訓練。

整體損失

SSAN 的最終訓練損失整合如下:

Loverall=Lcls+λ1⋅Ladv+λ2⋅Lcontra\mathcal{L}_{overall} = \mathcal{L}_{cls} + \lambda_1 \cdot \mathcal{L}_{adv} + \lambda_2 \cdot \mathcal{L}_{contra}

其中三項損失分別對應:

  • 分類判斷準確度
  • 內容語意對抗對齊
  • 風格空間語意分離

分類、域對抗與對比損失分別約束真假預測、內容特徵與組裝後特徵;各項效果仍須由消融驗證。

推論時使用原影像內容與風格的自組合特徵分類;SSAN-M 以預測深度圖均值為分數,SSAN-R 以 live 類的 sigmoid 輸出為分數。

討論

和其他方法的比較

照慣例,這篇論文也使用了 OCIM 測試來驗證模型的跨域泛化能力。

該測試採用 OULU-NPU (O)、CASIA-MFSD (C)、Replay-Attack (I) 與 MSU-MFSD (M) 四個資料集,進行 Leave-One-Out 的交叉測試。具體策略是每次挑選三個資料集作為訓練集,剩下一個作為測試集,進行四輪測試。

根據圖中的結果,可以觀察到:

  • SSAN-M 在前三組的 HTER 分別為 10.42%、16.47%、14.00%,在 I&C&M → O 則為 19.51%,高於 NAS-FAS 的 13.80%;
  • 在部分協議中明顯優於過去的方法,如 SSDG 與 CDCN;
  • SSAN-M 在四組設定中的名次並不一致。

此外,作者亦指出 SSAN-R(使用 ResNet-18 為 backbone)在四組設定的 HTER 與 AUC 都優於 SSDG-R;這是相近 backbone 下的比較,表格未量測部署成本。

大規模測試

作者將 十二個公開資料集合併使用,構成訓練與測試資料,藉此建立大規模學習與推論情境。所使用的資料集具備格式多樣(圖片與影片),同時涵蓋多種攻擊類型,詳細配置如下表:

這套 benchmark 定義了兩組測試情境:

  • Protocol 1:Intra-Dataset 評估

    • 12 個資料集都提供訓練與測試資料,按各自切分評估;
    • 主要用於模擬資料量充足時的模型學習能力。
  • Protocol 2:Cross-Dataset 評估

    • 將資料集分為兩組:
      • P1:{D3, D4, D5, D10, D11, D12}
      • P2:{D1, D2, D6, D7, D8, D9}
    • 子協議如下:
      • Protocol 2-1:以 P1 訓練、P2 測試
      • Protocol 2-2:以 P2 訓練、P1 測試

    相較於 Protocol 1,此設定包含更多未見攻擊與場景,因此更具挑戰性,也更貼近實際應用風險。


基於以上設定,實驗結果如下:

作者以所列比較方法的預設設定訓練;評估時匯集測試資料中的所有真臉作負例,並以當前資料集的部分攻擊樣本作正例,計算指定假陽性率(FPR)下的真陽性率(TPR)。表中是跨資料集結果的平均值與變異。

從結果中可以觀察到:

  • SSAN-R 在三種協定、三個 FPR 閾值下的平均 TPR 均為表中最高;表格沒有模型大小或延遲數據;
  • 某些過去在學術 benchmark 中表現良好的方法,在本次大規模、多資料來源的測試下出現明顯退化;
  • 這顯示模型排名會隨測試協定與資料組合改變;該合併資料集仍是離線評測。

作者認為,學術場景表現優異的 FAS 模型,仍須驗證在真實世界的可靠性。

這些實驗支持 SSAN-R 在所測大型協定下有較高的平均 TPR,但表中的標準差仍大。

特徵視覺化

為了深入觀察 SSAN 所學到的特徵空間結構,作者使用 t-SNE 對三種特徵類型進行可視化,分別對應上圖中的三張投影圖:

  • Content Features:跨域語意的一致性

    雖然來自不同資料集、包含不同的活體與攻擊樣本,內容特徵在這張 t-SNE 投影中較緊湊、不同來源的點有所混合,與域對抗設計方向一致。

    這張投影提供內容特徵的定性觀察。


  • Style Features:風格資訊的語意邊界

    風格特徵在 t-SNE 空間中呈現粗略的真假邊界;風格分支沒有單獨的分類損失,但仍透過整體網路接受標籤相關的監督。這張圖不能判定邊界由材質、光照或反光中的哪一項造成。

    此圖與對比學習希望強調真假相關訊號的目標一致,但單張投影無法隔離對比損失的貢獻。


  • Stylized Features:融合語意與風格的分類空間

    當內容與風格特徵被組合後,最終的 stylized features 在投影中有部分真假分離,也仍有重疊;圖中包含未見目標域樣本,但不能單由投影量化泛化能力。

    泛化效果需結合前述 HTER、AUC 與 TPR@FPR 數據判斷,投影圖沒有提供逐樣本的可解釋證據。


這組視覺化展示內容、風格及組裝特徵在一個協定下的投影差異,可輔助理解架構;是否完全解耦或在其他域穩定,仍需其他證據。

結論

SSAN 提出的並不僅是一個架構名稱,而是一種清晰的設計觀念:將「風格」視為可操控、可學習、甚至可轉化的資訊來源。

這在當時的 FAS 論文中並不常見。許多模型設計仍著重於如何「對齊 domain」、「抹平變異」,而非「提煉風格中對活體有利的訊號」。

而 SSAN 所做的,是反其道而行:

  • 明確區分了 content 與 style 的概念,並以實作架構支持這種拆解;
  • 以 IN(Instance Normalization) 為風格提取基礎,對照 BN 的語意穩定性,形成一組結構對比;
  • 設計出風格重組與對比學習的訓練流程,將風格差異轉化為語意調節的槓桿;
  • 並透過 stop-gradient anchor 機制控制學習路徑,使風格變動不影響整體空間穩定性。

這些設計看似技巧堆疊,實則有著一致的內在邏輯:不消除風格,而是選擇性地馴服風格。

雖然近年來有許多更複雜的風格控制策略與資料分佈調適技術已經被提出,但這篇論文所留下的設計哲學,仍然值得被重新閱讀。