返回論文筆記資料庫
arXiv 2021IEEE TCSVT 2022人臉防偽論文筆記

DSDG

假象重組的前夜

原始論文

Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning

論文作者

Hangtong Wu · Dan Zen · Yibo Hu · Hailin Shi · Tao Mei

arXiv 首次提交
arXiv:2112.00568
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{faceantispoofingdsdg2021,
  title = {{Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning}},
  author = {Hangtong Wu and Dan Zen and Yibo Hu and Hailin Shi and Tao Mei},
  year = {2021},
  eprint = {2112.00568},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2112.00568}
}
本頁內容

有些假象,從未出現過。

在被你識破之前。

定義問題

當人臉辨識系統開始承擔真實世界的驗證責任,準確率不再只是排行榜上的一組數字,而是一道風險的邊界。

FAS(Face Anti-Spoofing)作為這條邊界的守門人,近年已從二分類任務逐步演化為一場針對多樣變異的泛化博弈。

然而,大多數現有方法仍困於一個未曾徹底解決的前提:

資料的侷限性,導致模型對未知身份與攻擊樣式普遍缺乏辨識能力。

我們所使用的訓練資料集,多半來自封閉環境、固定設備、少量身份與有限攻擊形式。

例如,OULU-NPU 僅有 20 位受試者,SiW 為 90 人;這樣的數據分布,無法支撐模型在實際部署中面對多源設備、多國人種、複雜光照與攻擊技巧的挑戰。所導致的結果就是模型過擬合於訓練樣本,對未見條件下的攻擊無法有效辨識。

尋找更多,更多,更多的資料,成為理所當然的解法。

如果說要考慮圖像轉換方法,大多僅能「換臉不換人」,產生的樣本仍綁定於原始身份;而基於外部資料蒐集的合成流程,則面臨版權、標註、人力與延遲等實務性成本。

進一步來看,當我們試圖引入生成模型解決資料瓶頸時,也不可避免地遭遇另一個問題:

合成樣本的品質參差,可能干擾監督訊號的穩定性。

尤其在以深度圖作為監督訊號的框架中,模糊與扭曲影像會直接影響深度預測準確性,進而讓整體訓練過程失去收斂性與可解釋性。

這是一個雙重問題結構:

  • 如何生成同時具備新身份與既有攻擊樣態的合成影像,提升資料的內在變異性?
  • 同時確保這些生成樣本不會反向污染深度監督訓練,使主網路學到錯誤的視覺線索?

這篇論文的作者從合成資料的生成邏輯與訓練流程兩個面向,提出了對應的解決方案。

在繼續下一章節之前,或許我們可以先將焦點放回最初的問題:

一個真正有用的 FAS 系統,需要看過多少假象,才有能力說出「這不是真的」?


解決問題

為了解決「資料匱乏」及「影像失真」兩大問題,作者整合「生成式資料增強」與「不確定性學習」兩條思路,建立了雙模組架構,分別為:

  • DSDG(Dual Spoof Disentanglement Generation)
  • DUL(Depth Uncertainty Learning)

Dual Spoof Disentanglement Generation (DSDG)

DSDG 的核心目標是僅以原有訓練資料學習生成模型,再合成多樣化且具成對結構的活體/攻擊樣本。

作者透過一個雙編碼器的 VAE(Variational Autoencoder),將人臉影像拆解為「身份特徵」與「攻擊特徵」,然後再把它們重組至解碼器,產生新的成對影像。

這種方式可同時擴增身份與攻擊模式的覆蓋範圍。

如上圖 (a) 所示,整體結構包含兩個編碼器與一個解碼器,外加用於區分 spoof 與 identity 特徵的解耦模組。具體步驟如下:

  1. 雙編碼器輸出特徵

    • Encs\text{Enc}_s 則輸入攻擊影像 IspoofI_{\text{spoof}},同時分離出「攻擊樣式特徵」zstz^t_s 與「身份特徵」zsiz^i_s。
    • Encl\text{Enc}_l 負責將活體影像 IliveI_{\text{live}} 映射到身份特徵 zliz^i_l;

    其中,透過 reparameterization trick,每個編碼器實際輸出平均值 μ\mu 和標準差 σ\sigma,再以

    z=μ+ϵσ,ϵ∼N(0,I)z = \mu + \epsilon \sigma,\quad \epsilon \sim \mathcal{N}(0, I)

    的方式取得對應特徵。

  1. 重建與解耦

    解碼器 Dec\text{Dec} 接收三個特徵 (zst,zsi,zli)(z^t_s, z^i_s, z^i_l) 後,分別生成重建後的 I^spoof\hat{I}_{\text{spoof}} 與 I^live\hat{I}_{\text{live}}。

    為使攻擊特徵能被正確抽離,作者在 zstz^t_s 上附加一個 spoof classifier,並利用交叉熵損失 (LclsL_{\text{cls}}) 使其預測正確攻擊類型。

    同時,作者也在攻擊特徵 (zst)(z^t_s) 與身份特徵 (zsi)(z^i_s) 之間引入「角度正交」約束 (LortL_{\text{ort}}),鼓勵兩者在向量空間彼此垂直,不致混淆。

  2. 分佈對齊與重建損失

    為實現 VAE 對特徵分佈的學習,作者使用 Kullback-Leibler (KL) 散度 (LklL_{\text{kl}}) 讓編碼後的分佈貼近標準高斯。

    實作中以 L1 距離 (LrecL_{\text{rec}}) 約束重建影像接近輸入原影像。

    此外,MMD (LmmdL_{\text{mmd}}) 對齊兩種身份潛在表示的分布,LpairL_{\text{pair}} 則用預訓練 LightCNN 比較重建後成對影像的身份特徵,以促進身份一致。

作者將上述所有損失合併成下列總目標函數:

L  =  Lkl+Lrec  +  λ1Lmmd  +  λ2Lpair  +  λ3Lort  +  λ4Lcls\mathcal{L} \;=\; L_{\text{kl}} + L_{\text{rec}} \;+\; \lambda_1 L_{\text{mmd}} \;+\; \lambda_2 L_{\text{pair}} \;+\; \lambda_3 L_{\text{ort}} \;+\; \lambda_4 L_{\text{cls}}

經過上述 VAE-like 訓練完成後,即可如上圖 (b) 所示,使用標準高斯雜訊產生多組 (z^st,z^si)(\hat{z}^t_s, \hat{z}^i_s),複製 z^si\hat{z}^i_s 作為 z^li\hat{z}^i_l(確保「成對」身份一致),再交由解碼器生成新樣本 (I^spoof,I^live)(\hat{I}_{\text{spoof}}, \hat{I}_{\text{live}})。

此生成過程不需外部資料,但訓練 DSDG 的 spoof classifier 仍使用原資料的攻擊類型標籤;生成樣本可呈現新身份與已學到的攻擊模式。

然而,由於 VAE 天生可能產生影像模糊或局部失真,這些雜訊樣本若直接納入訓練,恐混淆深度監督。為此,作者提出了 Depth Uncertainty Learning 來因應。

Depth Uncertainty Learning (DUL)

除了合成樣本本身的多樣性,作者進一步針對深度監督的干擾問題,引入一種不確定性表示機制,透過高斯分佈來量化並抑制生成雜訊的負面影響。

傳統的深度監督方法,對每個影像區塊只產生一個固定深度值。但是當合成影像帶有局部失真時,深度標註往往不可信。

作者將深度值視為「高斯分佈」N(μi,j, σi,j2)\mathcal{N}(\mu_{i,j},\,\sigma_{i,j}^2),其中 μi,j\mu_{i,j} 為可學習的深度平均值,σi,j\sigma_{i,j} 表示不確定度。

在訓練時,真正參與損失計算的是一個採樣值 di,j=μi,j+ϵσi,jd_{i,j} = \mu_{i,j} + \epsilon \sigma_{i,j},而 ϵ∼N(0,I)\epsilon \sim \mathcal{N}(0, I)。

使用這種「重參數化」的方式使得不確定性可通過反向傳播進行學習。

在這個框架中,模型對深度特徵圖做兩路卷積運算:一路輸出 μi,j\mu_{i,j},另一路輸出 σi,j\sigma_{i,j}。接著透過 KL 散度,約束 N(μi,j,σi,j2)\mathcal{N}(\mu_{i,j}, \sigma_{i,j}^2) 接近以監督深度值為均值、單位變異數的分布 N(μ^i,j,I)\mathcal{N}(\hat{\mu}_{i,j}, I);這是分布正則,並非直接替每個像素降低損失權重。

作者將模組接在 ResNet、MobileNetV2、DepthNet 與 CDCN 等深度監督網路後,輸出像素級的均值與標準差;推論時使用均值深度圖。

作者在此同樣利用均方誤差 (LMSEL_{\text{MSE}}) 作為主要的深度監督,並在總目標函數中增添一個 λklLkl\lambda_{\text{kl}} L_{\text{kl}} 權重項,以控制不確定度正則化的強度。

綜合來看,整體損失可表示為:

Loverall  =  LMSE  +  λkl Lkl  +  λg(LMSE′+λklLkl′),L_{\text{overall}} \;=\; L_{\text{MSE}} \;+\; \lambda_{\text{kl}} \, L_{\text{kl}} \;+\; \lambda_g \Bigl(L_{\text{MSE}}' + \lambda_{\text{kl}} L_{\text{kl}}'\Bigr),

其中 λg\lambda_g 控制生成資料損失在反向傳播中的權重;批次中原始樣本的比例另由 rr 控制。

透過上述兩個核心模組,作者將生成資料增強與深度不確定性學習結合在 FAS 訓練流程中。

討論

作者透過消融、資料集內與跨資料集實驗,以及可視化,評估 DSDG 的資料增強與 DUM 的深度不確定度學習;各協定結果仍須分別解讀。

消融實驗

作者針對關鍵超參數與模組配置進行消融實驗,重點包括身份數量對性能的影響、生成影像佔比 (rr 值) 調整,以及各子損失(如 Lmmd,Lpair,LortL_{\text{mmd}}, L_{\text{pair}}, L_{\text{ort}})對於身份解耦的貢獻。

  1. 身份數量與泛化性能

    以 OULU-NPU Protocol 1 (P1) 為例,身份數由 5 增至 20 時,本方法的 ACER 從 5.1% 降至 0.3%;CDCN 基線也由 8.3% 降至 1.0%。這顯示兩者都受訓練身份數影響,表中本方法在各數量下較低。

  2. 生成影像佔比 rr

    作者分析訓練批次中原始樣本的比例 rr;在 OULU-NPU P1,r=0.75r=0.75 時 ACER 為 0.3%,是表中最低。

    進一步將生成影像對數由 10k 增至 30k,20k、25k、30k 的 ACER 同為 0.3%;作者後續採用 20k。

  3. 身份解耦損失的重要性

    在 OULU-NPU P1,完整方法 ACER 為 0.3%;分別移除 LmmdL_{\text{mmd}}、LpairL_{\text{pair}}、LortL_{\text{ort}} 後為 1.0%、0.7%、0.7%。

    這支持三項損失對該協定下的辨識結果有貢獻。

  4. 超參數 λkl\lambda_{\text{kl}} 與 λg\lambda_{g}

    作者對 KL 權重 (λkl\lambda_{\text{kl}}) 及生成資料佔比 (λg\lambda_{g}) 的靈敏度測試。在所測範圍內,多數設定仍優於 CDCN 基線 1.0% ACER;但 λg=0.01\lambda_g=0.01 時為 1.4%,所以不能說對參數普遍不敏感。

Intra Testing

為檢驗模型在相同資料集內的辨識能力,作者選擇 OULU-NPU 與 SiW。

  • OULU-NPU (見論文中的 Table X):在四個協定中,本方法的 ACER 分別為 0.3%、1.2%、1.4%、2.3%,均為表中最低;Protocol 4 涵蓋環境、攻擊與輸入裝置變化。
  • SiW (見論文中的 Table XI):前兩個協定的 ACER 均為 0%,與表中數個方法持平;Protocol 3 為 3.80% ± 1.44%,高於 CDCN 的 1.71% ± 0.11%。

這些結果支持該組合在 OULU-NPU 的四項協定表現良好,但 SiW Protocol 3 是明確的例外。

模型分析與可視化

作者藉由多種視覺化手段,展示生成影像的樣態、攻擊特徵解耦與深度不確定性分布,幫助讀者理解 DSDG 與 DUM 的內部運作原理。

  1. 生成影像

    上圖展示原資料與生成的成對活體/攻擊影像,並以不同身份和攻擊樣式作視覺對照;它支持生成多樣性的展示,不能單獨驗證身份一致性。

    在 SiW-M 這種攻擊多元的資料下,作者也展示了 Replay、Print、3D Mask、Makeup、Partial Attacks 等生成結果;這些範例不能量化失真程度。

  2. 攻擊模式解耦

    上圖是原論文 Figure 7 的 t-SNE 投影:不使用攻擊類型分類器與正交損失 (LortL_{\text{ort}}) 時,各類攻擊表示較混雜;使用完整 DSDG 訓練後,投影呈現較明顯的四類分群。這是兩項約束一起變動的比較,不能單獨歸因於其中一項。

  3. 深度不確定性

    此處圖片對應原論文 Figure 9,展示 CDCN 與加入 DUM 後的深度圖,以及預測標準差。作者指出反光、臉部邊緣與背景等區域的標準差較高;這是幾個定性範例。

結論

DSDG 回答了一個樸素卻長存的問題:

在沒有額外標註與外部數據時,如何同時擴增身份與攻擊多樣性,並抑制生成雜訊對深度監督的侵蝕?

這邊論文發表的時候,正處於處於 deepfake 泛濫尚未全面爆發、Diffusion 模型尚未主流應用的前夜。作者已經意識到「資料問題不能只靠資料解決」,也試圖用生成與不確定性兩個模組化策略,推進當時泛化能力的邊界。

當然,它仍然有所侷限:

  • 使用 VAE 作為生成骨架,在解析度與細節穩定性上受到限制;
  • 對深度的依賴設計,讓整體方法難以延伸至非深度監督的場景;
  • 對 spoof type 的依賴仍未徹底鬆綁,在更純粹無標註設定下仍有衝擊。

但這些都不妨礙它在技術鏈中的定位。DSDG 提醒我們:

資料多樣性、監督可信度、模型容錯性,三者必須同步考慮,否則強化只是堆疊雜訊。

模型會進化,攻擊會變異,演算法會被遺忘。但那些曾經試圖拆解問題結構,而非只追求分數的人,多少都會留下影子,並成為後來者前進的節點。