返回論文筆記資料庫
arXiv 2020ECCV 2020人臉防偽論文筆記

Disentangle-FAS

斷開魂結

原始論文

Face Anti-Spoofing Via Disentangled Representation Learning

論文作者

Ke-Yue Zhang · Taiping Yao · Jian Zhang …

查看全部 9 位作者

Ke-Yue Zhang · Taiping Yao · Jian Zhang · Ying Tai · Shouhong Ding · Jilin Li · Feiyue Huang · Haichuan Song · Lizhuang Ma

發表版本
ECCV 2020會議
arXiv 首次提交
arXiv:2008.08250
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{faceantispoofingdisentanglefas2020,
  title = {{Face Anti-Spoofing Via Disentangled Representation Learning}},
  author = {Ke-Yue Zhang and Taiping Yao and Jian Zhang and Ying Tai and Shouhong Ding and Jilin Li and Feiyue Huang and Haichuan Song and Lizhuang Ma},
  year = {2020},
  eprint = {2008.08250},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2008.08250}
}
本頁內容

這篇論文沒有幫自己取個好聽的名字。

所以我們就直接取用論文標題,稱它為:Disentangle-FAS。

定義問題

Face Anti-Spoofing(FAS)一直站在辨識系統的前線。

從手機解鎖、門禁系統、金融身份驗證,到各種 eKYC 場景,我們仰賴這個任務幫我們分辨這張臉是真的人,還是某種偽裝?

隨著演算法精進、資料集擴充、模型精度一路攀升,我們以為問題正在被解決。

但事實上,我們只是在用更多樣的假象,逼迫模型記住更多答案。

仔細一看,整個領域其實卡在幾個老問題裡:

  • 真假分類的黑盒模型,無法說明判斷依據;
  • 泛化能力極差,一換資料集就崩潰;
  • 資料永遠不夠,攻擊樣式永遠變化更快。

更嚴重的是:我們甚至無法明確描述「活體的特徵」究竟是什麼。

這不是某個模型結構沒選好,也不是資料量不夠的問題。

而是我們對於臉的理解,本身就過於混沌。

臉上同時存在太多語意:身份、姿勢、光照、背景、設備特性、膚色紋理等,而我們卻讓模型在這片混合語法裡,一次性做出「真或假」的判斷。

這種方式是不是打從一開始就錯了?我們有沒有可能:

讓模型先試著從雜訊與語意的糾纏中,抽出一條獨立的、屬於「活體」的線索?

解決問題

為了解開「臉上語意混雜」的難題,作者提出了兩大核心部件:

  1. 進行活體與內容分離的 Disentanglement Process。
  2. 透過多種 Auxiliary Supervision(如 LBP、Depth、鑑別器)來強化拆解效果。

Disentanglement Process

首先,作者設計了一條「交換並重組」的流程,把人臉影像的潛在特徵向量,拆成兩塊:

  • Liveness Features ( LL ):代表「這張臉是真還是假」的關鍵因子
  • Content Features ( CC ):代表臉的身份、背景、光照、姿勢… 這些與真假無關的屬性

完整流程可以參考上圖:

  1. 一張真臉 AA 和一張假臉 BB 分別進入編碼器 (Encoder),被拆解為 (LA,CA)(L_A, C_A) 與 (LB,CB)(L_B, C_B)。

  2. 接著,交換活體特徵 以合成新的影像 A^b\hat{A}_b 和 B^a\hat{B}_a,分別代表:

    • 用「假臉的活體特徵」+「真臉的內容特徵」重組出來的影像 A^b\hat{A}_b
    • 用「真臉的活體特徵」+「假臉的內容特徵」重組出來的影像 B^a\hat{B}_a

這樣一來,如果把真臉的 LL 與假臉的 CC 重新拼接,理論上就能生成一張「保留 B 的內容,但帶有 A 的真臉屬性」的新圖;反之亦然。

這種交換行為,正是為了促使模型把「真假」和「臉部內容」分開;若兩者混在一起,交換後的合成圖可能失真或帶有錯誤痕跡。

重建損失:Image & Latent

Encoder + Decoder 的組合在整個流程裡,需要保證「能把影像再度重建回來」。

作者透過兩種重建損失做約束:

  1. 影像重建損失 (Image Reconstruction)

    希望 D(E(xi))D(E(x_i)) 能夠近似 xix_i 本身,公式如下:

    Lrecxi  =  Exi∼p(xi)∥ D(E(xi))  −  xi∥1\mathcal{L}_{rec}^{x_i} \;=\; \mathbb{E}_{x_i \sim p(x_i)} \Bigl\|\,D\bigl(E(x_i)\bigr) \;-\; x_i\Bigr\|_1

    其中 EE 表示編碼器、DD 表示解碼器,p(xi)p(x_i) 為真實影像的分佈。

  2. 潛變量重建損失 (Latent Reconstruction)

    希望交換後,能夠再把 z^i\hat{z}_i 解碼-編碼回來,重建出原始的 ziz_i,公式如下:

    Lreczi  =  Ezi∼q(zi)∥ E(D(zi))  −  zi∥1\mathcal{L}_{rec}^{z_i} \;=\; \mathbb{E}_{z_i \sim q(z_i)} \Bigl\|\, E\bigl(D(z_i)\bigr) \;-\; z_i \Bigr\|_1

    如此一來,可約束交換後的活體特徵和內容特徵仍能重建,促進兩者分離。

Auxiliary Supervision

為了進一步「鎖定」活體特徵,作者在拆解流程中,額外加入三個輔助監督:

  1. LBP Map
  2. Depth Map
  3. Discriminative Supervision(鑑別器)

下表示作者使用各種輔助網路的結構細節:

每個網路都由一連串卷積層、BN、ReLU 所組成,用不同層級特徵去校正或判別。

  • LBP Map

    考量到「假臉」常在紋理上出現破綻(如印刷墨點、螢幕摩爾紋),作者讓活體特徵接受 LBP(Local Binary Pattern) 監督:

    • 真臉:希望能靠 LBP Net 輸出跟真實的 LBP 相近;
    • 假臉:則對應到一張「全零圖」,意味著「紋理應該偏向無效或假紋理」。

    數學式如下:

    Llbp=  Eli∼P(li), xi∼P(xi)∥ LBP(li)−lbpxi∥1  +  Eli∼N(li), xi∼N(xi)∥ LBP(li)−0∥1\mathcal{L}_{lbp} =\; \mathbb{E}_{l_i \sim P(l_i),\, x_i \sim P(x_i)} \Bigl\|\, LBP(l_i) - lbp_{x_i} \Bigr\|_1 \;+\; \mathbb{E}_{l_i \sim N(l_i),\, x_i \sim N(x_i)} \Bigl\|\, LBP(l_i) - 0 \Bigr\|_1

    其中 P(⋅)P(\cdot) 表示真臉分佈,N(⋅)N(\cdot) 表示假臉分佈,lbpxilbp_{x_i} 為真臉的 LBP 影像, 0\,0 則是全零圖。

  • Depth Map

    對於真臉的 3D 幾何資訊,作者也引入深度監督。

    • 真臉對應「偽深度圖」,由 3D 對齊算法生成;
    • 假臉對應全零圖。

    數學式如下:

    Ldep=  Exi∼N(xi)∥ Dep(xi)−0∥1  +  Exi∼P(xi)∥ Dep(xi)−depxi∥1\mathcal{L}_{dep} =\; \mathbb{E}_{x_i \sim N(x_i)} \Bigl\|\, Dep(x_i) - 0 \Bigr\|_1 \;+\; \mathbb{E}_{x_i \sim P(x_i)} \Bigl\|\, Dep(x_i) - dep_{x_i} \Bigr\|_1

    這裡的 Dep(⋅)Dep(\cdot) 表示深度網路的輸出。

    深度網路以影像為輸入,訓練拆解網路時參數保持固定;重建與交換後的影像也接受對應的深度或零圖約束,以促進 LL 分支學到活體資訊。

  • Discriminative Supervision

    最後,作者設計了多尺度的鑑別器 (Discriminator),幫忙判斷「生成的影像」到底像不像真實影像。

    本質類似 GAN 的對抗訓練:

    • 判別器損失 ( LDisDL_{Dis}^D ):在固定生成器之後,更新鑑別器,讓它學會分辨真實 (R) 與生成 (G);
    • 生成器損失 ( LGenDL_{Gen}^D ):在固定鑑別器之後,反向更新整個 Disentanglement Net,逼它產生更擬真的影像。

    數學式如下:

    LGenD=−  EI∈G log⁡(D1(I))  −  EI∈G log⁡(D2(I)).\mathcal{L}_{Gen}^{D} = - \; \mathbb{E}_{I \in G}\,\log\bigl(D_1(I)\bigr) \;-\; \mathbb{E}_{I \in G}\,\log\bigl(D_2(I)\bigr).

    其中 D1D_1 與 D2D_2 為不同尺度的鑑別器,用來捕捉局部細節與整體結構。

最終目標函數

作者把上述所有損失加總,形成最終訓練目標:

L=  LGenD  +  λ1 Lrecxi  +  λ2 Lreczi  +  λ3 Ldep  +  λ4 Llbp\mathcal{L} =\; \mathcal{L}_{Gen}^{D} \;+\; \lambda_1\,\mathcal{L}_{rec}^{x_i} \;+\; \lambda_2\,\mathcal{L}_{rec}^{z_i} \;+\; \lambda_3\,\mathcal{L}_{dep} \;+\; \lambda_4\,\mathcal{L}_{lbp}

其中 λ1,λ2,λ3,λ4\lambda_1, \lambda_2, \lambda_3, \lambda_4 是平衡各種損失的重要超參數。

整個訓練過程,採用典型的「對抗式迭代」:先優化鑑別器,再優化整個拆解網路。

一來一往,最終希望達到:

  • 交換後的影像足夠擬真,
  • 活體與內容盡可能分離且能重建,
  • LBP 與深度監督也引導活體特徵帶有真假資訊。

推論階段不進行重建與交換,而是將由 LL 估計的 LBP 圖分數,與影像經深度網路估計的深度圖分數取平均來判斷真偽;跨域能力仍須由實驗檢驗。

討論

論文作者在四個常見 FAS 資料庫上進行測試:

  • Oulu-NPU、SiW(用於 intra-testing)
  • CASIA-MFSD 與 Replay-Attack(用於 cross-testing)

並透過常見的 APCER / BPCER / ACER / HTER 指標來量化。

Intra-testing: Oulu-NPU

基於 Oulu-NPU 的實驗數據如上表所示,Disentangle-FAS 的 ACER 在 p1 與 FAS-TD 同為 1.3%,p2 為 2.4%(高於 FAS-TD 的 1.9%),p3、p4 則分別以 2.2%、4.4% 優於表中比較方法。這些結果支持它在所測協定下的表現,不能單由表格歸因於特徵拆解。

Cross-testing: CASIA-MFSD ↔ Replay-Attack

實驗設計用 CASIA 訓練、Replay 測試;或是 Replay 訓練、CASIA 測試,都是 FAS 的標準「跨域」實驗。

結果如上表,Disentangle-FAS 在 (CASIA → Replay) 的 HTER 為 22.4%,比表中 BASN 的 23.6% 低 1.2 個百分點;(Replay → CASIA) 則為 30.3%,略高於 BASN 的 29.9% 與 Auxiliary 的 28.4%。

這兩個方向的結果不同,說明跨資料集表現仍取決於訓練與測試資料的組合。

翻譯結果與可視化

作者在論文展示了三組翻譯結果:「真臉 ↔ 假臉」、「真臉 ↔ 真臉」、「假臉 ↔ 假臉」。

  • 在「真臉 ↔ 假臉」交換時,對應的深度圖也會同步切換,顯示活體特徵帶有真假線索;
  • 而在「真臉 ↔ 真臉」或「假臉 ↔ 假臉」內部交換時,深度幾乎不動。
  • 這些可視化結果與作者希望將 ID、光照、背景留在 content features 的設計一致。

接著,作者進一步聚焦局部區域(如印刷紋理、螢幕摩爾紋),展示交換後的結果真能呈現各種「假」細節的紋理特徵,如下圖:

這些局部範例顯示,交換後的影像可呈現部分不同攻擊媒材的紋理細節。

Ablation Study

作者也測了許多 ablation 組合,核心結論如下:

  • 有無 Disentanglement:圖中的 t-SNE 投影顯示,加入活體/內容分離後,真臉與假臉在活體特徵上的分布較容易區分;內容特徵的投影則較混雜。

  • LBP + Depth 監督:在 Oulu-NPU p1 消融實驗中,同時利用低階紋理(LBP)和深度(Depth)監督的組合取得表中最低 ACER(融合分數 1.25%)。

  • Score Fusion:在同一協定下,將 LBP 與 Depth 分數平均融合的 ACER 為 1.25%,低於只用 LBP(1.56%)、只用 Depth(1.67%)或取最大值(1.88%)。

這些實驗與可視化支持活體特徵有助於區分真偽,並可在展示的樣本中呈現部分攻擊紋理;跨資料集結果仍隨測試方向而變。

結論

Disentangle-FAS 並沒有試圖再做一個更複雜的分類器。它選擇把任務重寫,將「臉」的潛在語法切割成兩個世界:

一個是活體,一個是內容。

在這個框架下,真假不再是輸出分數,而是一種可以交換、生成、可視化的語意空間。

模型不只學會分辨,還學會了解構,甚至學會了說明:哪裡是假的,以及為什麼是假的。

透過活體特徵的視覺翻譯、深度與紋理的輔助監督,以及跨域評測的實驗結果,這篇論文告訴我們:

比起「判斷真假」,我們更應該教模型學會「看見假象從何而來」。

在未來混沌多變的攻擊世界裡,這條路或許不容易,但它讓我們有機會把防禦這件事變得有語法、可推理還有能解釋。

這正是從黑盒中抽身,走向一種更有意識的視覺辨識方式。