Face Anti-Spoofing Via Disentangled Representation Learning
- 發表版本
- ECCV 2020會議
- arXiv 首次提交
- arXiv:2008.08250
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{faceantispoofingdisentanglefas2020,
title = {{Face Anti-Spoofing Via Disentangled Representation Learning}},
author = {Ke-Yue Zhang and Taiping Yao and Jian Zhang and Ying Tai and Shouhong Ding and Jilin Li and Feiyue Huang and Haichuan Song and Lizhuang Ma},
year = {2020},
eprint = {2008.08250},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2008.08250}
}
這篇論文沒有幫自己取個好聽的名字。
所以我們就直接取用論文標題,稱它為:Disentangle-FAS。
定義問題
Face Anti-Spoofing(FAS)一直站在辨識系統的前線。
從手機解鎖、門禁系統、金融身份驗證,到各種 eKYC 場景,我們仰賴這個任務幫我們分辨這張臉是真的人,還是某種偽裝?
隨著演算法精進、資料集擴充、模型精度一路攀升,我們以為問題正在被解決。
但事實上,我們只是在用更多樣的假象,逼迫模型記住更多答案。
仔細一看,整個領域其實卡在幾個老問題裡:
- 真假分類的黑盒模型,無法說明判斷依據;
- 泛化能力極差,一換資料集就崩潰;
- 資料永遠不夠,攻擊樣式永遠變化更快。
更嚴重的是:我們甚至無法明確描述「活體的特徵」究竟是什麼。
這不是某個模型結構沒選好,也不是資料量不夠的問題。
而是我們對於臉的理解,本身就過於混沌。
臉上同時存在太多語意:身份、姿勢、光照、背景、設備特性、膚色紋理等,而我們卻讓模型在這片混合語法裡,一次性做出「真或假」的判斷。
這種方式是不是打從一開始就錯了?我們有沒有可能:
讓模型先試著從雜訊與語意的糾纏中,抽出一條獨立的、屬於「活體」的線索?
解決問題
為了解開「臉上語意混雜」的難題,作者提出了兩大核心部件:
- 進行活體與內容分離的 Disentanglement Process。
- 透過多種 Auxiliary Supervision(如 LBP、Depth、鑑別器)來強化拆解效果。
Disentanglement Process
首先,作者設計了一條「交換並重組」的流程,把人臉影像的潛在特徵向量,拆成兩塊:
- Liveness Features ( ):代表「這張臉是真還是假」的關鍵因子
- Content Features ( ):代表臉的身份、背景、光照、姿勢… 這些與真假無關的屬性
完整流程可以參考上圖:
-
一張真臉 和一張假臉 分別進入編碼器 (Encoder),被拆解為 與 。
-
接著,交換活體特徵 以合成新的影像 和 ,分別代表:
- 用「假臉的活體特徵」+「真臉的內容特徵」重組出來的影像
- 用「真臉的活體特徵」+「假臉的內容特徵」重組出來的影像
這樣一來,如果把真臉的 與假臉的 重新拼接,理論上就能生成一張「保留 B 的內容,但帶有 A 的真臉屬性」的新圖;反之亦然。
這種交換行為,正是為了促使模型把「真假」和「臉部內容」分開;若兩者混在一起,交換後的合成圖可能失真或帶有錯誤痕跡。
重建損失:Image & Latent
Encoder + Decoder 的組合在整個流程裡,需要保證「能把影像再度重建回來」。
作者透過兩種重建損失做約束:
-
影像重建損失 (Image Reconstruction)
希望 能夠近似 本身,公式如下:
其中 表示編碼器、 表示解碼器, 為真實影像的分佈。
-
潛變量重建損失 (Latent Reconstruction)
希望交換後,能夠再把 解碼-編碼回來,重建出原始的 ,公式如下:
如此一來,可約束交換後的活體特徵和內容特徵仍能重建,促進兩者分離。
Auxiliary Supervision
為了進一步「鎖定」活體特徵,作者在拆解流程中,額外加入三個輔助監督:
- LBP Map
- Depth Map
- Discriminative Supervision(鑑別器)
下表示作者使用各種輔助網路的結構細節:
每個網路都由一連串卷積層、BN、ReLU 所組成,用不同層級特徵去校正或判別。
-
LBP Map
考量到「假臉」常在紋理上出現破綻(如印刷墨點、螢幕摩爾紋),作者讓活體特徵接受 LBP(Local Binary Pattern) 監督:
- 真臉:希望能靠 LBP Net 輸出跟真實的 LBP 相近;
- 假臉:則對應到一張「全零圖」,意味著「紋理應該偏向無效或假紋理」。
數學式如下:
其中 表示真臉分佈, 表示假臉分佈, 為真臉的 LBP 影像, 則是全零圖。
-
Depth Map
對於真臉的 3D 幾何資訊,作者也引入深度監督。
- 真臉對應「偽深度圖」,由 3D 對齊算法生成;
- 假臉對應全零圖。
數學式如下:
這裡的 表示深度網路的輸出。
深度網路以影像為輸入,訓練拆解網路時參數保持固定;重建與交換後的影像也接受對應的深度或零圖約束,以促進 分支學到活體資訊。
-
Discriminative Supervision
最後,作者設計了多尺度的鑑別器 (Discriminator),幫忙判斷「生成的影像」到底像不像真實影像。
本質類似 GAN 的對抗訓練:
- 判別器損失 ( ):在固定生成器之後,更新鑑別器,讓它學會分辨真實 (R) 與生成 (G);
- 生成器損失 ( ):在固定鑑別器之後,反向更新整個 Disentanglement Net,逼它產生更擬真的影像。
數學式如下:
其中 與 為不同尺度的鑑別器,用來捕捉局部細節與整體結構。
最終目標函數
作者把上述所有損失加總,形成最終訓練目標:
其中 是平衡各種損失的重要超參數。
整個訓練過程,採用典型的「對抗式迭代」:先優化鑑別器,再優化整個拆解網路。
一來一往,最終希望達到:
- 交換後的影像足夠擬真,
- 活體與內容盡可能分離且能重建,
- LBP 與深度監督也引導活體特徵帶有真假資訊。
推論階段不進行重建與交換,而是將由 估計的 LBP 圖分數,與影像經深度網路估計的深度圖分數取平均來判斷真偽;跨域能力仍須由實驗檢驗。
討論
論文作者在四個常見 FAS 資料庫上進行測試:
- Oulu-NPU、SiW(用於 intra-testing)
- CASIA-MFSD 與 Replay-Attack(用於 cross-testing)
並透過常見的 APCER / BPCER / ACER / HTER 指標來量化。
Intra-testing: Oulu-NPU
基於 Oulu-NPU 的實驗數據如上表所示,Disentangle-FAS 的 ACER 在 p1 與 FAS-TD 同為 1.3%,p2 為 2.4%(高於 FAS-TD 的 1.9%),p3、p4 則分別以 2.2%、4.4% 優於表中比較方法。這些結果支持它在所測協定下的表現,不能單由表格歸因於特徵拆解。
Cross-testing: CASIA-MFSD ↔ Replay-Attack
實驗設計用 CASIA 訓練、Replay 測試;或是 Replay 訓練、CASIA 測試,都是 FAS 的標準「跨域」實驗。
結果如上表,Disentangle-FAS 在 (CASIA → Replay) 的 HTER 為 22.4%,比表中 BASN 的 23.6% 低 1.2 個百分點;(Replay → CASIA) 則為 30.3%,略高於 BASN 的 29.9% 與 Auxiliary 的 28.4%。
這兩個方向的結果不同,說明跨資料集表現仍取決於訓練與測試資料的組合。
翻譯結果與可視化
作者在論文展示了三組翻譯結果:「真臉 ↔ 假臉」、「真臉 ↔ 真臉」、「假臉 ↔ 假臉」。
- 在「真臉 ↔ 假臉」交換時,對應的深度圖也會同步切換,顯示活體特徵帶有真假線索;
- 而在「真臉 ↔ 真臉」或「假臉 ↔ 假臉」內部交換時,深度幾乎不動。
- 這些可視化結果與作者希望將 ID、光照、背景留在 content features 的設計一致。
接著,作者進一步聚焦局部區域(如印刷紋理、螢幕摩爾紋),展示交換後的結果真能呈現各種「假」細節的紋理特徵,如下圖:
這些局部範例顯示,交換後的影像可呈現部分不同攻擊媒材的紋理細節。
Ablation Study
作者也測了許多 ablation 組合,核心結論如下:
-
有無 Disentanglement:圖中的 t-SNE 投影顯示,加入活體/內容分離後,真臉與假臉在活體特徵上的分布較容易區分;內容特徵的投影則較混雜。
-
LBP + Depth 監督:在 Oulu-NPU p1 消融實驗中,同時利用低階紋理(LBP)和深度(Depth)監督的組合取得表中最低 ACER(融合分數 1.25%)。
-
Score Fusion:在同一協定下,將 LBP 與 Depth 分數平均融合的 ACER 為 1.25%,低於只用 LBP(1.56%)、只用 Depth(1.67%)或取最大值(1.88%)。
這些實驗與可視化支持活體特徵有助於區分真偽,並可在展示的樣本中呈現部分攻擊紋理;跨資料集結果仍隨測試方向而變。
結論
Disentangle-FAS 並沒有試圖再做一個更複雜的分類器。它選擇把任務重寫,將「臉」的潛在語法切割成兩個世界:
一個是活體,一個是內容。
在這個框架下,真假不再是輸出分數,而是一種可以交換、生成、可視化的語意空間。
模型不只學會分辨,還學會了解構,甚至學會了說明:哪裡是假的,以及為什麼是假的。
透過活體特徵的視覺翻譯、深度與紋理的輔助監督,以及跨域評測的實驗結果,這篇論文告訴我們:
比起「判斷真假」,我們更應該教模型學會「看見假象從何而來」。
在未來混沌多變的攻擊世界裡,這條路或許不容易,但它讓我們有機會把防禦這件事變得有語法、可推理還有能解釋。
這正是從黑盒中抽身,走向一種更有意識的視覺辨識方式。