Face Anti-Spoofing Via Disentangled Representation Learning
- 发表版本
- ECCV 2020会议
- arXiv 首次提交
- arXiv:2008.08250
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{faceantispoofingdisentanglefas2020,
title = {{Face Anti-Spoofing Via Disentangled Representation Learning}},
author = {Ke-Yue Zhang and Taiping Yao and Jian Zhang and Ying Tai and Shouhong Ding and Jilin Li and Feiyue Huang and Haichuan Song and Lizhuang Ma},
year = {2020},
eprint = {2008.08250},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2008.08250}
}
这篇论文没有帮自己取个好听的名字。
所以我们就直接取用论文标题,称它为:Disentangle-FAS。
定义问题
Face Anti-Spoofing(FAS)一直站在识别系统的前线。
从手机解锁、门禁系统、金融身份核验,到各种 eKYC 场景,我们仰赖这个任务帮我们分辨这张脸是真的人,还是某种伪装?
随着算法精进、数据集扩充、模型精度一路攀升,我们以为问题正在被解决。
但事实上,我们只是在用更多样的假象,逼迫模型记住更多答案。
仔细一看,整个领域其实卡在几个老问题里:
- 真假分类的黑盒模型,无法说明判断依据;
- 泛化能力极差,一换数据集就崩溃;
- 数据永远不够,攻击样式永远变化更快。
更严重的是:我们甚至无法明确描述「活体的特征」究竟是什么。
这不只是模型结构或数据量的问题。
而是我们对于脸的理解,本身就过于混沌。
脸上同时存在太多语义:身份、姿势、光照、背景、设备特性、肤色纹理等,而我们却让模型在这片混合语法里,一次性做出「真或假」的判断。
这种方式是不是打从一开始就错了?我们有没有可能:
让模型先试着从噪声与语义的纠缠中,抽出一条独立的、属于「活体」的线索?
解决问题
为了解开「脸上语义混杂」的难题,作者提出了两大核心部件:
- 进行活体与内容分离的 Disentanglement Process。
- 通过多种 Auxiliary Supervision(如 LBP、Depth、判别器)来强化拆解效果。
Disentanglement Process
首先,作者设计了一条「交换并重组」的流程,把人脸图像的潜在特征向量,拆成两块:
- Liveness Features ( ):代表「这张脸是真还是假」的关键因子
- Content Features ( ):代表脸的身份、背景、光照、姿势… 这些与真假无关的属性
完整流程可以参考上图:
-
一张真脸 和一张假脸 分别进入编码器 (Encoder),被拆解为 与 。
-
接着,交换活体特征 以合成新的图像 和 ,分别代表:
- 用「假脸的活体特征」+「真脸的内容特征」重组出来的图像
- 用「真脸的活体特征」+「假脸的内容特征」重组出来的图像
这样一来,如果把真脸的 与假脸的 重新拼接,理论上就能生成一张「保留 B 的内容,但带有 A 的真脸属性」的新图;反之亦然。
这种交换行为,正是为了促使模型把「真假」和「脸部内容」分开;若两者混在一起,交换后的合成图可能失真或带有错误痕迹。
重建损失:Image & Latent
Encoder + Decoder 的组合在整个流程里,需要保证「能把图像再度重建回来」。
作者通过两种重建损失做约束:
-
图像重建损失 (Image Reconstruction)
希望 能够近似 本身,公式如下:
其中 表示编码器、 表示解码器, 为真实图像的分布。
-
潜变量重建损失 (Latent Reconstruction)
希望交换后的潜变量 经解码、再编码后,仍能重建出同一个 ,公式如下:
如此一来,可约束交换后的活体特征和内容特征仍能重建,促进两者分离。
Auxiliary Supervision
为了进一步「锁定」活体特征,作者在拆解流程中,额外加入三个辅助监督:
- LBP Map
- Depth Map
- Discriminative Supervision(判别器)
下表示作者使用各种辅助网络的结构细节:
每个网络都由一连串卷积层、BN、ReLU 所组成,用不同层级特征去校正或判别。
-
LBP Map
考量到「假脸」常在纹理上出现破绽(如印刷墨点、屏幕摩尔纹),作者让活体特征接受 LBP(Local Binary Pattern) 监督:
- 真脸:希望能靠 LBP Net 输出跟真实的 LBP 相近;
- 假脸:以一张「全零图」作为训练目标。
数学式如下:
其中 表示真脸分布, 表示假脸分布, 为真脸的 LBP 图像, 则是全零图。
-
Depth Map
对于真脸的 3D 几何信息,作者也引入深度监督。
- 真脸对应「伪深度图」,由 3D 对齐算法生成;
- 假脸对应全零图。
数学式如下:
这里的 表示深度网络的输出。
深度网络以图像为输入,训练拆解网络时参数保持固定;重建与交换后的图像也接受对应的深度或零图约束,以促进 分支学到活体信息。零图是区分类别的训练目标。
-
Discriminative Supervision
最后,作者设计了多尺度的判别器 (Discriminator),帮忙判断「生成的图像」到底像不像真实图像。
本质类似 GAN 的对抗训练:
- 判别器损失 ( ):在固定生成器之后,更新判别器,让它学会分辨真实 (R) 与生成 (G);
- 生成器损失 ( ):在固定判别器之后,反向更新整个 Disentanglement Net,逼它产生更逼真的图像。
数学式如下:
其中 与 为不同尺度的判别器,用来捕捉局部细节与整体结构。
最终目标函数
作者把上述所有损失加总,形成最终训练目标:
其中 是平衡各种损失的重要超参数。
整个训练过程,采用典型的「对抗式迭代」:先优化判别器,再优化整个拆解网络。
一来一往,最终希望达到:
- 交换后的图像足够逼真,
- 活体与内容尽可能分离且能重建,
- LBP 与深度监督也引导活体特征带有真假信息。
推理阶段不进行重建与交换,而是将由 估计的 LBP 图分数,与图像经深度网络估计的深度图分数取平均来判断真伪;跨域能力仍须由实验检验。
讨论
论文作者在四个常见 FAS 数据库上进行测试:
- Oulu-NPU、SiW(用于 intra-testing)
- CASIA-MFSD 与 Replay-Attack(用于 cross-testing)
并通过常见的 APCER / BPCER / ACER / HTER 指标来量化。
Intra-testing: Oulu-NPU
基于 Oulu-NPU 的实验数据如上表所示,Disentangle-FAS 的 ACER 在 p1 与 FAS-TD 同为 1.3%,p2 为 2.4%(高于 FAS-TD 的 1.9%),p3、p4 则分别以 2.2%、4.4% 优于表中比较方法。这些结果支持它在所测协议下的表现,不能单由表格归因于特征拆解。
Cross-testing: CASIA-MFSD ↔ Replay-Attack
实验设计用 CASIA 训练、Replay 测试;或是 Replay 训练、CASIA 测试,都是 FAS 的标准「跨域」实验。
结果如上表,Disentangle-FAS 在 (CASIA → Replay) 的 HTER 为 22.4%,比表中 BASN 的 23.6% 低 1.2 个百分点;(Replay → CASIA) 则为 30.3%,略高于 BASN 的 29.9% 与 Auxiliary 的 28.4%。
这两个方向的结果不同,说明跨数据集表现仍取决于训练与测试数据的组合。
图像转换结果与可视化
作者在论文展示了三组翻译结果:「真脸 ↔ 假脸」、「真脸 ↔ 真脸」、「假脸 ↔ 假脸」。
- 在「真脸 ↔ 假脸」交换时,对应的深度图也会同步切换,显示活体特征带有真假线索;
- 而在「真脸 ↔ 真脸」或「假脸 ↔ 假脸」内部交换时,深度几乎不动。
- 这些可视化结果与作者希望将 ID、光照、背景留在 content features 的设计一致。
接着,作者进一步聚焦局部区域(如印刷纹理、屏幕摩尔纹),展示交换后的结果真能呈现各种「假」细节的纹理特征,如下图:
这些局部示例显示,交换后的图像可呈现部分不同攻击媒介的纹理细节。
Ablation Study
作者也测了许多 ablation 组合,核心结论如下:
-
有无 Disentanglement:图中的 t-SNE 投影显示,加入活体/内容分离后,真脸与假脸在活体特征上的分布较容易区分;内容特征的投影则较混杂。
-
LBP + Depth 监督:在 Oulu-NPU p1 消融实验中,同时利用低阶纹理(LBP)和深度(Depth)监督的组合取得表中最低 ACER(融合分数 1.25%)。
-
Score Fusion:在同一协议下,将 LBP 与 Depth 分数平均融合的 ACER 为 1.25%,低于只用 LBP(1.56%)、只用 Depth(1.67%)或取最大值(1.88%)。
这些实验与可视化支持活体特征有助于区分真伪,并可在展示的样本中呈现部分攻击纹理;跨数据集结果仍随测试方向而变。
结论
Disentangle-FAS 并没有试图再做一个更复杂的分类器。它选择把任务重写,将「脸」的潜在语法切割成两个世界:
一个是活体,一个是内容。
在这个框架下,真假除了体现在输出分数中,也对应一个可以交换、生成和可视化的语义空间。
模型不只学会分辨,还尝试拆解表征,展示哪些区域可能带有伪造痕迹。
通过活体特征的视觉转换、深度与纹理的辅助监督,以及跨域评测的实验结果,这篇论文告诉我们:
比起「判断真假」,我们更应该教模型学会「看见假象从何而来」。
在未来混沌多变的攻击世界里,这条路或许不容易,但它让我们有机会把防御这件事变得有语法、可推理还有能解释。
这正是从黑盒中抽身,走向一种更有意识的视觉识别方式。