Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning
- arXiv 首次提交
- arXiv:2112.00568
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{faceantispoofingdsdg2021,
title = {{Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning}},
author = {Hangtong Wu and Dan Zen and Yibo Hu and Hailin Shi and Tao Mei},
year = {2021},
eprint = {2112.00568},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2112.00568}
}
有些假象,从未出现过。
在被你识破之前。
定义问题
当人脸识别系统开始承担真实世界的验证责任,准确率不再只是排行榜上的一组数字,而是一道风险的边界。
FAS(Face Anti-Spoofing)作为这条边界的守门人,近年已从二分类任务逐步演化为一场针对多样变异的泛化博弈。
然而,大多数现有方法仍困于一个未曾彻底解决的前提:
数据的局限性,导致模型对未知身份与攻击样式普遍缺乏识别能力。
我们所使用的训练数据集,多半来自封闭环境、固定设备、少量身份与有限攻击形式。
例如,OULU-NPU 和 SiW 的训练集分别仅有 20 位、90 位受试者;这样的数据分布,无法支撑模型在实际部署中面对多源设备、多国人种、复杂光照与攻击技巧的挑战。所导致的结果就是模型过拟合于训练样本,对未见条件下的攻击无法有效识别。
寻找更多,更多,更多的数据,成为理所当然的解法。
如果说要考虑图像转换方法,大多仅能「换脸不换人」,产生的样本仍绑定于原始身份;而基于外部数据搜集的合成流程,则面临版权、标注、人力与延迟等实务性成本。
进一步来看,当我们试图引入生成模型解决数据瓶颈时,也不可避免地遭遇另一个问题:
合成样本的品质参差,可能干扰监督讯号的稳定性。
尤其在以深度图作为监督讯号的框架中,模糊与扭曲图像会直接影响深度预测准确性,进而让整体训练过程失去收敛性与可解释性。
这是一个双重问题结构:
- 如何生成同时具备新身份与既有攻击形态的合成图像,提升数据的内在变异性?
- 同时确保这些生成样本不会反向污染深度监督训练,使主网络学到错误的视觉线索?
这篇论文的作者从合成数据的生成逻辑与训练流程两个面向,提出了对应的解决方案。
在继续下一章节之前,或许我们可以先将焦点放回最初的问题:
一个真正有用的 FAS 系统,需要看过多少假象,才有能力说出「这不是真的」?
解决问题
为了解决「数据匮乏」及「图像失真」两大问题,作者整合「生成式数据增强」与「不确定性学习」两条思路,建立了双模组架构,分别为:
- DSDG(Dual Spoof Disentanglement Generation)
- DUL(Depth Uncertainty Learning)
Dual Spoof Disentanglement Generation (DSDG)
DSDG 的核心目标是仅以原有训练数据学习生成模型,再合成多样化且具成对结构的活体/攻击样本。
作者通过一个双编码器的 VAE(Variational Autoencoder),将人脸图像拆解为「身份特征」与「攻击特征」,然后再把它们重组至解码器,产生新的成对图像。
这种方式可同时扩增身份与攻击模式的覆盖范围。
如上图 (a) 所示,整体结构包含两个编码器与一个解码器,外加用于区分 spoof 与 identity 特征的解耦模组。具体步骤如下:
-
双编码器输出特征
- 则输入攻击图像 ,同时分离出「攻击样式特征」 与「身份特征」。
- 负责将活体图像 映射到身份特征 ;
其中,通过 reparameterization trick,每个编码器实际输出平均值 和标准差 ,再以
的方式取得对应特征。
-
重建与解耦
解码器 接收三个特征 后,分别生成重建后的 与 。
为使攻击特征能被正确抽离,作者在 上附加一个 spoof classifier,并利用交叉熵损失 () 使其预测正确攻击类型。
同时,作者也在攻击特征 与身份特征 之间引入「角度正交」约束 (),鼓励两者在向量空间彼此垂直,不致混淆。
-
分布对齐与重建损失
为实现 VAE 对特征分布的学习,作者使用 Kullback-Leibler (KL) 散度 () 让编码后的分布贴近标准高斯。
实现中以 L1 距离 () 约束重建图像接近输入原图像。
此外,MMD () 对齐两种身份潜在表示的分布, 则用预训练 LightCNN 比较重建后成对图像的身份特征,以促进身份一致。
作者将上述所有损失合并成下列总目标函数:
经过上述 VAE-like 训练完成后,即可如上图 (b) 所示,使用标准高斯噪声产生多组 ,复制 作为 (确保「成对」身份一致),再交由解码器生成新样本 。
此生成过程不需外部数据,但训练 DSDG 的 spoof classifier 仍使用原数据的攻击类型标签;生成样本可呈现新身份与已学到的攻击模式。
然而,由于 VAE 天生可能产生图像模糊或局部失真,这些噪声样本若直接纳入训练,恐混淆深度监督。为此,作者提出了 Depth Uncertainty Learning 来因应。
Depth Uncertainty Learning (DUL)
除了合成样本本身的多样性,作者进一步针对深度监督的干扰问题,引入一种不确定性表示机制,通过高斯分布来量化并抑制生成噪声的负面影响。
传统的深度监督方法,对每个图像区块只产生一个固定深度值。但是当合成图像带有局部失真时,深度标注往往不可信。
作者将深度值视为「高斯分布」,其中 为可学习的深度平均值, 表示不确定度。
在训练时,真正参与损失计算的是一个采样值 ,而 。
使用这种「重参数化」的方式使得不确定性可通过反向传播进行学习。
在这个框架中,模型对深度特征图做两路卷积运算:一路输出 ,另一路输出 。接着通过 KL 散度,约束 接近以监督深度值为均值、单位变异数的分布 ;这是分布正则,并非直接替每个像素降低损失权重。
作者将模组接在 ResNet、MobileNetV2、DepthNet 与 CDCN 等深度监督网络后,输出像素级的均值与标准差;推理时使用均值深度图。
作者在此同样利用均方误差 () 作为主要的深度监督,并在总目标函数中增添一个 权重项,以控制不确定度正则化的强度。
综合来看,整体损失可表示为:
其中 控制生成数据损失在反向传播中的权重;批次中原始样本的比例另由 控制。
通过上述两个核心模组,作者将生成数据增强与深度不确定性学习结合在 FAS 训练流程中。
讨论
作者通过消融、数据集内与跨数据集实验,以及可视化,评估 DSDG 的数据增强与 DUM 的深度不确定度学习;各协议结果仍须分别解读。
消融实验
作者针对关键超参数与模组配置进行消融实验,重点包括身份数量对性能的影响、生成图像占比 ( 值) 调整,以及各子损失(如 )对于身份解耦的贡献。
-
身份数量与泛化性能
以 OULU-NPU Protocol 1 (P1) 为例,身份数由 5 增至 20 时,本方法的 ACER 从 5.1% 降至 0.3%;CDCN 基线也由 8.3% 降至 1.0%。这显示两者都受训练身份数影响,表中本方法在各数量下较低。
-
生成图像占比
作者分析训练批次中原始样本的比例 ;在 OULU-NPU P1, 时 ACER 为 0.3%,是表中最低。
进一步将生成图像对数由 10k 增至 30k,20k、25k、30k 的 ACER 同为 0.3%;作者后续采用 20k。
-
身份解耦损失的重要性
在 OULU-NPU P1,完整方法 ACER 为 0.3%;分别移除 、、 后为 1.0%、0.7%、0.7%。
这支持三项损失对该协议下的识别结果有贡献。
-
超参数 与
作者对 KL 权重 () 及生成数据占比 () 的灵敏度测试。在所测范围内,多数设定仍优于 CDCN 基线 1.0% ACER;但 时为 1.4%,所以不能说对参数普遍不敏感。
Intra Testing
为检验模型在相同数据集内的识别能力,作者选择 OULU-NPU 与 SiW。
- OULU-NPU (见论文中的 Table X):在四个协议中,本方法的 ACER 分别为 0.3%、1.2%、1.4%、2.3%,均为表中最低;Protocol 4 涵盖环境、攻击与输入装置变化。
- SiW (见论文中的 Table XI):前两个协议的 ACER 均为 0%,与表中数个方法持平;Protocol 3 为 3.80% ± 1.44%,高于 CDCN 的 1.71% ± 0.11%。
这些结果支持该组合在 OULU-NPU 的四项协议表现良好,但 SiW Protocol 3 是明确的例外。
模型分析与可视化
作者借由多种可视化手段,展示生成图像的形态、攻击特征解耦与深度不确定性分布,帮助读者理解 DSDG 与 DUM 的内部运作原理。
-
生成图像
上图展示原数据与生成的成对活体/攻击图像,并以不同身份和攻击样式作视觉对照;它支持生成多样性的展示,不能单独验证身份一致性。
在 SiW-M 这种攻击多元的数据下,作者也展示了 Replay、Print、3D Mask、Makeup、Partial Attacks 等生成结果;这些示例不能量化失真程度。
-
攻击模式解耦
上图是原论文 Figure 7 的 t-SNE 投影:不使用攻击类型分类器与正交损失 () 时,各类攻击表示较混杂;使用完整 DSDG 训练后,投影呈现较明显的四类分群。这是两项约束一起变动的比较,不能单独归因于其中一项。
-
深度不确定性
此处图片对应原论文 Figure 9,展示 CDCN 与加入 DUM 后的深度图,以及预测标准差。作者指出反光、脸部边缘与背景等区域的标准差较高;这是几个定性示例。
结论
DSDG 回答了一个朴素却长存的问题:
在不增加额外标注与外部数据时,如何同时扩增身份与攻击多样性,并抑制生成噪声对深度监督的侵蚀?
这边论文发表的时候,正处于 deepfake 泛滥尚未全面爆发、Diffusion 模型尚未主流应用的前夜。作者已经意识到「数据问题不能只靠数据解决」,也试图用生成与不确定性两个模组化策略,推进当时泛化能力的边界。
当然,它仍然有所局限:
- 使用 VAE 作为生成骨架,在解析度与细节稳定性上受到限制;
- 对深度的依赖设计,让整体方法难以延伸至非深度监督的场景;
- 对 spoof type 的依赖仍未彻底松绑,在更纯粹无标注设定下仍有冲击。
但这些都不妨碍它在技术链中的定位。DSDG 提醒我们:
数据多样性、监督可信度、模型容错性,三者必须同步考虑,否则强化只是堆叠噪声。
模型会进化,攻击会变异,算法会被遗忘。但那些曾经试图拆解问题结构,而非只追求分数的人,多少都会留下影子,并成为后来者前进的节点。