返回论文笔记资料库
arXiv 2021IEEE TCSVT 2022人脸防伪论文笔记

DSDG

假象重组的前夜

原始论文

Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning

论文作者

Hangtong Wu · Dan Zen · Yibo Hu · Hailin Shi · Tao Mei

arXiv 首次提交
arXiv:2112.00568
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{faceantispoofingdsdg2021,
  title = {{Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning}},
  author = {Hangtong Wu and Dan Zen and Yibo Hu and Hailin Shi and Tao Mei},
  year = {2021},
  eprint = {2112.00568},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2112.00568}
}
本页内容

有些假象,从未出现过。

在被你识破之前。

定义问题

当人脸识别系统开始承担真实世界的验证责任,准确率不再只是排行榜上的一组数字,而是一道风险的边界。

FAS(Face Anti-Spoofing)作为这条边界的守门人,近年已从二分类任务逐步演化为一场针对多样变异的泛化博弈。

然而,大多数现有方法仍困于一个未曾彻底解决的前提:

数据的局限性,导致模型对未知身份与攻击样式普遍缺乏识别能力。

我们所使用的训练数据集,多半来自封闭环境、固定设备、少量身份与有限攻击形式。

例如,OULU-NPU 和 SiW 的训练集分别仅有 20 位、90 位受试者;这样的数据分布,无法支撑模型在实际部署中面对多源设备、多国人种、复杂光照与攻击技巧的挑战。所导致的结果就是模型过拟合于训练样本,对未见条件下的攻击无法有效识别。

寻找更多,更多,更多的数据,成为理所当然的解法。

如果说要考虑图像转换方法,大多仅能「换脸不换人」,产生的样本仍绑定于原始身份;而基于外部数据搜集的合成流程,则面临版权、标注、人力与延迟等实务性成本。

进一步来看,当我们试图引入生成模型解决数据瓶颈时,也不可避免地遭遇另一个问题:

合成样本的品质参差,可能干扰监督讯号的稳定性。

尤其在以深度图作为监督讯号的框架中,模糊与扭曲图像会直接影响深度预测准确性,进而让整体训练过程失去收敛性与可解释性。

这是一个双重问题结构:

  • 如何生成同时具备新身份与既有攻击形态的合成图像,提升数据的内在变异性?
  • 同时确保这些生成样本不会反向污染深度监督训练,使主网络学到错误的视觉线索?

这篇论文的作者从合成数据的生成逻辑与训练流程两个面向,提出了对应的解决方案。

在继续下一章节之前,或许我们可以先将焦点放回最初的问题:

一个真正有用的 FAS 系统,需要看过多少假象,才有能力说出「这不是真的」?


解决问题

为了解决「数据匮乏」及「图像失真」两大问题,作者整合「生成式数据增强」与「不确定性学习」两条思路,建立了双模组架构,分别为:

  • DSDG(Dual Spoof Disentanglement Generation)
  • DUL(Depth Uncertainty Learning)

Dual Spoof Disentanglement Generation (DSDG)

DSDG 的核心目标是仅以原有训练数据学习生成模型,再合成多样化且具成对结构的活体/攻击样本。

作者通过一个双编码器的 VAE(Variational Autoencoder),将人脸图像拆解为「身份特征」与「攻击特征」,然后再把它们重组至解码器,产生新的成对图像。

这种方式可同时扩增身份与攻击模式的覆盖范围。

如上图 (a) 所示,整体结构包含两个编码器与一个解码器,外加用于区分 spoof 与 identity 特征的解耦模组。具体步骤如下:

  1. 双编码器输出特征

    • Encs\text{Enc}_s 则输入攻击图像 IspoofI_{\text{spoof}},同时分离出「攻击样式特征」zstz^t_s 与「身份特征」zsiz^i_s。
    • Encl\text{Enc}_l 负责将活体图像 IliveI_{\text{live}} 映射到身份特征 zliz^i_l;

    其中,通过 reparameterization trick,每个编码器实际输出平均值 μ\mu 和标准差 σ\sigma,再以

    z=μ+ϵσ,ϵ∼N(0,I)z = \mu + \epsilon \sigma,\quad \epsilon \sim \mathcal{N}(0, I)

    的方式取得对应特征。

  1. 重建与解耦

    解码器 Dec\text{Dec} 接收三个特征 (zst,zsi,zli)(z^t_s, z^i_s, z^i_l) 后,分别生成重建后的 I^spoof\hat{I}_{\text{spoof}} 与 I^live\hat{I}_{\text{live}}。

    为使攻击特征能被正确抽离,作者在 zstz^t_s 上附加一个 spoof classifier,并利用交叉熵损失 (LclsL_{\text{cls}}) 使其预测正确攻击类型。

    同时,作者也在攻击特征 (zst)(z^t_s) 与身份特征 (zsi)(z^i_s) 之间引入「角度正交」约束 (LortL_{\text{ort}}),鼓励两者在向量空间彼此垂直,不致混淆。

  2. 分布对齐与重建损失

    为实现 VAE 对特征分布的学习,作者使用 Kullback-Leibler (KL) 散度 (LklL_{\text{kl}}) 让编码后的分布贴近标准高斯。

    实现中以 L1 距离 (LrecL_{\text{rec}}) 约束重建图像接近输入原图像。

    此外,MMD (LmmdL_{\text{mmd}}) 对齐两种身份潜在表示的分布,LpairL_{\text{pair}} 则用预训练 LightCNN 比较重建后成对图像的身份特征,以促进身份一致。

作者将上述所有损失合并成下列总目标函数:

L  =  Lkl+Lrec  +  λ1Lmmd  +  λ2Lpair  +  λ3Lort  +  λ4Lcls\mathcal{L} \;=\; L_{\text{kl}} + L_{\text{rec}} \;+\; \lambda_1 L_{\text{mmd}} \;+\; \lambda_2 L_{\text{pair}} \;+\; \lambda_3 L_{\text{ort}} \;+\; \lambda_4 L_{\text{cls}}

经过上述 VAE-like 训练完成后,即可如上图 (b) 所示,使用标准高斯噪声产生多组 (z^st,z^si)(\hat{z}^t_s, \hat{z}^i_s),复制 z^si\hat{z}^i_s 作为 z^li\hat{z}^i_l(确保「成对」身份一致),再交由解码器生成新样本 (I^spoof,I^live)(\hat{I}_{\text{spoof}}, \hat{I}_{\text{live}})。

此生成过程不需外部数据,但训练 DSDG 的 spoof classifier 仍使用原数据的攻击类型标签;生成样本可呈现新身份与已学到的攻击模式。

然而,由于 VAE 天生可能产生图像模糊或局部失真,这些噪声样本若直接纳入训练,恐混淆深度监督。为此,作者提出了 Depth Uncertainty Learning 来因应。

Depth Uncertainty Learning (DUL)

除了合成样本本身的多样性,作者进一步针对深度监督的干扰问题,引入一种不确定性表示机制,通过高斯分布来量化并抑制生成噪声的负面影响。

传统的深度监督方法,对每个图像区块只产生一个固定深度值。但是当合成图像带有局部失真时,深度标注往往不可信。

作者将深度值视为「高斯分布」N(μi,j, σi,j2)\mathcal{N}(\mu_{i,j},\,\sigma_{i,j}^2),其中 μi,j\mu_{i,j} 为可学习的深度平均值,σi,j\sigma_{i,j} 表示不确定度。

在训练时,真正参与损失计算的是一个采样值 di,j=μi,j+ϵσi,jd_{i,j} = \mu_{i,j} + \epsilon \sigma_{i,j},而 ϵ∼N(0,I)\epsilon \sim \mathcal{N}(0, I)。

使用这种「重参数化」的方式使得不确定性可通过反向传播进行学习。

在这个框架中,模型对深度特征图做两路卷积运算:一路输出 μi,j\mu_{i,j},另一路输出 σi,j\sigma_{i,j}。接着通过 KL 散度,约束 N(μi,j,σi,j2)\mathcal{N}(\mu_{i,j}, \sigma_{i,j}^2) 接近以监督深度值为均值、单位变异数的分布 N(μ^i,j,I)\mathcal{N}(\hat{\mu}_{i,j}, I);这是分布正则,并非直接替每个像素降低损失权重。

作者将模组接在 ResNet、MobileNetV2、DepthNet 与 CDCN 等深度监督网络后,输出像素级的均值与标准差;推理时使用均值深度图。

作者在此同样利用均方误差 (LMSEL_{\text{MSE}}) 作为主要的深度监督,并在总目标函数中增添一个 λklLkl\lambda_{\text{kl}} L_{\text{kl}} 权重项,以控制不确定度正则化的强度。

综合来看,整体损失可表示为:

Loverall  =  LMSE  +  λkl Lkl  +  λg(LMSE′+λklLkl′),L_{\text{overall}} \;=\; L_{\text{MSE}} \;+\; \lambda_{\text{kl}} \, L_{\text{kl}} \;+\; \lambda_g \Bigl(L_{\text{MSE}}' + \lambda_{\text{kl}} L_{\text{kl}}'\Bigr),

其中 λg\lambda_g 控制生成数据损失在反向传播中的权重;批次中原始样本的比例另由 rr 控制。

通过上述两个核心模组,作者将生成数据增强与深度不确定性学习结合在 FAS 训练流程中。

讨论

作者通过消融、数据集内与跨数据集实验,以及可视化,评估 DSDG 的数据增强与 DUM 的深度不确定度学习;各协议结果仍须分别解读。

消融实验

作者针对关键超参数与模组配置进行消融实验,重点包括身份数量对性能的影响、生成图像占比 (rr 值) 调整,以及各子损失(如 Lmmd,Lpair,LortL_{\text{mmd}}, L_{\text{pair}}, L_{\text{ort}})对于身份解耦的贡献。

  1. 身份数量与泛化性能

    以 OULU-NPU Protocol 1 (P1) 为例,身份数由 5 增至 20 时,本方法的 ACER 从 5.1% 降至 0.3%;CDCN 基线也由 8.3% 降至 1.0%。这显示两者都受训练身份数影响,表中本方法在各数量下较低。

  2. 生成图像占比 rr

    作者分析训练批次中原始样本的比例 rr;在 OULU-NPU P1,r=0.75r=0.75 时 ACER 为 0.3%,是表中最低。

    进一步将生成图像对数由 10k 增至 30k,20k、25k、30k 的 ACER 同为 0.3%;作者后续采用 20k。

  3. 身份解耦损失的重要性

    在 OULU-NPU P1,完整方法 ACER 为 0.3%;分别移除 LmmdL_{\text{mmd}}、LpairL_{\text{pair}}、LortL_{\text{ort}} 后为 1.0%、0.7%、0.7%。

    这支持三项损失对该协议下的识别结果有贡献。

  4. 超参数 λkl\lambda_{\text{kl}} 与 λg\lambda_{g}

    作者对 KL 权重 (λkl\lambda_{\text{kl}}) 及生成数据占比 (λg\lambda_{g}) 的灵敏度测试。在所测范围内,多数设定仍优于 CDCN 基线 1.0% ACER;但 λg=0.01\lambda_g=0.01 时为 1.4%,所以不能说对参数普遍不敏感。

Intra Testing

为检验模型在相同数据集内的识别能力,作者选择 OULU-NPU 与 SiW。

  • OULU-NPU (见论文中的 Table X):在四个协议中,本方法的 ACER 分别为 0.3%、1.2%、1.4%、2.3%,均为表中最低;Protocol 4 涵盖环境、攻击与输入装置变化。
  • SiW (见论文中的 Table XI):前两个协议的 ACER 均为 0%,与表中数个方法持平;Protocol 3 为 3.80% ± 1.44%,高于 CDCN 的 1.71% ± 0.11%。

这些结果支持该组合在 OULU-NPU 的四项协议表现良好,但 SiW Protocol 3 是明确的例外。

模型分析与可视化

作者借由多种可视化手段,展示生成图像的形态、攻击特征解耦与深度不确定性分布,帮助读者理解 DSDG 与 DUM 的内部运作原理。

  1. 生成图像

    上图展示原数据与生成的成对活体/攻击图像,并以不同身份和攻击样式作视觉对照;它支持生成多样性的展示,不能单独验证身份一致性。

    在 SiW-M 这种攻击多元的数据下,作者也展示了 Replay、Print、3D Mask、Makeup、Partial Attacks 等生成结果;这些示例不能量化失真程度。

  2. 攻击模式解耦

    上图是原论文 Figure 7 的 t-SNE 投影:不使用攻击类型分类器与正交损失 (LortL_{\text{ort}}) 时,各类攻击表示较混杂;使用完整 DSDG 训练后,投影呈现较明显的四类分群。这是两项约束一起变动的比较,不能单独归因于其中一项。

  3. 深度不确定性

    此处图片对应原论文 Figure 9,展示 CDCN 与加入 DUM 后的深度图,以及预测标准差。作者指出反光、脸部边缘与背景等区域的标准差较高;这是几个定性示例。

结论

DSDG 回答了一个朴素却长存的问题:

在不增加额外标注与外部数据时,如何同时扩增身份与攻击多样性,并抑制生成噪声对深度监督的侵蚀?

这边论文发表的时候,正处于 deepfake 泛滥尚未全面爆发、Diffusion 模型尚未主流应用的前夜。作者已经意识到「数据问题不能只靠数据解决」,也试图用生成与不确定性两个模组化策略,推进当时泛化能力的边界。

当然,它仍然有所局限:

  • 使用 VAE 作为生成骨架,在解析度与细节稳定性上受到限制;
  • 对深度的依赖设计,让整体方法难以延伸至非深度监督的场景;
  • 对 spoof type 的依赖仍未彻底松绑,在更纯粹无标注设定下仍有冲击。

但这些都不妨碍它在技术链中的定位。DSDG 提醒我们:

数据多样性、监督可信度、模型容错性,三者必须同步考虑,否则强化只是堆叠噪声。

模型会进化,攻击会变异,算法会被遗忘。但那些曾经试图拆解问题结构,而非只追求分数的人,多少都会留下影子,并成为后来者前进的节点。