返回论文笔记资料库
arXiv 2021WACV 2022人脸防伪论文笔记

DualStage

复解耦之术

原始论文

Disentangled Representation with Dual-stage Feature Learning for Face Anti-spoofing

论文作者

Yu-Chun Wang · Chien-Yi Wang · Shang-Hong Lai

发表版本
WACV 2022会议
arXiv 首次提交
arXiv:2110.09157
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{faceantispoofingdualstage2021,
  title = {{Disentangled Representation with Dual-stage Feature Learning for Face Anti-spoofing}},
  author = {Yu-Chun Wang and Chien-Yi Wang and Shang-Hong Lai},
  year = {2021},
  eprint = {2110.09157},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2110.09157}
}
本页内容

表征解耦(disentanglement)是愈来愈多人探讨的话题。

解耦本身大家还算有所共识,就是要把伪造特征抽出来。

那么除了伪造特征之外,其他的部分呢?就不管它了吗?

定义问题

在多数人脸活体识别系统中,模型试图从一张图像中读出一件事:这是真人,还是伪装?

但这个判断,其实是从一团交缠的讯号中推测而来的:脸的材质、光的残留或压缩的痕迹。

可以说,几乎所有能混进来的信息,通通都混进来了。

这正是表征解耦要处理的核心:

除了要回答对或错之外,还要搞清楚你究竟看见了什么。

过去几年,已有不少研究提出各种解耦策略,我们也陆续看了几篇相关论文。

有些人将潜在特征空间拆成两块,活体特征与内容特征各自为政;也有研究试图把 spoof trace 拆成多尺度残差,模拟出伪造残影。但几乎所有作法,都建立在一个假设之上:

我们能在单一阶段里,同时完成切割与重建。

但是这个假设并不合理,因为事情不是每次都能如此清楚:

  • 一旦解耦与分类目标交叠过深,模型往往倾向走捷径。
  • 对抗式训练虽能驱动潜在空间的分离,却容易引发梯度震荡,使整体学习极度不稳。
  • 即使引入了辅助监督(如深度图、rPPG),也难保这些讯号能对所有攻击形式都奏效。

换言之,我们逼着模型分辨伪造,却没有给它一套稳定学会伪造语法的方式。

它看得见真假,但看不见真假之间的语法差异;它能分对大多数样本,但无法理解下一次攻击会怎么变形。

表征解耦的理念,在实践上仍受困于架构不稳定、讯号依赖与未知攻击的不可测。

而这篇论文作者认为:

不如我们分阶段来学吧!

慢慢来,比较快。


解决问题

在面对未知攻击时,单纯的二元分类远远不够。

作者在这里选择分两阶段训练:先以真脸重建学习活体特征,再从真假脸中抽取伪造相关特征。如上图所示,我们来看一下详细操作的方法。

先学活体信息

作者先构建一个 Live-info Network 来做自编码学习。

  • 输入:仅有真脸样本 x∗∈PXx^* \in P_X
  • 编码器 ELE_L:提取活体特征 FLF_L
  • 解码器 DLD_L:尝试重建输入,输出 x^syn∗\hat{x}^*_{syn}

为了让模型重建真脸图像,作者以下列损失函数最小化重建误差:

LLive=Ex∗∼PX[∥x∗−x^syn∗∥22]\mathcal{L}_{Live} = \mathbb{E}_{x^* \sim P_X} \Big[\big\|x^* - \hat{x}^*_{syn}\big\|_2^2\Big]

在这个阶段,模型不会接触攻击脸,因此 ELE_L 学到的是训练真脸的重建特征。

这个编码器后续将作为固定权重的活体讯息提取器,被引入下一个阶段。

双线并行重建

第二阶段把伪造样本也加入训练,形成一个「双线并行重建」的解耦模组:

  1. Live-encoder ELE_L

    • 直接载入第一阶段完成的权重,抽取活体特征 FLF_L。
    • 此时保持权重冻结,不再更新,使第一阶段的表示在第二阶段维持固定。
  2. Spoof-encoder ESE_S

    • 专门负责提取伪造特征 FSF_S,亦即那些在真脸里不存在或不明显的攻击讯号。
  3. 重建器 DsynD_{syn}

    • 根据 FLF_L 与 FSF_S 融合后的表征,尝试还原输入图像 x^syn\hat{x}_{syn}。

为了让 DsynD_{syn} 重建输入,并引导 ESE_S 聚焦于「伪造差异」,作者使用了重建损失与对抗损失:

  • 重建损失

    Lrecon=Ex∼PX[∥x−x^syn∥22]\mathcal{L}_{recon} = \mathbb{E}_{x \sim P_X} \Big[\big\|x - \hat{x}_{syn}\big\|_2^2\Big]
  • 生成器损失

    LGen=Ex∼PX[(D(x^syn)−1)2]\mathcal{L}_{Gen} = \mathbb{E}_{x \sim P_X} \Big[(D(\hat{x}_{syn}) - 1)^2\Big]
  • 判别器损失

    LDis=Ex∼PX[(D(x)−1)2+(D(x^syn))2]\mathcal{L}_{Dis} = \mathbb{E}_{x \sim P_X} \Big[(D(x) - 1)^2 + (D(\hat{x}_{syn}))^2\Big]

其中 D(⋅)D(\cdot) 是判别器,与上面的重建器 DsynD_{syn} 不同,负责区分 x^syn\hat{x}_{syn} 是否为真实样本。

通过这样的对抗机制,模型学习重建较像真实图像的输出,并配合其他损失促进 FLF_L 与 FSF_S 的分离。

抽取伪造的线索

作者将 FSF_S 结合一个类似 U-Net 结构的解码器 DmapD_{map},试图将伪造特征变成一张 spoof map。为了让这张图能最大限度区分「真脸 vs. 假脸」,引入了三重损失设计:

  1. Triplet Loss

    目标是拉近真脸内部距离,拉开真脸与假脸距离。

    以真脸作为 anchor fiaf_i^a,找出正样本(真脸)fipf_i^p 与负样本(假脸)finf_i^n,计算正常三元组损失 Ltnormal\mathcal{L}_t^{normal} 与困难三元组损失 Lthard\mathcal{L}_t^{hard},最终相加得 Lt\mathcal{L}_t。

  2. 最小化真脸残影损失 (Lr\mathcal{L}_r)

    对真脸来说,理论上不该生成显著的伪造图案,故希望其 spoof map 趋近于零。

    Lr=Ex∼Plive[∥y^map∥1]\mathcal{L}_r = \mathbb{E}_{x \sim P_{live}} \Big[\big\|\hat{y}_{map}\big\|_1\Big]
  3. 分类器辅助损失 (Lc\mathcal{L}_c)

    为了强化 spoof map 的可判别性,作者叠合 y^map\hat{y}_{map} 与原图 xx 一同喂给辅助分类器 CauxC_{aux},让此分类器判断真假脸。

    Lc=−E(x,y)[y⋅log⁡(y^c)+(1−y)⋅log⁡(1−y^c)]\mathcal{L}_c = -\mathbb{E}_{(x,y)} \Big[ y \cdot \log(\hat{y}_c) + (1-y)\cdot \log(1-\hat{y}_c) \Big]

最终,整体损失函数汇总为:

L=λ1Lrecon+λ2LGen+λ3Lt+λ4Lr+λ5Lc\mathcal{L} = \lambda_1 \mathcal{L}_{recon} + \lambda_2 \mathcal{L}_{Gen} + \lambda_3 \mathcal{L}_t + \lambda_4 \mathcal{L}_r + \lambda_5 \mathcal{L}_c

其中,论文中设定 λ1=4, λ2=1, λ3=3, λ4=5, λ5=5\lambda_1=4,\ \lambda_2=1,\ \lambda_3=3,\ \lambda_4=5,\ \lambda_5=5。上面的 Lc\mathcal{L}_c 依二元交叉熵写出;原论文式 (9) 的第二项少了负号。

训练与推理

  1. 训练流程

    第一阶段:只用真脸样本训练 ELE_L 与 DLD_L。

    第二阶段:将 ELE_L 冻结,与新加入的 ESE_S、DD、DmapD_{map} 一同训练;对抗损失、重建损失及多重监督对伪造特征进行解耦细化。

  2. 推理阶段

    仅需使用 ESE_S 与 DmapD_{map} 生成 spoof map,取其平均值作为 spoof 分数。当分数高于阈值者,即判定为攻击脸。在 GeForce GTX 1080 环境下,作者报告可达 121.48±1.4 FPS 的推理速度。

根据以上设计,作者把训练过程分割成「学习活体」与「分离伪造」两个部分,不使用深度图或 rPPG 作为辅助监督;未知攻击下的表现仍取决于测试类型。

讨论

跨类型实验表现

上表是在 SiW-M 上的留一攻击类型测试。本方法的平均 ACER 为 9.65% ± 7.15%、EER 为 8.63% ± 5.18%,均低于表中比较方法;但 Funnyeye 与 Paperglasses 的 ACER 仍达 24.37% 与 20.64%。

接着是在 MSU-MFSD, CASIA-MFSD, Replay-Attack 的留一攻击类型测试下的数据,本方法九种测试的平均 AUC 为 98.0% ± 4.26%,是表中最高;其中 MSU-MFSD 的印刷攻击 AUC 为 86.78%,高于表列方法,但仍是本方法最弱的一类。

这些结果显示该方法在所测多种攻击类型上有效,但各类型的表现仍有差异。

同类型实验表现

针对脸部表情、光照、摄像设备等因素的改变,作者使用了 SiW 中的 3 个子协议进行测试:

  1. Protocol 1、2:DualStage 的 ACER 均为 0%,分别与 DST,以及 DST、LGC 持平。
  2. Protocol 3:训练数据只含一种攻击类型,本方法 ACER 为 3.58% ± 3.93%,高于 LGC 的 1.19% ± 1.39%;作者认为攻击类型不足可能限制特征学习。

这些协议结果显示本方法在前两组表现良好,第三组仍有差距;表格本身无法证明学到的「活体表示」完全稳定。

Disentangled Features 可视化

为了展示解耦后的特征,作者做了「换脸实验」。

方法是保留两张图各自的 live feature,交换真脸与假脸的 spoof feature,再生成对应的攻击脸或真脸。

结果显示,在交换特征之后,真脸图案上会浮现「条纹或灰阶失衡」等伪造纹理;而原本的攻击脸则会部分恢复自然肤色。

这些范例支持 spoof feature 有助于控制合成图像中的伪造纹理。

Spoof Map 分析

最后,为了看看解耦后的 spoof feature 究竟长什么样子,作者将解耦后的 spoof feature 再通过 U-Net 风格的解码器 DmapD_{map} 生成检测图。

在图示的真脸样本中,spoof map 几近零值;在印刷攻击样本中,额头、眼鼻与口部附近出现局部高亮区域。

这表示 DualStage 能在图像空间提供可视化线索;高亮区域是否对应真实攻击机制,仍须另外验证。

消融实验

由于 DualStage 使用非常多的损失函数,作者在实验中也针对这些损失的影响进行了消融实验,并将结果与其他方法进行比较。

取消第一阶段或移除对抗损失时,九类测试的平均 AUC 分别从 98.0% 降至 95.01% 与 94.0%;移除 triplet loss 后降至 95.01%,只保留 normal triplet loss 则为 97.25%。

这些消融结果支持真脸预训练、对抗损失及两种 triplet loss 在所测设定中各有贡献;辅助分类器的消融平均 AUC 也降至 93.3%。

结论

DualStage 提出了一种不太华丽的设计:

将表征解耦拆成两段进行,先稳定地学会活体特征,再从中剥离出伪造讯号。

不需要额外的深度图、不倚赖 rPPG,仅通过图像本身,模型便能生成具判断力的 spoof map,并在多个公开数据集的跨类型测试中取得较好的结果。这表明它在不使用额外深度图或 rPPG 监督的条件下,也能在所测数据集上取得有竞争力的结果。

当然,它仍然有缺点:在攻击样式极度稀疏的场景中(如 SiW 协议三),表现并不出色。未来若要再推进,或许得进一步处理那些被视为「不相干」却实则干扰判断的特征碎片。

但作为方法论上的提案,它留下了一个还不算过时的讯号:

解耦这件事,不用急着一次完成。

模型可以慢慢学,只要你给它对的顺序。