Disentangled Representation with Dual-stage Feature Learning for Face Anti-spoofing
- 发表版本
- WACV 2022会议
- arXiv 首次提交
- arXiv:2110.09157
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{faceantispoofingdualstage2021,
title = {{Disentangled Representation with Dual-stage Feature Learning for Face Anti-spoofing}},
author = {Yu-Chun Wang and Chien-Yi Wang and Shang-Hong Lai},
year = {2021},
eprint = {2110.09157},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2110.09157}
}
表征解耦(disentanglement)是愈来愈多人探讨的话题。
解耦本身大家还算有所共识,就是要把伪造特征抽出来。
那么除了伪造特征之外,其他的部分呢?就不管它了吗?
定义问题
在多数人脸活体识别系统中,模型试图从一张图像中读出一件事:这是真人,还是伪装?
但这个判断,其实是从一团交缠的讯号中推测而来的:脸的材质、光的残留或压缩的痕迹。
可以说,几乎所有能混进来的信息,通通都混进来了。
这正是表征解耦要处理的核心:
除了要回答对或错之外,还要搞清楚你究竟看见了什么。
过去几年,已有不少研究提出各种解耦策略,我们也陆续看了几篇相关论文。
有些人将潜在特征空间拆成两块,活体特征与内容特征各自为政;也有研究试图把 spoof trace 拆成多尺度残差,模拟出伪造残影。但几乎所有作法,都建立在一个假设之上:
我们能在单一阶段里,同时完成切割与重建。
但是这个假设并不合理,因为事情不是每次都能如此清楚:
- 一旦解耦与分类目标交叠过深,模型往往倾向走捷径。
- 对抗式训练虽能驱动潜在空间的分离,却容易引发梯度震荡,使整体学习极度不稳。
- 即使引入了辅助监督(如深度图、rPPG),也难保这些讯号能对所有攻击形式都奏效。
换言之,我们逼着模型分辨伪造,却没有给它一套稳定学会伪造语法的方式。
它看得见真假,但看不见真假之间的语法差异;它能分对大多数样本,但无法理解下一次攻击会怎么变形。
表征解耦的理念,在实践上仍受困于架构不稳定、讯号依赖与未知攻击的不可测。
而这篇论文作者认为:
不如我们分阶段来学吧!
慢慢来,比较快。
解决问题
在面对未知攻击时,单纯的二元分类远远不够。
作者在这里选择分两阶段训练:先以真脸重建学习活体特征,再从真假脸中抽取伪造相关特征。如上图所示,我们来看一下详细操作的方法。
先学活体信息
作者先构建一个 Live-info Network 来做自编码学习。
- 输入:仅有真脸样本
- 编码器 :提取活体特征
- 解码器 :尝试重建输入,输出
为了让模型重建真脸图像,作者以下列损失函数最小化重建误差:
在这个阶段,模型不会接触攻击脸,因此 学到的是训练真脸的重建特征。
这个编码器后续将作为固定权重的活体讯息提取器,被引入下一个阶段。
双线并行重建
第二阶段把伪造样本也加入训练,形成一个「双线并行重建」的解耦模组:
-
Live-encoder
- 直接载入第一阶段完成的权重,抽取活体特征 。
- 此时保持权重冻结,不再更新,使第一阶段的表示在第二阶段维持固定。
-
Spoof-encoder
- 专门负责提取伪造特征 ,亦即那些在真脸里不存在或不明显的攻击讯号。
-
重建器
- 根据 与 融合后的表征,尝试还原输入图像 。
为了让 重建输入,并引导 聚焦于「伪造差异」,作者使用了重建损失与对抗损失:
-
重建损失
-
生成器损失
-
判别器损失
其中 是判别器,与上面的重建器 不同,负责区分 是否为真实样本。
通过这样的对抗机制,模型学习重建较像真实图像的输出,并配合其他损失促进 与 的分离。
抽取伪造的线索
作者将 结合一个类似 U-Net 结构的解码器 ,试图将伪造特征变成一张 spoof map。为了让这张图能最大限度区分「真脸 vs. 假脸」,引入了三重损失设计:
-
Triplet Loss
目标是拉近真脸内部距离,拉开真脸与假脸距离。
以真脸作为 anchor ,找出正样本(真脸) 与负样本(假脸),计算正常三元组损失 与困难三元组损失 ,最终相加得 。
-
最小化真脸残影损失 ()
对真脸来说,理论上不该生成显著的伪造图案,故希望其 spoof map 趋近于零。
-
分类器辅助损失 ()
为了强化 spoof map 的可判别性,作者叠合 与原图 一同喂给辅助分类器 ,让此分类器判断真假脸。
最终,整体损失函数汇总为:
其中,论文中设定 。上面的 依二元交叉熵写出;原论文式 (9) 的第二项少了负号。
训练与推理
-
训练流程
第一阶段:只用真脸样本训练 与 。
第二阶段:将 冻结,与新加入的 、、 一同训练;对抗损失、重建损失及多重监督对伪造特征进行解耦细化。
-
推理阶段
仅需使用 与 生成 spoof map,取其平均值作为 spoof 分数。当分数高于阈值者,即判定为攻击脸。在 GeForce GTX 1080 环境下,作者报告可达 121.48±1.4 FPS 的推理速度。
根据以上设计,作者把训练过程分割成「学习活体」与「分离伪造」两个部分,不使用深度图或 rPPG 作为辅助监督;未知攻击下的表现仍取决于测试类型。
讨论
跨类型实验表现
上表是在 SiW-M 上的留一攻击类型测试。本方法的平均 ACER 为 9.65% ± 7.15%、EER 为 8.63% ± 5.18%,均低于表中比较方法;但 Funnyeye 与 Paperglasses 的 ACER 仍达 24.37% 与 20.64%。
接着是在 MSU-MFSD, CASIA-MFSD, Replay-Attack 的留一攻击类型测试下的数据,本方法九种测试的平均 AUC 为 98.0% ± 4.26%,是表中最高;其中 MSU-MFSD 的印刷攻击 AUC 为 86.78%,高于表列方法,但仍是本方法最弱的一类。
这些结果显示该方法在所测多种攻击类型上有效,但各类型的表现仍有差异。
同类型实验表现
针对脸部表情、光照、摄像设备等因素的改变,作者使用了 SiW 中的 3 个子协议进行测试:
- Protocol 1、2:DualStage 的 ACER 均为 0%,分别与 DST,以及 DST、LGC 持平。
- Protocol 3:训练数据只含一种攻击类型,本方法 ACER 为 3.58% ± 3.93%,高于 LGC 的 1.19% ± 1.39%;作者认为攻击类型不足可能限制特征学习。
这些协议结果显示本方法在前两组表现良好,第三组仍有差距;表格本身无法证明学到的「活体表示」完全稳定。
Disentangled Features 可视化
为了展示解耦后的特征,作者做了「换脸实验」。
方法是保留两张图各自的 live feature,交换真脸与假脸的 spoof feature,再生成对应的攻击脸或真脸。
结果显示,在交换特征之后,真脸图案上会浮现「条纹或灰阶失衡」等伪造纹理;而原本的攻击脸则会部分恢复自然肤色。
这些范例支持 spoof feature 有助于控制合成图像中的伪造纹理。
Spoof Map 分析
最后,为了看看解耦后的 spoof feature 究竟长什么样子,作者将解耦后的 spoof feature 再通过 U-Net 风格的解码器 生成检测图。
在图示的真脸样本中,spoof map 几近零值;在印刷攻击样本中,额头、眼鼻与口部附近出现局部高亮区域。
这表示 DualStage 能在图像空间提供可视化线索;高亮区域是否对应真实攻击机制,仍须另外验证。
消融实验
由于 DualStage 使用非常多的损失函数,作者在实验中也针对这些损失的影响进行了消融实验,并将结果与其他方法进行比较。
取消第一阶段或移除对抗损失时,九类测试的平均 AUC 分别从 98.0% 降至 95.01% 与 94.0%;移除 triplet loss 后降至 95.01%,只保留 normal triplet loss 则为 97.25%。
这些消融结果支持真脸预训练、对抗损失及两种 triplet loss 在所测设定中各有贡献;辅助分类器的消融平均 AUC 也降至 93.3%。
结论
DualStage 提出了一种不太华丽的设计:
将表征解耦拆成两段进行,先稳定地学会活体特征,再从中剥离出伪造讯号。
不需要额外的深度图、不倚赖 rPPG,仅通过图像本身,模型便能生成具判断力的 spoof map,并在多个公开数据集的跨类型测试中取得较好的结果。这表明它在不使用额外深度图或 rPPG 监督的条件下,也能在所测数据集上取得有竞争力的结果。
当然,它仍然有缺点:在攻击样式极度稀疏的场景中(如 SiW 协议三),表现并不出色。未来若要再推进,或许得进一步处理那些被视为「不相干」却实则干扰判断的特征碎片。
但作为方法论上的提案,它留下了一个还不算过时的讯号:
解耦这件事,不用急着一次完成。
模型可以慢慢学,只要你给它对的顺序。