On Disentangling Spoof Trace for Generic Face Anti-Spoofing
- 发表版本
- ECCV 2020会议
- arXiv 首次提交
- arXiv:2007.09273
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{faceantispoofingstdn2020,
title = {{On Disentangling Spoof Trace for Generic Face Anti-Spoofing}},
author = {Yaojie Liu and Joel Stehouwer and Xiaoming Liu},
year = {2020},
eprint = {2007.09273},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2007.09273}
}
模型告诉我们,这是假的。但是它却说不出为什么。
这种模型,你敢信?
定义问题
Face Anti-Spoofing(FAS)作为生物识别系统的第一道防线,其研究历史已有十余年。
从早期的眼动检测、头部微动,到近年的 CNN 判别器与深度监督学习,模型的准确率看似越来越高。但在面对未知攻击手法、不同装置与光源条件下,泛化能力却还是一道难以逾越的墙。
问题并不在于模型是否能“学会分辨真假”,而是它究竟学会了什么?
它真的有看到假象本身的痕迹吗?
还是说,它只学会了在某种数据集上区分分辨率、色彩饱和度或裁切位置?
尤其当我们将不同攻击方式(照片、荧幕、面具、化妆)一视同仁,尝试建立通用的 FAS 系统时,我们才真正意识到:现有方法多数依赖“黑箱判断”:给定一张脸,输出一个分数。
但这样的分数本身,无法说明模型是根据什么做出的选择,也不能单靠它解释为什么模型说“这是假的”。
因此,检查模型的错误和改进训练策略都变得困难:它究竟把真实人脸与攻击的边界画在哪里?
这篇论文的作者说:我们不要再问模型真假了,我们应该要问的是:
在这张脸上,你看到了什么,让你觉得它不是活的?
解决问题
在传统二分类任务中,模型给出的是一个“真假分数”,但它无法回答:你到底看出了什么?
作者在此提出了另外一种思路,称为 Spoof Trace Disentanglement Network(STDN)。
设计概念如上图,模型先从一张输入人脸中,抽取出潜藏的“假痕迹(spoof trace)”,再进行:
- 重建(Reconstructed Live):将伪造人脸还原为真实人脸版本。
- 合成(Synthesized Spoof):将假痕迹转嫁到另一张真实人脸上,制造新的攻击样本。
这种方式使 spoof trace 不再是隐式的判断依据,而是显式的、可操作的可视变数,成为整个系统的中枢信号。
Spoof Trace
设输入图像为 ,其所属可能为 spoof 域 或 live 域 。
目标是找到对应于 live 域的图像 ,并使两者之间的差异最小:
此处 表示 Frobenius 范数。
根据定义,spoof trace 可表示为:
若 本身来自 live 域,则理论上 应该为零,而对 spoof 图像而言, 即为其视觉上的伪造残差。
为了提升 spoof trace 的解释力与合成能力,作者依据过去的研究文献将其进一步拆解为以下四种层次成分:
- Color range bias:,控制像素强度范围的调整;
- Color balance bias:,调整通道间颜色平衡;
- Smooth content pattern:,平滑纹理,需上采样;
- High-frequency texture:,包含摩尔纹与边缘轮廓等细节。
这些元素共同构成 spoof trace 的建构函数:
其中 表示将 上采样(resizing)至与 相同的空间分辨率。
通过上述定义,STDN 将 spoof trace 从隐式的分类依据转化为显式的中介变数,使模型不仅能区分真假,还能指出“假在哪里”。
这样的建模带来三个核心优势:
- 可视化与可解释性:模型输出 spoof trace,可作为判断依据的可视证据;
- 合成与数据扩增能力:trace 可套用于其他图像以生成 spoof 范例;
- 泛化能力提升:以 trace 建模减少模型依赖与攻击无关的线索;是否完全排除光照、背景影响,仍需由实验检查。
解耦生成
STDN 中的 spoof trace 解耦,是通过一组基于 Encoder–Decoder 架构的生成器所实现,其任务是从输入图像中逐层析出 spoof trace 的各项构成分量 。
其架构参考上图,输入图像 首先进入 Encoder,经过一系列卷积层进行逐层下采样,最终产生一个潜在表示张量:
该潜在特征将成为 Decoder 解耦 spoof trace 的基础。
Decoder 则通过一系列转置卷积层(Transpose Conv)逐层上采样,并依据不同空间分辨率,逐步生成 spoof trace 的各元素:
- 颜色偏移项 :为全图单一值张量,分辨率最低,因此于 Decoder 最初阶段即被解耦。
- 低频纹理 :在中层解码阶段产生,分辨率约为 ,再经上采样应用于合成过程。
- 高频纹理 :于 Decoder 最末层输出,保持与输入图像相同分辨率 。
这种 coarse-to-fine 解耦设计,配合每层 spoof 特征的空间性质,让各层 spoof trace 的空间角色更清楚。
此外,为保留高频细节并提升合成质量,生成器亦参考 U-Net 架构,在 Encoder 与 Decoder 对应层之间加入 skip connection,实现局部纹理信息的直接传递。
双域输入策略
有别于典型的 GAN 模型仅对 source domain(如 spoof)进行生成训练,本方法中生成器接受来自两个 domain 的输入图像:
- spoof domain:提供正样本 trace;
- live domain:提供对照,并期望其 spoof trace 近似零。
这样的设计促进模型从真实人脸与伪造图像中学习区分性强、语义清晰的 spoof trace,并避免 trace 本身对分类造成偏移。
然而,由于 spoof trace 的强度与型态会依 spoof 类型(如照片、面具、化妆)有所不同,trace 本身并非完美的分类依据。因此,作者额外引入一个 Early Spoof Regressor(ESR),强化生成器在潜在空间中的判别能力。
Early Spoof Regressor
ESR 模块设计如下:
- 输入为 bottleneck 特征张量 ;
- 输出为一张 的 spoof map,以 0、1 分别作为 live 与 spoof 的监督目标;预测值不必恰好是二元值。
这张连续值 spoof map 被视为对输入图像的“空间性判断”,使生成器除了估计 trace,也能提供初步分类依据。
为配合此设计,整体生成器在架构上采取“重 encoder、轻 decoder”策略,即 encoder 采用更多 channel 与 deeper block,让 ESR 得以充分利用编码器学到的 spoof 表征。
测试阶段之分类策略
在测试阶段,最终的 spoof 分数由两部分组成:
- ESR 输出之 spoof map 的 L1 强度平均;
- Spoof trace 的整体强度平均(以 L1 范数衡量);
其计算公式如下:
其中:
- :ESR 输出 map 的空间分辨率;
- :输入图像的空间分辨率;
- :调节 spoof trace 对最终分数的影响程度的超参数。
这种双指标融合的分类策略结合了 ESR 预测与 trace 强度;论文未单独证明两者不一致时存在特定的缓冲机制。
重建与合成
在完成 spoof trace 解耦后,STDN 不仅能用于分类判断,亦能将这些 trace 作为结构性的信号,导入于两类任务:
- 重建(Reconstruction):从 spoof 图像中扣除 trace,还原其对应之真实人脸图像。
- 合成(Synthesis):将某张 spoof 图像中抽离出的 trace,转移至任意 live 脸上,产生合成的 spoof 攻击样本。
首先看真实人脸图像重建任务:
给定输入图像 ,其对应 spoof trace 为 ,STDN 可通过以下运算进行真实人脸还原:
此处的 被视为输入图像在live 域 的最小变化对应版本。
此操作不仅能作为 trace 解耦质量之视觉评估依据,更能在训练过程中用以增强 spoof trace 的可逆性与语义一致性。
再看伪造图像的合成:
为了实现数据扩充与 spoof 多样性模拟,STDN 提供了将 spoof trace 迁移至另一张 live 脸的能力。设有两张图像:
- :来源 spoof 图像,其 trace 为
- :目标 live 图像
则其合成 spoof 图像可表达为:
但此处存在一项挑战:spoof trace 中可能包含与原始脸部几何结构高度相关的区域性纹理(如面具边缘、皱褶等),直接套用于不同脸型与姿势的图像上,会造成明显的几何失真与视觉不一致。
为解决此问题,作者提出一套可微分的 即时 3D 几何变形层(Online 3D Warping Layer),用以对 spoof trace 进行对位调整。
几何变形层
该模块基于 3D Morphable Model(3DMM)建立脸部对应点集合,并通过 Delaunay triangulation 进行稀疏到密集场的几何转换。
步骤如下:
-
spoof trace 评估 对来源图像 ,其 spoof trace 定义为:
其中 为原始像素座标格。
-
计算 dense offset 若欲将 spoof trace 应用至 ,需计算密集场偏移量 ,最终 warped trace 表示为:
其中偏移量通常为非整数,故采用 bilinear interpolation 实现位置对应。
-
由稀疏点转换至密集场 拟合每张人脸之 3DMM,并撷取 个代表性顶点的 2D 投影位置:
接着可计算来源与目标图像之间的稀疏偏移:
-
三角形内插转换至 dense offset 应用 Delaunay triangulation 插值:
该操作以每个像素所处三角形为基底,线性加权三个顶点的位移,实现 dense offset 的高效建构与可微性。整体 warping 操作可端到端并入训练流程。
操作 Spoof Trace
spoof trace 的结构性使其具备可操作性。
作者借此提出一种训练数据强化策略:
在合成 spoof 图像时,随机移除 spoof trace 中的某一项元素 ,以模拟 spoof 强度较低的样本,作为 harder example 用于训练。
此策略的动机在于:某些 spoof 特征可能很微弱,随机移除一个 trace 元素可合成较难识别的样本,鼓励模型利用其他线索。
相较于传统的 brightness/blur 操作或人为扭曲,本方法可直接操作语义明确的 spoof element,生成更真实、具结构意涵的合成数据,并在实验中显示优于传统数据增强法的效益。
多尺度判别器
在 STDN 的设计中,生成器的目标不仅是产出合理的 spoof trace,更需保证由 trace 推导出的合成样本(reconstructed live 或 synthesized spoof)在视觉质量与语义层次上皆具可信度。
为此,作者设计了三个不同分辨率下的 PatchGAN 判别器,以覆盖从高频纹理到全局构型的多尺度信息。
所使用的三个判别器分别为:
- :接收原始分辨率图像(),专注于高频纹理特征(对应 spoof trace 中的 )。
- :接收下采样一半的图像(),强调中频结构与平滑纹理(对应 spoof trace 中的 )。
- :接收下采样四分之一的图像(),专注于低频全域偏移与色彩平衡(对应 spoof trace 中的 )。
这种分层识别策略让判别器在三种分辨率下检查重建与合成图像;论文未分别量测四个 trace 子成分的“交叉校验”效果。
判别器架构细节如下:
每一个 判别器皆采用 PatchGAN 结构,即纯粹由卷积层堆叠而成的 FCN。作者采用这种局部判别结构,在多个尺度上约束生成图像。
具体配置如下:
-
每个判别器包含:
- 10 层卷积层(含非线性激活与 BatchNorm);
- 3 层下采样操作(stride = 2);
-
输出为一张 2-channel 的 response map,形状为 ,每个位置对应一个判别 patch,2 个 channel 各代表对应一个 domain 的输出置信分数。
这里的 2-channel 输出设计别具意义:
- 第一通道(Channel 1):将“重建之 live 图像(reconstructed live)”与“真实 live 图像”进行对比,验证 spoof trace 扣除后的真实性;
- 第二通道(Channel 2):将“合成之 spoof 图像(synthesized spoof)”与“真实 spoof 图像”进行对比,评估 spoof trace 添加后的可信度与攻击性。
这种双向监督能同时驱动生成器在“还原”与“造假”两端提升质量,并强化 spoof trace 的语义一致性与重建可逆性。
损失函数
STDN 的训练采用多任务学习架构,包含 五类损失函数 与 三个训练步骤(Steps),以协同驱动生成器与多尺度判别器学习 spoof trace 的分离、可逆性与可视性。
-
1. ESR 损失(Early Spoof Regressor Loss)
对于 ESR 所输出的 spoof map ,期望其对于真实人脸图像输出全为 0,对于 spoof 图像(包括合成的 spoof)输出全为 1。为此,采用 L1 损失定义如下:
其中:
- :spoof map 的分辨率;
- :由生成器合成出的 spoof domain;
- :L1 向量范数。
-
2. 生成器对抗损失(Generator Adversarial Loss)
为训练生成器使 reconstructed live 与 synthesized spoof 分别逼近其所属真实 domain,采用 Least Squares GAN(LSGAN)损失形式,对于三个尺度的判别器 ,其损失定义如下:
其中:
- :第 个判别器之 live domain 输出通道;
- :第 个判别器之 spoof domain 输出通道。
-
3. 判别器对抗损失(Discriminator Adversarial Loss)
判别器需正确分辨真实样本与由生成器合成之样本,其损失函数如下:
-
4. Trace 正则化损失(Trace Regularizer Loss)
为强化 spoof trace 的语义性并抑制真实人脸样本中无意义的 trace 残留,加入 L2 正则化项:
其中 控制真实人脸 trace 压缩力度。
-
5. 像素级监督损失(Supervised Pixel Loss)
由于合成 spoof 使用的 trace 已知,因此可将它当成像素级监督目标;它是模型产生并经扭曲的 trace,不是真实攻击图像的标注。使用 stop-gradient 固定合成时的参考 trace:
该损失可迫使生成器学会正确提取 spoof trace 结构,而非重复学习输入内容。
训练流程设计
如上图所示,STDN 的训练采用多任务协同优化机制,每一个 mini-batch 包含三个互补的子步骤,分别针对生成器、判别器与 trace 解耦 supervision 进行参数更新。
以下为各阶段细节说明:
-
1. Generator Step
在此步骤中,将真实人脸 与 spoof 攻击样本 输入生成器进行 spoof trace 的解耦操作。模型分别进行两项生成任务:
- 重建真实人脸图像:使用 还原其对应的真实人脸版本 ;
- 合成 spoof 图像:将 spoof trace 套用至另一张 live 脸 上,得到合成 spoof 图像 。
生成器的更新目标由三项损失组成:
- :对抗损失(推进合成样本逼近真实 domain);
- :早期 spoof 判别监督;
- :trace 强度正则化。
总损失如下:
-
2. Discriminator Step
接续使用同一批次样本,将下列图像传入三个多尺度判别器 ,以学习区分真实与合成 domain:
- 原始真实人脸样本
- 原始 spoof 样本
- 重建样本
- 合成 spoof
每一个尺度的判别器都需学习:
- 在第一通道 中判别真实 live vs. 重建 live;
- 在第二通道 中判别真实 spoof vs. 合成 spoof。
判别器之对抗损失定义为:
由于对抗训练易产生不稳定性,此步骤的学习率会设定为其他步骤的一半,以平衡梯度强度与稳定训练过程。
-
3. Extra Supervision Step
此阶段引入 spoof trace 的“合成可监督性”,以强化生成器对 spoof trace 结构的正确识别与解耦能力。
输入数据为:
- 原始 live 脸
- 对应 spoof trace 合成图像
- 合成图像时使用、并以 stop-gradient 固定的参考 trace
此步骤仅更新生成器参数,目标损失如下:
- :进一步监督 spoof 判别准确度;
- :像素级 spoof trace 解耦误差(使用 stop-gradient 固定目标 trace)。
综合损失表示为:
讨论
由于方法论已经占据的大量的篇幅,我们最后挑几个重点来进行讨论。
已知攻击检测
从上表 (a)(b)(c) 可观察到,STDN 在 OULU-NPU 四项协定的 ACER 均不高于表列先前方法;协定 3 与 STASN 的平均值同为 2.8%。协定 1 从 1.5% 降至 1.1%(约 27% 相对降幅),协定 4 从 5.6% 降至 3.8%(约 32% 相对降幅)。SiW 协定 1、2 为 0%,协定 3 则为 7.9%,略高于表中 Meta-FAS-DR 的 7.7%。
对于 SiW-M 的 13 种已知攻击,STDN 的整体 ACER 为 4.1%,低于表中 Auxiliary 的 6.3%;但个别类型仍有差距,例如 cosmetic makeup 的 ACER 为 24.5%。这些结果支持表中已知攻击设定下的效果。
未知攻击(Unknown Spoof)检测
如上表所示,SiW-M 未知攻击测试中,STDN 的平均 EER 为 12.0%、ACER 为 14.2%,低于表中 DTL 的 16.1% 与 16.8%;但 BPCER 为 16.2%,高于 Auxiliary 的 8.9%,并非所有指标都最佳。
透明面具的 APCER 为 9.7%,obfuscation makeup 更达 96.1%;在已知攻击实验中纳入该类样本后,后者 ACER 降至 3.0%。论文没有控制“少量样本”数量的实验,不能将此解读为已证实的快速少样本适应能力。
在固定误报率 FDR = 0.5% 时,整体真阳性率 TDR 仅 35.7%;作者也认为未知攻击的实际应用仍有距离。
Spoof Trace 的可视化与评估
-
Spoof Medium Classification
固定 STDN 后另训练简单 CNN 分类媒介:使用 trace 的三类/五类正确率分别为 92.0%/83.3%,高于使用原始图像的 86.3%/80.6%。这表示 trace 在该设定下保留了可区分媒介的信息。
-
视觉化分解
从上图可以观察到,不同攻击类型(印刷、化妆、3D 面具、纸制攻击等)在 四层元素上呈现不同程度的扭曲或纹理残留。这张图展示分解与重建;跨脸合成另见原论文 Figure 8,不能由此图单独量化 3D 几何变形层的效果。
模块贡献与消融实验
根据 OULU-NPU Protocol 1 的消融表,ESR 基线 ACER 为 2.6%;加入单层 trace 的 GAN 后为 2.1%,改用四元素解耦的 D-GAN 后为 1.6%。
加入 后,D-GAN 的 ACER 再降至 1.1%;但单层 GAN 加入相同步骤反而从 2.1% 升至 4.5%。这组对照支持合成质量对额外监督的影响,表格未报告重复试验变异,不能称作“稳定到”1.1%。
结论
与其问真假,不如先问:假象从哪里渗出?
STDN 将人脸活体检测从“黑盒分类”转写为“痕迹拆解 — 重建 — 合成”的循环,延伸了早期 de-spoofing 与显著图方法,使可视化证据真正成为模型的一级产物。
这也是一种思考角度的迁移:先估计可见的伪造痕迹,再谈识别真假。
当然,STDN 还是有其弱项:
- 假痕定义锁定在图像域,高保真 3D 面具或跨模态攻击尚待验证;
- 合成样本的几何与质感一致性,受限于生成器能力与监督信号;
- trace 对其他传感维度(声波、深度、血流信号)的延伸机制,仍属空白。
尽管如此,STDN 提供了一条可追踪的未来路线:
假象若能被显式标示,就能被合成;能被合成,就有机会对抗。
在真假难辨的技术洪流中,真正有价值的,从不是单纯判分,而是拆解假象的语法与结构。
这条路确实比分类曲折,但 STDN 作为多攻击“痕迹解耦”框架的早期关键里程碑之一,已为后续工作奠定了基础。