返回论文笔记资料库
arXiv 2020ECCV 2020人脸防伪论文笔记

STDN

伪装的痕迹

原始论文

On Disentangling Spoof Trace for Generic Face Anti-Spoofing

论文作者

Yaojie Liu · Joel Stehouwer · Xiaoming Liu

发表版本
ECCV 2020会议
arXiv 首次提交
arXiv:2007.09273
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{faceantispoofingstdn2020,
  title = {{On Disentangling Spoof Trace for Generic Face Anti-Spoofing}},
  author = {Yaojie Liu and Joel Stehouwer and Xiaoming Liu},
  year = {2020},
  eprint = {2007.09273},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2007.09273}
}
本页内容

模型告诉我们,这是假的。但是它却说不出为什么。

这种模型,你敢信?

定义问题

Face Anti-Spoofing(FAS)作为生物识别系统的第一道防线,其研究历史已有十余年。

从早期的眼动检测、头部微动,到近年的 CNN 判别器与深度监督学习,模型的准确率看似越来越高。但在面对未知攻击手法、不同装置与光源条件下,泛化能力却还是一道难以逾越的墙。

问题并不在于模型是否能“学会分辨真假”,而是它究竟学会了什么?

它真的有看到假象本身的痕迹吗?

还是说,它只学会了在某种数据集上区分分辨率、色彩饱和度或裁切位置?

尤其当我们将不同攻击方式(照片、荧幕、面具、化妆)一视同仁,尝试建立通用的 FAS 系统时,我们才真正意识到:现有方法多数依赖“黑箱判断”:给定一张脸,输出一个分数。

但这样的分数本身,无法说明模型是根据什么做出的选择,也不能单靠它解释为什么模型说“这是假的”。

因此,检查模型的错误和改进训练策略都变得困难:它究竟把真实人脸与攻击的边界画在哪里?

这篇论文的作者说:我们不要再问模型真假了,我们应该要问的是:

在这张脸上,你看到了什么,让你觉得它不是活的?

解决问题

在传统二分类任务中,模型给出的是一个“真假分数”,但它无法回答:你到底看出了什么?

作者在此提出了另外一种思路,称为 Spoof Trace Disentanglement Network(STDN)。

设计概念如上图,模型先从一张输入人脸中,抽取出潜藏的“假痕迹(spoof trace)”,再进行:

  • 重建(Reconstructed Live):将伪造人脸还原为真实人脸版本。
  • 合成(Synthesized Spoof):将假痕迹转嫁到另一张真实人脸上,制造新的攻击样本。

这种方式使 spoof trace 不再是隐式的判断依据,而是显式的、可操作的可视变数,成为整个系统的中枢信号。

Spoof Trace

设输入图像为 I∈RN×N×3I \in \mathbb{R}^{N \times N \times 3},其所属可能为 spoof 域 S\mathcal{S} 或 live 域 L\mathcal{L}。

目标是找到对应于 live 域的图像 I^∈L\hat{I} \in \mathcal{L},并使两者之间的差异最小:

I^=arg⁡min⁡I^∈L∥I−I^∥F\hat{I} = \arg\min_{\hat{I} \in \mathcal{L}} \| I - \hat{I} \|_F

此处 ∥⋅∥F\| \cdot \|_F 表示 Frobenius 范数。

根据定义,spoof trace 可表示为:

G(I)=I−I^G(I) = I - \hat{I}

若 II 本身来自 live 域,则理论上 G(I)G(I) 应该为零,而对 spoof 图像而言,G(I)G(I) 即为其视觉上的伪造残差。

为了提升 spoof trace 的解释力与合成能力,作者依据过去的研究文献将其进一步拆解为以下四种层次成分:

  • Color range bias:s∈R1×1×3s \in \mathbb{R}^{1 \times 1 \times 3},控制像素强度范围的调整;
  • Color balance bias:b∈R1×1×3b \in \mathbb{R}^{1 \times 1 \times 3},调整通道间颜色平衡;
  • Smooth content pattern:C∈RL×L×3C \in \mathbb{R}^{L \times L \times 3},平滑纹理,需上采样;
  • High-frequency texture:T∈RN×N×3T \in \mathbb{R}^{N \times N \times 3},包含摩尔纹与边缘轮廓等细节。

这些元素共同构成 spoof trace 的建构函数:

G(I)=sI+b+⌊C⌉N+TG(I) = sI + b + \lfloor C \rceil_N + T

其中 ⌊C⌉\lfloor C \rceil 表示将 CC 上采样(resizing)至与 II 相同的空间分辨率。

通过上述定义,STDN 将 spoof trace 从隐式的分类依据转化为显式的中介变数,使模型不仅能区分真假,还能指出“假在哪里”。

这样的建模带来三个核心优势:

  1. 可视化与可解释性:模型输出 spoof trace,可作为判断依据的可视证据;
  2. 合成与数据扩增能力:trace 可套用于其他图像以生成 spoof 范例;
  3. 泛化能力提升:以 trace 建模减少模型依赖与攻击无关的线索;是否完全排除光照、背景影响,仍需由实验检查。

解耦生成

STDN 中的 spoof trace 解耦,是通过一组基于 Encoder–Decoder 架构的生成器所实现,其任务是从输入图像中逐层析出 spoof trace 的各项构成分量 {s,b,C,T}\{s, b, C, T\}。

其架构参考上图,输入图像 I∈R256×256×3I \in \mathbb{R}^{256 \times 256 \times 3} 首先进入 Encoder,经过一系列卷积层进行逐层下采样,最终产生一个潜在表示张量:

F∈R32×32×96F \in \mathbb{R}^{32 \times 32 \times 96}

该潜在特征将成为 Decoder 解耦 spoof trace 的基础。

Decoder 则通过一系列转置卷积层(Transpose Conv)逐层上采样,并依据不同空间分辨率,逐步生成 spoof trace 的各元素:

  • 颜色偏移项 s,bs, b:为全图单一值张量,分辨率最低,因此于 Decoder 最初阶段即被解耦。
  • 低频纹理 CC:在中层解码阶段产生,分辨率约为 64×6464 \times 64,再经上采样应用于合成过程。
  • 高频纹理 TT:于 Decoder 最末层输出,保持与输入图像相同分辨率 256×256256 \times 256。

这种 coarse-to-fine 解耦设计,配合每层 spoof 特征的空间性质,让各层 spoof trace 的空间角色更清楚。

此外,为保留高频细节并提升合成质量,生成器亦参考 U-Net 架构,在 Encoder 与 Decoder 对应层之间加入 skip connection,实现局部纹理信息的直接传递。

双域输入策略

有别于典型的 GAN 模型仅对 source domain(如 spoof)进行生成训练,本方法中生成器接受来自两个 domain 的输入图像:

  • spoof domain:提供正样本 trace;
  • live domain:提供对照,并期望其 spoof trace 近似零。

这样的设计促进模型从真实人脸与伪造图像中学习区分性强、语义清晰的 spoof trace,并避免 trace 本身对分类造成偏移。

然而,由于 spoof trace 的强度与型态会依 spoof 类型(如照片、面具、化妆)有所不同,trace 本身并非完美的分类依据。因此,作者额外引入一个 Early Spoof Regressor(ESR),强化生成器在潜在空间中的判别能力。

Early Spoof Regressor

ESR 模块设计如下:

  • 输入为 bottleneck 特征张量 F∈R32×32×96F \in \mathbb{R}^{32 \times 32 \times 96};
  • 输出为一张 M∈R16×16M \in \mathbb{R}^{16 \times 16} 的 spoof map,以 0、1 分别作为 live 与 spoof 的监督目标;预测值不必恰好是二元值。

这张连续值 spoof map 被视为对输入图像的“空间性判断”,使生成器除了估计 trace,也能提供初步分类依据。

为配合此设计,整体生成器在架构上采取“重 encoder、轻 decoder”策略,即 encoder 采用更多 channel 与 deeper block,让 ESR 得以充分利用编码器学到的 spoof 表征。

测试阶段之分类策略

在测试阶段,最终的 spoof 分数由两部分组成:

  1. ESR 输出之 spoof map MM 的 L1 强度平均;
  2. Spoof trace G(I)G(I) 的整体强度平均(以 L1 范数衡量);

其计算公式如下:

score=12K2∥M∥1+α02N2∥G(I)∥1\text{score} = \frac{1}{2K^2} \| M \|_1 + \frac{\alpha_0}{2N^2} \| G(I) \|_1

其中:

  • K=16K = 16:ESR 输出 map 的空间分辨率;
  • N=256N = 256:输入图像的空间分辨率;
  • α0\alpha_0:调节 spoof trace 对最终分数的影响程度的超参数。

这种双指标融合的分类策略结合了 ESR 预测与 trace 强度;论文未单独证明两者不一致时存在特定的缓冲机制。

重建与合成

在完成 spoof trace 解耦后,STDN 不仅能用于分类判断,亦能将这些 trace 作为结构性的信号,导入于两类任务:

  1. 重建(Reconstruction):从 spoof 图像中扣除 trace,还原其对应之真实人脸图像。
  2. 合成(Synthesis):将某张 spoof 图像中抽离出的 trace,转移至任意 live 脸上,产生合成的 spoof 攻击样本。

首先看真实人脸图像重建任务:

给定输入图像 I∈S∪LI \in \mathcal{S} \cup \mathcal{L},其对应 spoof trace 为 G(I)G(I),STDN 可通过以下运算进行真实人脸还原:

I^=I−G(I)\hat{I} = I - G(I)

此处的 I^\hat{I} 被视为输入图像在live 域 L\mathcal{L} 的最小变化对应版本。

此操作不仅能作为 trace 解耦质量之视觉评估依据,更能在训练过程中用以增强 spoof trace 的可逆性与语义一致性。

再看伪造图像的合成:

为了实现数据扩充与 spoof 多样性模拟,STDN 提供了将 spoof trace 迁移至另一张 live 脸的能力。设有两张图像:

  • IiI_i:来源 spoof 图像,其 trace 为 G(Ii)G(I_i)
  • IjI_j:目标 live 图像

则其合成 spoof 图像可表达为:

I~i→j=Ij+G(Ii)\tilde{I}_{i \rightarrow j} = I_j + G(I_i)

但此处存在一项挑战:spoof trace 中可能包含与原始脸部几何结构高度相关的区域性纹理(如面具边缘、皱褶等),直接套用于不同脸型与姿势的图像上,会造成明显的几何失真与视觉不一致。

为解决此问题,作者提出一套可微分的 即时 3D 几何变形层(Online 3D Warping Layer),用以对 spoof trace 进行对位调整。

几何变形层

该模块基于 3D Morphable Model(3DMM)建立脸部对应点集合,并通过 Delaunay triangulation 进行稀疏到密集场的几何转换。

步骤如下:

  1. spoof trace 评估 对来源图像 IiI_i,其 spoof trace 定义为:

    Gi=G(Ii)[p0]G_i = G(I_i)[p_0]

    其中 p0={(x,y)∣0≤x,y<256}∈R256×256×2p_0 = \{(x, y) \mid 0 \leq x, y < 256 \} \in \mathbb{R}^{256 \times 256 \times 2} 为原始像素座标格。

  2. 计算 dense offset 若欲将 spoof trace 应用至 IjI_j,需计算密集场偏移量 Δpi→j∈R256×256×2\Delta p_{i \rightarrow j} \in \mathbb{R}^{256 \times 256 \times 2},最终 warped trace 表示为:

    Gi→j=G(Ii)[p0+Δpi→j]G_{i \rightarrow j} = G(I_i)[p_0 + \Delta p_{i \rightarrow j}]

    其中偏移量通常为非整数,故采用 bilinear interpolation 实现位置对应。

  3. 由稀疏点转换至密集场 拟合每张人脸之 3DMM,并撷取 Q=140Q = 140 个代表性顶点的 2D 投影位置:

    s={(x0,y0),(x1,y1),…,(xQ−1,yQ−1)}∈RQ×2s = \{ (x_0, y_0), (x_1, y_1), \dots, (x_{Q-1}, y_{Q-1}) \} \in \mathbb{R}^{Q \times 2}

    接着可计算来源与目标图像之间的稀疏偏移:

    Δsi→j=sj−si\Delta s_{i \rightarrow j} = s_j - s_i
  4. 三角形内插转换至 dense offset 应用 Delaunay triangulation 插值:

    Δpi→j=Tri(p0,si,Δsi→j)\Delta p_{i \rightarrow j} = \text{Tri}(p_0, s_i, \Delta s_{i \rightarrow j})

    该操作以每个像素所处三角形为基底,线性加权三个顶点的位移,实现 dense offset 的高效建构与可微性。整体 warping 操作可端到端并入训练流程。

操作 Spoof Trace

spoof trace 的结构性使其具备可操作性。

作者借此提出一种训练数据强化策略:

在合成 spoof 图像时,随机移除 spoof trace 中的某一项元素 s,b,C,Ts, b, C, T,以模拟 spoof 强度较低的样本,作为 harder example 用于训练。

此策略的动机在于:某些 spoof 特征可能很微弱,随机移除一个 trace 元素可合成较难识别的样本,鼓励模型利用其他线索。

相较于传统的 brightness/blur 操作或人为扭曲,本方法可直接操作语义明确的 spoof element,生成更真实、具结构意涵的合成数据,并在实验中显示优于传统数据增强法的效益。

多尺度判别器

在 STDN 的设计中,生成器的目标不仅是产出合理的 spoof trace,更需保证由 trace 推导出的合成样本(reconstructed live 或 synthesized spoof)在视觉质量与语义层次上皆具可信度。

为此,作者设计了三个不同分辨率下的 PatchGAN 判别器,以覆盖从高频纹理到全局构型的多尺度信息。

所使用的三个判别器分别为:

  • D1D_1:接收原始分辨率图像(256×256256 \times 256),专注于高频纹理特征(对应 spoof trace 中的 TT)。
  • D2D_2:接收下采样一半的图像(128×128128 \times 128),强调中频结构与平滑纹理(对应 spoof trace 中的 CC)。
  • D3D_3:接收下采样四分之一的图像(64×6464 \times 64),专注于低频全域偏移与色彩平衡(对应 spoof trace 中的 s,bs, b)。

这种分层识别策略让判别器在三种分辨率下检查重建与合成图像;论文未分别量测四个 trace 子成分的“交叉校验”效果。

判别器架构细节如下:

每一个 DkD_k 判别器皆采用 PatchGAN 结构,即纯粹由卷积层堆叠而成的 FCN。作者采用这种局部判别结构,在多个尺度上约束生成图像。

具体配置如下:

  • 每个判别器包含:

    • 10 层卷积层(含非线性激活与 BatchNorm);
    • 3 层下采样操作(stride = 2);
  • 输出为一张 2-channel 的 response map,形状为 H′×W′×2H' \times W' \times 2,每个位置对应一个判别 patch,2 个 channel 各代表对应一个 domain 的输出置信分数。

这里的 2-channel 输出设计别具意义:

  • 第一通道(Channel 1):将“重建之 live 图像(reconstructed live)”与“真实 live 图像”进行对比,验证 spoof trace 扣除后的真实性;
  • 第二通道(Channel 2):将“合成之 spoof 图像(synthesized spoof)”与“真实 spoof 图像”进行对比,评估 spoof trace 添加后的可信度与攻击性。

这种双向监督能同时驱动生成器在“还原”与“造假”两端提升质量,并强化 spoof trace 的语义一致性与重建可逆性。

损失函数

STDN 的训练采用多任务学习架构,包含 五类损失函数 与 三个训练步骤(Steps),以协同驱动生成器与多尺度判别器学习 spoof trace 的分离、可逆性与可视性。

  • 1. ESR 损失(Early Spoof Regressor Loss)

    对于 ESR 所输出的 spoof map M∈R16×16M \in \mathbb{R}^{16 \times 16},期望其对于真实人脸图像输出全为 0,对于 spoof 图像(包括合成的 spoof)输出全为 1。为此,采用 L1 损失定义如下:

    LESR=1K2(Ei∼L[∥Mi∥1]+Ei∼S∪S^[∥Mi−1∥1])\mathcal{L}_{\text{ESR}} = \frac{1}{K^2} \left( \mathbb{E}_{i \sim \mathcal{L}} \left[ \| M_i \|_1 \right] + \mathbb{E}_{i \sim \mathcal{S} \cup \hat{\mathcal{S}}} \left[ \| M_i - \mathbf{1} \|_1 \right] \right)

    其中:

    • K=16K = 16:spoof map 的分辨率;
    • S^\hat{\mathcal{S}}:由生成器合成出的 spoof domain;
    • ∥⋅∥1\| \cdot \|_1:L1 向量范数。

  • 2. 生成器对抗损失(Generator Adversarial Loss)

    为训练生成器使 reconstructed live 与 synthesized spoof 分别逼近其所属真实 domain,采用 Least Squares GAN(LSGAN)损失形式,对于三个尺度的判别器 DnD_n,其损失定义如下:

    LG=∑n=13{Ei∼S[(Dn(1)(Ii−Gi)−1)2]+Ei∼L,j∼S[(Dn(2)(Ii+Gj→i)−1)2]}\mathcal{L}_G = \sum_{n=1}^3 \left\{ \mathbb{E}_{i \sim \mathcal{S}} \left[ \left( D_n^{(1)}(I_i - G_i) - 1 \right)^2 \right] + \mathbb{E}_{i \sim \mathcal{L}, j \sim \mathcal{S}} \left[ \left( D_n^{(2)}(I_i + G_{j \rightarrow i}) - 1 \right)^2 \right] \right\}

    其中:

    • Dn(1)D_n^{(1)}:第 nn 个判别器之 live domain 输出通道;
    • Dn(2)D_n^{(2)}:第 nn 个判别器之 spoof domain 输出通道。

  • 3. 判别器对抗损失(Discriminator Adversarial Loss)

    判别器需正确分辨真实样本与由生成器合成之样本,其损失函数如下:

    LD=∑n=13{Ei∼L[(Dn(1)(Ii)−1)2]+Ei∼S[(Dn(2)(Ii)−1)2]+Ei∼S[(Dn(1)(Ii−Gi))2]+Ei∼L,j∼S[(Dn(2)(Ii+Gj→i))2]}\begin{aligned} \mathcal{L}_D = \sum_{n=1}^3 \Big\{& \mathbb{E}_{i \sim \mathcal{L}} \left[ \left( D_n^{(1)}(I_i) - 1 \right)^2 \right] \\ &+ \mathbb{E}_{i \sim \mathcal{S}} \left[ \left( D_n^{(2)}(I_i) - 1 \right)^2 \right] \\ &+ \mathbb{E}_{i \sim \mathcal{S}} \left[ \left( D_n^{(1)}(I_i - G_i) \right)^2 \right] \\ &+ \mathbb{E}_{i \sim \mathcal{L}, j \sim \mathcal{S}} \left[ \left( D_n^{(2)}(I_i + G_{j \rightarrow i}) \right)^2 \right] \Big\} \end{aligned}
  • 4. Trace 正则化损失(Trace Regularizer Loss)

    为强化 spoof trace 的语义性并抑制真实人脸样本中无意义的 trace 残留,加入 L2 正则化项:

    LR=β⋅Ei∼L[∥G(Ii)∥22]+Ei∼S[∥G(Ii)∥22]\mathcal{L}_R = \beta \cdot \mathbb{E}_{i \sim \mathcal{L}} \left[ \| G(I_i) \|_2^2 \right] + \mathbb{E}_{i \sim \mathcal{S}} \left[ \| G(I_i) \|_2^2 \right]

    其中 β>1\beta > 1 控制真实人脸 trace 压缩力度。

  • 5. 像素级监督损失(Supervised Pixel Loss)

    由于合成 spoof 使用的 trace 已知,因此可将它当成像素级监督目标;它是模型产生并经扭曲的 trace,不是真实攻击图像的标注。使用 stop-gradient 固定合成时的参考 trace:

    LP=Ei∼L,j∼S[∥G(Ii+stop_grad(Gj→i))−stop_grad(Gj→i)∥1]\mathcal{L}_P = \mathbb{E}_{i \sim \mathcal{L}, j \sim \mathcal{S}} \left[ \left\| G\left( I_i + \text{stop\_grad}(G_{j \rightarrow i}) \right) - \text{stop\_grad}(G_{j \rightarrow i}) \right\|_1 \right]

    该损失可迫使生成器学会正确提取 spoof trace 结构,而非重复学习输入内容。

训练流程设计

如上图所示,STDN 的训练采用多任务协同优化机制,每一个 mini-batch 包含三个互补的子步骤,分别针对生成器、判别器与 trace 解耦 supervision 进行参数更新。

以下为各阶段细节说明:

  • 1. Generator Step

    在此步骤中,将真实人脸 IliveI_{\text{live}} 与 spoof 攻击样本 IspoofI_{\text{spoof}} 输入生成器进行 spoof trace 的解耦操作。模型分别进行两项生成任务:

    • 重建真实人脸图像:使用 G(Ispoof)G(I_{\text{spoof}}) 还原其对应的真实人脸版本 I^live=Ispoof−G(Ispoof)\hat{I}_{\text{live}} = I_{\text{spoof}} - G(I_{\text{spoof}});
    • 合成 spoof 图像:将 spoof trace G(Ispoof)G(I_{\text{spoof}}) 套用至另一张 live 脸 IliveI_{\text{live}} 上,得到合成 spoof 图像 I^spoof=Ilive+Gi→j\hat{I}_{\text{spoof}} = I_{\text{live}} + G_{i \rightarrow j}。

    生成器的更新目标由三项损失组成:

    • LG\mathcal{L}_G:对抗损失(推进合成样本逼近真实 domain);
    • LESR\mathcal{L}_{\text{ESR}}:早期 spoof 判别监督;
    • LR\mathcal{L}_R:trace 强度正则化。

    总损失如下:

    LG-step=α1LG+α2LESR+α3LR\mathcal{L}_{\text{G-step}} = \alpha_1 \mathcal{L}_G + \alpha_2 \mathcal{L}_{\text{ESR}} + \alpha_3 \mathcal{L}_R
  • 2. Discriminator Step

    接续使用同一批次样本,将下列图像传入三个多尺度判别器 DnD_n,以学习区分真实与合成 domain:

    • 原始真实人脸样本 IliveI_{\text{live}}
    • 原始 spoof 样本 IspoofI_{\text{spoof}}
    • 重建样本 I^live\hat{I}_{\text{live}}
    • 合成 spoof I^spoof\hat{I}_{\text{spoof}}

    每一个尺度的判别器都需学习:

    • 在第一通道 Dn(1)D_n^{(1)} 中判别真实 live vs. 重建 live;
    • 在第二通道 Dn(2)D_n^{(2)} 中判别真实 spoof vs. 合成 spoof。

    判别器之对抗损失定义为:

    LD-step=LD\mathcal{L}_{\text{D-step}} = \mathcal{L}_D

    由于对抗训练易产生不稳定性,此步骤的学习率会设定为其他步骤的一半,以平衡梯度强度与稳定训练过程。

  • 3. Extra Supervision Step

    此阶段引入 spoof trace 的“合成可监督性”,以强化生成器对 spoof trace 结构的正确识别与解耦能力。

    输入数据为:

    • 原始 live 脸 IliveI_{\text{live}}
    • 对应 spoof trace 合成图像 I^spoof\hat{I}_{\text{spoof}}
    • 合成图像时使用、并以 stop-gradient 固定的参考 trace Gj→iG_{j \rightarrow i}

    此步骤仅更新生成器参数,目标损失如下:

    • LESR\mathcal{L}_{\text{ESR}}:进一步监督 spoof 判别准确度;
    • LP\mathcal{L}_P:像素级 spoof trace 解耦误差(使用 stop-gradient 固定目标 trace)。

    综合损失表示为:

    Lsup-step=α4LESR+α5LP\mathcal{L}_{\text{sup-step}} = \alpha_4 \mathcal{L}_{\text{ESR}} + \alpha_5 \mathcal{L}_P

讨论

由于方法论已经占据的大量的篇幅,我们最后挑几个重点来进行讨论。

已知攻击检测

从上表 (a)(b)(c) 可观察到,STDN 在 OULU-NPU 四项协定的 ACER 均不高于表列先前方法;协定 3 与 STASN 的平均值同为 2.8%。协定 1 从 1.5% 降至 1.1%(约 27% 相对降幅),协定 4 从 5.6% 降至 3.8%(约 32% 相对降幅)。SiW 协定 1、2 为 0%,协定 3 则为 7.9%,略高于表中 Meta-FAS-DR 的 7.7%。

对于 SiW-M 的 13 种已知攻击,STDN 的整体 ACER 为 4.1%,低于表中 Auxiliary 的 6.3%;但个别类型仍有差距,例如 cosmetic makeup 的 ACER 为 24.5%。这些结果支持表中已知攻击设定下的效果。

未知攻击(Unknown Spoof)检测

如上表所示,SiW-M 未知攻击测试中,STDN 的平均 EER 为 12.0%、ACER 为 14.2%,低于表中 DTL 的 16.1% 与 16.8%;但 BPCER 为 16.2%,高于 Auxiliary 的 8.9%,并非所有指标都最佳。

透明面具的 APCER 为 9.7%,obfuscation makeup 更达 96.1%;在已知攻击实验中纳入该类样本后,后者 ACER 降至 3.0%。论文没有控制“少量样本”数量的实验,不能将此解读为已证实的快速少样本适应能力。

在固定误报率 FDR = 0.5% 时,整体真阳性率 TDR 仅 35.7%;作者也认为未知攻击的实际应用仍有距离。

Spoof Trace 的可视化与评估

  1. Spoof Medium Classification

    固定 STDN 后另训练简单 CNN 分类媒介:使用 trace 的三类/五类正确率分别为 92.0%/83.3%,高于使用原始图像的 86.3%/80.6%。这表示 trace 在该设定下保留了可区分媒介的信息。

  2. 视觉化分解

    从上图可以观察到,不同攻击类型(印刷、化妆、3D 面具、纸制攻击等)在 s,b,C,Ts, b, C, T 四层元素上呈现不同程度的扭曲或纹理残留。这张图展示分解与重建;跨脸合成另见原论文 Figure 8,不能由此图单独量化 3D 几何变形层的效果。

模块贡献与消融实验

根据 OULU-NPU Protocol 1 的消融表,ESR 基线 ACER 为 2.6%;加入单层 trace 的 GAN 后为 2.1%,改用四元素解耦的 D-GAN 后为 1.6%。

加入 LPL_P 后,D-GAN 的 ACER 再降至 1.1%;但单层 GAN 加入相同步骤反而从 2.1% 升至 4.5%。这组对照支持合成质量对额外监督的影响,表格未报告重复试验变异,不能称作“稳定到”1.1%。

结论

与其问真假,不如先问:假象从哪里渗出?

STDN 将人脸活体检测从“黑盒分类”转写为“痕迹拆解 — 重建 — 合成”的循环,延伸了早期 de-spoofing 与显著图方法,使可视化证据真正成为模型的一级产物。

这也是一种思考角度的迁移:先估计可见的伪造痕迹,再谈识别真假。

当然,STDN 还是有其弱项:

  • 假痕定义锁定在图像域,高保真 3D 面具或跨模态攻击尚待验证;
  • 合成样本的几何与质感一致性,受限于生成器能力与监督信号;
  • trace 对其他传感维度(声波、深度、血流信号)的延伸机制,仍属空白。

尽管如此,STDN 提供了一条可追踪的未来路线:

假象若能被显式标示,就能被合成;能被合成,就有机会对抗。

在真假难辨的技术洪流中,真正有价值的,从不是单纯判分,而是拆解假象的语法与结构。

这条路确实比分类曲折,但 STDN 作为多攻击“痕迹解耦”框架的早期关键里程碑之一,已为后续工作奠定了基础。