返回论文笔记资料库
arXiv 2020CVPR 2020人脸防伪论文笔记

SSDG

稳定的真实

原始论文

Single-Side Domain Generalization for Face Anti-Spoofing

论文作者

Yunpei Jia · Jie Zhang · Shiguang Shan · Xilin Chen

发表版本
CVPR 2020会议
arXiv 首次提交
arXiv:2004.14043
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{faceantispoofingssdg2020,
  title = {{Single-Side Domain Generalization for Face Anti-Spoofing}},
  author = {Yunpei Jia and Jie Zhang and Shiguang Shan and Xilin Chen},
  year = {2020},
  eprint = {2004.14043},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2004.14043}
}
本页内容

用来攻击人脸识别系统的手法花样百出,解题的办法也不遑多让。

从这篇开始我们可以来看一下,基于 Domain Generalization(DG)技术的 FAS 研究。

定义问题

为了 FAS 的问题,研究者们发展出两大类技术路线:

  • 纹理导向: 通过图像的细节差异来识别真伪造人脸,例如颜色失真、材质纹理异常等。方法包含手工特征(如 LBP、HOG、SIFT)以及近年来的 CNN 特征学习。

  • 时间序列导向: 分析多帧图像中的变化,例如眼睛眨动、嘴部动作或 rPPG 脉搏信号等,搭配 CNN-LSTM 或 RNN 架构来捕捉活体迹象。

这些方法在特定数据集内(intra-database)表现相当亮眼,但一旦模型被丢到另一个数据集上(cross-database),准确率便急遽下滑。

举个例子吧:

我们先看左边这张图。

以实务上的经验来说,每个颜色可以代表“某个手机型号”:

  • 绿色:iPhone XX
  • 紫色:Samsung OO
  • 蓝色:Pixel YY

然后是:

  • 橘色:某一只拍摄成像质量跟大家截然不同的手机,但没有在训练数据集内。

当我们用前三种数据集训练了一个 FAS 模型后,这才发现“橘色”手机的通过率特别低。可是偏偏橘色手机的使用者特别多,所以我们部署这个模型后,就会收到海量的投诉。

原本我们期待的是右边这张图的情况,模型在训练阶段就有一定的泛化能力,能够在不同的数据来源上都能有不错的表现,但现实却狠狠打了我们一巴掌。

无法有效泛化到不同的数据来源的问题会一再重复发生,其中原因有很多:

  • 分布差异:训练数据集与测试数据集的来源不同,例如背景、分辨率、光线条件、拍摄设备与人种组成。
  • 伪造人脸的多样性远高于真实人脸,从攻击方式到制作流程变化极大,使得统整伪造人脸特征变得困难,进而导致分类边界模糊化。

传统方法过度依赖数据集特有特征,导致模型学到的表示带有明显“数据集偏见”。

因此,本篇论文的作者认为 FAS 的命题应该是:

在无法使用任何目标数据的前提下,设计一个具备高泛化能力的模型。

不然,哪怕是我们收集再多的数据集,也还是无法应对来自不同来源、不同攻击类型的伪造人脸。

解决问题

为了解决“伪造人脸特征高度异质”与“真实人脸相对一致”所带来的泛化困难,作者提出了一套全新的活体检测训练策略:Single-Side Domain Generalization(SSDG)。

如上图所示,这套架构的设计理念可以概括为一句话:

真实人脸跨域聚近,伪造人脸依来源分散。

也就是说,SSDG 并不强求为真伪造人脸建构一个共同的泛化空间,而是采取非对称策略——针对真实人脸进行跨域对抗训练,使其分布趋于接近;对伪造人脸则刻意保留分布差异,甚至强化其特异性。

这种非对称学习设计,目标是让分类边界更能泛化到未见过的目标数据集。

整体模型包含以下几个关键模块:

  • 特征生成器(Feature Generator, G)
  • 域分类器(Domain Discriminator, D)
  • 活体检测分类器(Face Anti-Spoofing Classifier)
  • 非对称 Triplet Loss 训练
  • 特征与权重归一化模块

我们依序看一下。

单边对抗学习

在 DG 领域中,为了让模型克服跨域的挑战,常见的用法是加入对抗训练(Adversarial Training),让模型无法分辨样本来自哪个域(domain),从而学到域不变(domain-invariant)的特征。

方法很简单,就是给模型加上一个“域分类器”,让它学习将样本分为“来源 A”或“来源 B”。

在对抗训练中,域分类器仍以降低分类 loss 为目标;特征生成器则经由反向梯度提高这个 loss,使域分类器更难辨认来源。

在这篇论文中,作者提出了一个新的对抗学习方法:

  • 单边对抗学习(Single-Side Adversarial Learning)。

建模方式如下:

设有 NN 个来源数据集,记为 D={D1,D2,...,DN}D = \{D_1, D_2, ..., D_N\},每个都包含:

  • 真实人脸样本 XrX_r
  • 伪造人脸样本 XfX_f

将其喂入特征生成器,得到特征表示:

Zr=Gr(Xr),Zf=Gf(Xf)Z_r = G_r(X_r), \quad Z_f = G_f(X_f)

由于参数共用,实际上 GrG_r 与 GfG_f 是同一模型 GG,这只是在概念上区分输入来源。

接着将 ZrZ_r 输入域分类器 DD,判断其属于哪个数据集。为了让模型学到跨域一致的真实人脸特征,在这里会让特征生成器 G 尝试“欺骗”这个分类器,形成一个对抗学习过程。

整体损失函数如下:

min⁡Dmax⁡G LAda(G,D)=−E(x,y)∼Xr,YD∑n=1N1[n=y]log⁡D(G(x))\min_D \max_G \ \mathcal{L}_{\text{Ada}}(G, D) = - \mathbb{E}_{(x,y) \sim X_r, Y_D} \sum_{n=1}^{N} \mathbf{1}[n = y] \log D(G(x))

此处的 YDY_D 是 domain 标签,1[n=y]\mathbf{1}[n = y] 是指示函数,表示样本是否属于第 nn 个数据集。

在这个域对抗损失中,伪造人脸不参与;伪造人脸仍参与活体检测分类与下述三元组学习。

为了实现这种“一边训练、一边互相对抗”的机制,作者采用了 Gradient Reversal Layer(GRL)。这是一个常见于 DG 模型的 trick,我们等一下再讲。

非对称三元组学习

既然这里放弃了将伪造人脸压缩进共同特征空间,那就得想办法让它们彼此分离、与真实人脸拉开距离。这就是非对称 triplet loss 要解决的问题。

实现方式如下:

假设有三个来源数据集,我们将样本重新划分为四类:

  • 所有真实人脸 → 一类(Cross)
  • 三组伪造人脸 → 各为一类(Circle / Square / Triangle)

目标是同时满足:

  1. 不同来源的伪造人脸分开,同来源的伪造人脸聚近(inter-domain separation 与 intra-domain compactness)
  2. 真实人脸彼此聚合(intra-class compactness)
  3. 真实人脸与伪造人脸之间拉开距离(inter-class separation)

如下图所示:

对每一组 anchor / positive / negative 组合 (xai,xpi,xni)(x_a^i, x_p^i, x_n^i),非对称三元组损失定义如下:

LAsTrip(G)=∑i(∥f(xai)−f(xpi)∥22−∥f(xai)−f(xni)∥22+α)\mathcal{L}_{\text{AsTrip}}(G) = \sum_i \left( \|f(x_a^i) - f(x_p^i)\|_2^2 - \|f(x_a^i) - f(x_n^i)\|_2^2 + \alpha \right)

其中 α\alpha 是 margin 超参数,用于设置三元组的距离间隔。原论文式 (3) 未写常见的正部截断;作者公开的实现会用 ReLU 截断,并处理三元组选择与平均。

这样设计可以强制模型学会在特征空间中自然拉开真伪造人脸的区隔,同时维持真实人脸的稳定集中分布。

特征与权重归一化

作者进一步引入了双重归一化设计,以提升特征的一致性与分类边界稳定性:

  • Feature Normalization: 对输出特征进行 L2 归一化,使它们位于单位球面,消除特征范数差异。

  • Weight Normalization: 将分类器的权重向量 WiW_i 归一化为单位长度,bias 设为 0,使得分类决策简化为:

cos⁡(θ1)−cos⁡(θ0)=0\cos(\theta_1) - \cos(\theta_0) = 0

这让模型专注于方向性区分,而不是依赖特征大小,进一步稳定判别结果。

将上述模块整合后,整个 SSDG 框架的训练损失为:

LSSDG=LCls+λ1LAda+λ2LAsTrip\mathcal{L}_{\text{SSDG}} = \mathcal{L}_{\text{Cls}} + \lambda_1 \mathcal{L}_{\text{Ada}} + \lambda_2 \mathcal{L}_{\text{AsTrip}}

其中:

  • LCls\mathcal{L}_{\text{Cls}}:一般分类器的 cross-entropy 损失
  • λ1,λ2\lambda_1, \lambda_2:平衡系数,用来控制对抗与三元组损失的权重

与论文比较的 MADDG 分阶段训练不同,SSDG 采取 end-to-end 训练策略,共同优化上述模块。

延伸补充

什么是 GRL?为什么它对 DG 这么重要?

在 Domain Generalization(DG)与 Domain Adaptation(DA)中,一个非常经典的技巧叫做 Gradient Reversal Layer(GRL),它见于 DANN 的 2014 年预印本和 2015 年会议论文,核心作用是让模型在训练过程中进行“对抗式特征学习”。

如果用一句话来解释 GRL 的话,就是:

Forward 时保持原样,Backward 时把梯度乘上负系数。

这么一来,我们就能创造出两个训练目标互相拉扯的效果:特征提取器努力“让数据来源无法被识别”,而域分类器努力“识别数据来源”,这正是对抗学习的精神。

DG 的目标,是让模型学会不依赖“数据来源”这个信息,也就是让特征具有 domain-invariant(跨域不变性)。但这种特征没办法直接“教”,只能通过反向信号来“逼”模型学会:

  • 如果数据是来自不同 domain,那么特征提取器要骗过 domain classifier,让它无法分辨
  • 若 domain classifier 很容易识别来源,特征提取器就会收到对抗信号。

而 GRL 就是实现这个拉扯机制的利器,让整个流程可以用标准 backpropagation 自动优化。

我们可以简单实现一下 GRL 的 forward 与 backward 过程:

python
import torch
from torch.autograd import Function

class GradientReversalFunction(Function):

    @staticmethod
    def forward(ctx, x, lambd):
        ctx.lambd = lambd
        return x.view_as(x)

    @staticmethod
    def backward(ctx, grad_output):
        return grad_output.neg() * ctx.lambd, None

def grad_reverse(x, lambd=1.0):
    return GradientReversalFunction.apply(x, lambd)

下面是将 GRL 插入 forward 的简化示意。real_mask 只选择真实人脸;域损失还必须对应这些样本的来源标签,批次中也要有真实人脸:

python
class DomainAdversarialNetwork(torch.nn.Module):

    def __init__(self, feature_extractor, classifier, domain_discriminator):
        super().__init__()
        self.feature_extractor = feature_extractor
        self.classifier = classifier
        self.domain_discriminator = domain_discriminator

    def forward(self, x, real_mask, lambd=1.0):
        feat = self.feature_extractor(x)
        class_out = self.classifier(feat)
        # SSDG 的域判别分支只使用真实人脸
        reversed_feat = grad_reverse(feat[real_mask], lambd)
        domain_out = self.domain_discriminator(reversed_feat)
        return class_out, domain_out

其中 lambd 是一个控制反向强度的超参数,在 SSDG 论文中使用的是时间动态调整公式:

λ=21+exp⁡(−10k)−1withk=current_iterstotal_iters\lambda = \frac{2}{1 + \exp(-10k)} - 1 \quad \text{with} \quad k = \frac{\text{current\_iters}}{\text{total\_iters}}

这样设计可以让模型在训练初期专注于分类任务,随着训练进行,域对抗信号逐渐增强。

讨论

数据集测试设置

作者使用了四个公开的数据集来进行实验,来源分别是:

  • O:OULU-NPU
  • C:CASIA-FASD
  • I:Replay-Attack
  • M:MSU-MFSD

测试方式是依序留下一组数据集作为未见的目标测试集,其余三组作为训练数据,总共有四组跨数据集测试任务:

  • O & C & I → M
  • O & M & I → C
  • O & C & M → I
  • I & C & M → O

这样的交叉设计,能检查模型面对未见数据来源时的表现;实际部署仍可能有这四个数据集未涵盖的差异。

和其他方法的比较

作者汇整了目前最具代表性的 FAS 方法,在四个 cross-database 测试任务上的表现,包括:

  • CNN-based 方法(Yang et al., Atoum et al.)
  • 时序与生理信号方法(Liu et al. rPPG)
  • 传统特征派(LBP、SURF)
  • MADDG 方法(表中的 DG 基线)

在上面表格中,如果 SSDG 用的是 MADDG-based 架构,则称为 SSDG-M;如果是用 ResNet18-based 则称为 SSDG-R 。

表中 SSDG-M 与 SSDG-R 在四组任务的 HTER、AUC 均优于 MADDG;SSDG-R 也在表列方法中取得每组最低 HTER 与最高 AUC:

  • HTER 降低
  • AUC 提升
  • 四组任务的排序一致;表中没有重复试验变异。

根据这个结果,作者给出几个关键观察:

  • 大部分现有方法没处理跨数据集分布问题:

    • 表中多数方法在这四组跨数据集任务的 HTER 高于 SSDG
    • 作者认为数据集特有特征可能是泛化有限的原因;表格本身没有直接量测这些特征
  • MADDG 是少数例外,虽使用 DG,但策略上仍有盲点:

    • 它依然试图为真伪造人脸共同建构一个 generalized 特征空间
    • 在这四组任务中,SSDG 的结果优于 MADDG;表格没有测量 MADDG 是否难以收敛

反观 SSDG 采取的非对称学习策略反而更务实:

  • 真实人脸:跨域 alignment,学稳定表示
  • 伪造人脸:主动分离,不强行对齐

消融实验则可进一步检查这种非对称策略对结果的贡献。

消融实验

在这张表中,作者拆解了 SSDG 的三大核心模块,来观察单独移除某个模块会带来什么样的影响:

  • ssad:单边对抗学习(Single-side adversarial)
  • triplet:非对称三元组损失(Asymmetric triplet loss)
  • norm:特征与权重归一化

分析结果显示:在 MADDG-based 与 ResNet18-based 两种架构、四组任务中,移除任一模块都使 HTER 高于完整模型。AUC 大多下降,但 ResNet18-based 在 O&C&M → I 移除 ssad 时为 96.63%,略高于完整模型的 96.59%,不能说每项 AUC 都下降。

这些消融结果支持三个模块对 HTER 的贡献;AUC 的个别例外仍应保留。

结论

这篇论文提出的 SSDG 框架,从策略设计上回应了一个值得注意的差异:

真实人脸可能共享较稳定的线索;伪造人脸则随攻击来源变化,不必把两者一视同仁。

在论文报告的四组跨数据集任务中,SSDG 取得较好的结果;两来源实验也提供了数据较少时的对照。这里的关键,是让真实人脸跨域靠近,同时不强求所有伪造人脸都落在同一簇。

回头看,SSDG 的非对称目标是这条研究脉络里的一个有用参照:哪些特征应当对齐,哪些差异应当保留?