返回论文笔记资料库
ICCV 2023人脸防伪论文笔记

UDG-FAS

风格的碎片

原始论文

Towards Unsupervised Domain Generalization for Face Anti-Spoofing

论文作者

Yuchen Liu · Yabo Chen · Mengran Gou …

查看全部 7 位作者

Yuchen Liu · Yabo Chen · Mengran Gou · Chun-Ting Huang · Yaoming Wang · Wenrui Dai · Hongkai Xiong

发表版本
ICCV 2023会议
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@inproceedings{faceantispoofingudgfas2023,
  title = {{Towards Unsupervised Domain Generalization for Face Anti-Spoofing}},
  author = {Yuchen Liu and Yabo Chen and Mengran Gou and Chun-Ting Huang and Yaoming Wang and Wenrui Dai and Hongkai Xiong},
  year = {2023},
  booktitle = {ICCV},
  url = {https://openaccess.thecvf.com/content/ICCV2023/html/Liu_Towards_Unsupervised_Domain_Generalization_for_Face_Anti-Spoofing_ICCV_2023_paper.html}
}
本页内容

如果你觉得 FAS 的模型已经够难训练,那么试着在预训练阶段不给它任何标注数据,只让它自己看图说故事,情况就会从糟糕变成难以理解。

这就是我们现在面对的场景。

定义问题

人脸活体识别(Face Anti-Spoofing)一直被视为人脸识别系统的核心防线,却有两个致命伤:

  • 数据收集与标注成本高昂;
  • 模型只要换个场景就容易报废;

这个部分如果你随着我们看了数十篇论文,大概也能朗朗上口。

为了撑起跨域(cross-dataset)的稳定度,过去也有人提出各种 Domain Generalization 方法,但这些方法有个前提:你得有充足的标注数据。

现实中,你可能可以获得大量的数据,但是没有人力或资源去标注。

所以开始有人转向「无监督学习」,希望解决「没标注」的问题。

对比学习有两大门派:MoCo 和 SimCLR。

这类对比学习的方法虽然在一般图像任务上取得优异的成绩,但把它套用到 FAS 上,却会发现它们的表现不如预期。只要变成「Real / Fake」两类的 FAS,负样本不好定义,结果模型常常搞不清自己在排挤哪一边。

同样地,BYOL、SimSiam 虽然试图去掉负样本的依赖,但在 FAS 数据上还是撑不住,因为人脸蕴含的 identity bias、domain bias 远比自然图像丰富:你以为它学会了识别假脸,其实它只是记住了哪个数据集拍谁的脸。

更麻烦的是,大多数人都假设你有一个 ImageNet 预训练的 backbone 可用。然而 ImageNet 不会告诉你「假脸」与「真脸」的差别,只会帮你区分「猫」或「狗」。于是模型在 FAS 上的零样本或少样本条件下,始终差那么一口气。

所以,问题回到最初的原点:

  • 如果预训练阶段没有标注,也没有合适的预训练数据,那模型要靠什么学习?
  • 如果 identity 与 domain 的噪声都强过 spoof 本身,那我们又该怎么让模型看到「它该看的东西」?

这篇论文的答案是:先把脸打散吧!

解决问题

UDG-FAS 的整体设计围绕着一个核心目标:在无标注预训练阶段,逐步减轻来自身份与场景的偏差,让模型更能关注活体识别线索。

这项目标被分解为三个策略模块:

  1. 通过 Split-Rotation-Merge (SRM) 减轻单张图像中的身份偏差;
  2. 通过 同域邻居搜寻(In-domain NN) 松动跨身份的表示差异;
  3. 通过 跨域邻居搜寻(Cross-domain NN) 处理数据来源间的风格偏移。

情况一如以往的复杂,我们依序来看看。

SRM 模块

Split-Rotation-Merge(SRM) 是本研究用来减轻身份偏差的关键模块,其设计目标在于保留活体识别所需的局部 spoof 线索,同时弱化模型对于人脸结构与个体差异的依赖。

整体流程如下:

首先,输入图像 x1x_1 经过非破坏式数据增强(如亮度调整、镜像翻转等),接着被切分为 m×mm \times m 个局部区块。每个区块 x1px^p_1 进一步接受随机旋转,借此打破原始人脸结构所带来的对称性与空间排列偏好,降低模型对身份相关信号的敏感度。

接下来,这些局部区块会分别通过 encoder ff 产生对应的特征向量:

e1p=f(x1p)e^p_1 = f(x^p_1)

作者并未直接使用这些局部向量进行对比学习,而是枚举所有由 nn 个区块组成的子集合,分别计算其特征平均值,得到合并后的局部表征 v1v_1:

v1=1n∑p∈se1pv_1 = \frac{1}{n} \sum_{p \in s} e^p_1

其中 ss 表示一个 patch index 子集合;总共会产生 (m2n)\binom{m^2}{n} 个合并表征,并平均各组的相似度损失。此设计背后的考量在于:spoof 线索可能存在于多个区块中,而身份特征则随人脸区域而异,通过平均操作减轻身份信号的影响。

生成的局部表征 v1v_1 接续经过 projector gg 与 predictor qq,产出对比用向量 p1p_1。

与此对应,另一张图像 view x2x_2 则不经切割与旋转,直接通过 encoder ff 与 projector gg,得到全域特征向量 z2z_2。

在损失设计上,作者采用 SimSiam 的 cosine similarity loss,并搭配 stop-gradient 机制,避免 collapse 并稳定训练:

LSRMi=12⋅dist(p1i,stopgrad(z2))+12⋅dist(p2i,stopgrad(z1))\mathcal{L}_{\text{SRM}}^i = \frac{1}{2} \cdot \text{dist}(p_1^i, \texttt{stopgrad}(z_2)) + \frac{1}{2} \cdot \text{dist}(p_2^i, \texttt{stopgrad}(z_1))

其中 dist(⋅)\text{dist}(\cdot) 是负余弦相似度。为确保对称性,训练过程会交换 x1x_1 与 x2x_2 的角色,进行双向学习。

整体而言,SRM 模块所实现的并非单纯的 augmentation,而是一套旨在减轻身份偏差的特征转换流程。它尝试保留 spoof 信息,同时弱化 identity 结构的影响,建立更具泛化潜力的局部表征。

In-domain Nearest Neighbors

处理完单张图像中的身份偏差后,UDG-FAS 接下来要面对的挑战是:如何在多样本的数据集上,进一步消除跨身份的特征扩散问题。

尽管 SRM 模块能有效抑制单张图像中来自人脸结构的身份信号,但实务上,FAS 任务所面对的是大量跨身份样本所组成的数据分布。即便样本来自同一个 domain,模型学得的特征仍可能因身份差异而碎裂、拉远,导致语义一致的样本无法被视为正样本。

为了进一步处理这类跨身份的特征扩散问题,作者设计了 In-domain Nearest Neighbor(IDNN) 模块,作为补充性对比机制。

其核心思路是:在不依赖标注的前提下,利用 embedding 空间的几何邻近性,推测出可能具有相同语义的样本对,并将它们纳入对比学习以提升类内一致性。

举例来说,对于任一样本的全域表示 zz,我们在同一数据集内的支持集合 QinQ^{\text{in}} 中,先找出最接近邻居的索引,再取该邻居另一个增强视图的特征作为正样本:

kNN=arg⁡min⁡k ∥z−zkqin∥2,zNN=Qz1in[kNN]k_{\text{NN}} = \underset{k}{\arg\min} \, \| z - z_k^{q_{\text{in}}} \|_2, \quad z_{\text{NN}} = Q^{\text{in}}_{z_1}[k_{\text{NN}}]

注意,这里的搜寻仅限于 in-domain,也就是保留场景一致性以降低搜寻误差,而不混入跨 domain 所可能引入的分布偏移。

接着,将搜寻所得的邻居纳入对比损失中,并与来自 SRM 模块的预测向量 pip^i 进行匹配。两个预测分支分别取另一个增强视图的支持集合;以 N(z,Q)N(z,Q) 表示在集合 QQ 中搜寻 zz 的最近邻:

LIDNNi=12⋅dist(p1i,stopgrad(N(z,Qz2in)))+12⋅dist(p2i,stopgrad(N(z,Qz1in)))\mathcal{L}_{\text{IDNN}}^i = \frac{1}{2} \cdot \text{dist}(p_1^i, \texttt{stopgrad}(N(z,Q^{\text{in}}_{z_2}))) + \frac{1}{2} \cdot \text{dist}(p_2^i, \texttt{stopgrad}(N(z,Q^{\text{in}}_{z_1})))

这里同样采用 SimSiam 式 stop-gradient 设计,维持对称结构并降低 collapse 的风险。

IDNN 模块的贡献不在于强化表征区隔,而是反向操作:它试图拉近不同身份中可能同属 live 或 spoof 类别的邻近样本。由于没有标签,搜寻所得的正样本也可能配错类别。

同时,因为搜寻操作是在同一数据来源中进行,能减少跨数据集分布差异对邻居搜寻的干扰,但同域内仍可能有材质与摄影条件的变化。

它既能补足 SRM 所未解决的跨样本破碎性,也能保留 domain 本身的图像细节作为训练线索。

Cross-domain Nearest Neighbors

在单一 domain 内的邻近搜寻,旨在协助模型拉近不同身份下可能相同的活体或攻击表征。

然而,真实应用情境中,FAS 系统往往部署于多种装置与场景,其输入数据呈现强烈的 domain gap,包含图像解析度、拍摄设备、光照条件与背景样式等差异。

这些跨域因素使得模型学得的特征分布具有高度异质性,若直接以原始 embedding 进行跨数据集邻居搜寻,容易导致语义错配,甚至将来自不同 spoof 类型的样本错误拉近。

因此,作者最后引入了 Cross-domain Nearest Neighbor(CDNN) 模块,作为对比学习中的第三条正样本路径。

为减轻异质分布问题,作者首先利用每个 domain 的统计量标准化特征;这会对齐均值与方差。对于任一来自 domain dd 的样本,其全域特征 zz 与合并后的局部特征 vv 被转换为:

z^=z−μdσd2+ϵ,v^=v−μdσd2+ϵ\hat{z} = \frac{z - \mu_d}{\sqrt{\sigma_d^2 + \epsilon}}, \quad \hat{v} = \frac{v - \mu_d}{\sqrt{\sigma_d^2 + \epsilon}}

其中 μd,σd2\mu_d, \sigma_d^2 分别为该 domain 的特征均值与方差,ϵ\epsilon 为避免除以零所加的微小常数。

正规化完成后,对样本间的相似度计算不再仅依赖全域表示,而是将 z^\hat{z} 与 v^\hat{v} 的距离结合:

dist=∥z^i−z^j∥2+∥v^i−v^j∥2\text{dist} = \| \hat{z}_i - \hat{z}_j \|_2 + \| \hat{v}_i - \hat{v}_j \|_2

此设计同时考虑全局与局部特征,目的是降低 identity 与风格在单一尺度下可能造成的误导效应。

通过上述搜寻流程,模型在跨 domain 的 support set 中选出距离最近的样本,再分别取两个增强视图的邻居特征,纳入 SimSiam 类型的对比训练;这仍可能选到不同 live/spoof 类别的样本:

LCDNNi=12⋅dist(p1i,stopgrad(N([z,v],Qz2cr)))+12⋅dist(p2i,stopgrad(N([z,v],Qz1cr)))\mathcal{L}_{\text{CDNN}}^i = \frac{1}{2} \cdot \text{dist}(p_1^i, \texttt{stopgrad}(N([z,v],Q^{\text{cr}}_{z_2}))) + \frac{1}{2} \cdot \text{dist}(p_2^i, \texttt{stopgrad}(N([z,v],Q^{\text{cr}}_{z_1})))

CDNN 模块的设计目标,并非仅在于数据扩增或多样性补充,而是减轻跨场景的分布偏差。

训练目标整合

上述三种损失项被合并为最终目标函数:

L=LSRM+λ1⋅LIDNN+λ2⋅LCDNN\mathcal{L} = \mathcal{L}_{\text{SRM}} + \lambda_1 \cdot \mathcal{L}_{\text{IDNN}} + \lambda_2 \cdot \mathcal{L}_{\text{CDNN}}

为避免初期邻居匹配误差造成训练不稳,λ1\lambda_1 与 λ2\lambda_2 分别在前 T1=30T_1=30 与 T2=60T_2=60 轮训练时设为 0,之后各自切换为 1,让 SRM 先建立初步表征。

UDG-FAS 的预训练并未依赖标注数据,也不追求 backbone 架构创新,而是将注意力集中于「信号过滤」与「表征对齐」两项核心议题上。下游微调实验仍使用来源域标注数据。

讨论

为全面评估所提出方法在不同应用情境下的泛化能力,UDG-FAS 论文设计了六组实验协议。

Protocol-1:低标注量下的跨域泛化能力

此协议假设模型能预先取得多个来源域的未标注图像,再使用部分标注数据进行微调。具体操作为:模型在三个来源 domain 上以无标注数据预训练,之后以同一批来源 domain 中不同比例的标注样本(5% 至 100%)微调,最后在未见的目标 domain 上测试。

实验结果显示,UDG-FAS 在表中四组跨域测试均优于 ImageNet 预训练与所列无监督基线;即使来源域只提供少量标注数据微调,表中结果仍维持优势。这与减轻 identity 与 domain 偏差的设计目标一致,但表格本身无法单独证明偏差已被消除。

此外,将 UDG-FAS 与现有 DG 方法(如 SSDG-R)结合后,亦可进一步提升整体表现,显示其具备良好的模块化兼容性与泛化潜力。

Protocol 2:不微调条件下的特征质量检验

本协议旨在检验预训练模型本身所学得的特征质量,不微调 encoder,直接以 k=10k=10 的 kNN 分类器评估其在目标 domain 上的识别能力。这测的是无标注预训练所得特征的可分性;kNN 评估仍需要参考样本的类别信息,不能视为完全不使用标签的部署预测。

实验结果显示,UDG-FAS 在表中四组 kNN 测试都优于所列无监督方法;其中 O&C&M→I 的 AUC 为 94.75%,也高于表 1 中全量标注微调的 SimSiam 92.69%。

这支持无标注预训练可以改善 FAS 表征;下游分类仍使用标签。

Protocol 3:大规模无标注数据下的预训练表现扩展性

此协议旨在验证:当可用的 unlabeled 数据规模显著增加时,模型是否能有效扩展其预训练特征空间。实验中,作者额外引入大规模的 CelebA-Spoof 未标注数据,另取该数据集中由网络抓取的真实人脸图像,作为无监督预训练的补充来源。

实验结果显示,加入 10 万与 20 万张 CA 图像时,UDG-FAS 在四组 HTER 均随数据量增加而改善;加入网络抓取的真脸也使四组 HTER 优于原本设定,但增益小于加入 20 万张 CA 图像,且第一组 AUC 从 97.31% 降至 97.08%。表格没有直接测量抗噪声能力。

这些结果说明额外未标注数据在该组预训练与后续全量标注微调设定下有帮助;并未直接比较数据多样性与标注质量的相对作用。

Protocol 4:数据来源受限下的泛化能力检验

本协议设定于更为严苛的条件下,仅使用两个数据集作为无标注预训练来源,并使用同组的标注数据微调;测试数据则来自另一组未见 domain,形成跨组转移的学习情境。

实验结果显示,UDG-FAS 在两个跨组方向的 HTER 均为表中最低,O&M→C&I 的 AUC 也最高;但 C&I→O&M 的 AUC 88.81% 低于 DF-DM† 的 89.76%。这支持有限来源设定下的效益。

Protocol 5:跨数据来源与攻击型态的双重泛化挑战

此协议进一步加深测试难度,结合了 跨 domain 与 跨攻击类型 两种分布转移。训练阶段仅使用特定数据集与部分已知攻击类型进行预训练与微调,测试时则面对另一组 domain 中 未见过的 spoof 类型。

在此设定下,模型同时面对数据来源与攻击类型变化。UDG-FAS 在表 6 的九种攻击中取得最高的整体平均 AUC 92.43%(标准差 6.86),但个别攻击仍有其他方法较好,例如 CASIA-MFSD 的 Video 与 Warped。

此结果显示:在论文设定的未见 2D 攻击类型测试中,UDG-FAS 的平均 AUC 较高;它支持预训练有助于泛化,但无法单凭此表证明模型已掌握 spoof 的「本质」或完全不记忆既有攻击型态。

Protocol 6:未见 3D 攻击与大规模数据下的泛化测试

本协议聚焦于最具挑战性的情境之一:模型从未见过 3D mask 攻击样本的情况下,是否仍能泛化至该攻击类型。模型先以 O、C、I、M 的未标注数据预训练,再用其标注数据微调,最后于 3DMAD 与 HKBU-MARs 测试。另有以 O、C、M 为来源、在包含未见 3D 攻击的 CelebA-Spoof (CA) 上测试的设定。

结果显示,UDG-FAS 在 3DMAD 上的 HTER 0.29%、AUC 99.95% 为表中最佳;在 HKBU-MARs 上的 AUC 80.31% 低于 RFMetaFAS 的 81.64%,HTER 27.36% 也略高于 SSAN 的 26.98%。这些是未见 3D 攻击类型的结果,并非输入模态转移的实验。

此外,在 CA 的大规模评估中,UDG-FAS 的 HTER 21.35%、AUC 87.26% 均优于表中对照方法;这是该实验协议的结果。

结论

UDG-FAS 并不是在模型架构或训练流程上寻求突破,而是在一个更根本的层面上提出提问:

如果预训练阶段不再依赖标注,那还能剩下什么?

这篇论文的回答,是回到 representation 本身。

它没有提出新的 backbone,也没有设计复杂的损失项,而是通过一连串的安排,让模型在无标注预训练阶段逐步建立起一个减轻身份与风格噪声的表征空间;下游微调仍使用来源域标签。

这篇工作的贡献不单纯只是一组好结果,而是提供了一个新的视角:

当监督信息不可得,我们对特征的设计责任就不能再推给分类器或正则化策略。

我们得在学习的最初,就做出取舍与限制,把模型带向对的方向,而不是等数据告诉它什么是对的。

从更长远的角度来看,这类方法也许会逐步取代传统 FAS 训练流程中对「攻击样本」的依赖。

毕竟,活体与否的语义边界,不该只依赖某一类攻击的表面纹理;本文主要测试跨身份与跨数据来源的泛化,并未验证跨输入模态的能力。

而这,也许才是无监督学习真正的开端。