返回论文笔记资料库
WACV 2023人脸防伪论文笔记

DiVT

全明星锦标赛

原始论文

Domain Invariant Vision Transformer Learning for Face Anti-Spoofing

论文作者

Chen-Hao Liao · Wen-Cheng Chen · Hsuan-Tung Liu · Yi-Ren Yeh · Min-Chun Hu · Chu-Song Chen

发表版本
WACV 2023会议
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@inproceedings{faceantispoofingdivt2023,
  title = {{Domain Invariant Vision Transformer Learning for Face Anti-Spoofing}},
  author = {Chen-Hao Liao and Wen-Cheng Chen and Hsuan-Tung Liu and Yi-Ren Yeh and Min-Chun Hu and Chu-Song Chen},
  year = {2023},
  booktitle = {WACV},
  url = {https://openaccess.thecvf.com/content/WACV2023/html/Liao_Domain_Invariant_Vision_Transformer_Learning_for_Face_Anti-Spoofing_WACV_2023_paper.html}
}
本页内容

难得看到一篇论文的作者群可以把台湾前几所大学都挂上号。

国立台湾大学、国立成功大学、国立清华大学、国立高雄师范大学......嗯?还有玉山银行。

定义问题

我们在上一个章节讲了大量关于 Domain Generalization 的内容,这篇论文作为衔接的桥梁,把 DG 的概念从 CNN 架构上延伸到了 Transformer。

新时代的架构会继承前人的意志,继续走下去。

回顾现有的 DG-FAS 解法,大致可以整理成两个方向。

第一种,尝试让「真脸」彼此靠近。

不管来自哪个 domain,真脸都应该共享某种内在的活体样态。在 feature space 中,这些来自不同世界的真实样本,被集中到同一个语义团块。这种作法的关键,是建立一种跨场景的稳定锚点。

第二种,针对「攻击类型」进行拆分。

不同攻击方式有不同的伪装策略,也会带来不同的视觉特征。这些特征在学习过程中被推开、分离,避免模型混淆、误判。

于是整个特征空间呈现出这样的形状:

  • 真脸集中在中心,作为对齐的核心。
  • 各种假脸则分散在边界,彼此区隔。

实现上,这些方法多半还是建构在 CNN 架构上,例如 SSDG 用单边对抗学习让真脸特征更稳定,ANRL 修改 normalization 逻辑以抗 domain shift,SSAN 则拆出风格与内容,进行跨域对比学习。也有像 FGHV 这样的生成式方法,用高斯分布假设来逼近真实样貌。

设计精巧,成效可观,但背后总带着复杂的学习机制与高昂的资源成本。

而所有这些努力的前提,是一个共同假设:

模型从未见过目标 domain 的任何数据。

这样的条件虽然苛刻,却也更接近实际应用。现实世界不会等你搜集完所有变数,它只会直接丢出一个从未出现过的例外情况,让你的模型立即给出答案。

这正是为什么有人开始将目光转向 Transformer。

相比 CNN,Transformer 拥有更大的感受野、更灵活的关联建模能力,在跨域学习这种充满长距离语义变异的场景里,理论上更具优势。

可是目前用于 FAS 的 Transformer 尝试仍然有限,有的直接套用 ViT,有的只拿来当教师模型,学生端还是回到 CNN。多数设计也没有针对 domain generalization 做出专门调整。

那么,如果我们想要设计一个真的能跨域泛化的 Transformer,该从哪里开始?

解决问题

这篇论文的核心主张其实很简单:

用一个轻量但足够聪明的 Transformer 架构,把「真实」拉在一起,把「攻击」分开。

模型架构

整体方法建立在 MobileViT 之上,这是一种结合 CNN 与 Transformer 的混合型架构。

MobileNet-v2 负责初步的下采样与特征抽取,MobileViT block 则以局部卷积与全域注意力串接,让模型能同时捕捉脸部细节与全局结构。这种设计同时兼顾效率与表示力,适合部署在资源受限的场景中。

跨域泛化的第一步,是让模型在「不同场景的真脸」之间取得共识。

假设我们有来自 KK 个 domain 的数据集 D1,D2,…,DKD_1, D_2, \ldots, D_K,每个数据集中都有真脸与若干种类的攻击样本。

作者把所有真脸合并为:

DR=⋃k=1KDkrealD_R = \bigcup_{k=1}^K D^\text{real}_k

接着,通过 Transformer backbone 将这些样本映射到特征空间,得到一组嵌入向量:

ER=π(DR)E_R = \pi(D_R)

作者的做法,是直接把原点 [0]d[0]^d 当作真脸的中心,设计一个简单的 ℓ1\ell_1-norm 损失,将这些特征尽量拉向原点:

LDiC=1N∑i=1N1[xi∈DR]⋅∥π(xi)∥1\mathcal{L}_\text{DiC} = \frac{1}{N} \sum_{i=1}^N \mathbb{1}[x_i \in D_R] \cdot \|\pi(x_i)\|_1

这个想法来自于 Center Loss,但不同的是,我们不需要动态更新中心点,也不需要为每一类别分配一个 center。DiC 只替真脸指定中心;接下来的攻击分类损失仍需要训练数据中的攻击类型标签。

概念上可以参考下图,不同 domain 的真脸被集中在空间中心,而非沿着某一个 domain 轴线分散,其余的攻击样本则不予理会。

拉近真脸之后,下一步是推开假脸。

针对每一种攻击类型,我们将来自不同 domain 的数据合并成一个类别:

Dc=⋃k=1KDkc,c∈{1,…,C}D^c = \bigcup_{k=1}^K D^c_k, \quad c \in \{1, \ldots, C\}

然后加上一个分类头,对输入样本进行 C+1C+1 类分类(真脸 + 各种攻击)。

这里的 cross-entropy loss 为:

LDiA=−1N∑i=1N∑c=0Cy^iclog⁡yic\mathcal{L}_\text{DiA} = -\frac{1}{N} \sum_{i=1}^N \sum_{c=0}^{C} \hat{y}^c_i \log y^c_i

其中 y^ic\hat{y}^c_i 是 one-hot 标签(c=0 表示真脸),而 yicy^c_i 是模型对每类别输出的 softmax 结果。

这层分类器的任务不只是为了「识别」攻击类型,更重要的是在 latent space 中进一步撕开真伪样本的空间配置。这样做的好处是让攻击样本彼此分散,同时与真脸保有距离,强化跨 domain 的解耦能力。

最终的损失函数为两者加权组合:

Ltotal=LDiA+λLDiC\mathcal{L}_\text{total} = \mathcal{L}_\text{DiA} + \lambda \mathcal{L}_\text{DiC}

推论阶段仅使用分类头中对真脸的预测机率作为输出,不需额外模组。

整体方法不引入对抗学习,也不倚赖风格拆分或特征生成,只靠两个直观的目标函数与一个可轻量化的架构,就能实现稳定而有效的泛化效果。

讨论

作者使用了四个常见的 FAS 公开数据集进行测试:CASIA-FASD、MSU-MFSD、Replay-Attack 与 OULU-NPU。

这些数据集各自来自不同拍摄设备、攻击手法与照明条件,具备明显的 domain 差异,对于评估泛化能力来说,是一组具有代表性的测试场景。

根据 DG-FAS 的惯例,Replay-Attack 与 OULU-NPU 的训练与测试集会分开使用,不用验证集;其他数据集则全数纳入实验。

这些数据集中包含的真实与攻击视频数量汇整于下表,建议读者先扫过这张表,理解数据比例与数据密度的差异,这将有助于后续对比各模型的表现。

评估指标采用两个常见指标:

  • HTER(Half Total Error Rate):错拒率与错接受率的平均,越低越好。
  • AUC(Area Under the Curve):ROC 曲线下面积,越高表示整体区分能力越好。

实现细节

所有视频帧都经过 MTCNN 对齐与裁切,统一调整至 256×256256 \times 256;训练时每段视频随机抽一个帧,并维持真脸与假脸样本数相同。

模型选用 MobileViT-S 版本作为 backbone,搭配 ImageNet-1K 预训练,优化器使用 Adam,学习率 10−410^{-4},weight decay 设为 10−610^{-6}。 两项损失函数的平衡系数 λ 设为 0.2。

Leave-One-Out 测试结果

在上表中,展示了 leave-one-out 设定下的表现。这种设定会将四个数据集中的三个作为训练来源,剩下那一个数据集作为测试集,模拟模型遇到全新 domain 的状况。

大多数方法都为 frame-based,这篇论文的方法也是如此;唯一的例外是 NAS-FAS,它是基于视频信号,理论上具有额外的 temporal cue。

在这个严苛的测试中,DiVT 在所有设定下的 HTER 均优于现有 SOTA 方法,其中有两个测试组合甚至改善超过 3%。

唯一一次未能夺冠的是 AUC 指标中的 I&C&M to O,此处 NAS-FAS 略胜一筹。但该方法为视频级,与纯图像级的方法相比,属于不同层级的比较。

小样本设定

除了常规 leave-one-out 外,作者也测试了 有限训练数据设定,仅使用 MSU-MFSD 与 Replay-Attack 作为训练来源,其余作为测试集。

这类设定更接近实际部署时的数据困境。

对比 SSDG-R 与 SSAN-R 等 baseline,上表显示 DiVT 在两组测试的 AUC 都较高;M&I → O 的 HTER 最低,但 M&I → C 的 HTER 为 20.11%,比 SSDG-R 的 19.86% 高 0.25 个百分点。

消融实验

接下来的分析,聚焦在三个问题上:

  1. 不同 Transformer 架构的表现差异有多大?
  2. 我们设计的两个损失函数到底帮了多少忙?
  3. 如果换成别种分类逻辑,结果会更好还是更差?

不同架构的对照结果

结果如上表,上半部是各个架构在仅使用 binary cross-entropy loss 下的表现,下半部则是搭配我们设计的 loss 后的结果。

我们可以看到几个关键差异:

  • DiVT-V、DiVT-S、DiVT-M 分别使用 ViT-Base、Swin-T、MobileViT-S。采用论文损失后,三者的平均 HTER 为 12.11%、9.12%、7.07%,都低于 DiVT-ResNet 的 17.25%;这是表中四组测试的比较,不能单独归因于注意力机制。
  • MobileViT(DiVT-M) 的平均 HTER/AUC 最佳(7.07%/97.34%),但 O&M&I → C 这一组由 DiVT-S 领先。它同时保留局部卷积与全域关系;在后面的计算资源表中,参数量也最少。
  • ViT-Base 在这三种 Transformer 中的平均表现最差。作者推测可能与局部模式建模及 85.8M 参数所需的训练数据量有关。
  • 换成 ViT-Tiny 后,平均 HTER 由 12.11% 降至 11.47%,支持模型大小可能是因素之一,但还不足以单独证明原因。

MobileViT 的成功也再次印证一件事:卷积不是没用,而是应该在对的地方出现。

Loss 组合的效益

接著作者测试了我们方法中两个核心损失函数的搭配组合(DiC loss 与 DiA loss),分别比较单独使用、都不使用、与同时使用的效果。

观察发现:

  • DiA(分类损失)是主要贡献者,单独加入时,平均 AUC 比二元分类基线高约 3.7 个百分点。
  • DiC(拉近真脸) 加在 DiA 之上,平均 AUC 再提高约 1.3 个百分点;单独使用 DiC 并非每组都有改善。
  • 两者搭配时平均效果最佳,但个别场景的单项指标仍有例外,例如 O&C&I → M 的 HTER 以单独 DiA 较低。

改变分类逻辑会更好吗?

作者也在保留 DiC 损失的条件下,探讨分类任务本身的设计是否影响结果。除了二元分类(real vs fake)之外,另外测试了:

  • 按 domain 分类(real + 各 domain 的 spoof)
  • 按 attack type 分类(real + 各种攻击类型)
  • domain 与攻击的组合分类

四组平均而言,attack type 分类效果最好;但 I&C&M → O 的 HTER/AUC 由按 domain 分类领先。作者推测组合分类可能因类别切得太细而过拟合,表格本身没有测量过拟合。

这支持 DiVT 在这组实验中「统一真脸、拆分假脸」的分类设计;各场景的优势并不一致。

如果加上 adversarial loss?

有些人可能会问,那为什么不加上 SSDG 或 SSAN 的 adversarial loss?

实验发现,加上 adversarial loss 后有三组 HTER 变差,但 O&M&I → C 从 8.67% 改善为 7.33%;论文没有做显著性检定。作者推测可能是:

  • DiVT 的特征空间已经足够稳定,无需额外竞争
  • Transformer 在 adversarial learning 上的最佳实践仍未成熟

计算资源比较

最后,作者比较了各模型的参数量与 FLOPs。DiVT-M 在表中的平均 HTER/AUC 最佳,参数量也最少(4.94M),FLOPs 为 2.00G。

虽然 ViT-Tiny FLOPs 较少(1.26G),但参数量较多(5.52M),在这四组测试的平均效果也不如 MobileViT。这显示:真正适合 DG-FAS 的架构不只是轻,更要会抓住空间规律

结论

这类主打 domain generalization 的方法,早已不只是「模型表现」的问题,而是「方法论」的选择。

这篇论文没有走进对抗式训练的复杂棋局,也没有依赖合成数据来补强视觉线索。相反地,它选择把空间拉直、把角色明确地摆进特征坐标系里,形成一种近乎几何式的抽象处理。

在技术层面之外,这种设计思路也透露出一种对于现实部署的敏感度:

不是堆砌多模态,也不是诉诸重架构。而是找到刚好足够、又能保持节奏的那个临界点。

未来的挑战会更像是边界问题的排列组合,domain 与 attack 之间的交叉维度只会更加复杂。而这类简约清晰的表示策略,或许会是我们重新整理问题空间的起点。