Domain Invariant Vision Transformer Learning for Face Anti-Spoofing
- 发表版本
- WACV 2023会议
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@inproceedings{faceantispoofingdivt2023,
title = {{Domain Invariant Vision Transformer Learning for Face Anti-Spoofing}},
author = {Chen-Hao Liao and Wen-Cheng Chen and Hsuan-Tung Liu and Yi-Ren Yeh and Min-Chun Hu and Chu-Song Chen},
year = {2023},
booktitle = {WACV},
url = {https://openaccess.thecvf.com/content/WACV2023/html/Liao_Domain_Invariant_Vision_Transformer_Learning_for_Face_Anti-Spoofing_WACV_2023_paper.html}
}
难得看到一篇论文的作者群可以把台湾前几所大学都挂上号。
国立台湾大学、国立成功大学、国立清华大学、国立高雄师范大学......嗯?还有玉山银行。
定义问题
我们在上一个章节讲了大量关于 Domain Generalization 的内容,这篇论文作为衔接的桥梁,把 DG 的概念从 CNN 架构上延伸到了 Transformer。
新时代的架构会继承前人的意志,继续走下去。
回顾现有的 DG-FAS 解法,大致可以整理成两个方向。
第一种,尝试让「真脸」彼此靠近。
不管来自哪个 domain,真脸都应该共享某种内在的活体样态。在 feature space 中,这些来自不同世界的真实样本,被集中到同一个语义团块。这种作法的关键,是建立一种跨场景的稳定锚点。
第二种,针对「攻击类型」进行拆分。
不同攻击方式有不同的伪装策略,也会带来不同的视觉特征。这些特征在学习过程中被推开、分离,避免模型混淆、误判。
于是整个特征空间呈现出这样的形状:
- 真脸集中在中心,作为对齐的核心。
- 各种假脸则分散在边界,彼此区隔。
实现上,这些方法多半还是建构在 CNN 架构上,例如 SSDG 用单边对抗学习让真脸特征更稳定,ANRL 修改 normalization 逻辑以抗 domain shift,SSAN 则拆出风格与内容,进行跨域对比学习。也有像 FGHV 这样的生成式方法,用高斯分布假设来逼近真实样貌。
设计精巧,成效可观,但背后总带着复杂的学习机制与高昂的资源成本。
而所有这些努力的前提,是一个共同假设:
模型从未见过目标 domain 的任何数据。
这样的条件虽然苛刻,却也更接近实际应用。现实世界不会等你搜集完所有变数,它只会直接丢出一个从未出现过的例外情况,让你的模型立即给出答案。
这正是为什么有人开始将目光转向 Transformer。
相比 CNN,Transformer 拥有更大的感受野、更灵活的关联建模能力,在跨域学习这种充满长距离语义变异的场景里,理论上更具优势。
可是目前用于 FAS 的 Transformer 尝试仍然有限,有的直接套用 ViT,有的只拿来当教师模型,学生端还是回到 CNN。多数设计也没有针对 domain generalization 做出专门调整。
那么,如果我们想要设计一个真的能跨域泛化的 Transformer,该从哪里开始?
解决问题
这篇论文的核心主张其实很简单:
用一个轻量但足够聪明的 Transformer 架构,把「真实」拉在一起,把「攻击」分开。
模型架构
整体方法建立在 MobileViT 之上,这是一种结合 CNN 与 Transformer 的混合型架构。
MobileNet-v2 负责初步的下采样与特征抽取,MobileViT block 则以局部卷积与全域注意力串接,让模型能同时捕捉脸部细节与全局结构。这种设计同时兼顾效率与表示力,适合部署在资源受限的场景中。
跨域泛化的第一步,是让模型在「不同场景的真脸」之间取得共识。
假设我们有来自 个 domain 的数据集 ,每个数据集中都有真脸与若干种类的攻击样本。
作者把所有真脸合并为:
接着,通过 Transformer backbone 将这些样本映射到特征空间,得到一组嵌入向量:
作者的做法,是直接把原点 当作真脸的中心,设计一个简单的 -norm 损失,将这些特征尽量拉向原点:
这个想法来自于 Center Loss,但不同的是,我们不需要动态更新中心点,也不需要为每一类别分配一个 center。DiC 只替真脸指定中心;接下来的攻击分类损失仍需要训练数据中的攻击类型标签。
概念上可以参考下图,不同 domain 的真脸被集中在空间中心,而非沿着某一个 domain 轴线分散,其余的攻击样本则不予理会。
拉近真脸之后,下一步是推开假脸。
针对每一种攻击类型,我们将来自不同 domain 的数据合并成一个类别:
然后加上一个分类头,对输入样本进行 类分类(真脸 + 各种攻击)。
这里的 cross-entropy loss 为:
其中 是 one-hot 标签(c=0 表示真脸),而 是模型对每类别输出的 softmax 结果。
这层分类器的任务不只是为了「识别」攻击类型,更重要的是在 latent space 中进一步撕开真伪样本的空间配置。这样做的好处是让攻击样本彼此分散,同时与真脸保有距离,强化跨 domain 的解耦能力。
最终的损失函数为两者加权组合:
推论阶段仅使用分类头中对真脸的预测机率作为输出,不需额外模组。
整体方法不引入对抗学习,也不倚赖风格拆分或特征生成,只靠两个直观的目标函数与一个可轻量化的架构,就能实现稳定而有效的泛化效果。
讨论
作者使用了四个常见的 FAS 公开数据集进行测试:CASIA-FASD、MSU-MFSD、Replay-Attack 与 OULU-NPU。
这些数据集各自来自不同拍摄设备、攻击手法与照明条件,具备明显的 domain 差异,对于评估泛化能力来说,是一组具有代表性的测试场景。
根据 DG-FAS 的惯例,Replay-Attack 与 OULU-NPU 的训练与测试集会分开使用,不用验证集;其他数据集则全数纳入实验。
这些数据集中包含的真实与攻击视频数量汇整于下表,建议读者先扫过这张表,理解数据比例与数据密度的差异,这将有助于后续对比各模型的表现。
评估指标采用两个常见指标:
- HTER(Half Total Error Rate):错拒率与错接受率的平均,越低越好。
- AUC(Area Under the Curve):ROC 曲线下面积,越高表示整体区分能力越好。
实现细节
所有视频帧都经过 MTCNN 对齐与裁切,统一调整至 ;训练时每段视频随机抽一个帧,并维持真脸与假脸样本数相同。
模型选用 MobileViT-S 版本作为 backbone,搭配 ImageNet-1K 预训练,优化器使用 Adam,学习率 ,weight decay 设为 。 两项损失函数的平衡系数 λ 设为 0.2。
Leave-One-Out 测试结果
在上表中,展示了 leave-one-out 设定下的表现。这种设定会将四个数据集中的三个作为训练来源,剩下那一个数据集作为测试集,模拟模型遇到全新 domain 的状况。
大多数方法都为 frame-based,这篇论文的方法也是如此;唯一的例外是 NAS-FAS,它是基于视频信号,理论上具有额外的 temporal cue。
在这个严苛的测试中,DiVT 在所有设定下的 HTER 均优于现有 SOTA 方法,其中有两个测试组合甚至改善超过 3%。
唯一一次未能夺冠的是 AUC 指标中的 I&C&M to O,此处 NAS-FAS 略胜一筹。但该方法为视频级,与纯图像级的方法相比,属于不同层级的比较。
小样本设定
除了常规 leave-one-out 外,作者也测试了 有限训练数据设定,仅使用 MSU-MFSD 与 Replay-Attack 作为训练来源,其余作为测试集。
这类设定更接近实际部署时的数据困境。
对比 SSDG-R 与 SSAN-R 等 baseline,上表显示 DiVT 在两组测试的 AUC 都较高;M&I → O 的 HTER 最低,但 M&I → C 的 HTER 为 20.11%,比 SSDG-R 的 19.86% 高 0.25 个百分点。
消融实验
接下来的分析,聚焦在三个问题上:
- 不同 Transformer 架构的表现差异有多大?
- 我们设计的两个损失函数到底帮了多少忙?
- 如果换成别种分类逻辑,结果会更好还是更差?
不同架构的对照结果
结果如上表,上半部是各个架构在仅使用 binary cross-entropy loss 下的表现,下半部则是搭配我们设计的 loss 后的结果。
我们可以看到几个关键差异:
- DiVT-V、DiVT-S、DiVT-M 分别使用 ViT-Base、Swin-T、MobileViT-S。采用论文损失后,三者的平均 HTER 为 12.11%、9.12%、7.07%,都低于 DiVT-ResNet 的 17.25%;这是表中四组测试的比较,不能单独归因于注意力机制。
- MobileViT(DiVT-M) 的平均 HTER/AUC 最佳(7.07%/97.34%),但 O&M&I → C 这一组由 DiVT-S 领先。它同时保留局部卷积与全域关系;在后面的计算资源表中,参数量也最少。
- ViT-Base 在这三种 Transformer 中的平均表现最差。作者推测可能与局部模式建模及 85.8M 参数所需的训练数据量有关。
- 换成 ViT-Tiny 后,平均 HTER 由 12.11% 降至 11.47%,支持模型大小可能是因素之一,但还不足以单独证明原因。
MobileViT 的成功也再次印证一件事:卷积不是没用,而是应该在对的地方出现。
Loss 组合的效益
接著作者测试了我们方法中两个核心损失函数的搭配组合(DiC loss 与 DiA loss),分别比较单独使用、都不使用、与同时使用的效果。
观察发现:
- DiA(分类损失)是主要贡献者,单独加入时,平均 AUC 比二元分类基线高约 3.7 个百分点。
- DiC(拉近真脸) 加在 DiA 之上,平均 AUC 再提高约 1.3 个百分点;单独使用 DiC 并非每组都有改善。
- 两者搭配时平均效果最佳,但个别场景的单项指标仍有例外,例如 O&C&I → M 的 HTER 以单独 DiA 较低。
改变分类逻辑会更好吗?
作者也在保留 DiC 损失的条件下,探讨分类任务本身的设计是否影响结果。除了二元分类(real vs fake)之外,另外测试了:
- 按 domain 分类(real + 各 domain 的 spoof)
- 按 attack type 分类(real + 各种攻击类型)
- domain 与攻击的组合分类
四组平均而言,attack type 分类效果最好;但 I&C&M → O 的 HTER/AUC 由按 domain 分类领先。作者推测组合分类可能因类别切得太细而过拟合,表格本身没有测量过拟合。
这支持 DiVT 在这组实验中「统一真脸、拆分假脸」的分类设计;各场景的优势并不一致。
如果加上 adversarial loss?
有些人可能会问,那为什么不加上 SSDG 或 SSAN 的 adversarial loss?
实验发现,加上 adversarial loss 后有三组 HTER 变差,但 O&M&I → C 从 8.67% 改善为 7.33%;论文没有做显著性检定。作者推测可能是:
- DiVT 的特征空间已经足够稳定,无需额外竞争
- Transformer 在 adversarial learning 上的最佳实践仍未成熟
计算资源比较
最后,作者比较了各模型的参数量与 FLOPs。DiVT-M 在表中的平均 HTER/AUC 最佳,参数量也最少(4.94M),FLOPs 为 2.00G。
虽然 ViT-Tiny FLOPs 较少(1.26G),但参数量较多(5.52M),在这四组测试的平均效果也不如 MobileViT。这显示:真正适合 DG-FAS 的架构不只是轻,更要会抓住空间规律
结论
这类主打 domain generalization 的方法,早已不只是「模型表现」的问题,而是「方法论」的选择。
这篇论文没有走进对抗式训练的复杂棋局,也没有依赖合成数据来补强视觉线索。相反地,它选择把空间拉直、把角色明确地摆进特征坐标系里,形成一种近乎几何式的抽象处理。
在技术层面之外,这种设计思路也透露出一种对于现实部署的敏感度:
不是堆砌多模态,也不是诉诸重架构。而是找到刚好足够、又能保持节奏的那个临界点。
未来的挑战会更像是边界问题的排列组合,domain 与 attack 之间的交叉维度只会更加复杂。而这类简约清晰的表示策略,或许会是我们重新整理问题空间的起点。