An Unbiased Benchmark for Domain Generalization Face Anti-Spoofing
- 发表版本
- SIBGRAPI Workshops 2025研讨会(Workshop)
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@inproceedings{faceantispoofingunbiaseddgfas2025,
title = {{An Unbiased Benchmark for Domain Generalization Face Anti-Spoofing}},
author = {Raul Almeida and Bruno Kamarowski and Bernardo Biesseck and Luiz Coelho and Roger Granada and David Menotti},
year = {2025},
booktitle = {SIBGRAPI Workshops},
url = {https://sol.sbc.org.br/index.php/sibgrapi_estendido/article/view/38278}
}
跨数据集的人脸防伪,近几年最常见的考法是 OCIM。四个数据集 OULU-NPU(O)、CASIA-FASD(C)、Replay-Attack(I)、MSU-MFSD(M),每次拿三个训练、一个测试,例如 OCI→M。从 2019 年到 2025 年,这组测试的 HTER 从将近 18% 一路降到 1% 以下。
巴西巴拉那联邦大学的 Raul Almeida、David Menotti 等人,和巴西身份验证公司 unico 的研究者一起,回头看这些数字是怎么量出来的。他们的答案写在标题里,现行的考法有偏差。
这是一篇进行中研究的短论文,只有六页,实验规模不大,但问题问得很直接。
定义问题
一般的机器学习流程,数据分三份。训练集拿来更新权重,验证集拿来决定什么时候停、选哪一组超参数,测试集等一切都定下来了才看一次。
OCIM 只有两份。三个源数据集拿来训练,第四个数据集同时充当验证集和测试集。训练时,每跑完一个 epoch 就在测试集上评估一次,最后报告表现最好的那个 epoch。作者指出,这就等于在训练过程中一直偷看考卷。
为什么这件事重要?因为部署时根本没有考卷。模型上线后遇到的是新手机、新光线、新攻击,没有人会先给你这批数据的标签,让你挑出最适合它的那一个 epoch。在测试集上挑出来的成绩,会比真正能拿到的成绩好看。
好看多少?我们用一个极端的情况算算看。假设模型每个 epoch 的真实错误率都固定是 10%,完全没有进步;测试集有 40 段真人、80 段攻击,每次量 HTER 都会因为抽样而上下跳。把同样的实验重复 2,000 次,看「从 N 个 epoch 里挑最低的那个」平均会报出多少:
import numpy as np
rng = np.random.default_rng(0)
n_live, n_spoof, true_error, trials = 40, 80, 0.10, 2000
def measured_hter(epochs):
apcer = rng.binomial(n_spoof, true_error, (trials, epochs)) / n_spoof
bpcer = rng.binomial(n_live, true_error, (trials, epochs)) / n_live
return (apcer + bpcer) / 2
for epochs in (1, 10, 30, 100):
best = measured_hter(epochs).min(axis=1) # 每次实验挑最低的那个 epoch
print(f"看 {epochs:>3} 个 epoch,挑最低:平均 {best.mean():.1%}")
看 1 个 epoch,挑最低:平均 9.9%
看 10 个 epoch,挑最低:平均 5.8%
看 30 个 epoch,挑最低:平均 4.6%
看 100 个 epoch,挑最低:平均 3.6%
模型一点都没变,只是在测试集上看的次数越多,挑出来的数字就越漂亮。看 100 次,10% 的模型可以报出 3.6%。真实的训练过程里,各个 epoch 的模型本来就有好有坏,挑最好的那一个不全是运气;但只要挑的依据是测试集,这一份运气就会混进报告的数字里,事后也分不出来。
作者也提到,先前有研究注意到这个问题,但都只做了部分修补。例如 SA-FAS 另外报告最后 10 个 epoch 的平均,有的论文加报 TPR@FPR 这类更贴近部署的指标。这些做法让数字更接近实际,可是测试集仍然在训练过程中被看过。作者说,就他们所知,这是第一篇专门处理这个偏差、并提出替代考法的研究。
解决问题
做法只有一处改动,多加一个数据集。
这第五个数据集有两种用法:
- 加进来当验证集:OCIM 照旧训练与测试,但每个 epoch 改在新的验证集上评估,用它挑出最好的 epoch,训练结束后才在原本的测试集上算一次 HTER。
- 加进来当测试集:原本的第四个数据集退回去当验证集,最终成绩改在这个新数据集上量。

两张流程图的循环长得几乎一样,差别在循环里负责「挑最好」的那一格。上面是红框的 Test,每跑完一个 epoch 就看一次;下面换成 Validation,Test 移到循环外面,最后只跑一次。
两种用法都让测试集在训练过程中完全不出现。作者比较推荐第一种,因为大家还是想在 O、C、I、M 这四个熟悉的数据集上看成绩。
第五个数据集怎么挑?作者考虑了四件事:数据量、攻击类型、受试者人数、样本变化。最后选了两个候选:
| 数据集 | 年份 | 受试者 | 真人 | 攻击 | 攻击类型 |
|---|---|---|---|---|---|
| CASIA | 2012 | 50 | 150 | 450 | 打印、重放 |
| Replay | 2012 | 50 | 200 | 1,000 | 打印、重放 |
| MSU | 2014 | 35 | 70 | 210 | 打印、重放 |
| Oulu | 2017 | 55 | 720 | 2,880 | 打印、重放 |
| SiW | 2018 | 165 | 1,320 | 3,300 | 打印、重放 |
| Rose-Youtu | 2018 | 20 | 897 | 1,601 | 打印、重放、面具 |
SiW 和 Rose-Youtu 的规模和 OULU-NPU 相当,年份也比较新,光线、环境与攻击都有变化,SiW 另有姿态和表情的变化。Rose-Youtu 有纸面具攻击,作者把它去掉了,让测试仍然只有打印和重放,不混进新的攻击类型。
模型方面,作者选了四个:ImageNet 预训练的 ResNet-18 与 ResNet-50 作为基准,再加上两个有公开代码、而且重跑结果接近原论文的方法 SA-FAS 和 GAC-FAS。指标沿用 HTER 与 AUC。
讨论
先重跑一次原本的考法
作者先用原本的考法,也就是测试集兼任验证集,重跑 SA-FAS 和 GAC-FAS,连 GAC-FAS 作者提供的权重也拿来测试。即使用的是原始代码和同样的数据,数字还是和原论文有出入。以 OCI→M 为例,GAC-FAS 原论文是 5.00%,作者提供的权重也是 5.00%,自己重新训练是 7.92%;在 OMI→C 上,三个数字分别是 8.20%、10.00%、12.22%。
同一份代码,重新训练一次,就可能差上好几个百分点。后面的比较,作者都拿自己重跑的数字对比自己重跑的数字。
换成验证集来挑
主要的结果在 Table III。下面摘出 SiW 当验证集的情况。箭头左边是原本的考法,右边是改用 SiW 验证,单位是 HTER(%):
| 测试数据集 | SA-FAS | GAC-FAS |
|---|---|---|
| OULU-NPU | 12.13 → 13.81 | 10.52 → 7.91 |
| Replay-Attack | 9.00 → 21.50 | 5.00 → 8.55 |
| CASIA-FASD | 14.00 → 26.67 | 12.22 → 9.14 |
| MSU-MFSD | 11.43 → 11.43 | 7.92 → 7.31 |
SA-FAS 在 Replay-Attack 上从 9.00% 升到 21.50%,在 CASIA-FASD 上从 14.00% 升到 26.67%,大约都翻倍;MSU-MFSD 上没变。
GAC-FAS 的情况正好相反,四组里有三组变好了,ICM→O 的 7.91% 甚至低于它原论文报告的 8.60%。作者把这一点列为意外的发现,没有进一步分析原因。至少可以确定,换了考法之后,同一个方法的数字不一定往同一个方向走。
两个 ResNet 基准也各走各的。ResNet-18 改用 SiW 验证之后,四组全部变差,例如 OCM→I 从 31.50% 升到 37.50%;ResNet-50 则有两组变好,OCI→M 从 32.08% 降到 25.42%,ICM→O 从 33.33% 降到 32.78%,作者把它和 GAC-FAS 一起列为变好的例子。
验证集也有挑法
把 Rose-Youtu 当验证集时,所有模型普遍都更差。例如 SA-FAS 在 OMI→C 上,用 SiW 验证是 26.67%,用 Rose-Youtu 验证是 40.67%。把 Rose-Youtu 当测试集时也一样,它比 SiW 难得多。以 O、C、I 训练、MSU-MFSD 当验证集为例,最后在 SiW 上测试,SA-FAS 和 GAC-FAS 的 HTER 是 10.05% 与 9.58%;换到 Rose-Youtu 上测试,变成 25.18% 与 32.74%。同样两个模型,在一个新数据集上还算可用,换到另一个,HTER 就升到两成五以上。
作者另外看了验证集上的 EER 和测试集上的 HTER。一般来说,验证成绩会比测试成绩好,作者说这和机器学习文献的经验一致。用 Rose-Youtu 验证的实验却呈现相反的趋势,作者认为可能是验证数据和测试数据之间存在领域差距,并由此推测,SiW 的领域比 Rose-Youtu 更接近四个测试数据集。
这带出一个新问题。测试集收起来了,但选哪一个数据集当验证集,也会改变挑出来的 epoch 和最后的成绩。作者的建议是两个都试;如果只能做一组,就用 SiW 当验证集,跑 ICM→S→O、OCM→S→I、OCI→S→M、OMI→S→C 这四组。
拿到野外的数据上
最后,作者把在 OCIM 上训练的 SA-FAS 和 GAC-FAS,拿到 WFAS 上测试。WFAS 是通过网络爬取建立的数据集,有 1,383,246 张图像、469,920 个人、17 种攻击,大约是 SiW 的 300 倍大。它的测试集标签不公开,只能通过竞赛平台拿到 APCER、BPCER 与 ACER。
结果两个方法的 ACER 都落在 28.62% 到 32.54% 之间,各自赢两组。WFAS 竞赛的冠军是 2.82%。作者也让 GAC-FAS 直接在 WFAS 的训练集上训练,取最后一个 iteration 的模型,ACER 是 21.51%。
WFAS 有很多 OCIM 没有的攻击类型,这组测试同时考了跨数据集和跨攻击类型,本来就不是这些方法设计时要解的题目。不过,部署时遇到的正是这种情况。
结论
这篇论文要解决的问题很清楚。OCIM 的惯例让测试集在训练过程中被反复查看,报告的数字比部署时实际能拿到的好看。作者的修正也很简单,多一个数据集当验证集,测试集等训练结束才看。
从实验看,这个偏差有多大,取决于方法。SA-FAS 在两组测试上的 HTER 大约翻倍,GAC-FAS 反而大多变好。这让「谁比较好」的排名本身也可能跟着考法改变。验证集的挑法也会影响结果,SiW 和 Rose-Youtu 给出的数字相差很多。
局限也要一起看。这是一篇进行中的研究,只重跑了两个 DG 方法和两个 ResNet 基准,论文没有交代每组实验跑了几个随机种子;重跑出来的数字本身就和原论文有出入。作者在论文里附上了代码的位置,并说明会在发表后公开。
要把模型放到线上的人,倒是可以直接照这个做法改自己的评估流程。挑 epoch 和阈值时,用一份测试集以外的数据,测试集留到最后再打开。