返回论文笔记资料库
SIBGRAPI Workshops 2025人脸防伪论文笔记

Unbiased DG-FAS

考卷先收起来

原始论文

An Unbiased Benchmark for Domain Generalization Face Anti-Spoofing

论文作者

Raul Almeida · Bruno Kamarowski · Bernardo Biesseck · Luiz Coelho · Roger Granada · David Menotti

发表版本
SIBGRAPI Workshops 2025研讨会(Workshop)
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@inproceedings{faceantispoofingunbiaseddgfas2025,
  title = {{An Unbiased Benchmark for Domain Generalization Face Anti-Spoofing}},
  author = {Raul Almeida and Bruno Kamarowski and Bernardo Biesseck and Luiz Coelho and Roger Granada and David Menotti},
  year = {2025},
  booktitle = {SIBGRAPI Workshops},
  url = {https://sol.sbc.org.br/index.php/sibgrapi_estendido/article/view/38278}
}
本页内容

跨数据集的人脸防伪,近几年最常见的考法是 OCIM。四个数据集 OULU-NPU(O)、CASIA-FASD(C)、Replay-Attack(I)、MSU-MFSD(M),每次拿三个训练、一个测试,例如 OCI→M。从 2019 年到 2025 年,这组测试的 HTER 从将近 18% 一路降到 1% 以下。

巴西巴拉那联邦大学的 Raul Almeida、David Menotti 等人,和巴西身份验证公司 unico 的研究者一起,回头看这些数字是怎么量出来的。他们的答案写在标题里,现行的考法有偏差。

这是一篇进行中研究的短论文,只有六页,实验规模不大,但问题问得很直接。

定义问题

一般的机器学习流程,数据分三份。训练集拿来更新权重,验证集拿来决定什么时候停、选哪一组超参数,测试集等一切都定下来了才看一次。

OCIM 只有两份。三个源数据集拿来训练,第四个数据集同时充当验证集和测试集。训练时,每跑完一个 epoch 就在测试集上评估一次,最后报告表现最好的那个 epoch。作者指出,这就等于在训练过程中一直偷看考卷。

为什么这件事重要?因为部署时根本没有考卷。模型上线后遇到的是新手机、新光线、新攻击,没有人会先给你这批数据的标签,让你挑出最适合它的那一个 epoch。在测试集上挑出来的成绩,会比真正能拿到的成绩好看。

好看多少?我们用一个极端的情况算算看。假设模型每个 epoch 的真实错误率都固定是 10%,完全没有进步;测试集有 40 段真人、80 段攻击,每次量 HTER 都会因为抽样而上下跳。把同样的实验重复 2,000 次,看「从 N 个 epoch 里挑最低的那个」平均会报出多少:

python
import numpy as np

rng = np.random.default_rng(0)
n_live, n_spoof, true_error, trials = 40, 80, 0.10, 2000

def measured_hter(epochs):
    apcer = rng.binomial(n_spoof, true_error, (trials, epochs)) / n_spoof
    bpcer = rng.binomial(n_live, true_error, (trials, epochs)) / n_live
    return (apcer + bpcer) / 2

for epochs in (1, 10, 30, 100):
    best = measured_hter(epochs).min(axis=1)        # 每次实验挑最低的那个 epoch
    print(f"看 {epochs:>3} 个 epoch,挑最低:平均 {best.mean():.1%}")
text
看   1 个 epoch,挑最低:平均 9.9%
看  10 个 epoch,挑最低:平均 5.8%
看  30 个 epoch,挑最低:平均 4.6%
看 100 个 epoch,挑最低:平均 3.6%

模型一点都没变,只是在测试集上看的次数越多,挑出来的数字就越漂亮。看 100 次,10% 的模型可以报出 3.6%。真实的训练过程里,各个 epoch 的模型本来就有好有坏,挑最好的那一个不全是运气;但只要挑的依据是测试集,这一份运气就会混进报告的数字里,事后也分不出来。

作者也提到,先前有研究注意到这个问题,但都只做了部分修补。例如 SA-FAS 另外报告最后 10 个 epoch 的平均,有的论文加报 TPR@FPR 这类更贴近部署的指标。这些做法让数字更接近实际,可是测试集仍然在训练过程中被看过。作者说,就他们所知,这是第一篇专门处理这个偏差、并提出替代考法的研究。

解决问题

做法只有一处改动,多加一个数据集。

这第五个数据集有两种用法:

  • 加进来当验证集:OCIM 照旧训练与测试,但每个 epoch 改在新的验证集上评估,用它挑出最好的 epoch,训练结束后才在原本的测试集上算一次 HTER。
  • 加进来当测试集:原本的第四个数据集退回去当验证集,最终成绩改在这个新数据集上量。
原论文 Figure 2:上下两张流程图。上图是现行考法,训练之后直接进入红框的 Test,判断是不是目前最好,是就更新最佳成绩,最后一个 epoch 结束后报告最佳成绩;虚线注明每个 epoch 都看得到测试集。下图是作者提出的考法,循环里改成 Validation,训练结束后加载最好的那一轮模型,才进入绿框的 Test 并报告测试成绩;虚线注明训练过程中看不到测试集。
原论文 Figure 2(Almeida 等人),取自 PDF 第 2 页,学术引用。

两张流程图的循环长得几乎一样,差别在循环里负责「挑最好」的那一格。上面是红框的 Test,每跑完一个 epoch 就看一次;下面换成 Validation,Test 移到循环外面,最后只跑一次。

两种用法都让测试集在训练过程中完全不出现。作者比较推荐第一种,因为大家还是想在 O、C、I、M 这四个熟悉的数据集上看成绩。

第五个数据集怎么挑?作者考虑了四件事:数据量、攻击类型、受试者人数、样本变化。最后选了两个候选:

数据集年份受试者真人攻击攻击类型
CASIA201250150450打印、重放
Replay2012502001,000打印、重放
MSU20143570210打印、重放
Oulu2017557202,880打印、重放
SiW20181651,3203,300打印、重放
Rose-Youtu2018208971,601打印、重放、面具

SiW 和 Rose-Youtu 的规模和 OULU-NPU 相当,年份也比较新,光线、环境与攻击都有变化,SiW 另有姿态和表情的变化。Rose-Youtu 有纸面具攻击,作者把它去掉了,让测试仍然只有打印和重放,不混进新的攻击类型。

模型方面,作者选了四个:ImageNet 预训练的 ResNet-18 与 ResNet-50 作为基准,再加上两个有公开代码、而且重跑结果接近原论文的方法 SA-FAS 和 GAC-FAS。指标沿用 HTER 与 AUC。

讨论

先重跑一次原本的考法

作者先用原本的考法,也就是测试集兼任验证集,重跑 SA-FAS 和 GAC-FAS,连 GAC-FAS 作者提供的权重也拿来测试。即使用的是原始代码和同样的数据,数字还是和原论文有出入。以 OCI→M 为例,GAC-FAS 原论文是 5.00%,作者提供的权重也是 5.00%,自己重新训练是 7.92%;在 OMI→C 上,三个数字分别是 8.20%、10.00%、12.22%。

同一份代码,重新训练一次,就可能差上好几个百分点。后面的比较,作者都拿自己重跑的数字对比自己重跑的数字。

换成验证集来挑

主要的结果在 Table III。下面摘出 SiW 当验证集的情况。箭头左边是原本的考法,右边是改用 SiW 验证,单位是 HTER(%):

测试数据集SA-FASGAC-FAS
OULU-NPU12.13 → 13.8110.52 → 7.91
Replay-Attack9.00 → 21.505.00 → 8.55
CASIA-FASD14.00 → 26.6712.22 → 9.14
MSU-MFSD11.43 → 11.437.92 → 7.31

SA-FAS 在 Replay-Attack 上从 9.00% 升到 21.50%,在 CASIA-FASD 上从 14.00% 升到 26.67%,大约都翻倍;MSU-MFSD 上没变。

GAC-FAS 的情况正好相反,四组里有三组变好了,ICM→O 的 7.91% 甚至低于它原论文报告的 8.60%。作者把这一点列为意外的发现,没有进一步分析原因。至少可以确定,换了考法之后,同一个方法的数字不一定往同一个方向走。

两个 ResNet 基准也各走各的。ResNet-18 改用 SiW 验证之后,四组全部变差,例如 OCM→I 从 31.50% 升到 37.50%;ResNet-50 则有两组变好,OCI→M 从 32.08% 降到 25.42%,ICM→O 从 33.33% 降到 32.78%,作者把它和 GAC-FAS 一起列为变好的例子。

验证集也有挑法

把 Rose-Youtu 当验证集时,所有模型普遍都更差。例如 SA-FAS 在 OMI→C 上,用 SiW 验证是 26.67%,用 Rose-Youtu 验证是 40.67%。把 Rose-Youtu 当测试集时也一样,它比 SiW 难得多。以 O、C、I 训练、MSU-MFSD 当验证集为例,最后在 SiW 上测试,SA-FAS 和 GAC-FAS 的 HTER 是 10.05% 与 9.58%;换到 Rose-Youtu 上测试,变成 25.18% 与 32.74%。同样两个模型,在一个新数据集上还算可用,换到另一个,HTER 就升到两成五以上。

作者另外看了验证集上的 EER 和测试集上的 HTER。一般来说,验证成绩会比测试成绩好,作者说这和机器学习文献的经验一致。用 Rose-Youtu 验证的实验却呈现相反的趋势,作者认为可能是验证数据和测试数据之间存在领域差距,并由此推测,SiW 的领域比 Rose-Youtu 更接近四个测试数据集。

这带出一个新问题。测试集收起来了,但选哪一个数据集当验证集,也会改变挑出来的 epoch 和最后的成绩。作者的建议是两个都试;如果只能做一组,就用 SiW 当验证集,跑 ICM→S→O、OCM→S→I、OCI→S→M、OMI→S→C 这四组。

拿到野外的数据上

最后,作者把在 OCIM 上训练的 SA-FAS 和 GAC-FAS,拿到 WFAS 上测试。WFAS 是通过网络爬取建立的数据集,有 1,383,246 张图像、469,920 个人、17 种攻击,大约是 SiW 的 300 倍大。它的测试集标签不公开,只能通过竞赛平台拿到 APCER、BPCER 与 ACER。

结果两个方法的 ACER 都落在 28.62% 到 32.54% 之间,各自赢两组。WFAS 竞赛的冠军是 2.82%。作者也让 GAC-FAS 直接在 WFAS 的训练集上训练,取最后一个 iteration 的模型,ACER 是 21.51%。

WFAS 有很多 OCIM 没有的攻击类型,这组测试同时考了跨数据集和跨攻击类型,本来就不是这些方法设计时要解的题目。不过,部署时遇到的正是这种情况。

结论

这篇论文要解决的问题很清楚。OCIM 的惯例让测试集在训练过程中被反复查看,报告的数字比部署时实际能拿到的好看。作者的修正也很简单,多一个数据集当验证集,测试集等训练结束才看。

从实验看,这个偏差有多大,取决于方法。SA-FAS 在两组测试上的 HTER 大约翻倍,GAC-FAS 反而大多变好。这让「谁比较好」的排名本身也可能跟着考法改变。验证集的挑法也会影响结果,SiW 和 Rose-Youtu 给出的数字相差很多。

局限也要一起看。这是一篇进行中的研究,只重跑了两个 DG 方法和两个 ResNet 基准,论文没有交代每组实验跑了几个随机种子;重跑出来的数字本身就和原论文有出入。作者在论文里附上了代码的位置,并说明会在发表后公开。

要把模型放到线上的人,倒是可以直接照这个做法改自己的评估流程。挑 epoch 和阈值时,用一份测试集以外的数据,测试集留到最后再打开。