CelebA-Spoof: Large-Scale Face Anti-Spoofing Dataset with Rich Annotations
- 发表版本
- ECCV 2020会议
- arXiv 首次提交
- arXiv:2007.12342
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{faceantispoofingcelebaspoof2020,
title = {{CelebA-Spoof: Large-Scale Face Anti-Spoofing Dataset with Rich Annotations}},
author = {Yuanhan Zhang and Zhenfei Yin and Yidong Li and Guojun Yin and Junjie Yan and Jing Shao and Ziwei Liu},
year = {2020},
eprint = {2007.12342},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2007.12342}
}
Face Anti-Spoofing 这几年已经成为计算机视觉界的熟面孔了,从手机解锁、门禁扫脸、到移动支付,几乎所有人脸互动系统都无法逃避“这张脸到底是不是活的”这个灵魂拷问。
但在方法一个接一个出现的同时,有个关键问题却悄悄浮出水面:
数据集不够用了。
定义问题
大部分现有的 FAS 数据集其实早就出现三个明显的问题:
- 缺乏多样性(Lack of Diversity):人脸数据不够多、场景单一、传感器数量少,常见数据集通常只有不到 2000 人、4 个拍摄场景、10 台以内的设备。这样的数据怎么可能支撑得起跨场景部署?
- 标注简略(Lack of Annotations):几乎只标注“Live”或“Spoof”,顶多再标一下 spoof 类型,但完全没交代光照条件、背景环境,模型根本无从学起那些“非面部但高度相关”的真实线索。
- 性能已经天花板了(Performance Saturation):在某些数据集上(例如 SiW、OULU-NPU),ResNet-18 的 recall 在 FPR=0.5% 时居然已经达到 100.0% 和 99.0%。也就是说:这些特定测试条件下的成绩已经接近饱和,区分模型的空间变小了。
数据规模与多样性会限制训练和评估;部分条件下接近满分的结果,也让新方法更难比较。这就像让大学生做小学数学题:如果大家都快拿满分,还能比出什么?
这篇论文的作者接下了这个问题:让我们来吧。
解决问题
为了解决上述问题,这篇论文的作者提出了 CelebA-Spoof。
在当年可以个号称“史上最大、标注最密、场景最多元”的面部活体检测数据集。
先来看看它的规格:
- 数据规模超大:共收录 10,177 个不同身份、625,537 张图像。
- 场景与设备丰富:来自超过 10 种不同的输入设备(手机、平板、计算机等),拍摄自 8 个 session(包含 2 种环境 × 4 种光照条件)。
- 标注更多属性:Live 图像沿用 CelebA 的 40 种面部属性;Spoof 图像另标注:
- Spoof 类型(例如印刷、屏幕播放等)
- 光照条件(例如正常、强光、背光、暗光)
- 拍摄环境(室内或室外)
数据集总共定义 43 种属性,可从不同面向探讨 FAS,各张图的有效属性标注取决于其内容。
CelebA-Spoof Dataset
CelebA-Spoof 是当年规模最大且标注最细致的 FAS 数据集,其数据建构过程不仅讲究数量,更在多样性与语义层面下足功夫。
作者并未直接用现成数据凑数,而是从 Live 与 Spoof 的来源开始,一步步构建出符合真实应用情境的高质量数据集。
CelebA-Spoof 的 Live 图像来源为 CelebA,这是一个原本为面部属性预测设计的大型人脸数据集。原始 CelebA 共提供 202,599 张图像,作者随后手动剔除了其中 347 张海报、广告或画像等非真实人脸图像,以减少 Live/Spoof 标签混淆。这里的 Live 是数据集类别。
为了建立 spoof 图像,作者从筛选过的 live 图中,再根据每个 subject 的面部尺寸进行排序,最多选取前 k=20 张作为 spoof 拍摄的素材来源。这样一来,即可在保证样本多样性的同时,维持 spoof 数据在不同 subject 间的均衡分布。最终共选出 87,926 张图像作为 spoof 制作依据。
接着,作者动员了 8 位数据采集者与 2 位标注者,制定出一套严谨的收集流程,确保 spoof 图在角度、形状与拍摄装置上具备足够的变异性。
他们规划了三个收集维度,如下图所示:
- 角度:拍摄仿冒媒介时,调整媒介与镜头的相对角度,包括垂直、向下、向上、向前和向后五种方向,倾斜角介于 -30°~+30°。
- 形状:模拟各类实体或数字媒介的播放方式,包括一般平面呈现、内折、外折与转角等情境。
- 装置:共动用 24 种不同传感器,横跨 PC、平板、手机与摄像机等四大类别,分辨率从 12MP 到 40MP 不等。
除了图像本身,CelebA-Spoof 也同时整理了每张图片的语义信息。
Live 图像继承 CelebA 原始的 40 种面部属性标注,如性别、发型、有无眼镜、是否微笑等,这些属性原本并非为活体检测设计,在这里成为模型可学习的辅助线索。
对于 spoof 图像,则加入三种语义属性:
- Spoof Type(攻击媒介类型)
- Illumination(光照条件)
- Environment(拍摄环境)。
光照与环境两个维度共同定义出 CelebA-Spoof 的 8 组 session(illumination × environment 组合)。户外 spoof 图像扩展了采集条件;其他 FAS 数据集此前已有户外攻击样本。示例如下:
最后,作者也统计了 CelebA-Spoof 的数据分布:
- 总图像数:达 625,537 张,且 live 与 spoof 比例约为 1:3。
- 面部框尺寸:主要集中在 0.01M 到 0.1M 像素之间,接近手机拍摄条件。
- 训练/验证/测试:以 8:1:1 分割,并严格保证三组数据中 subject 完全不重叠,避免模型学到“这张脸在哪看过”这种作弊线索。
- 光线条件分布:除了正常照明外,还包括 12% 的黑暗(dark)、11% 的背光(back light)与 19% 的强光(strong)。
- 攻击类型分布平衡:让模型能在各种 spoof 类型下学到一致性特征。
下表是 CelebA-Spoof 和其他数据集的综合比较:
模型架构
除了数据集之外,作者也提出了一个模型架构来测试这个数据集,叫做:
- AENet(Auxiliary Information Embedding Network)。
从上图中可以看出,AENet 并非典型深度网络架构中常见的堆叠式设计,而是通过主干特征共享 + 双分支任务解耦的方式,整合 CelebA-Spoof 数据集所提供的多层次标注信息。
我们把结构拆解一下:
AENet 的主体由一个预训练 CNN backbone 所构成,用以提取输入图像中的中高层语义特征。在此基础上,模型延伸出三个功能模块:
-
主分类分支(绿色):负责预测图像为 Live 或 Spoof,采用传统 softmax 分类器。
-
语义预测分支(橘色):由三层全连接层组成,针对以下三种语义信息进行预测:
- :面部属性(face attributes,适用于 live 图像)
- :Spoof 类型(例如打印、屏幕播放)
- :光照条件(例如暗光、背光)
根据语义逻辑,模型应学会以下行为模式:
- spoof 图像的 目标设为全零;这是辅助任务的标签编码
- live 图像的 与 目标分别为“No attack”和“No illumination”,即各自类别向量的第一类;后者表示 spoof 光照标签不适用,并非真实照片没有光线
-
几何预测分支(蓝色):通过两层 卷积后接上采样(Upsample),输出尺寸为 ,分别产出:
- :深度图(Depth Map)
- :反射图(Reflection Map)
几何信号特别针对 spoof 特征进行建模,例如:
- spoof 的深度监督目标设为全零,以区别于 live 的伪深度图;实际 3D 面具仍有深度
- 反射图提供另一种重拍摄线索
上述三分支设计,作者定义了两种损失函数,分别对应语义与几何的多任务学习情境。
-
语义学习损失():
- :二元分类任务损失(softmax)
- :面部属性预测(binary cross entropy)
- :spoof 类型与光照条件(softmax)
- 超参数设置为:、、
这些权重由作者依实验设置,用来平衡各损失的贡献;论文没有将它们解释为属性可信度的排序。
-
几何学习损失():
- , :分别为深度与反射 supervision 的 MSE(mean squared error)
- 权重均设为
在 ground truth 生成方面,作者严谨定义了 supervision 逻辑:
-
Live 图像的深度图由 PRNet 预测产出(如下补充信息 1)
-
Spoof 图像的反射图来自过去文献的方法(如下补充信息 2)
-
spoof 的 depth 与 live 的 reflection 监督目标按设计设为全零
评估指标
不同论文用不同指标,读者们看起来很杂乱。
为此作者统一使用以下评估指标:
- APCER:Spoof 被误判为 Live 的比例
- BPCER:Live 被误判为 Spoof 的比例
- ACER:APCER 与 BPCER 的平均值
- EER:等错误率(错判比例相等时的交叉点)
- HTER:Half Total Error Rate(常用于跨数据集测试)
- 固定 FPR 下的 Recall:在指定攻击误接受率(如 1%、0.5%、0.1%)下,Live 样本被正确接受的召回率
- AUC:ROC 曲线下的面积(整体分类能力指标)
作者在 intra-dataset(CelebA-Spoof 自身)报告固定 FPR 下的 Recall、AUC、EER、APCER、BPCER 与 ACER;cross-dataset 的 CASIA-MFSD 比较则报告 HTER。论文附录另定义固定 Recall 下的 FPR,不能与主表的固定 FPR 下 Recall 混淆。
讨论
消融实验
如上表,作者实验比较了三种模型:
- Baseline:只用 Live/Spoof 的 binary supervision
- :只使用语义 supervision(无分类任务)
- :同时学分类与语义信息
-
问题一:语义信息能单独分类吗?
实验结果显示:
- 的 ACER 为 4.17%,高于 baseline 的 3.8%;但 EER 与 BPCER 略低,不能说所有指标都较差
- 的 ACER 降至 2.85%,显示语义信息在这组实验中作为辅助监督有效
-
问题二:哪些语义信息最重要?
作者进一步分析了单一语义维度的影响:
- 拿掉 Spoof Type() → APCER 由 4.62% 升至 5.31%
- 拿掉 Face Attribute() → BPCER 由 1.09% 升至 1.37%
在这组消融中, 对 spoof 错误率、 对 live 错误率各有帮助。
除了语义信息之外,作者也针对几何信息进行了消融实验,分别测试了:
这个部分的 ACER 显示,单靠深度图分类的 为 4.51%,高于 baseline 的 3.8%;结合分类与几何监督的 则降至 3.26%。不同指标不一定都同步改善。
最后,作者探讨了不同的几何信息对分类的影响:
在上图 (a) 中,Replay 类别使用 (保留反射图)的 APCER 较低;这与论文认为反射线索对回放攻击有用的解读一致。
相反地,在 Print 类别,(保留深度图)对 Poster 的 APCER 最低,A4 与 Photo 的差异较小;这支持深度线索在部分打印攻击下有用。
再来看上图 (b) 的部分显示了一个很重要的观察:depth map 对 illumination 非常敏感。
以 A4 攻击为例,排除暗光后,只保留正常、强光与背光样本时, 的 APCER 明显降低;这组比较显示暗光样本会影响该模型在 A4 上的表现,不能把其余三种条件都称为“光线稳定”。
原论文将差异归因于深度监督对暗光敏感;这张图没有单独给出所有暗光样本的错误率。
整体来说,这两组消融显示语义或几何信息单独使用都不能稳定取代分类 supervision;两者作为辅助任务时,可分别改善表中的部分指标。
结论
CelebA-Spoof 在规模和标注上推进了 FAS 数据集;它把语义、几何和采集情境放在同一个框架中,便于比较二分类任务之外的辅助监督。
它也成为后续预训练和基准测试可用的起点。不过 Live 图像来自 CelebA,Spoof 图像是重新拍摄的攻击媒介;模型可能同时学到来源与采集流程差异。这个判断来自数据集的构建方式,跨来源泛化仍需另外验证。