返回论文笔记资料库
arXiv 2020ECCV 2020人脸防伪论文笔记

CelebA-Spoof

大规模活体检测试炼

原始论文

CelebA-Spoof: Large-Scale Face Anti-Spoofing Dataset with Rich Annotations

论文作者

Yuanhan Zhang · Zhenfei Yin · Yidong Li …

查看全部 7 位作者

Yuanhan Zhang · Zhenfei Yin · Yidong Li · Guojun Yin · Junjie Yan · Jing Shao · Ziwei Liu

发表版本
ECCV 2020会议
arXiv 首次提交
arXiv:2007.12342
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{faceantispoofingcelebaspoof2020,
  title = {{CelebA-Spoof: Large-Scale Face Anti-Spoofing Dataset with Rich Annotations}},
  author = {Yuanhan Zhang and Zhenfei Yin and Yidong Li and Guojun Yin and Junjie Yan and Jing Shao and Ziwei Liu},
  year = {2020},
  eprint = {2007.12342},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2007.12342}
}
本页内容

Face Anti-Spoofing 这几年已经成为计算机视觉界的熟面孔了,从手机解锁、门禁扫脸、到移动支付,几乎所有人脸互动系统都无法逃避“这张脸到底是不是活的”这个灵魂拷问。

但在方法一个接一个出现的同时,有个关键问题却悄悄浮出水面:

数据集不够用了。


定义问题

大部分现有的 FAS 数据集其实早就出现三个明显的问题:

  1. 缺乏多样性(Lack of Diversity):人脸数据不够多、场景单一、传感器数量少,常见数据集通常只有不到 2000 人、4 个拍摄场景、10 台以内的设备。这样的数据怎么可能支撑得起跨场景部署?
  2. 标注简略(Lack of Annotations):几乎只标注“Live”或“Spoof”,顶多再标一下 spoof 类型,但完全没交代光照条件、背景环境,模型根本无从学起那些“非面部但高度相关”的真实线索。
  3. 性能已经天花板了(Performance Saturation):在某些数据集上(例如 SiW、OULU-NPU),ResNet-18 的 recall 在 FPR=0.5% 时居然已经达到 100.0% 和 99.0%。也就是说:这些特定测试条件下的成绩已经接近饱和,区分模型的空间变小了。

数据规模与多样性会限制训练和评估;部分条件下接近满分的结果,也让新方法更难比较。这就像让大学生做小学数学题:如果大家都快拿满分,还能比出什么?

这篇论文的作者接下了这个问题:让我们来吧。

解决问题

为了解决上述问题,这篇论文的作者提出了 CelebA-Spoof。

在当年可以个号称“史上最大、标注最密、场景最多元”的面部活体检测数据集。

先来看看它的规格:

  • 数据规模超大:共收录 10,177 个不同身份、625,537 张图像。
  • 场景与设备丰富:来自超过 10 种不同的输入设备(手机、平板、计算机等),拍摄自 8 个 session(包含 2 种环境 × 4 种光照条件)。
  • 标注更多属性:Live 图像沿用 CelebA 的 40 种面部属性;Spoof 图像另标注:
    • Spoof 类型(例如印刷、屏幕播放等)
    • 光照条件(例如正常、强光、背光、暗光)
    • 拍摄环境(室内或室外)

数据集总共定义 43 种属性,可从不同面向探讨 FAS,各张图的有效属性标注取决于其内容。

CelebA-Spoof Dataset

CelebA-Spoof 是当年规模最大且标注最细致的 FAS 数据集,其数据建构过程不仅讲究数量,更在多样性与语义层面下足功夫。

作者并未直接用现成数据凑数,而是从 Live 与 Spoof 的来源开始,一步步构建出符合真实应用情境的高质量数据集。

CelebA-Spoof 的 Live 图像来源为 CelebA,这是一个原本为面部属性预测设计的大型人脸数据集。原始 CelebA 共提供 202,599 张图像,作者随后手动剔除了其中 347 张海报、广告或画像等非真实人脸图像,以减少 Live/Spoof 标签混淆。这里的 Live 是数据集类别。

为了建立 spoof 图像,作者从筛选过的 live 图中,再根据每个 subject 的面部尺寸进行排序,最多选取前 k=20 张作为 spoof 拍摄的素材来源。这样一来,即可在保证样本多样性的同时,维持 spoof 数据在不同 subject 间的均衡分布。最终共选出 87,926 张图像作为 spoof 制作依据。

接着,作者动员了 8 位数据采集者与 2 位标注者,制定出一套严谨的收集流程,确保 spoof 图在角度、形状与拍摄装置上具备足够的变异性。

他们规划了三个收集维度,如下图所示:

  • 角度:拍摄仿冒媒介时,调整媒介与镜头的相对角度,包括垂直、向下、向上、向前和向后五种方向,倾斜角介于 -30°~+30°。
  • 形状:模拟各类实体或数字媒介的播放方式,包括一般平面呈现、内折、外折与转角等情境。
  • 装置:共动用 24 种不同传感器,横跨 PC、平板、手机与摄像机等四大类别,分辨率从 12MP 到 40MP 不等。

除了图像本身,CelebA-Spoof 也同时整理了每张图片的语义信息。

Live 图像继承 CelebA 原始的 40 种面部属性标注,如性别、发型、有无眼镜、是否微笑等,这些属性原本并非为活体检测设计,在这里成为模型可学习的辅助线索。

对于 spoof 图像,则加入三种语义属性:

  • Spoof Type(攻击媒介类型)
  • Illumination(光照条件)
  • Environment(拍摄环境)。

光照与环境两个维度共同定义出 CelebA-Spoof 的 8 组 session(illumination × environment 组合)。户外 spoof 图像扩展了采集条件;其他 FAS 数据集此前已有户外攻击样本。示例如下:

最后,作者也统计了 CelebA-Spoof 的数据分布:

  • 总图像数:达 625,537 张,且 live 与 spoof 比例约为 1:3。
  • 面部框尺寸:主要集中在 0.01M 到 0.1M 像素之间,接近手机拍摄条件。
  • 训练/验证/测试:以 8:1:1 分割,并严格保证三组数据中 subject 完全不重叠,避免模型学到“这张脸在哪看过”这种作弊线索。
  • 光线条件分布:除了正常照明外,还包括 12% 的黑暗(dark)、11% 的背光(back light)与 19% 的强光(strong)。
  • 攻击类型分布平衡:让模型能在各种 spoof 类型下学到一致性特征。

下表是 CelebA-Spoof 和其他数据集的综合比较:

模型架构

除了数据集之外,作者也提出了一个模型架构来测试这个数据集,叫做:

  • AENet(Auxiliary Information Embedding Network)。

从上图中可以看出,AENet 并非典型深度网络架构中常见的堆叠式设计,而是通过主干特征共享 + 双分支任务解耦的方式,整合 CelebA-Spoof 数据集所提供的多层次标注信息。

我们把结构拆解一下:

AENet 的主体由一个预训练 CNN backbone 所构成,用以提取输入图像中的中高层语义特征。在此基础上,模型延伸出三个功能模块:

  1. 主分类分支(绿色):负责预测图像为 Live 或 Spoof,采用传统 softmax 分类器。

  2. 语义预测分支(橘色):由三层全连接层组成,针对以下三种语义信息进行预测:

    • SfS_f:面部属性(face attributes,适用于 live 图像)
    • SsS_s:Spoof 类型(例如打印、屏幕播放)
    • SiS_i:光照条件(例如暗光、背光)

    根据语义逻辑,模型应学会以下行为模式:

    • spoof 图像的 SfS_f 目标设为全零;这是辅助任务的标签编码
  • live 图像的 SsS_s 与 SiS_i 目标分别为“No attack”和“No illumination”,即各自类别向量的第一类;后者表示 spoof 光照标签不适用,并非真实照片没有光线
  1. 几何预测分支(蓝色):通过两层 3×33 \times 3 卷积后接上采样(Upsample),输出尺寸为 14×1414 \times 14,分别产出:

    • GdG^d:深度图(Depth Map)
    • GrG^r:反射图(Reflection Map)

    几何信号特别针对 spoof 特征进行建模,例如:

    • spoof 的深度监督目标设为全零,以区别于 live 的伪深度图;实际 3D 面具仍有深度
    • 反射图提供另一种重拍摄线索

上述三分支设计,作者定义了两种损失函数,分别对应语义与几何的多任务学习情境。

  • 语义学习损失(AENetC,S\text{AENet}_{C,S}):

    Lc,s=LC+λfLSf+λsLSs+λiLSiL_{c,s} = L_C + \lambda_f L_{S_f} + \lambda_s L_{S_s} + \lambda_i L_{S_i}
    • LCL_C:二元分类任务损失(softmax)
    • LSfL_{S_f}:面部属性预测(binary cross entropy)
    • LSs,LSiL_{S_s}, L_{S_i}:spoof 类型与光照条件(softmax)
    • 超参数设置为:λf=1\lambda_f = 1、λs=0.1\lambda_s = 0.1、λi=0.01\lambda_i = 0.01

    这些权重由作者依实验设置,用来平衡各损失的贡献;论文没有将它们解释为属性可信度的排序。

  • 几何学习损失(AENetC,G\text{AENet}_{C,G}):

    Lc,g=LC+λdLGd+λrLGrL_{c,g} = L_C + \lambda_d L_{G^d} + \lambda_r L_{G^r}
    • LGdL_{G^d}, LGrL_{G^r}:分别为深度与反射 supervision 的 MSE(mean squared error)
    • 权重均设为 λd=λr=0.1\lambda_d = \lambda_r = 0.1

    在 ground truth 生成方面,作者严谨定义了 supervision 逻辑:

    • Live 图像的深度图由 PRNet 预测产出(如下补充信息 1)

    • Spoof 图像的反射图来自过去文献的方法(如下补充信息 2)

    • spoof 的 depth 与 live 的 reflection 监督目标按设计设为全零


评估指标

不同论文用不同指标,读者们看起来很杂乱。

为此作者统一使用以下评估指标:

  • APCER:Spoof 被误判为 Live 的比例
  • BPCER:Live 被误判为 Spoof 的比例
  • ACER:APCER 与 BPCER 的平均值
  • EER:等错误率(错判比例相等时的交叉点)
  • HTER:Half Total Error Rate(常用于跨数据集测试)
  • 固定 FPR 下的 Recall:在指定攻击误接受率(如 1%、0.5%、0.1%)下,Live 样本被正确接受的召回率
  • AUC:ROC 曲线下的面积(整体分类能力指标)

作者在 intra-dataset(CelebA-Spoof 自身)报告固定 FPR 下的 Recall、AUC、EER、APCER、BPCER 与 ACER;cross-dataset 的 CASIA-MFSD 比较则报告 HTER。论文附录另定义固定 Recall 下的 FPR,不能与主表的固定 FPR 下 Recall 混淆。

讨论

消融实验

如上表,作者实验比较了三种模型:

  1. Baseline:只用 Live/Spoof 的 binary supervision
  2. AENetS\text{AENet}_S:只使用语义 supervision(无分类任务)
  3. AENetC,S\text{AENet}_{C,S}:同时学分类与语义信息
  • 问题一:语义信息能单独分类吗?

    实验结果显示:

    • AENetS\text{AENet}_S 的 ACER 为 4.17%,高于 baseline 的 3.8%;但 EER 与 BPCER 略低,不能说所有指标都较差
    • AENetC,S\text{AENet}_{C,S} 的 ACER 降至 2.85%,显示语义信息在这组实验中作为辅助监督有效
  • 问题二:哪些语义信息最重要?

    作者进一步分析了单一语义维度的影响:

    • 拿掉 Spoof Type(SsS^s) → APCER 由 4.62% 升至 5.31%
    • 拿掉 Face Attribute(SfS^f) → BPCER 由 1.09% 升至 1.37%

    在这组消融中,SsS_s 对 spoof 错误率、SfS_f 对 live 错误率各有帮助。


除了语义信息之外,作者也针对几何信息进行了消融实验,分别测试了:

这个部分的 ACER 显示,单靠深度图分类的 AENetGd\text{AENet}_{G^d} 为 4.51%,高于 baseline 的 3.8%;结合分类与几何监督的 AENetC,G\text{AENet}_{C,G} 则降至 3.26%。不同指标不一定都同步改善。

最后,作者探讨了不同的几何信息对分类的影响:

在上图 (a) 中,Replay 类别使用 w/o Gd\text{w/o } G^d(保留反射图)的 APCER 较低;这与论文认为反射线索对回放攻击有用的解读一致。

相反地,在 Print 类别,w/o Gr\text{w/o } G^r(保留深度图)对 Poster 的 APCER 最低,A4 与 Photo 的差异较小;这支持深度线索在部分打印攻击下有用。

再来看上图 (b) 的部分显示了一个很重要的观察:depth map 对 illumination 非常敏感。

以 A4 攻击为例,排除暗光后,只保留正常、强光与背光样本时,w/o Gr\text{w/o } G^r 的 APCER 明显降低;这组比较显示暗光样本会影响该模型在 A4 上的表现,不能把其余三种条件都称为“光线稳定”。

原论文将差异归因于深度监督对暗光敏感;这张图没有单独给出所有暗光样本的错误率。

整体来说,这两组消融显示语义或几何信息单独使用都不能稳定取代分类 supervision;两者作为辅助任务时,可分别改善表中的部分指标。

结论

CelebA-Spoof 在规模和标注上推进了 FAS 数据集;它把语义、几何和采集情境放在同一个框架中,便于比较二分类任务之外的辅助监督。

它也成为后续预训练和基准测试可用的起点。不过 Live 图像来自 CelebA,Spoof 图像是重新拍摄的攻击媒介;模型可能同时学到来源与采集流程差异。这个判断来自数据集的构建方式,跨来源泛化仍需另外验证。