返回论文笔记资料库
arXiv 2020WACV 2021人脸防伪论文笔记

CeFA

模型的歧视

原始论文

CASIA-SURF CeFA: A Benchmark for Multi-modal Cross-ethnicity Face Anti-spoofing

论文作者

Ajian Li · Zichang Tan · Xuan Li …

查看全部 7 位作者

Ajian Li · Zichang Tan · Xuan Li · Jun Wan · Sergio Escalera · Guodong Guo · Stan Z. Li

发表版本
WACV 2021会议
arXiv 首次提交
arXiv:2003.05136
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{faceantispoofingcefa2020,
  title = {{CASIA-SURF CeFA: A Benchmark for Multi-modal Cross-ethnicity Face Anti-spoofing}},
  author = {Ajian Li and Zichang Tan and Xuan Li and Jun Wan and Sergio Escalera and Guodong Guo and Stan Z. Li},
  year = {2020},
  eprint = {2003.05136},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2003.05136}
}
本页内容

论文题目中的 CASIA-SURF,指的是中国科学院自动化研究所(Institute of Automation, Chinese Academy of Sciences,简称 CASIA)建立的人脸防伪数据集,名为:

CASIA-SURF: A Large-Scale Multi-Modal Benchmark for Face Anti-Spoofing

这个数据集于 2019 年发布,是在当时针对多模态人脸防伪(multi-modal face anti-spoofing)建立的重要数据集之一。

本文提出的 CASIA-SURF CeFA 则是用于研究跨族群偏差的后续数据集。

定义问题

在 FAS 这条路上,大家都在追求「更准、更快、更泛化」的模型。

但有个老问题,大家却避而不谈:族群偏差(Ethnic Bias)。

是人们忘了它,还是一直没有认真衡量?


如果你做过人脸识别,就一定对这个议题不陌生。

人脸识别的公开数据集在人口组成上可能不均衡,研究已观察到不同群体的性能差异。具体差异仍须依数据集、任务与评估条件核对。

要研究这个问题,就需要能覆盖目标群体并提供明确标签与评估协议的数据,而不能只看总体准确率。

这个问题在 FAS 上也一样。

作者用两个现有模型观察跨族群性能差异。根据论文 Table 3:

论文比较的两个 FAS 模型,在中亚群体上的 ACER 分别比东亚群体高 8.2 和 10.7 个百分点。

想想看,如果部署的系统对某个群体更容易做出错误判断,客户会怎么看这个系统,又会怎么看负责部署的工程师?

解决问题

CeFA 数据集

将 CeFA 与其他数据集比较如下表:


CeFA 使用 Intel RealSense 相机采集三模态视频数据,包含 RGB(彩色)、Depth(深度)与 IR(红外线)。每帧分辨率为 1280 × 720,采集帧率为 30 fps。

拍摄时,受试者被要求自然地转动头部,最大偏转角度约为 30 度,模拟实际场景中人脸的自然动态。

数据的前处理流程如下:

  • 人脸检测采用 3DFFA 模型(取代 PRNet)

  • 裁剪出对齐后的人脸区域,并保留三模态对应样本

  • 多模态人脸样本如下图所示:


CeFA 数据集由两个子集组成:2D 攻击子集 与 3D 攻击子集,涵盖三个群体(非洲裔、东亚裔、中亚裔),并设计多样的攻击方式与光照条件。

  • 2D 攻击子集(Print & Replay)

    • 群体人数:
      • 每个群体 500 位受试者,共 1500 人
    • 每位受试者提供的录制:
      • 1 段真实呈现
      • 2 段印刷攻击(室内、室外各一)
      • 1 段视频回放攻击
    • 模态数据:
      • 每段样本同步采集 RGB、Depth、IR 三模态
    • 视频总数:
      • 1500 人 × 4 段视频 = 6000 段录制 × 3 模态 = 18000 条视频流

    论文还提供 2D 子集中受试者的年龄与性别统计信息,为后续公平性分析提供了基础。


  • 3D 攻击子集(3D 面具与硅胶面具)

    此子集包含两类更逼真的立体攻击:

    • 3D 打印面具攻击

      • 受试者数量:99 人
      • 每人样本:
        • 3 种攻击样式:
        • 单独佩戴面具
        • 假发+眼镜
        • 假发不戴眼镜
        • 6 种光照条件:
        • 室外阳光、室外阴影
        • 室内侧光、正面光、逆光、常规光
        • 共 18 段视频 × 3 模态
    • 视频总数:99 × 18 × 3 = 5346 条视频流

    • 硅胶面具攻击

      • 受试者数量:8 人
      • 每人样本:
        • 2 种攻击样式:
        • 假发+眼镜
        • 假发不戴眼镜
        • 4 种光照条件:
        • 室内侧光、正面光、逆光、常规光
        • 共 8 段视频 × 3 模态
    • 视频总数:8 × 8 × 3 = 192 条视频流(原论文段落误写 196;Table 1 与总数 23,538 均采用 192)

    这些数量按 RGB、Depth、IR 三条同步视频流分别计数;18,000 + 5,346 + 192 = 23,538,并非 23,538 次独立攻击。3D 子集相对较小,但其面具与拍摄条件有助于检验模型泛化。

评估协议

为了系统性地评估模型在不同场景下的泛化能力,CeFA 为 2D 子集设计了四种协议,涵盖跨族群、跨攻击类型、跨模态及其组合;3D 攻击样本也进入各协议的测试集。

下表为每个协议的具体配置:

  • Protocol 1: Cross-ethnicity

    此协议针对许多 PAD 数据集缺少明确族群标签与跨群体测试设置的问题,设计用以评估模型在面对未见过群体时的泛化能力。

    作法为选择其中一个群体的受试者进行训练与验证,剩余两个群体的数据作为测试集,共构成三种不同的实验配置。

    此设置模拟模型在一个群体上开发、再用于其他群体时可能遇到的分布变化。


  • Protocol 2: Cross-PAI

    此协议针对呈现攻击工具(Presentation Attack Instrument, PAI)在攻击形式上的多样性与不可预测性,评估模型在面对未知攻击样式时的稳健性。

    训练与验证阶段仅使用部分攻击类型进行建模,测试阶段则使用未见过的攻击手法,观察模型是否能识别出不同类型的假脸攻击。


  • Protocol 3: Cross-modality

    此协议设计用以探索模型在模态变化下的泛化能力。在训练阶段仅使用一种模态(RGB、Depth 或 IR)进行学习,测试阶段则使用剩下的两种模态进行评估。

    此设置直接检验训练模态与测试模态不同时的迁移表现;它并非在推理时融合不完整的多模态输入。


  • Protocol 4: Cross-ethnicity & Cross-PAI

    这是四种协议中条件最复杂的一种,结合 Protocol 1 与 Protocol 2 的条件,测试集同时包含未知群体与未知攻击类型。

    此设置模拟同时遇到未见群体与未见攻击的部署情境,即模型在面对从未见过的群体样貌与攻击手法时,是否仍具备基本的识别能力。此协议可以衡量模型在该基准的双重转移条件下的错误率与群体差异。

模型架构

针对 CeFA 数据集,本文提出的模型分为两大模块:

  1. SD-Net:单模态的静动态特征提取网络,专注于单一模态下的空间与时间信息捕捉。
  2. PSMM-Net:部分共享的多模态网络,设计用于不同模态间的特征融合与交互学习。

SD-Net

SD-Net 处理 RGB、Depth 或 IR 单一模态输入,设计核心在于同时提取静态图像与动态图像信息。整体由三个特征分支组成:

  • Static Branch(红色箭头):处理单张静态图像,提取空间特征。
  • Dynamic Branch(蓝色箭头):通过 Rank Pooling 对 K 帧序列进行摘要,转换为一张动态特征图。
  • Static-Dynamic Branch(绿色箭头):融合上述两支特征,强化空间与时间的交互理解。

三个分支以 ResNet-18 为骨干。Static 与 Dynamic 分支各有 conv、res1–res4 五个模块及全局平均池化(GAP);Static-Dynamic 分支以两者的 res1 输出之和为输入,因此不再重复 conv 与 res1。

每层模块表示为 MtκM_t^\kappa,其中:

  • κ∈{color,depth,ir}\kappa \in \{color, depth, ir\}:模态类型;
  • t=1∼4t = 1 \sim 4:表示特征层级。

各分支在对应层输出特征图,分别记为:

  • Xts,κX_t^{s,\kappa}(Static)
  • Xtd,κX_t^{d,\kappa}(Dynamic)
  • Xtf,κX_t^{f,\kappa}(Fusion)

为了确保三条分支能学习到互补信息,作者为每条分支设计了独立损失函数(采用 BCE),并另外引入一个综合特征的损失:

Lκ=Lκs+Lκd+Lκf+LκsdfL_\kappa = L_\kappa^s + L_\kappa^d + L_\kappa^f + L_\kappa^{sdf}

PSMM-Net

接着来看 PSMM-Net 的部分。

PSMM-Net 的目的是捕捉模态间的共同语义与互补信息,由两部分构成:

  1. Modality-specific Networks:三个 SD-Net,分别对应 RGB、Depth、IR 三模态,各自独立提取静动态特征。
  2. Shared Branch:基于 ResNet-18 架构(去除 conv 与 res1 层),用于建模模态间的共享语义。

为了实现有效的模态交互,PSMM-Net 采用了 双向融合策略:

  • Forward Feeding(往 shared branch 传)

    在 t=1,2,3t=1,2,3,将三个模态的静态与动态特征加总,送入下一层 shared branch:

    S~t=∑κXts,κ+∑κXtd,κ+St\tilde{S}_t = \sum_{\kappa} X_t^{s,\kappa} + \sum_{\kappa} X_t^{d,\kappa} + S_t

    其中 StS_t 是 shared branch 第 tt 层的输出(S1=0S_1 = 0,从零开始)。


  • Backward Feeding(从 shared branch 回)

    在 t=2,3t=2,3,将 StS_t 反馈给各模态 SD-Net,与原始特征相加后送入下一层:

    X^ts,κ=Xts,κ+St,X^td,κ=Xtd,κ+St\hat{X}_t^{s,\kappa} = X_t^{s,\kappa} + S_t,\quad \hat{X}_t^{d,\kappa} = X_t^{d,\kappa} + S_t

    这一步只作用在 static 与 dynamic 分支,避免 fusion 分支受到模态间语义干扰。


整体架构通过 SD-Net 分别提取静态与动态特征,再透过 PSMM-Net 的双向模态互动设计,强化模型在不同族群、攻击样式下的泛化能力。

最终损失函数为:

L=Lwhole+Lcolor+Ldepth+LirL = L_{whole} + L_{color} + L_{depth} + L_{ir}

其中 LwholeL_{whole} 是所有 SD-Net 与 shared branch 的特征加总后形成的整体损失。

讨论

群体多样性下的模型偏差分析

作者针对 CeFA 数据集中三个不同群体(East Asian、Central Asian、African)进行性能偏差分析,观察当前主流模型在面对群体变异时的识别表现差异。

实验设计使用两个公开数据集上训练的 已有模型,分别代表多模态与单模态的防伪方法:

  • MS-SEF:多模态方法,于 CASIA-SURF 上训练(主要为 East Asian 样本)
  • FAS-BAS:单模态 RGB 方法,于 OULU-NPU 上训练(亦以 East Asian 为主)

训练完成后,两个模型皆于 CeFA 数据集的三个群体上进行测试,并以 ACER 作为主要评估指标。

结果显示 Central Asian 在两个模型中的 ACER 都最高:MS-SEF 为 19.6%,较 East Asian 的 11.4% 高 8.2 个百分点;FAS-BAS 为 26.1%,较 East Asian 的 15.4% 高 10.7 个百分点。但 FAS-BAS 的最低 ACER 是 African 的 14.2%,不能说 East Asian 在两个模型中都最佳。训练数据集的群体分布可能与差异有关,这组测试本身无法单独证明成因。

此实验显示,两个在其他数据集训练的模型于 CeFA 不同群体上有明显性能差异,为设计跨群体评估协议(Protocol 1)提供了动机;单凭这组结果,尚无法确定差异全部来自训练数据的群体分布。

基线模型评估结果

作者针对 SD-Net 与 PSMM-Net 模型,在 CeFA 所设计的四种评估协议下进行全面实验:

  • Protocol 1:Cross-ethnicity

    • 子协议 1-1、1-2、1-3 的 ACER 分别为 0.6%、4.4%、1.5%。
    • 三种未见群体组合的结果不同,支持分开报告跨群体协议的表现;此实验没有比较混合群体训练。

  • Protocol 2:Cross-PAI(不同攻击工具泛化)

    • 子协议 2-1(训练于 print,测试于 video-replay + 3D)之 ACER 为 0.4%。

    • 子协议 2-2(训练于 video-replay,测试于 print + 3D)之 ACER 为 7.5%。

    • 两种训练/测试攻击组合的结果差距明显,显示此模型的跨攻击表现依设置而变;表格本身无法将差距单独归因于显示器或打印材质。


  • Protocol 3:Cross-modality(模态间泛化)

    • 最佳结果为子协议 3-1,ACER 为 4.9%。

    • 其余两组 ACER 分别为 13.6% 与 11.7%,说明单模态训练后转到其他模态的结果依组合而异;仅凭此表不能判定差异来自语义对齐,也不能单独验证融合策略的效益。


  • Protocol 4:Cross-ethnicity & Cross-PAI(双重泛化测试)

    • 子协议 4-1、4-2、4-3 的 ACER 分别为 24.5%、43.2%、27.7%。
    • 在这四组协议中,同时面对未知群体与未知攻击样式的 Protocol 4 平均 ACER 最高,呈现此基线在双重转移设置下的困难;这仍是 CeFA 的基准测试。

结论

这篇论文在论文发表时是规模较大的多模态人脸攻击检测数据集,不仅涵盖 RGB、Depth、IR 三种模态,还首次为公开 FAS 基准提供明确的群体标签与对应协议,明确将「跨族群泛化」纳入讨论核心。

模型设计方面,PSMM-Net 的「部分共享 + 双向融合」策略,搭配 SD-Net 的静动态特征解耦,是当时多模态学习中颇具系统性的尝试之一。虽然后续已有更精简或更强化跨模态对齐的架构出现,但 PSMM 的设计理念仍然在为后续多模态融合设计提供了可参考的思路。

回头看,CeFA 提出的贡献主要在于清楚定义了「跨模态、跨族群、跨攻击类型」的研究难题,并给出一个合理的起点。对今天的我们来说,这不只是个数据集,而是一道仍在持续延伸的问题空间。