返回论文笔记资料库
arXiv 2020CVPR 2020人脸防伪论文笔记

CDCN

真与假的错落之间

原始论文

Searching Central Difference Convolutional Networks for Face Anti-Spoofing

论文作者

Zitong Yu · Chenxu Zhao · Zezheng Wang …

查看全部 8 位作者

Zitong Yu · Chenxu Zhao · Zezheng Wang · Yunxiao Qin · Zhuo Su · Xiaobai Li · Feng Zhou · Guoying Zhao

发表版本
CVPR 2020会议
arXiv 首次提交
arXiv:2003.04092
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{faceantispoofingcdcn2020,
  title = {{Searching Central Difference Convolutional Networks for Face Anti-Spoofing}},
  author = {Zitong Yu and Chenxu Zhao and Zezheng Wang and Yunxiao Qin and Zhuo Su and Xiaobai Li and Feng Zhou and Guoying Zhao},
  year = {2020},
  eprint = {2003.04092},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2003.04092}
}
本页内容

人们以为只要模型够深、数据够多,系统就能自然分辨出「真实」与「伪造」。

但我们或许错过了更基础的问题。

这次我们来看一篇非常有名的经典论文:CDCN。

定义问题

在人脸识别成为通行标准的时代,活体检测(Face Anti-Spoofing, FAS)逐渐转变为身份验证流程中的关键哨点。攻击手法从高分辨率打印、视频回放,到逼真的 3D 面具等,层出不穷。

面对这样的对手,技术社群曾寄望于手工特征的细腻:LBP、DoG、HOG、SIFT 等局部描述子,曾经捕捉过画面里那些人眼难辨的细微纹理、干扰与印刷残影。

不过,这些方法在某些场景变化下仍可能不够稳健,难以独自满足现代应用的需求。

于是我们走向了深度学习,交由卷积神经网络(CNN)判别真与假的边界。

但 CNN 的优势,也正是它的盲点。

深层结构擅长抽象语义,但在某些设计中可能弱化低层细节,特别是那些只有在特定光线与角度下才能显现的网格纹理、摩尔纹或反光边缘之类。当环境稍有偏移、摄像设备不同,这些模型可能难以泛化,甚至可能将背景纹理或屏幕边框误认为活体特征。

为了增补深层语意的缺口,有人开始尝试引入深度图作为辅助监督信号,企图让模型学会更细致的空间感知。但这些架构大多仍由专家手工设计,基于分类任务的骨干(如 ResNet、VGG、DenseNet)原本就不是为 FAS 而生。

问题回到了一个根本点:如果卷积本身不偏向捕捉这些细节,更高层的设计也必须面对输入表示的局限。

那么卷积本身,会不会就是那扇未曾开启的门?

解决问题

在开始之前,先来复习一下卷积的运算方式。

我们知道,标准的 2D 卷积可写为:

y(p0)=∑pn∈Rw(pn)⋅x(p0+pn)y(p_0) = \sum_{p_n \in R} w(p_n)\cdot x(p_0 + p_n)

其中,p0p_0 表示输出位置及其对应的输入中心,RR 为感受野(例如 3×3)。

这种「局部加权求和」的思路,已经成为视觉任务的基石,却在面对攻击时,显得不太够用。因为那些极其细微的假象痕迹,往往不是存在于像素强度本身,而是隐匿在像素之间的落差里。

Central Difference Convolution (CDC)

受到 LBP 的启发,作者尝试将「中心差分」导入卷积运算,令每次计算都包含「变化量」:

y(p0)=∑pn∈Rw(pn)⋅(x(p0+pn)−x(p0))y(p_0) = \sum_{p_n \in R} w(p_n)\cdot \bigl(x(p_0 + p_n) - x(p_0)\bigr)

对比传统卷积,这种做法的重点不再是「值多大」,而是「和中心差多少」。

就像在检测任何细纹或突起时,我们更关心的或许是「边缘」,而非「整体亮度」。

但纯粹的中心差分有时失去了图像本身的绝对信息。

于是作者进一步提出一个混合形式:

y(p0)=θ∑pn∈Rw(pn)⋅(x(p0+pn)−x(p0))  +  (1−θ)∑pn∈Rw(pn)⋅x(p0+pn)y(p_0) = \theta \sum_{p_n \in R} w(p_n)\cdot \bigl(x(p_0 + p_n) - x(p_0)\bigr) \;+\; (1 - \theta) \sum_{p_n \in R} w(p_n)\cdot x(p_0 + p_n)

其中 θ∈[0,1]\theta\in[0,1] 为平衡系数:

  • 当 θ=0\theta=0 时,即退回原本的卷积操作;
  • 当 θ=1\theta=1 时,则是完全专注于差异量。

作者将这一混合式操作命名为 CDC(Central Difference Convolution),用来同时保留「强度」与「差分」的两种信息来源。

为了方便实现,最终还可整理成下列形式:

y(p0)=∑pn∈Rw(pn)⋅x(p0+pn)  −  θ⋅x(p0)∑pn∈Rw(pn)y(p_0) = \sum_{p_n \in R} w(p_n) \cdot x(p_0 + p_n) \;-\;\theta \cdot x(p_0) \sum_{p_n \in R} w(p_n)

如此一来,在常见的深度学习框架 (PyTorch, TensorFlow) 里,只需几行代码即可将 CDC 接入网络,且不会增加额外参数。

下面给出一个教学用的 CDC 卷积层示例。它假定奇数卷积核和居中零填充(例如 kernel_size=3, padding=1),不能直接覆盖所有 Conv2d 配置:

python
class Conv2dCD(nn.Module):

    def __init__(self, *, theta=0.7, bias=False, **conv_kwargs):
        super().__init__()
        self.theta = theta
        self.conv = nn.Conv2d(bias=bias, **conv_kwargs)

    def forward(self, x):
        out = self.conv(x) # 常规卷积

        if self.theta == 0:
            return out

        # 中心差分项

        # (C_out, C_in, 1, 1)
        k_sum = self.conv.weight.sum(dim=(2, 3), keepdim=True)
        out_diff = F.conv2d(x, k_sum, bias=None,
                            stride=self.conv.stride,
                            padding=0,
                            groups=self.conv.groups)

        return out - self.theta * out_diff

CDC Networks

过去研究大多都会尝试以「深度图」作为辅助监督信号,通过像素级的对比来强化活体判断。

作者也参考这条思路,搭建了一个以 DepthNet 为原型的网络骨干,并将所有卷积替换为 CDC,形成 Central Difference Convolutional Networks (CDCN)。

  • 网络输入/输出:

    • 输入:单帧 RGB 人脸图像 (3×256×256)。
    • 输出:预测的灰度深度图 (32×32)。
  • 特征融合:将低阶、中阶与高阶特征做级联式整合,提升对人脸纹理与空间结构的捕捉能力。

  • 超参数:实验中默认 θ=0.7\theta=0.7,侧重于差分信号,也保留一定程度的原始强度信息。

损失函数的部分,为了更精细地监督伪装痕迹,作者引入两种损失:

  1. MSE 损失 LMSEL_\text{MSE}:衡量预测深度图与伪深度监督图之间的均方误差。
  2. 对比深度损失 LCDLL_\text{CDL}:辅助捕捉更细微的深度差异,让模型能区分人脸边缘的真实凹凸与印刷造成的假纹。

总体损失如下:

Loverall=LMSE+LCDL.L_{\text{overall}} = L_{\text{MSE}} + L_{\text{CDL}}.

CDCN++

然而,CDCN 的整体结构仍由人工设计,未必适合所有 FAS 设置。

作者因此结合 Neural Architecture Search (NAS),自动探寻最适合 FAS 的框架,最后形成一个进阶版:CDCN++,如上图所示。

以往的 NAS 通常用于图像分类或检测,而这里作者将它引入 深度监督的 FAS 任务。通过双层优化 (bi-level optimization),在训练集与验证集上来回微调权重与架构参数,如下图所示:

整个搜索空间被拆成多个 cell,每个 cell 皆可包含 skip-connect、不同通道比例的 CDC 或 none 等候选操作,并引入 node attention 策略以学习中间节点的输出权重。

最终,系统会在给定搜索空间与数据设置下得到适合 FAS 的骨干结构。

Multiscale Attention Fusion Module

即使拥有了 NAS 搜索的骨干,低阶、中阶、高阶特征之间若只是单纯串接,仍可能忽略哪些空间区域更值得关注。

为了解决这个问题,作者导入 多尺度注意力融合模块 (MAFM):

Fi′=Fi  ⊙  [σ(Ci([A(Fi), M(Fi)]))],i∈{low, mid, high},F'_i = F_i \;\odot\; \Bigl[\sigma\Bigl(C_i\bigl(\bigl[\mathrm{A}(F_i),\,\mathrm{M}(F_i)\bigr]\bigr)\Bigr)\Bigr] ,\quad i \in \{\text{low},\,\text{mid},\,\text{high}\},

其中 ⊙\odot 表示 Hadamard 乘法(逐元素相乘),A\mathrm{A} 与 M\mathrm{M} 分别表示沿通道维进行平均池化与最大池化、保留空间维度,σ\sigma 为 sigmoid 函数,而 CiC_i 是低、中、高层分别使用 7×7、5×5、3×3 核的普通卷积。

最终,CDCN++ 结合了 「差分卷积」+「NAS 搜索骨干」+「多尺度注意力融合」,并以深度监督为驱动,在论文实验中取得了较好的准确率与泛化表现。

讨论

作者在六个公开数据集上进行评估,包括高分辨率(OULU-NPU、SiW)与低分辨率(CASIA-MFSD、Replay-Attack、MSU-MFSD),并搭配 SiW-M 进行未知攻击类型的交叉测试。

根据数据集与场景的不同,采用 ACER、HTER、AUC 与 EER 等指标来衡量模型识别性能,以及在未知环境中的泛化能力。

在训练阶段,作者以 PyTorch 为主,Adam 为优化器,以 PRNet 为真实人脸生成并归一化的伪深度图作为监督信号,攻击样本的目标图设为零。这是分类所用的监督目标。模型输出为单帧人脸的深度预测,再取其平均值做最终分类分数。除非特别说明,所有实验均维持 θ=0.7\theta=0.7 作为 CDC 的默认配置。

CDC 参数的影响

  1. θ\theta 的重要性

    如上图 (a) 所示,θ\theta 与模型性能呈非线性关系;θ=0\theta=0 时 ACER 为 3.8%,θ=0.3\theta=0.3 时为 3.6%,不能说只要增加差分权重就会持续改善。

    在 θ=0.7\theta=0.7 时表现最佳,ACER 仅 1.0%。这组 OULU-NPU Protocol-1 实验涉及不同光照与场景,支持适度加权的中心差分有助于识别细微纹理;此图没有单独测量设备变化。

  2. 与其他卷积运算的比较

    图 (b) 中进一步显示,在同一 Protocol-1 设定下,CDC 的 ACER 为 1.0%,低于 Local Binary Convolution 的 3.2% 与 Gabor Convolution 的 5.3%。LBConv 也比普通卷积的 3.8% 略好,支持在这个防伪任务中使用局部差分信息。

NAS 与 MAFM 的贡献

根据实验结果,在 NAS 训练阶段,同时启用 varied cells 及 node attention,测试 ACER 从基线的 1.7% 降至 1.3%。

作者的设计动机是让低、中、高层 cell 分别搜索结构,并在输出端以 node attention 加权中间节点;这组消融支持两项设计在该设定下的效果。

将搜索得到的骨干直接多层级融合,已优于未使用 NAS 的基线,但还是存在改进空间,如下表所示:

进一步加入使用 7×7、5×5、3×3 普通卷积的 MAFM,ACER 从 0.7% 降至 0.2%,相差 0.5 个百分点;表中改用三个 3×3 CDC 核反而升至 1.2%。

OULU-NPU 的表现

OULU-NPU 的结果如上表,CDCN++ 在四个 Protocol 中皆取得最低的 ACER(最低 0.2%,最高 5.0%),在 SiW 上也具竞争力,但 Protocol 3 中 CDCN 的 1.71% 略优于 CDCN++ 的 1.90%。

相较于需要多帧动态特征的方法(如 STASN、Auxiliary),CDCN++ 使用单帧输入,在这些比较中达到或超过最佳水平,显示出快速响应的潜力;论文没有单独证明部署延迟。

跨数据集的泛化能力

本研究在 SiW-M 的 13 种未知攻击类型与跨数据集测试中,CDC 架构有一些较好的结果,但仍取决于测试方向。

在 CASIA-MFSD → Replay-Attack(CR)中,CDCN++ 的 HTER 为 6.5%,比表中先前最佳的 FAS-TD 17.5% 低 11 个百分点;反方向(RC)则为 29.8%,高于 FAS-TD 的 24.0%。

分析与可视化

上图为作者在 OULU-NPU Protocol-1 中的实验结果。

普通卷积模型在 development set 的 ACER 较低,到了不同光照与场景的 test set 却明显升高;CDC 模型在两组数据上的差距较小。这张图没有画训练集曲线。

作者进一步利用 t-SNE 可视化有无 CDC 的特征分布。图中使用 CDC 后,真人与各种攻击样本在该投影中分得更开;这是定性观察,不能单凭投影量化分类性能。

结论

这篇论文的核心假设,是一种颇有代表性的手工设计思路:

假象,应该会在局部梯度中留下异常。

这既是一种设计上的简化,也是一种直觉上的观察。

真实人脸的连续纹理和立体深度,可能使某些重制的伪装在边缘、纹理或反射处留下「差」。

CDC 所做的,不过是将这样的差异提取出来,用一种可控、可解释的方式,嵌入卷积操作本身。从这个角度看,它是针对 spoof trace 的一种手工设计归纳偏置,比起后来自动分离潜变因的架构来得原始,但也更明确地表达了方法选择。

这种先辨别有用线索、再进行识别的思路,也会出现在后来的特征分离与跨域泛化研究中;方法各有不同。

而 CDC,就是一个试图描摹「差异形状」的早期工具之一。