Searching Central Difference Convolutional Networks for Face Anti-Spoofing
- 发表版本
- CVPR 2020会议
- arXiv 首次提交
- arXiv:2003.04092
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{faceantispoofingcdcn2020,
title = {{Searching Central Difference Convolutional Networks for Face Anti-Spoofing}},
author = {Zitong Yu and Chenxu Zhao and Zezheng Wang and Yunxiao Qin and Zhuo Su and Xiaobai Li and Feng Zhou and Guoying Zhao},
year = {2020},
eprint = {2003.04092},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2003.04092}
}
人们以为只要模型够深、数据够多,系统就能自然分辨出「真实」与「伪造」。
但我们或许错过了更基础的问题。
这次我们来看一篇非常有名的经典论文:CDCN。
定义问题
在人脸识别成为通行标准的时代,活体检测(Face Anti-Spoofing, FAS)逐渐转变为身份验证流程中的关键哨点。攻击手法从高分辨率打印、视频回放,到逼真的 3D 面具等,层出不穷。
面对这样的对手,技术社群曾寄望于手工特征的细腻:LBP、DoG、HOG、SIFT 等局部描述子,曾经捕捉过画面里那些人眼难辨的细微纹理、干扰与印刷残影。
不过,这些方法在某些场景变化下仍可能不够稳健,难以独自满足现代应用的需求。
于是我们走向了深度学习,交由卷积神经网络(CNN)判别真与假的边界。
但 CNN 的优势,也正是它的盲点。
深层结构擅长抽象语义,但在某些设计中可能弱化低层细节,特别是那些只有在特定光线与角度下才能显现的网格纹理、摩尔纹或反光边缘之类。当环境稍有偏移、摄像设备不同,这些模型可能难以泛化,甚至可能将背景纹理或屏幕边框误认为活体特征。
为了增补深层语意的缺口,有人开始尝试引入深度图作为辅助监督信号,企图让模型学会更细致的空间感知。但这些架构大多仍由专家手工设计,基于分类任务的骨干(如 ResNet、VGG、DenseNet)原本就不是为 FAS 而生。
问题回到了一个根本点:如果卷积本身不偏向捕捉这些细节,更高层的设计也必须面对输入表示的局限。
那么卷积本身,会不会就是那扇未曾开启的门?
解决问题
在开始之前,先来复习一下卷积的运算方式。
我们知道,标准的 2D 卷积可写为:
其中, 表示输出位置及其对应的输入中心, 为感受野(例如 3×3)。
这种「局部加权求和」的思路,已经成为视觉任务的基石,却在面对攻击时,显得不太够用。因为那些极其细微的假象痕迹,往往不是存在于像素强度本身,而是隐匿在像素之间的落差里。
Central Difference Convolution (CDC)
受到 LBP 的启发,作者尝试将「中心差分」导入卷积运算,令每次计算都包含「变化量」:
对比传统卷积,这种做法的重点不再是「值多大」,而是「和中心差多少」。
就像在检测任何细纹或突起时,我们更关心的或许是「边缘」,而非「整体亮度」。
但纯粹的中心差分有时失去了图像本身的绝对信息。
于是作者进一步提出一个混合形式:
其中 为平衡系数:
- 当 时,即退回原本的卷积操作;
- 当 时,则是完全专注于差异量。
作者将这一混合式操作命名为 CDC(Central Difference Convolution),用来同时保留「强度」与「差分」的两种信息来源。
为了方便实现,最终还可整理成下列形式:
如此一来,在常见的深度学习框架 (PyTorch, TensorFlow) 里,只需几行代码即可将 CDC 接入网络,且不会增加额外参数。
下面给出一个教学用的 CDC 卷积层示例。它假定奇数卷积核和居中零填充(例如 kernel_size=3, padding=1),不能直接覆盖所有 Conv2d 配置:
class Conv2dCD(nn.Module):
def __init__(self, *, theta=0.7, bias=False, **conv_kwargs):
super().__init__()
self.theta = theta
self.conv = nn.Conv2d(bias=bias, **conv_kwargs)
def forward(self, x):
out = self.conv(x) # 常规卷积
if self.theta == 0:
return out
# 中心差分项
# (C_out, C_in, 1, 1)
k_sum = self.conv.weight.sum(dim=(2, 3), keepdim=True)
out_diff = F.conv2d(x, k_sum, bias=None,
stride=self.conv.stride,
padding=0,
groups=self.conv.groups)
return out - self.theta * out_diff
CDC Networks
过去研究大多都会尝试以「深度图」作为辅助监督信号,通过像素级的对比来强化活体判断。
作者也参考这条思路,搭建了一个以 DepthNet 为原型的网络骨干,并将所有卷积替换为 CDC,形成 Central Difference Convolutional Networks (CDCN)。
-
网络输入/输出:
- 输入:单帧 RGB 人脸图像 (3×256×256)。
- 输出:预测的灰度深度图 (32×32)。
-
特征融合:将低阶、中阶与高阶特征做级联式整合,提升对人脸纹理与空间结构的捕捉能力。
-
超参数:实验中默认 ,侧重于差分信号,也保留一定程度的原始强度信息。
损失函数的部分,为了更精细地监督伪装痕迹,作者引入两种损失:
- MSE 损失 :衡量预测深度图与伪深度监督图之间的均方误差。
- 对比深度损失 :辅助捕捉更细微的深度差异,让模型能区分人脸边缘的真实凹凸与印刷造成的假纹。
总体损失如下:
CDCN++
然而,CDCN 的整体结构仍由人工设计,未必适合所有 FAS 设置。
作者因此结合 Neural Architecture Search (NAS),自动探寻最适合 FAS 的框架,最后形成一个进阶版:CDCN++,如上图所示。
以往的 NAS 通常用于图像分类或检测,而这里作者将它引入 深度监督的 FAS 任务。通过双层优化 (bi-level optimization),在训练集与验证集上来回微调权重与架构参数,如下图所示:
整个搜索空间被拆成多个 cell,每个 cell 皆可包含 skip-connect、不同通道比例的 CDC 或 none 等候选操作,并引入 node attention 策略以学习中间节点的输出权重。
最终,系统会在给定搜索空间与数据设置下得到适合 FAS 的骨干结构。
Multiscale Attention Fusion Module
即使拥有了 NAS 搜索的骨干,低阶、中阶、高阶特征之间若只是单纯串接,仍可能忽略哪些空间区域更值得关注。
为了解决这个问题,作者导入 多尺度注意力融合模块 (MAFM):
其中 表示 Hadamard 乘法(逐元素相乘), 与 分别表示沿通道维进行平均池化与最大池化、保留空间维度, 为 sigmoid 函数,而 是低、中、高层分别使用 7×7、5×5、3×3 核的普通卷积。
最终,CDCN++ 结合了 「差分卷积」+「NAS 搜索骨干」+「多尺度注意力融合」,并以深度监督为驱动,在论文实验中取得了较好的准确率与泛化表现。
讨论
作者在六个公开数据集上进行评估,包括高分辨率(OULU-NPU、SiW)与低分辨率(CASIA-MFSD、Replay-Attack、MSU-MFSD),并搭配 SiW-M 进行未知攻击类型的交叉测试。
根据数据集与场景的不同,采用 ACER、HTER、AUC 与 EER 等指标来衡量模型识别性能,以及在未知环境中的泛化能力。
在训练阶段,作者以 PyTorch 为主,Adam 为优化器,以 PRNet 为真实人脸生成并归一化的伪深度图作为监督信号,攻击样本的目标图设为零。这是分类所用的监督目标。模型输出为单帧人脸的深度预测,再取其平均值做最终分类分数。除非特别说明,所有实验均维持 作为 CDC 的默认配置。
CDC 参数的影响
-
的重要性
如上图 (a) 所示, 与模型性能呈非线性关系; 时 ACER 为 3.8%, 时为 3.6%,不能说只要增加差分权重就会持续改善。
在 时表现最佳,ACER 仅 1.0%。这组 OULU-NPU Protocol-1 实验涉及不同光照与场景,支持适度加权的中心差分有助于识别细微纹理;此图没有单独测量设备变化。
-
与其他卷积运算的比较
图 (b) 中进一步显示,在同一 Protocol-1 设定下,CDC 的 ACER 为 1.0%,低于 Local Binary Convolution 的 3.2% 与 Gabor Convolution 的 5.3%。LBConv 也比普通卷积的 3.8% 略好,支持在这个防伪任务中使用局部差分信息。
NAS 与 MAFM 的贡献
根据实验结果,在 NAS 训练阶段,同时启用 varied cells 及 node attention,测试 ACER 从基线的 1.7% 降至 1.3%。
作者的设计动机是让低、中、高层 cell 分别搜索结构,并在输出端以 node attention 加权中间节点;这组消融支持两项设计在该设定下的效果。
将搜索得到的骨干直接多层级融合,已优于未使用 NAS 的基线,但还是存在改进空间,如下表所示:
进一步加入使用 7×7、5×5、3×3 普通卷积的 MAFM,ACER 从 0.7% 降至 0.2%,相差 0.5 个百分点;表中改用三个 3×3 CDC 核反而升至 1.2%。
OULU-NPU 的表现
OULU-NPU 的结果如上表,CDCN++ 在四个 Protocol 中皆取得最低的 ACER(最低 0.2%,最高 5.0%),在 SiW 上也具竞争力,但 Protocol 3 中 CDCN 的 1.71% 略优于 CDCN++ 的 1.90%。
相较于需要多帧动态特征的方法(如 STASN、Auxiliary),CDCN++ 使用单帧输入,在这些比较中达到或超过最佳水平,显示出快速响应的潜力;论文没有单独证明部署延迟。
跨数据集的泛化能力
本研究在 SiW-M 的 13 种未知攻击类型与跨数据集测试中,CDC 架构有一些较好的结果,但仍取决于测试方向。
在 CASIA-MFSD → Replay-Attack(CR)中,CDCN++ 的 HTER 为 6.5%,比表中先前最佳的 FAS-TD 17.5% 低 11 个百分点;反方向(RC)则为 29.8%,高于 FAS-TD 的 24.0%。
分析与可视化
上图为作者在 OULU-NPU Protocol-1 中的实验结果。
普通卷积模型在 development set 的 ACER 较低,到了不同光照与场景的 test set 却明显升高;CDC 模型在两组数据上的差距较小。这张图没有画训练集曲线。
作者进一步利用 t-SNE 可视化有无 CDC 的特征分布。图中使用 CDC 后,真人与各种攻击样本在该投影中分得更开;这是定性观察,不能单凭投影量化分类性能。
结论
这篇论文的核心假设,是一种颇有代表性的手工设计思路:
假象,应该会在局部梯度中留下异常。
这既是一种设计上的简化,也是一种直觉上的观察。
真实人脸的连续纹理和立体深度,可能使某些重制的伪装在边缘、纹理或反射处留下「差」。
CDC 所做的,不过是将这样的差异提取出来,用一种可控、可解释的方式,嵌入卷积操作本身。从这个角度看,它是针对 spoof trace 的一种手工设计归纳偏置,比起后来自动分离潜变因的架构来得原始,但也更明确地表达了方法选择。
这种先辨别有用线索、再进行识别的思路,也会出现在后来的特征分离与跨域泛化研究中;方法各有不同。
而 CDC,就是一个试图描摹「差异形状」的早期工具之一。