Generalized face anti-spoofing by detecting pulse from face videos
- 发表版本
- ICPR 2016会议
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@inproceedings{faceantispoofingrppg2016,
title = {{Generalized face anti-spoofing by detecting pulse from face videos}},
author = {Xiaobai Li and Jukka Komulainen and Guoying Zhao and Pong-Chi Yuen and Matti Pietikainen},
year = {2016},
booktitle = {ICPR},
url = {https://doi.org/10.1109/icpr.2016.7900300},
doi = {10.1109/icpr.2016.7900300}
}
虽然心跳信号(rPPG)在更早之前就已经有许多研究,但多数是针对生理监测的应用。
这篇 2016 年的工作是较早深入研究「心跳信号」用于 Face Anti-Spoofing 的论文之一。
它不解析纹理和表面,而是追寻一种更根本的存在证据:生命的节拍是否真实发生。
定义问题
Photoplethysmography(PPG),如上图,是通过光学变化间接测量脉搏的技术;传统 PPG 通常需要贴近皮肤的传感器,而这里使用的远程 PPG(rPPG)则从人脸视频读取信号。关键是光与血液之间的相互作用。
当光线照射在裸露的皮肤上(如耳垂、手腕、脸颊),表层血管中的血红蛋白会随心跳节律改变密度,进而吸收不同量的光。这些变化无法被肉眼察觉,却能在光的反射强度中留下微弱的线索。PPG 正是通过提取这些亮度变化,间接测量出心跳的存在。
这种技术最初应用于红外线传感与生命体征监测领域。近年来,研究者才发现:只用一般的 RGB 相机,也能从人脸图像中还原出相同的脉搏信号(rPPG)。
每一次心跳,都会让脸色发生极其细微的变化,尽管这个信号不会被人眼察觉,但只要 ROI 选得准、噪声滤得好,频域中的信号才可能浮现。
FAS 长年依赖「可见差异」:纹理瑕疵、色彩失真、深度破绽、微表情迟滞等,这些基于外观的策略,面对照片与视频攻击时曾立下赫赫战功。但随着 3D 面具的材质与细节越来越逼真,这条防线开始出现裂缝:
- 外观差异逐渐消失:硅胶模具、3D 打印与彩色涂层的成熟,让假脸几可乱真,仅依赖既有面具纹理训练的 LBP 模型可能失效。
- 场景与设备的变异:不同相机与压缩条件会扭曲画面频率结构,导致模型在真实应用中难以泛化。
- 攻击形式持续演化:当技术门槛降低,新的攻击手段也不断涌现,从屏幕回放到全脸面具,每一次改变都是一次防线崩溃的可能。
这让问题逐渐浮现:
当一张脸的所有外观都能被模仿,我们是否还能在图像中识别出「活着」?
这篇论文不再依赖特定的空间纹理,而是追问一个更根本的信号:这张脸,有没有心跳?
但这条路并不轻松。
rPPG 信号微弱、脆弱,容易被环境光变动、头部晃动与编码噪声所吞没。
模型想要看见它,得先穿越一层又一层干扰,才找到那一道属于活人的脉动。
解决问题
从脸的图像中提取心跳,听起来很像是科幻小说,但这是确实存在的技术。
但在这篇研究中,它被拆解为一套有迹可循的信号处理流程。
整体架构分成简单的三个部分:ROI 提取、信号转换、分类判断。
人脸检测与 ROI 追踪
首先,模型的输入是一段包含 帧的人脸视频。
作者在这里不选择使用整张脸,也不选择眼睛的部分。而是聚焦于下半脸区域(双颊、鼻、嘴、下巴),避开额头与眼睛,以减少头发与眼镜的遮蔽风险。
具体流程如下:
- 使用 Viola-Jones 检测器提取第一帧的脸框;
- 应用 DRMF 模型标注 66 个人脸关键点;
- 择取其中 9 点组成 ROI,固定选在稳定裸肤区;
- 通过 KLT 光流追踪技术,在每一帧中对 ROI 动态更新坐标;
- 在每一帧计算 ROI 内像素的 RGB 平均值,构成三条原始时间序列信号 。
其中,以红色通道为例,其原始信号为:
这三条信号就是尚未清理的「心跳样本」,其中可能藏有节拍,也可能全是噪声。
滤波处理与频域转换
为了从噪声中提取节奏,作者设计了三阶段的信号清理流程:
- 趋势消除(detrending):使用 smoothness priors 消除慢变与非稳态趋势;
- 移动平均(moving average):平滑邻近帧值,抑制突波噪声;
- 带通滤波(bandpass filtering):以 Hamming window 为基底的 FIR 滤波器,保留 0.7Hz 到 4.0Hz 频率区间,这里对应于 42 至 240 bpm 的分析范围。
完成滤波后,将三条信号送入 快速傅立叶转换(FFT),转换为频域表示:
如上图所示,典型 真实人脸的 PSD(功率谱密度)中,会出现一个主频峰(对应心跳),有时也伴随二次谐波;而 攻击样本(面具/照片)则多为分散噪声峰,能量低且不集中。
特征设计
为了将 PSD 转化为分类输入,作者定义了两个特征:
- :在心跳频率区间内(0.7 ~ 4.0 Hz)的最大功率值;
- :主峰能量与总能量的比值,用来衡量频谱集中度:
每个通道计算 与 ,组成 6 维向量:
分类器设计
最终分类采用 线性支援向量机(SVM),以两类分类形式训练模型:真实人脸与攻击样本。实验中各数据集皆固定 。
作者固定分类器设置,以便比较六维 Pulse 特征在不同攻击上的效果。
讨论
一组只有六维的生理信号特征,在不同攻击场景下,能走多远?
作者选择了三种不同类型的攻击进行测试,对应三个公开或自建的数据集:
- 3DMAD:经典的 3D 面具攻击数据集;
- REAL-F:包含更高质量面具的新数据集(作者自建);
- MFSD:包含照片与视频重播攻击的行动装置数据集。
3DMAD 数据集
3DMAD 是最早出现、也是目前唯一公开的 3D 面具攻击数据集之一。
它共收录 17 位受测者、255 段视频,分为三个 session:
s1与s2:真实人脸,不同日期各录五段;s3:攻击样本,使用 ThatsMyFace 所制作的 3D 面具,由第三人配戴模仿原受测者。
为确保受试者独立,实验采用 leave-one-subject-out 设计(LOOCV):每次留下 1 人测试,其余 16 人分为互不重叠的训练集与开发集,轮替共 17 次。
特征与分类设置如下:
-
Pulse 特征:每段视频取前 10 秒,提取 6 维向量 ;
-
分类器:固定使用 linear SVM,,无调参;
-
Baseline 对照:采用四种经典 LBP 设置,包括:
LBP-blk(灰阶区块直方图,531 维)LBP-blk-color(RGB 区块直方图,1593 维)LBP-ms(多尺度灰阶直方图,479 维)LBP-ms-color(多尺度 RGB,1437 维)
最终评估指标使用 HTER(Half Total Error Rate),其计算公式如下:
其中 是在开发集上选取使 FPR 与 FNR 相等的 EER 阈值,再用于测试集计算 HTER。
实验结果如下表:
Pulse 特征在 3DMAD 测试集取得 7.94% HTER,显示六维特征搭配线性分类器可以识别此数据集中的部分 3D 面具攻击;开发集 EER 为 2.31%,测试集 EER 为 4.71%。
然而,四组 LBP 对照组在此数据集上皆为 0% 错误率,看似完胜;但这背后其实藏着一个工程现实:
训练与测试使用不同受试者及其面具,但面具类型和拍摄条件相同,且这类面具有明显的 3D 打印瑕疵。
因此,这里的 LBP 零错误只能说明它能在相同类型面具与拍摄条件下抓到纹理差异。
REAL-F 数据集
左图为 3DMAD 的 3D 面具,右图为 REAL-F 的高质量模拟面具
如果 3DMAD 是训练场,REAL-F 则更接近战场。
REAL-F 面具经过细腻加工的高质量模拟皮肤,无论材质、纹理、色泽,皆逼近人脸外观的极限。由于尚无其他可用的高质量 3D 面具数据集,作者自行购买两个 REAL-F 面具并录制对照数据,建构一组小型测试集:
-
数据组成:
- 12 段真实样本(来自 2 位受测者);
- 12 段攻击样本(由第三人配戴面具模仿);
- 所有视频长度均为 10 秒,分辨率为 1280 × 760,FPS 为 30。
-
训练数据:
- 从 3DMAD 中随机抽选 8 位作为训练集,另 8 位作为开发集;
- 将 REAL-F 全部作为未见过的测试数据,进行 100 次随机分组测试。
-
评估指标:
- 平均报告三项指标:EER、HTER、以及在 FNR = 0.1 与 FNR = 0.01 时的 FPR。
实验结果如下表:
我们可以看到所有 LBP 特征组合在 REAL-F 中表现大幅下滑,EER 明显上升;以 EER 最低的 LBP-blk-color 为例,在 FNR = 0.01 时仍有 48.67% 的攻击样本被误判为真实;
反观 Pulse 特征在这 24 段 REAL-F 视频的跨数据测试中,HTER 为 4.29%、EER 为 1.58%;数据量很小,尚不足以保证其他面具与摄影条件也同样稳定。
这个结果说明了一件事:
这组未见过的 REAL-F 面具测试中,纹理特征泛化较差,Pulse 特征仍能区分多数真人与面具。
LBP 这类依赖纹理的方法,有两个明确的弱点:
- 面对皮肤纹理过于逼真的假脸时,无法提取识别性差异;
- 训练数据一旦固定,模型难以对新面具类型泛化。
相对地,脉搏信号具有清楚的语意定义(是否具备真实脉动), 不需要假设特定的面具纹理;但能否检出脉搏仍受光照、肤色、动作与人脸分辨率影响。
作者进一步分析了错误案例,并将 3DMAD 与 REAL-F 所有样本的 分布视觉化如下:
Pulse 特征中 (E_g) 的分布。橘色为面具攻击,多集中在低值区域
可以看到:
- 多数攻击样本(橘色叉号)的 值极低,对应的是 PSD 无主频的噪声模式;
- 真实样本的 值普遍偏高,但变异较大,与肤色、人脸尺寸、光源条件密切相关;
- 主要的误判案例集中在一位肤色较深、人脸面积较小的受测者,这些条件会削弱 rPPG 信号或提高噪声强度。
从这里我们可以看出来这个方法的极限在于:当脸太暗或画面分辨率太低时,rPPG 信号会被环境噪声淹没,导致无法正确识别。
照片与视频攻击
在真实世界中,最容易取得的攻击手段是一张照片与一支手机。
本实验选用 MSU MFSD 数据集,包含 35 位受测者、共 280 段视频,涵盖两种典型攻击:
- 照片攻击(print attack):使用高质量纸本照片;
- 视频攻击(video replay):用 iPad 或 iPhone 重播人脸录像;
- 每位受测者包含 2 段真实样本、2 段照片攻击、4 段视频攻击;
- 视频装置为 MacBook Air 与 Nexus 5 之前镜头,分辨率为 640×480 与 720×480。
为探讨模型在不同攻击类型下的表现,作者将数据集分为三组:
| 测试组别 | 实际样本 | 攻击样本 | 说明 |
|---|---|---|---|
| MSU-photo | 70 | 70 | 纸本照片攻击 |
| MSU-video | 70 | 140 | 视频重播攻击 |
| MSU-all | 70 | 210 | 全部攻击样本 |
- 使用 15 位受测者作为训练,20 位为测试;
- Pulse 特征与前段相同,每段视频提取 6 维特征向量;
- 为对比基准,仅选择性能最稳定的
LBP-ms-color作为纹理特征代表。
实验结果如下表:
Pulse 与 LBP 特征在不同攻击场景下的 EER 表现
- Pulse 特征在照片攻击(print attack)中 EER 为 5%,优于 LBP 的 10%;
- 在视频攻击中 EER 升至 35%:若重播视频保留足够的脉搏信号,Pulse 特征就难以区分预录视频与现场真人;
- LBP 特征在视频攻击中 EER 为 5%,优于 Pulse;在照片攻击中则为 10%。
这印证了 Pulse 特征的一项限制:
它只能区分「有无脉搏」,无法区分脉搏是「现场的」还是「预录的」。
视频重播可能保留可检出的脉搏信号,因此对单独的 Pulse 分类器构成挑战; 但照片是静态物体,没有自身的生理律动。作者因此把在照片组训练的 Pulse 模型与在视频组训练的彩色 LBP 模型串接;在 MSU-all 上,串接系统的 EER 为 7.5%,低于单用 Pulse 的 36.67% 与单用 LBP 的 13.33%。
结论
这篇论文提出了一种从人脸视频中寻找脉搏、用于识别呈现攻击的思路。
当时 rPPG 主要用于生理监测。这篇论文给它一个明确用途:寻找视频中与真实脉搏相符的信号,以辅助识别照片和面具攻击。
这个观念,在当时可说是相当激进的。
此前许多方法主要分析纹理、光影与深度。这篇论文将微弱的生理节拍带进 FAS,并在小规模 REAL-F 跨数据测试中发现:六维脉搏特征比所比较的纹理描述子更能适应这组未见过的面具。这一结果仍受样本和拍摄条件限制。
可惜,这个方法并不完美,甚至可以说是破绽百出:
- 它在视频攻击前几乎束手无策;
- 它对于光源、画质与肤色高度敏感;
这些困难仍需进一步的信号处理与评估;论文没有证明数据增强或其他模型无法改善它们。
但也正因为如此,它揭示了另一种设计方向的可能性:
比起扩大模型,有时反而是切换维度,才能突破现有方法的盲点。
这篇论文之后,后续研究探索了 CFrPPG、MCCFrPPG、MSTCT 等变体,尝试提高信号稳定性或结合其他线索。生理信号成为研究高拟真攻击时值得评估的一类证据,效果仍取决于具体攻击与拍摄条件。
从视频中寻找生理信号的思路,仍值得开发者参考。