返回论文笔记资料库
ICPR 2016人脸防伪论文笔记

rPPG

生命的光斑

原始论文

Generalized face anti-spoofing by detecting pulse from face videos

论文作者

Xiaobai Li · Jukka Komulainen · Guoying Zhao · Pong-Chi Yuen · Matti Pietikainen

发表版本
ICPR 2016会议
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@inproceedings{faceantispoofingrppg2016,
  title = {{Generalized face anti-spoofing by detecting pulse from face videos}},
  author = {Xiaobai Li and Jukka Komulainen and Guoying Zhao and Pong-Chi Yuen and Matti Pietikainen},
  year = {2016},
  booktitle = {ICPR},
  url = {https://doi.org/10.1109/icpr.2016.7900300},
  doi = {10.1109/icpr.2016.7900300}
}
本页内容

虽然心跳信号(rPPG)在更早之前就已经有许多研究,但多数是针对生理监测的应用。

这篇 2016 年的工作是较早深入研究「心跳信号」用于 Face Anti-Spoofing 的论文之一。

它不解析纹理和表面,而是追寻一种更根本的存在证据:生命的节拍是否真实发生。

定义问题

Photoplethysmography(PPG),如上图,是通过光学变化间接测量脉搏的技术;传统 PPG 通常需要贴近皮肤的传感器,而这里使用的远程 PPG(rPPG)则从人脸视频读取信号。关键是光与血液之间的相互作用。

当光线照射在裸露的皮肤上(如耳垂、手腕、脸颊),表层血管中的血红蛋白会随心跳节律改变密度,进而吸收不同量的光。这些变化无法被肉眼察觉,却能在光的反射强度中留下微弱的线索。PPG 正是通过提取这些亮度变化,间接测量出心跳的存在。

这种技术最初应用于红外线传感与生命体征监测领域。近年来,研究者才发现:只用一般的 RGB 相机,也能从人脸图像中还原出相同的脉搏信号(rPPG)。

每一次心跳,都会让脸色发生极其细微的变化,尽管这个信号不会被人眼察觉,但只要 ROI 选得准、噪声滤得好,频域中的信号才可能浮现。

FAS 长年依赖「可见差异」:纹理瑕疵、色彩失真、深度破绽、微表情迟滞等,这些基于外观的策略,面对照片与视频攻击时曾立下赫赫战功。但随着 3D 面具的材质与细节越来越逼真,这条防线开始出现裂缝:

  • 外观差异逐渐消失:硅胶模具、3D 打印与彩色涂层的成熟,让假脸几可乱真,仅依赖既有面具纹理训练的 LBP 模型可能失效。
  • 场景与设备的变异:不同相机与压缩条件会扭曲画面频率结构,导致模型在真实应用中难以泛化。
  • 攻击形式持续演化:当技术门槛降低,新的攻击手段也不断涌现,从屏幕回放到全脸面具,每一次改变都是一次防线崩溃的可能。

这让问题逐渐浮现:

当一张脸的所有外观都能被模仿,我们是否还能在图像中识别出「活着」?

这篇论文不再依赖特定的空间纹理,而是追问一个更根本的信号:这张脸,有没有心跳?

但这条路并不轻松。

rPPG 信号微弱、脆弱,容易被环境光变动、头部晃动与编码噪声所吞没。

模型想要看见它,得先穿越一层又一层干扰,才找到那一道属于活人的脉动。

解决问题

从脸的图像中提取心跳,听起来很像是科幻小说,但这是确实存在的技术。

但在这篇研究中,它被拆解为一套有迹可循的信号处理流程。

整体架构分成简单的三个部分:ROI 提取、信号转换、分类判断。

人脸检测与 ROI 追踪

首先,模型的输入是一段包含 nn 帧的人脸视频。

作者在这里不选择使用整张脸,也不选择眼睛的部分。而是聚焦于下半脸区域(双颊、鼻、嘴、下巴),避开额头与眼睛,以减少头发与眼镜的遮蔽风险。

具体流程如下:

  • 使用 Viola-Jones 检测器提取第一帧的脸框;
  • 应用 DRMF 模型标注 66 个人脸关键点;
  • 择取其中 9 点组成 ROI,固定选在稳定裸肤区;
  • 通过 KLT 光流追踪技术,在每一帧中对 ROI 动态更新坐标;
  • 在每一帧计算 ROI 内像素的 RGB 平均值,构成三条原始时间序列信号 rraw,graw,brawr_{\text{raw}}, g_{\text{raw}}, b_{\text{raw}}。

其中,以红色通道为例,其原始信号为:

rraw=[r1,r2,…,rn]r_{\text{raw}} = [r_1, r_2, \dots, r_n]

这三条信号就是尚未清理的「心跳样本」,其中可能藏有节拍,也可能全是噪声。

滤波处理与频域转换

为了从噪声中提取节奏,作者设计了三阶段的信号清理流程:

  • 趋势消除(detrending):使用 smoothness priors 消除慢变与非稳态趋势;
  • 移动平均(moving average):平滑邻近帧值,抑制突波噪声;
  • 带通滤波(bandpass filtering):以 Hamming window 为基底的 FIR 滤波器,保留 0.7Hz 到 4.0Hz 频率区间,这里对应于 42 至 240 bpm 的分析范围。

完成滤波后,将三条信号送入 快速傅立叶转换(FFT),转换为频域表示:

如上图所示,典型 真实人脸的 PSD(功率谱密度)中,会出现一个主频峰(对应心跳),有时也伴随二次谐波;而 攻击样本(面具/照片)则多为分散噪声峰,能量低且不集中。

特征设计

为了将 PSD 转化为分类输入,作者定义了两个特征:

  • EE:在心跳频率区间内(0.7 ~ 4.0 Hz)的最大功率值;
  • Γ\Gamma:主峰能量与总能量的比值,用来衡量频谱集中度:
Γ=E∑f∈[0.7,4]e(f)\Gamma = \frac{E}{\sum_{f \in [0.7, 4]} e(f)}

每个通道计算 EE 与 Γ\Gamma,组成 6 维向量:

[Er,Eg,Eb,Γr,Γg,Γb]\left[ E_r, E_g, E_b, \Gamma_r, \Gamma_g, \Gamma_b \right]

分类器设计

最终分类采用 线性支援向量机(SVM),以两类分类形式训练模型:真实人脸与攻击样本。实验中各数据集皆固定 C=1000C=1000。

作者固定分类器设置,以便比较六维 Pulse 特征在不同攻击上的效果。

讨论

一组只有六维的生理信号特征,在不同攻击场景下,能走多远?

作者选择了三种不同类型的攻击进行测试,对应三个公开或自建的数据集:

  • 3DMAD:经典的 3D 面具攻击数据集;
  • REAL-F:包含更高质量面具的新数据集(作者自建);
  • MFSD:包含照片与视频重播攻击的行动装置数据集。

3DMAD 数据集

3DMAD 是最早出现、也是目前唯一公开的 3D 面具攻击数据集之一。

它共收录 17 位受测者、255 段视频,分为三个 session:

  • s1 与 s2:真实人脸,不同日期各录五段;
  • s3:攻击样本,使用 ThatsMyFace 所制作的 3D 面具,由第三人配戴模仿原受测者。

为确保受试者独立,实验采用 leave-one-subject-out 设计(LOOCV):每次留下 1 人测试,其余 16 人分为互不重叠的训练集与开发集,轮替共 17 次。

特征与分类设置如下:

  • Pulse 特征:每段视频取前 10 秒,提取 6 维向量 [Er,Eg,Eb,Γr,Γg,Γb][E_r, E_g, E_b, \Gamma_r, \Gamma_g, \Gamma_b];

  • 分类器:固定使用 linear SVM,C=1000C = 1000,无调参;

  • Baseline 对照:采用四种经典 LBP 设置,包括:

    • LBP-blk(灰阶区块直方图,531 维)
    • LBP-blk-color(RGB 区块直方图,1593 维)
    • LBP-ms(多尺度灰阶直方图,479 维)
    • LBP-ms-color(多尺度 RGB,1437 维)

最终评估指标使用 HTER(Half Total Error Rate),其计算公式如下:

HTER=FPR(τ∗)+FNR(τ∗)2\text{HTER} = \frac{\text{FPR}(\tau^*) + \text{FNR}(\tau^*)}{2}

其中 τ∗\tau^* 是在开发集上选取使 FPR 与 FNR 相等的 EER 阈值,再用于测试集计算 HTER。

实验结果如下表:

Pulse 特征在 3DMAD 测试集取得 7.94% HTER,显示六维特征搭配线性分类器可以识别此数据集中的部分 3D 面具攻击;开发集 EER 为 2.31%,测试集 EER 为 4.71%。

然而,四组 LBP 对照组在此数据集上皆为 0% 错误率,看似完胜;但这背后其实藏着一个工程现实:

训练与测试使用不同受试者及其面具,但面具类型和拍摄条件相同,且这类面具有明显的 3D 打印瑕疵。

因此,这里的 LBP 零错误只能说明它能在相同类型面具与拍摄条件下抓到纹理差异。

REAL-F 数据集

左图为 3DMAD 的 3D 面具,右图为 REAL-F 的高质量模拟面具

如果 3DMAD 是训练场,REAL-F 则更接近战场。

REAL-F 面具经过细腻加工的高质量模拟皮肤,无论材质、纹理、色泽,皆逼近人脸外观的极限。由于尚无其他可用的高质量 3D 面具数据集,作者自行购买两个 REAL-F 面具并录制对照数据,建构一组小型测试集:

  • 数据组成:

    • 12 段真实样本(来自 2 位受测者);
    • 12 段攻击样本(由第三人配戴面具模仿);
    • 所有视频长度均为 10 秒,分辨率为 1280 × 760,FPS 为 30。
  • 训练数据:

    • 从 3DMAD 中随机抽选 8 位作为训练集,另 8 位作为开发集;
    • 将 REAL-F 全部作为未见过的测试数据,进行 100 次随机分组测试。
  • 评估指标:

    • 平均报告三项指标:EER、HTER、以及在 FNR = 0.1 与 FNR = 0.01 时的 FPR。

实验结果如下表:

我们可以看到所有 LBP 特征组合在 REAL-F 中表现大幅下滑,EER 明显上升;以 EER 最低的 LBP-blk-color 为例,在 FNR = 0.01 时仍有 48.67% 的攻击样本被误判为真实;

反观 Pulse 特征在这 24 段 REAL-F 视频的跨数据测试中,HTER 为 4.29%、EER 为 1.58%;数据量很小,尚不足以保证其他面具与摄影条件也同样稳定。

这个结果说明了一件事:

这组未见过的 REAL-F 面具测试中,纹理特征泛化较差,Pulse 特征仍能区分多数真人与面具。

LBP 这类依赖纹理的方法,有两个明确的弱点:

  1. 面对皮肤纹理过于逼真的假脸时,无法提取识别性差异;
  2. 训练数据一旦固定,模型难以对新面具类型泛化。

相对地,脉搏信号具有清楚的语意定义(是否具备真实脉动), 不需要假设特定的面具纹理;但能否检出脉搏仍受光照、肤色、动作与人脸分辨率影响。

作者进一步分析了错误案例,并将 3DMAD 与 REAL-F 所有样本的 EgE_g 分布视觉化如下:

Pulse 特征中 (E_g) 的分布。橘色为面具攻击,多集中在低值区域

可以看到:

  • 多数攻击样本(橘色叉号)的 EgE_g 值极低,对应的是 PSD 无主频的噪声模式;
  • 真实样本的 EgE_g 值普遍偏高,但变异较大,与肤色、人脸尺寸、光源条件密切相关;
  • 主要的误判案例集中在一位肤色较深、人脸面积较小的受测者,这些条件会削弱 rPPG 信号或提高噪声强度。

从这里我们可以看出来这个方法的极限在于:当脸太暗或画面分辨率太低时,rPPG 信号会被环境噪声淹没,导致无法正确识别。

照片与视频攻击

在真实世界中,最容易取得的攻击手段是一张照片与一支手机。

本实验选用 MSU MFSD 数据集,包含 35 位受测者、共 280 段视频,涵盖两种典型攻击:

  • 照片攻击(print attack):使用高质量纸本照片;
  • 视频攻击(video replay):用 iPad 或 iPhone 重播人脸录像;
  • 每位受测者包含 2 段真实样本、2 段照片攻击、4 段视频攻击;
  • 视频装置为 MacBook Air 与 Nexus 5 之前镜头,分辨率为 640×480 与 720×480。

为探讨模型在不同攻击类型下的表现,作者将数据集分为三组:

测试组别实际样本攻击样本说明
MSU-photo7070纸本照片攻击
MSU-video70140视频重播攻击
MSU-all70210全部攻击样本
  • 使用 15 位受测者作为训练,20 位为测试;
  • Pulse 特征与前段相同,每段视频提取 6 维特征向量;
  • 为对比基准,仅选择性能最稳定的 LBP-ms-color 作为纹理特征代表。

实验结果如下表:

Pulse 与 LBP 特征在不同攻击场景下的 EER 表现

  • Pulse 特征在照片攻击(print attack)中 EER 为 5%,优于 LBP 的 10%;
  • 在视频攻击中 EER 升至 35%:若重播视频保留足够的脉搏信号,Pulse 特征就难以区分预录视频与现场真人;
  • LBP 特征在视频攻击中 EER 为 5%,优于 Pulse;在照片攻击中则为 10%。

这印证了 Pulse 特征的一项限制:

它只能区分「有无脉搏」,无法区分脉搏是「现场的」还是「预录的」。

视频重播可能保留可检出的脉搏信号,因此对单独的 Pulse 分类器构成挑战; 但照片是静态物体,没有自身的生理律动。作者因此把在照片组训练的 Pulse 模型与在视频组训练的彩色 LBP 模型串接;在 MSU-all 上,串接系统的 EER 为 7.5%,低于单用 Pulse 的 36.67% 与单用 LBP 的 13.33%。

结论

这篇论文提出了一种从人脸视频中寻找脉搏、用于识别呈现攻击的思路。

当时 rPPG 主要用于生理监测。这篇论文给它一个明确用途:寻找视频中与真实脉搏相符的信号,以辅助识别照片和面具攻击。

这个观念,在当时可说是相当激进的。

此前许多方法主要分析纹理、光影与深度。这篇论文将微弱的生理节拍带进 FAS,并在小规模 REAL-F 跨数据测试中发现:六维脉搏特征比所比较的纹理描述子更能适应这组未见过的面具。这一结果仍受样本和拍摄条件限制。

可惜,这个方法并不完美,甚至可以说是破绽百出:

  • 它在视频攻击前几乎束手无策;
  • 它对于光源、画质与肤色高度敏感;

这些困难仍需进一步的信号处理与评估;论文没有证明数据增强或其他模型无法改善它们。

但也正因为如此,它揭示了另一种设计方向的可能性:

比起扩大模型,有时反而是切换维度,才能突破现有方法的盲点。

这篇论文之后,后续研究探索了 CFrPPG、MCCFrPPG、MSTCT 等变体,尝试提高信号稳定性或结合其他线索。生理信号成为研究高拟真攻击时值得评估的一类证据,效果仍取决于具体攻击与拍摄条件。

从视频中寻找生理信号的思路,仍值得开发者参考。