On the Effectiveness of Local Binary Patterns in Face Anti-spoofing
- 发表版本
- BIOSIG 2012会议
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@inproceedings{faceantispoofinglbp2012,
title = {{On the Effectiveness of Local Binary Patterns in Face Anti-spoofing}},
author = {Ivana Chingovska and André Anjos and Sébastien Marcel},
year = {2012},
booktitle = {BIOSIG},
url = {https://publications.idiap.ch/publications/showlist/year/44}
}
这里我们可以先定义出几个重要的名词概念:
- 主动活体:用户按照指定的动作或指令进行操作,例如眨眼、转头等,这些动作是由系统主动要求的。然后系统会检测这些动作是否符合预期,以确认用户的身份。
- 被动活体:用户在不知情的情况下进行自然动作,例如自然地看着镜头或微笑。系统会自动检测这些动作,以确认用户的身份。
简单来说,被动活体的技术诉求在于不需要用户主动配合,而是通过自然的行为来进行身份验证。这样的技术可以提高用户的便利性,并且减少用户在身份验证过程中的负担。
讲好听点是减少负担,但仔细一想,如果主动活体检测的指令可以预测,攻击者就可能通过录制用户的动作,再向验证系统重放视频来尝试绕过验证;能否成功仍取决于系统采用的具体检查。
定义问题
作者认为,过去文献在构建攻击场景与数据集时仍有许多简化假设,无法完全反映真实应用中的多样性与复杂度。因此,他尝试提出更具实用价值的改进方向。
在这篇论文中定义了几个重要的攻击方式:
- Print Attack:攻击者使用打印照片欺骗系统。
- Mobile Attack:攻击者使用手机屏幕播放照片或视频。
- Highdef Attack:攻击者使用高分辨率屏幕播放照片或视频。
下图中,最左边的栏位是真实的用户,第二栏是 Print Attack,第三栏是 Mobile Attack,第四栏是 Highdef Attack。
为了更真实地模拟这些攻击情境,作者建立了一套新的公开数据集 REPLAY-ATTACK,并在文献所提出的多尺度 LBP 方法上,重新思考了特征提取的设计:
- 采用了一种简化版的 Local Binary Patterns(LBP)变体,聚焦在图像纹理的关键信息上,提升检测效率。
这个方向主要受到以下研究的启发:
为了方便后续比对,作者将其简称为文献 [7],与本论文进行对照。
作者认为与文献 [7] 相比,他在以下几个方面作出了具体改进:
- 攻击场景与数据更贴近真实应用:文献 [7] 仅使用 NUAA 数据集,且仅包含静态图像的印刷照片攻击。这对于模拟现实世界的攻击方式仍过于单一。
- 简化特征设计,提升效率与实现性:虽然文献 [7] 的多尺度 LBP 特征在分类效果上表现良好,但其 833 维的高维特征向量也带来不小的计算负担。
解决问题
上图展示了整个基于 LBP 的防伪算法流程图。
输入端首先接收原始图像。对视频的每一帧做人脸检测,将脸部区域归一化到 64×64 像素,再各自提取特征;若某帧未检测到人脸,则沿用先前成功检测的位置,若没有先前位置便舍弃该帧。
接着特征提取采用两种不同的策略:
- Option 1:对整张图像计算 LBP 特征,生成一个 59 维的直方图,这个直方图即为该图像的纹理特征向量。
- Option 2:将图像划分为 3×3 的图像块,对每个图像块独立计算 LBP 特征,然后将所有图像块的直方图串接起来,形成一个 531 维的特征向量。
最后将这些特征向量输入到分类器中,进行二元分类,并判定真假。
后面我们来看一下每个步骤的细节。
Local Binary Patterns
对于一幅灰度图像 中的任一像素,其 LBP 算子以 3×3 邻域作为基础。
令中央像素值为 ,而其周围 8 个邻域像素分别为 。
对每个邻域像素,我们定义比较函数:
因此,针对中央像素的 LBP 值计算公式为:
这个式子将 8 个比较结果(每个结果为 0 或 1)转换成一个 8 位的二进制数,对应的数值范围为 到 。
Uniform LBP
在论文中,将 Uniform LBP 记为 。
在众多可能的 8 位二进制模式中,有些模式被认为是「uniform」,即在循环(circular)检查中,从 0 到 1 或从 1 到 0 的转换次数最多不超过 2 次。
形式上,对于一个二进制序列 (这里 ),若其转换次数 满足
则该模式称为 uniform。
非 uniform 模式被合并为单一类别。对 8 个邻域点而言,58 种 uniform 模式加上这个合并类别,共形成 59 维直方图。
特征向量的构建
-
(1) Per-Image 特征
- 全图直方图:对整个脸部区域(通常先将脸部边界框归一化至 64×64 像素)中每个像素计算 LBP 值,然后统计每个 uniform 模式出现的次数,形成一个 59 维的直方图。经过归一化后,该直方图即作为该图像的纹理特征向量。
-
(2) Per-Block 特征
- 图像块直方图:将归一化后的脸部图像划分成 的图像块,每个图像块内分别计算一个 59 维的 LBP 直方图。最后将所有 9 个直方图串接起来,形成一个 维的特征向量。这种方式可以更细致地捕捉图像中局部区域(如额头、脸颊等)的纹理差异。
LBP 的延伸变体
除了基本的 LBP 之外,本文还实验了其他变体,主要包括:
- tLBP(Transitional LBP):其运作方式是循环比较中央像素相邻的两个邻域像素,形成二值模式。这种方法强调相邻像素之间的过渡特性。
- dLBP(Direction-coded LBP):dLBP 针对经过中央像素的四个基本方向进行强度变化的编码,每个方向用两个位表示,从而捕捉更多方向性信息。
- mLBP(Modified LBP):mLBP 类似于 Modified Census Transform (MCT) 的概念,不直接将中央像素与各邻域像素比较,而是将邻域像素与 3×3 区域的平均值进行比较,且舍弃了中央像素与平均值的比较结果。这样可以减少中央像素可能带来的噪音影响。
分类器
由于通过 LBP 算子获得的特征向量本质上是一个归一化后的直方图,因此初步的分类器通常采用 直方图比较方法。具体做法是:
- 在训练阶段,对所有真实访问图像计算直方图并平均,得到一个参考直方图;
- 对于待测图像,计算其 LBP 直方图,然后用 距离度量与参考直方图之间的相似性,进而得到一个分类分数。
此外,文章也探讨了 Linear Discriminant Analysis 与 Support Vector Machine;在 REPLAY-ATTACK 上,这两种分类器的测试 HTER 均低于基本的 直方图比较法。
数据集概述
本篇论文中提出了一个名为 REPLAY-ATTACK 的公开数据集,专门用于研究人脸识别系统的防伪技术。以下是数据集的主要配置:
- 数据集名称:REPLAY-ATTACK
- 数据集大小:包含 50 位受试者,共收录 1,200 段视频(每位受试者拍摄 24 段视频)。
- 视频长度与格式:真实访问视频约 15 秒;攻击视频约 10 秒。分辨率为 320×240(QVGA),帧率为 25 帧/秒。
- 录制场景:视频分别在两种静态场景下拍摄:
- Controlled 条件:背景为均匀场景,光源为荧光灯照明;
- Adverse 条件:背景不均匀,由自然日光照明。
- 拍摄设备:使用 Apple 13 英寸 MacBook 笔记本电脑录制视频,拍摄时受试者坐在镜头前方。
- 攻击方式:数据集设计了三种常见的假冒攻击手法:
- Print 攻击:使用激光打印机(Triumph-Adler DCC 2520)将高分辨率照片印在 A4 纸上;
- Mobile 攻击:以 iPhone 3GS 拍摄照片/视频并于设备屏幕上播放;
- Highdef 攻击:以 Canon PowerShot SX150 IS 拍摄高分辨率内容,并于 iPad 屏幕(1024×768)上播放。
- 攻击呈现模式:每种攻击皆有两种实现方式:
- Hand-based:操作者手持设备进行攻击,画面会有轻微晃动,有时可误导眨眼检测器;
- Fixed-support:设备置于固定支架,无晃动。
- 视频划分:数据集依照受试者随机分成三个子集:训练集、开发集与测试集,身份之间不重叠。攻击视频同样依据攻击方式细分(手持/固定)。
- 训练建议:训练集用于训练模型,开发集用于参数和阈值调整,测试集仅用于最终评估。
- 额外数据:另提供 100 段录制于相同光照条件下的「注册视频」,用于训练基础人脸识别模型,以评估攻击质量。
- 数据集公开性:数据集与源代码均向公众免费开放,并提供完整的协议与使用建议。
- 数据集网址:REPLAY-ATTACK
上表显示了 REPLAY-ATTACK 数据集在不同子集中的视频数量分布情况。
实验评估方法
检测系统可能会产生两种错误:
- False Rejection Rate (FRR):真实访问被误拒的比例。(合法被误判为攻击)
- False Acceptance Rate (FAR):攻击样本被误接受的比例。(攻击者被误判为合法)
这两种错误的综合指标称为 Half Total Error Rate (HTER),计算公式为:
由于 FAR 与 FRR 都受阈值影响,因此常用 ROC 曲线来展示不同阈值下的表现,并以 EER(等错误率,即 FAR 与 FRR 相等的点)作为开发集上选取阈值的依据,再在测试集上报告 HTER。
- HTER 分数愈低表示分类器对真假脸部访问的识别越准确。
在实验中,作者使用了三个数据集进行评估:REPLAY-ATTACK、NUAA 与 CASIA-FASD。
由于 NUAA 与 CASIA-FASD 数据集缺乏独立的开发集,因此采用 5 折交叉验证,并报告平均 HTER。
讨论
不同 LBP 特征的比较
上表展示了利用 直方图比较法作为分类器,对不同 LBP 特征变体进行分类时,在 REPLAY-ATTACK 数据集上所得到的 HTER 结果。
- LBP:这是常用的「uniform LBP」,利用 3×3 邻域计算 LBP 值,仅保留转换次数不超过 2 的模式,最终生成一个 59 维的直方图。
- mLBP(modified LBP):在计算时,除了进行二值比较外,还会先计算 3×3 邻域内像素强度的平均值,再与各邻域像素进行比较(中央像素与平均值的比较则舍弃),从而得到稍微改进的纹理描述。
表中也实际评估了 tLBP 与 dLBP;四种特征中,mLBP 的测试 HTER 最低(33.68%),标准 LBP 为 34.01%,tLBP 与 dLBP 分别为 35.35% 与 40.26%。
尽管 mLBP 的测试 HTER 略低,作者仍选用更常见的 LBP 做后续比较,使方法间的比较更一致;mLBP 还需额外计算邻域平均值。
不同数据集的比较
- ∗(星号):表示该行结果是使用 Bob 工具箱重现文献 [7] 的方法,包含特征提取与分类。
- ‡(双十字):表示引用自文献 [7] 中报告的原始数值,该结果使用 Matlab 实现 LBP 特征,并以 LibSVM 进行分类。
- §(段落符号):表示使用文献 [7] 原作者提供的特征,并以 Bob 工具箱进行分类所得之结果。
为了比较不同方法在各种数据集上的性能,作者在三个公开数据集上进行了实验,并使用 LBP 特征计算各自的 HTER 作为指标。REPLAY-ATTACK 使用固定的训练/开发/测试划分;只有缺少独立开发集的 NUAA 与 CASIA-FASD 使用五折轮流选取开发数据,表中报告其测试 HTER 的平均值。
在特征提取策略上,REPLAY-ATTACK 使用的是全图特征,而 NUAA 与 CASIA-FASD 则采用图像块特征。
结果显示,针对不同数据集,特征的选择对分类表现有显著影响:
- 在 REPLAY-ATTACK 数据集中,全图与九图像块特征的 HTER 接近;作者选用计算与内存成本较低的全图特征。
- 在 NUAA 与 CASIA-FASD 数据集中,九图像块特征的结果较好,因此表中采用九图像块特征。论文没有将此差异归因于两数据集的图像质量。
此外,NUAA 的开发数据取自训练数据的折分,表中开发集 HTER 很低,测试集却明显较高。作者将此视为可能过拟合的迹象,也指出应设立独立的开发集。
从模型设计角度来看,在 REPLAY-ATTACK 测试集上,文献 [7] 的 833 维特征搭配 SVM,比本文 59 维特征搭配 SVM 的 HTER 低 1.29 个百分点(13.87% 对 15.16%);但较大的特征向量也使 SVM 规模增加。本文 59 维特征搭配 SVM 已有 25,717 个支持向量,需权衡测试时计算成本。
结论
在深度学习尚未成为主流的年代,作者就已指出:人脸识别与抵御呈现攻击需要分别评估。这个观点今天仍有参考价值,具体防护设计还要看系统面对的威胁。
接着,REPLAY-ATTACK 数据集是当时少数针对视频攻击、涵盖多种假冒类型的公开资源。不只包含 Print、Mobile、Highdef 三种攻击,还考虑了不同设备与录制条件,并设计了完整的训练与测试协议。这为后续 FAS 研究提供了一个有用的比较基准。
从今天的角度看,LBP 特征易于计算和复现。不过,论文也显示其性能有限,且会随攻击类型变化。