返回论文笔记资料库
BIOSIG 2012人脸防伪论文笔记

LBP

轻快的微纹理

原始论文

On the Effectiveness of Local Binary Patterns in Face Anti-spoofing

论文作者

Ivana Chingovska · André Anjos · Sébastien Marcel

发表版本
BIOSIG 2012会议
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@inproceedings{faceantispoofinglbp2012,
  title = {{On the Effectiveness of Local Binary Patterns in Face Anti-spoofing}},
  author = {Ivana Chingovska and André Anjos and Sébastien Marcel},
  year = {2012},
  booktitle = {BIOSIG},
  url = {https://publications.idiap.ch/publications/showlist/year/44}
}
本页内容

这里我们可以先定义出几个重要的名词概念:

  1. 主动活体:用户按照指定的动作或指令进行操作,例如眨眼、转头等,这些动作是由系统主动要求的。然后系统会检测这些动作是否符合预期,以确认用户的身份。
  2. 被动活体:用户在不知情的情况下进行自然动作,例如自然地看着镜头或微笑。系统会自动检测这些动作,以确认用户的身份。

简单来说,被动活体的技术诉求在于不需要用户主动配合,而是通过自然的行为来进行身份验证。这样的技术可以提高用户的便利性,并且减少用户在身份验证过程中的负担。

讲好听点是减少负担,但仔细一想,如果主动活体检测的指令可以预测,攻击者就可能通过录制用户的动作,再向验证系统重放视频来尝试绕过验证;能否成功仍取决于系统采用的具体检查。

定义问题

作者认为,过去文献在构建攻击场景与数据集时仍有许多简化假设,无法完全反映真实应用中的多样性与复杂度。因此,他尝试提出更具实用价值的改进方向。

在这篇论文中定义了几个重要的攻击方式:

  1. Print Attack:攻击者使用打印照片欺骗系统。
  2. Mobile Attack:攻击者使用手机屏幕播放照片或视频。
  3. Highdef Attack:攻击者使用高分辨率屏幕播放照片或视频。

下图中,最左边的栏位是真实的用户,第二栏是 Print Attack,第三栏是 Mobile Attack,第四栏是 Highdef Attack。

为了更真实地模拟这些攻击情境,作者建立了一套新的公开数据集 REPLAY-ATTACK,并在文献所提出的多尺度 LBP 方法上,重新思考了特征提取的设计:

  • 采用了一种简化版的 Local Binary Patterns(LBP)变体,聚焦在图像纹理的关键信息上,提升检测效率。

这个方向主要受到以下研究的启发:

为了方便后续比对,作者将其简称为文献 [7],与本论文进行对照。

作者认为与文献 [7] 相比,他在以下几个方面作出了具体改进:

  • 攻击场景与数据更贴近真实应用:文献 [7] 仅使用 NUAA 数据集,且仅包含静态图像的印刷照片攻击。这对于模拟现实世界的攻击方式仍过于单一。
  • 简化特征设计,提升效率与实现性:虽然文献 [7] 的多尺度 LBP 特征在分类效果上表现良好,但其 833 维的高维特征向量也带来不小的计算负担。

解决问题

上图展示了整个基于 LBP 的防伪算法流程图。

输入端首先接收原始图像。对视频的每一帧做人脸检测,将脸部区域归一化到 64×64 像素,再各自提取特征;若某帧未检测到人脸,则沿用先前成功检测的位置,若没有先前位置便舍弃该帧。

接着特征提取采用两种不同的策略:

  1. Option 1:对整张图像计算 LBP 特征,生成一个 59 维的直方图,这个直方图即为该图像的纹理特征向量。
  2. Option 2:将图像划分为 3×3 的图像块,对每个图像块独立计算 LBP 特征,然后将所有图像块的直方图串接起来,形成一个 531 维的特征向量。

最后将这些特征向量输入到分类器中,进行二元分类,并判定真假。

后面我们来看一下每个步骤的细节。

Local Binary Patterns

对于一幅灰度图像 I(x,y)I(x,y) 中的任一像素,其 LBP 算子以 3×3 邻域作为基础。

令中央像素值为 I(x,y)I(x,y),而其周围 8 个邻域像素分别为 {I(xp,yp)}p=07\{I(x_p,y_p)\}_{p=0}^{7}。

对每个邻域像素,我们定义比较函数:

s(z)={1,if z≥0,0,if z<0.s(z)= \begin{cases} 1, & \text{if } z \geq 0, \\ 0, & \text{if } z < 0. \end{cases}

因此,针对中央像素的 LBP 值计算公式为:

LBP(x,y)=∑p=07s(I(xp,yp)−I(x,y))⋅2p.LBP(x,y) = \sum_{p=0}^{7} s\big(I(x_p,y_p) - I(x,y)\big) \cdot 2^p.

这个式子将 8 个比较结果(每个结果为 0 或 1)转换成一个 8 位的二进制数,对应的数值范围为 00 到 28−1=2552^8-1 = 255。

Uniform LBP

在论文中,将 Uniform LBP 记为 LBPu2LBP^{u2}。

在众多可能的 8 位二进制模式中,有些模式被认为是「uniform」,即在循环(circular)检查中,从 0 到 1 或从 1 到 0 的转换次数最多不超过 2 次。

形式上,对于一个二进制序列 b0b1…bP−1b_0b_1\ldots b_{P-1}(这里 P=8P=8),若其转换次数 UU 满足

U(b0,…,bP−1)≤2,U(b_0,\ldots,b_{P-1}) \leq 2,

则该模式称为 uniform。

非 uniform 模式被合并为单一类别。对 8 个邻域点而言,58 种 uniform 模式加上这个合并类别,共形成 59 维直方图。

特征向量的构建

  • (1) Per-Image 特征

    • 全图直方图:对整个脸部区域(通常先将脸部边界框归一化至 64×64 像素)中每个像素计算 LBP3×3u2^{u2}_{3\times3} 值,然后统计每个 uniform 模式出现的次数,形成一个 59 维的直方图。经过归一化后,该直方图即作为该图像的纹理特征向量。
  • (2) Per-Block 特征

    • 图像块直方图:将归一化后的脸部图像划分成 3×33\times3 的图像块,每个图像块内分别计算一个 59 维的 LBP 直方图。最后将所有 9 个直方图串接起来,形成一个 59×9=53159\times9 = 531 维的特征向量。这种方式可以更细致地捕捉图像中局部区域(如额头、脸颊等)的纹理差异。

LBP 的延伸变体

除了基本的 LBP3×3u2^{u2}_{3\times3} 之外,本文还实验了其他变体,主要包括:

  • tLBP(Transitional LBP):其运作方式是循环比较中央像素相邻的两个邻域像素,形成二值模式。这种方法强调相邻像素之间的过渡特性。
  • dLBP(Direction-coded LBP):dLBP 针对经过中央像素的四个基本方向进行强度变化的编码,每个方向用两个位表示,从而捕捉更多方向性信息。
  • mLBP(Modified LBP):mLBP 类似于 Modified Census Transform (MCT) 的概念,不直接将中央像素与各邻域像素比较,而是将邻域像素与 3×3 区域的平均值进行比较,且舍弃了中央像素与平均值的比较结果。这样可以减少中央像素可能带来的噪音影响。

分类器

由于通过 LBP 算子获得的特征向量本质上是一个归一化后的直方图,因此初步的分类器通常采用 χ2\chi^2 直方图比较方法。具体做法是:

  • 在训练阶段,对所有真实访问图像计算直方图并平均,得到一个参考直方图;
  • 对于待测图像,计算其 LBP 直方图,然后用 χ2\chi^2 距离度量与参考直方图之间的相似性,进而得到一个分类分数。

此外,文章也探讨了 Linear Discriminant Analysis 与 Support Vector Machine;在 REPLAY-ATTACK 上,这两种分类器的测试 HTER 均低于基本的 χ2\chi^2 直方图比较法。

数据集概述

本篇论文中提出了一个名为 REPLAY-ATTACK 的公开数据集,专门用于研究人脸识别系统的防伪技术。以下是数据集的主要配置:

  • 数据集名称:REPLAY-ATTACK
  • 数据集大小:包含 50 位受试者,共收录 1,200 段视频(每位受试者拍摄 24 段视频)。
  • 视频长度与格式:真实访问视频约 15 秒;攻击视频约 10 秒。分辨率为 320×240(QVGA),帧率为 25 帧/秒。
  • 录制场景:视频分别在两种静态场景下拍摄:
    1. Controlled 条件:背景为均匀场景,光源为荧光灯照明;
    2. Adverse 条件:背景不均匀,由自然日光照明。
  • 拍摄设备:使用 Apple 13 英寸 MacBook 笔记本电脑录制视频,拍摄时受试者坐在镜头前方。
  • 攻击方式:数据集设计了三种常见的假冒攻击手法:
    1. Print 攻击:使用激光打印机(Triumph-Adler DCC 2520)将高分辨率照片印在 A4 纸上;
    2. Mobile 攻击:以 iPhone 3GS 拍摄照片/视频并于设备屏幕上播放;
    3. Highdef 攻击:以 Canon PowerShot SX150 IS 拍摄高分辨率内容,并于 iPad 屏幕(1024×768)上播放。
  • 攻击呈现模式:每种攻击皆有两种实现方式:
    1. Hand-based:操作者手持设备进行攻击,画面会有轻微晃动,有时可误导眨眼检测器;
    2. Fixed-support:设备置于固定支架,无晃动。
  • 视频划分:数据集依照受试者随机分成三个子集:训练集、开发集与测试集,身份之间不重叠。攻击视频同样依据攻击方式细分(手持/固定)。
  • 训练建议:训练集用于训练模型,开发集用于参数和阈值调整,测试集仅用于最终评估。
  • 额外数据:另提供 100 段录制于相同光照条件下的「注册视频」,用于训练基础人脸识别模型,以评估攻击质量。
  • 数据集公开性:数据集与源代码均向公众免费开放,并提供完整的协议与使用建议。
  • 数据集网址:REPLAY-ATTACK

上表显示了 REPLAY-ATTACK 数据集在不同子集中的视频数量分布情况。

实验评估方法

检测系统可能会产生两种错误:

  • False Rejection Rate (FRR):真实访问被误拒的比例。(合法被误判为攻击)
  • False Acceptance Rate (FAR):攻击样本被误接受的比例。(攻击者被误判为合法)

这两种错误的综合指标称为 Half Total Error Rate (HTER),计算公式为:

HTER=FAR+FRR2\text{HTER} = \frac{\text{FAR} + \text{FRR}}{2}

由于 FAR 与 FRR 都受阈值影响,因此常用 ROC 曲线来展示不同阈值下的表现,并以 EER(等错误率,即 FAR 与 FRR 相等的点)作为开发集上选取阈值的依据,再在测试集上报告 HTER。

  • HTER 分数愈低表示分类器对真假脸部访问的识别越准确。

在实验中,作者使用了三个数据集进行评估:REPLAY-ATTACK、NUAA 与 CASIA-FASD。

由于 NUAA 与 CASIA-FASD 数据集缺乏独立的开发集,因此采用 5 折交叉验证,并报告平均 HTER。

讨论

不同 LBP 特征的比较

上表展示了利用 χ2\chi^2 直方图比较法作为分类器,对不同 LBP 特征变体进行分类时,在 REPLAY-ATTACK 数据集上所得到的 HTER 结果。

  • LBP3×3u2^{u2}_{3\times3}:这是常用的「uniform LBP」,利用 3×3 邻域计算 LBP 值,仅保留转换次数不超过 2 的模式,最终生成一个 59 维的直方图。
  • mLBP(modified LBP):在计算时,除了进行二值比较外,还会先计算 3×3 邻域内像素强度的平均值,再与各邻域像素进行比较(中央像素与平均值的比较则舍弃),从而得到稍微改进的纹理描述。

表中也实际评估了 tLBP 与 dLBP;四种特征中,mLBP 的测试 HTER 最低(33.68%),标准 LBP3×3u2^{u2}_{3\times3} 为 34.01%,tLBP 与 dLBP 分别为 35.35% 与 40.26%。

尽管 mLBP 的测试 HTER 略低,作者仍选用更常见的 LBP3×3u2^{u2}_{3\times3} 做后续比较,使方法间的比较更一致;mLBP 还需额外计算邻域平均值。

不同数据集的比较

  • ∗(星号):表示该行结果是使用 Bob 工具箱重现文献 [7] 的方法,包含特征提取与分类。
  • ‡(双十字):表示引用自文献 [7] 中报告的原始数值,该结果使用 Matlab 实现 LBP 特征,并以 LibSVM 进行分类。
  • §(段落符号):表示使用文献 [7] 原作者提供的特征,并以 Bob 工具箱进行分类所得之结果。

为了比较不同方法在各种数据集上的性能,作者在三个公开数据集上进行了实验,并使用 LBP 特征计算各自的 HTER 作为指标。REPLAY-ATTACK 使用固定的训练/开发/测试划分;只有缺少独立开发集的 NUAA 与 CASIA-FASD 使用五折轮流选取开发数据,表中报告其测试 HTER 的平均值。

在特征提取策略上,REPLAY-ATTACK 使用的是全图特征,而 NUAA 与 CASIA-FASD 则采用图像块特征。

结果显示,针对不同数据集,特征的选择对分类表现有显著影响:

  • 在 REPLAY-ATTACK 数据集中,全图与九图像块特征的 HTER 接近;作者选用计算与内存成本较低的全图特征。
  • 在 NUAA 与 CASIA-FASD 数据集中,九图像块特征的结果较好,因此表中采用九图像块特征。论文没有将此差异归因于两数据集的图像质量。

此外,NUAA 的开发数据取自训练数据的折分,表中开发集 HTER 很低,测试集却明显较高。作者将此视为可能过拟合的迹象,也指出应设立独立的开发集。

从模型设计角度来看,在 REPLAY-ATTACK 测试集上,文献 [7] 的 833 维特征搭配 SVM,比本文 59 维特征搭配 SVM 的 HTER 低 1.29 个百分点(13.87% 对 15.16%);但较大的特征向量也使 SVM 规模增加。本文 59 维特征搭配 SVM 已有 25,717 个支持向量,需权衡测试时计算成本。

结论

在深度学习尚未成为主流的年代,作者就已指出:人脸识别与抵御呈现攻击需要分别评估。这个观点今天仍有参考价值,具体防护设计还要看系统面对的威胁。

接着,REPLAY-ATTACK 数据集是当时少数针对视频攻击、涵盖多种假冒类型的公开资源。不只包含 Print、Mobile、Highdef 三种攻击,还考虑了不同设备与录制条件,并设计了完整的训练与测试协议。这为后续 FAS 研究提供了一个有用的比较基准。

从今天的角度看,LBP 特征易于计算和复现。不过,论文也显示其性能有限,且会随攻击类型变化。