返回论文笔记资料库
ECCV 2010人脸防伪论文笔记

SLRBD

沉默的反射光

原始论文

Face Liveness Detection from A Single Image with Sparse Low Rank Bilinear Discriminative Model

论文作者

Xiaoyang Tan · Yi Li · Jun Liu · Lin Jiang

发表版本
ECCV 2010会议
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@inproceedings{faceantispoofingslrbd2010,
  title = {{Face Liveness Detection from A Single Image with Sparse Low Rank Bilinear Discriminative Model}},
  author = {Xiaoyang Tan and Yi Li and Jun Liu and Lin Jiang},
  year = {2010},
  booktitle = {ECCV},
  url = {https://doi.org/10.1007/978-3-642-15567-3_37},
  doi = {10.1007/978-3-642-15567-3_37}
}
本页内容

这次我们要来深度走访活体识别的技术脉络。

在一开始,我们选了几篇论文作为该领域发展前期的重点。

定义问题

活体识别的议题早在 2010 年前就已经有很多研究,在当时的方法使用脸部运动(如眨眼、微小脸部变化)或皮肤质感、深度信息等特征来识别活体。

但,只要对方知道你是采用何种算法,就可以被针对性的破解。像是脸部运动的检测可以被短片播放,照片晃动或双照片仿真的方式欺骗。

那如果引入 3D 相机或是热成像仪呢?

那也不方便。

我们出门可以随身带手机,但绝不会吃饱撑着带个热成像仪出门,只为了不知道在什么时候用它来证明自己是活体。

因此本篇论文的作者提出要通过「一张图像」就认出对方是否为活人,不假其他外力。

举例来说,参考下图,哪几张是拍摄人脸照片(翻拍)?哪几张是拍摄真实的人脸?

答案是:从右边数来第一个 Column 是真的,其他都是照片翻拍。

什么!你说你肉眼根本看不出来?

说得对,这就是问题。

解决问题

作者先以主成分分析(PCA)检查数据,发现活体与冒充图像的分布大量重叠,难以直接区分两者。

为了解决这个问题,作者改采「Lambertian 反射模型」作为分析基础,期望从光照与表面交互的角度来寻找判别依据,并且将这个问题视为一个「二元分类」的问题,简单来说,就是将图像分为「活体」或「冒充」两类。

Lambertian 反射模型是一种描述表面如何散射入射光的数学模型,假设表面为理想的漫反射体。这代表表面会将光线均匀地向所有方向散射,且观察亮度与观察角度无关。

这种特性来自于 Lambert 的余弦定律,其基本公式为:

I(x,y)=fc(x,y) ρ(x,y) Alightcos⁡θI(x,y) = f_c(x,y) \, \rho(x,y) \, A_{\text{light}} \cos\theta

其中:

  • I(x,y)I(x,y):图像中位置 (x,y)(x,y) 的亮度;
  • fc(x,y)f_c(x,y):相机的光响应因子,通常视为常数;
  • ρ(x,y)\rho(x,y):反射系数,代表表面的漫反射特性;
  • AlightA_{\text{light}}:光源强度;
  • cos⁡θ\cos\theta:光线与表面法向量之夹角的余弦值,可写作 n⋅sn \cdot s。

根据此模型,当光线与表面法向夹角越小(cos⁡θ\cos\theta 趋近 1),反射强度越高;反之,夹角越大(cos⁡θ\cos\theta 趋近 0),反射强度就越低。这种光照反射的变化,对于描述如人体皮肤、纸张等非镜面反射物体而言非常贴切。

进一步地,作者将此模型应用于活体检测的场景,针对在相同照明条件下取得的两张图像:

  • 活体图像 It(x,y)I_t(x,y)
  • 冒充图像 If(x,y)I_f(x,y)

根据 Lambertian 模型,两者皆可表示为:

I(x,y)=fc(x,y)ρ(x,y)Alightcos⁡θI(x,y) = f_c(x,y) \rho(x,y) A_{\text{light}} \cos\theta

假设 fc(x,y)f_c(x,y) 为常数,则:

It(x,y)=ρt(x,y)Alight(nt⋅s)I_t(x,y) = \rho_t(x,y) A_{\text{light}} (n_t \cdot s) If(x,y)=ρf(x,y)Alight(nf⋅s)I_f(x,y) = \rho_f(x,y) A_{\text{light}} (n_f \cdot s)

进一步拆解为:

It(x,y)=ρt(x,y)μt(x,y)I_t(x,y) = \rho_t(x,y) \mu_t(x,y) If(x,y)=ρf(x,y)μf(x,y)I_f(x,y) = \rho_f(x,y) \mu_f(x,y)

其中 μ(x,y)=Alight(n⋅s)\mu(x,y) = A_{\text{light}} (n \cdot s),将图像拆解为反射成分 ρ(x,y)\rho(x,y) 与照明成分 μ(x,y)\mu(x,y),突显了两者在活体与冒充之间的区分潜力。

为了估计照明成分 μ\mu,作者采用 Logarithmic Total Variation (LTV) 平滑方法:

μ=arg⁡min⁡μ∫Ω(∥∇μ∥1+λ∣I−μ∣) dx dy\mu = \arg \min_{\mu}\int_{\Omega} \left(\|\nabla\mu\|_1 + \lambda|I-\mu|\right)\,dx\,dy

其中 λ\lambda 预设为 0.5。

接着,运用 Land’s Retinex 公式计算反射成分:

log⁡(ρ(x,y))=log⁡(I(x,y)+1)−log⁡(μ(x,y)+1)\log(\rho(x,y)) = \log(I(x,y)+1) - \log(\mu(x,y)+1)

这样的分解让我们观察到:活体图像的 μ\mu 含有更多的表面法向信息,而照片图像的 μ\mu 相对平滑,说明其光照与结构细节较为单一。这是因为冒充图像经历相机拍摄与打印过程后,图像质量与细节皆有所损失。

为了强化这些差异,作者进一步使用 DoG 滤波器(差分高斯)提取图像中的高-中频区域变异:

  • 内部高斯标准差 σ0\sigma_0 为 0.5
  • 外部高斯标准差 σ1\sigma_1 为 1.0

经过 DoG 处理后,活体图像的高频成分(尤其水平方向)更为明显,而冒充图像的中频部分则显得失真与模糊。

此外,在相同照明条件下,照明成分比值 μf/μt\mu_f/\mu_t 主要受表面法向 nfn_f 与 ntn_t 所影响,这意味着可以通过「真实用户的参考图像」来协助识别冒充攻击。

针对不同照明条件,作者也讨论一种可能的处理策略:

  • 使用奇异值分解(SVD)从训练数据中学得 KK 个常见光照方向,构成光照矩阵 S∈R3×KS \in \mathbb{R}^{3\times K};
  • 配合待估计的表面法向矩阵重构照明图像 μ\mu,求得系数 vv,再将其作为分类器的输入特征。

但因 LTV 分解有可能将部分纹理细节渗入 μ\mu,使其分布变得非线性,实验并未采用上述光照系数重构,而是直接从分解或滤波得到的潜在样本学习分类器。

分类器设计方面:

  • 稀疏逻辑回归: 将标准逻辑回归加入 ℓ1\ell_1-正则化,控制高维样本下的过拟合问题。
  • 稀疏低秩双线性逻辑回归: 直接操作二维图像结构,将投影矩阵分解为 W=LRW = LR,在 LL 与 RR 上施加 ℓ2,1\ell_{2,1}-正则化以促进组稀疏与低秩,通过交替块坐标下降法优化,直至收敛。

另一项扩展则以训练样本定义的核映射 ϕ\phi,将输入转换到特征空间,再套用稀疏逻辑回归,形成非线性分类器;这与前述双线性模型是两种实验设置。

作者将核映射后的非线性模型视为一种非参数概率模型:特征维度随训练样本数增加,ℓ1\ell_1 正则化则促进稀疏解。论文比较了所用求解器与 pSVM、RVM、IVM 的计算复杂度。

公式看了这么多,作者也贴心地用一张示例图像来说明整个模型架构。

上图展示了针对「真实用户图像」(上排)与「冒充图像」(下排)所推导出的潜在样本,通过不同图像处理与频谱分析技术,提取有助于区分两者的关键特征。

我们逐一说明每个栏位所代表的意义:

  • Column 1:这是原始图像,上排是真实用户图像,下排为冒充图像(照片翻拍)。
  • Column 2:这是 LTV 估计的照明图像 (µ Image),显示经 LTV 方法估计出的照明分布。真实图像中,µ 通常含有更多曲面与法向变化信息;而冒充图像则显得平滑,缺乏立体感。
  • Column 3:这是 LTV 估计的反射图像 (ρ Image),捕捉物体本身的材质与纹理,与光照变化无关。真实人脸与冒充图像的反射图,在细节与纹理上常有显著差异。
  • Column 4:这是原始图像的傅立叶频谱,中心化的频谱揭示全局空间频率分布,可反映出图像的细节与纹理丰富度。
  • Column 5:这是使用 DoG 过滤后图像的中心化傅立叶频谱。与前一栏相比,高频噪声减少;作者也观察到两类图像在中频方向分布上的差异。

训练与验证数据集

利用普通廉价网络摄像头于三次不同拍摄会议中采集数据,每次间隔约两周,环境与光照条件各异。共 15 位受试者参与,每次皆捕捉活体图像(500 张、20fps)及相对应的照片图像。

照片图像先用高画质相机拍摄,再以不同尺寸与印刷方式(相纸与 A4 彩色打印)制作,模拟各类攻击情境。训练集来自前两次拍摄(活体与冒充图像分别约 1743 与 1748 张),测试集来自第三次拍摄(分别 3362 张活体与 5761 张冒充图像),且部分受试者仅出现在测试集中。

所有图像经过人脸检测、眼部定位、几何标准化、裁切至 64×64 像素及转换成灰度图,详细数据配置如下表:

讨论

SLR 性能评估

为验证前述特征与模型在实际应用中的性能,作者首先使用稀疏线性逻辑回归(SLR)对不同图像特征进行识别实验。上图左侧展示了各特征类型在识别任务中的表现,每条线对应一种特征输入,结果如下:

  • RAW(原始灰度图像): 性能较差,显示直接使用原始像素值作为输入难以有效分辨活体与冒充图像。
  • LTVu(由 LTV 分解所得之照明图像): 同样表现不佳。虽然包含光照信息,但其非线性特性不利于线性分类器进行有效判别。
  • LTVp(由 LTV 分解所得之反射图像): 表现明显提升,AUC 约 0.78,显示反射特征能更有效捕捉物体材质与纹理差异。
  • DoG(差分高斯过滤图像): 亦展现不错的效果,AUC 约 0.75。中频特征的强调能提升图像在特征空间中的可分性。
  • HF(高频成分的一部分): 表现相对较差,AUC 仅约 0.69,说明高频成分虽能提取细节,但也容易受噪声与失真影响,导致稳定性不足。

综上所述,LTVp 与 DoG 特征在活体与冒充图像的识别上皆优于 RAW 与 LTVu,进一步佐证了反射与中频特征在该任务中的判别潜力。相比之下,仅取高频信息虽能捕捉部分边缘特征,但由于其不稳定性,使得整体性能仍落后于 LTVp 与 DoG。因此,后续实验不再采用原始图像作为输入特征。

进一步地,作者分析了在使用相同特征(此处为 DoG 过滤图像)下,不同稀疏线性分类模型的性能差异,如图右所示:

  • 标准稀疏逻辑回归(SLR): 在 DoG 图像上得到 AUC 约 0.75,作为基准。
  • 稀疏低秩双线性逻辑回归(SLRBLR): 引入图像空间结构与低秩假设后,AUC 明显提升至约 0.92。
  • SLRBLR 的特例 SLRBLRr1(rank=1): 将投影矩阵的秩限制为 1,在这组 DoG 实验中 AUC 达 0.95,高于图中的 SLRBLR 与 SLR。

这些结果显示,在相同 DoG 输入下,双线性模型的 ROC 曲线与 AUC 都优于标准 SLR;单秩特例在这组比较中最高。图表本身无法判定提升只来自某个变异方向。

从特征设计的角度来看,反射特征(LTVp)与中频特征(DoG)在 SLR 下优于 RAW、LTVu;从分类模型的角度看,低秩双线性模型的引入在 DoG 输入下进一步提高 AUC。

借由这样的设计,该数据集上的 DoG 实验从 SLR 的 AUC 0.75 提升至单秩双线性模型的 0.95。

分类器性能评估

为进一步提升识别性能,作者将原本的线性分类模型扩展为非线性稀疏逻辑回归(SNLR),上图左侧即为其在不同输入特征下的检测性能。通过引入非线性决策边界,整体检测能力有了显著提升。

以 LTV 分解所获得的照明成分(LTVu)为例,在传统线性分类器中其 AUC 仅约 0.22,几乎不具识别能力;但经 SNLR 处理后,AUC 大幅提升至 0.92,充分说明该特征具有潜在的分类价值,只是需要更具表现力的非线性模型来发掘。

此外,当反射成分(LTVp)与照明成分(LTVu)结合作为输入时,分类性能进一步提升,AUC 达到 0.94,显示这两种特征在信息上具有互补性,结合后能加强模型的判别能力。

在低假阳性率区间,DoG 过滤图像的 ROC 曲线上升较快;作者因此认为它是这组方法中较适合实际使用的选择。若看整体曲线,LTVp 与 LTVu 的融合特征也有很好的表现。


上图右侧进一步比较了三种分类器模型在不同特征输入下的整体分类准确率:包含稀疏线性逻辑回归(SLR)、稀疏非线性逻辑回归(SNLR)与概率型支持向量机(SVM)。分类结果基于 9,123 张测试图像,通过适当阈值设置,计算其正确分类的比例。

结果显示,DoG 特征搭配 SNLR 或 SVM 时,分类准确率高于搭配 SLR,但右图中 LTVu 与融合特征搭配 SNLR/SVM 的准确率更高,不能说 DoG 在各模型中都是最高。HF 在 SVM 下明显较差,在 SLR 下则与 DoG 接近。

论文另报告,先前傅立叶频谱方法的分类准确率为 76.7%,比此处 DoG 与非线性分类器的结果低约 10 个百分点;这个数值未画在右图。LTV 分解所得的反射(LTVp)与照明(LTVu)图像,搭配非线性模型时也有较好的表现,融合两者可再略为提升。

综合以上分析,DoG 特征与非线性稀疏分类器的结合在低假阳性率区间有较好的 ROC 表现;右图的最佳整体准确率则还取决于输入特征与分类器的搭配。

结论

本论文通过物理反射模型对图像中固有的表面特性进行解析,强调从图像中提取本质信息以区分真人与照片的重要性,并为单张图像中的真人与翻拍照片提供了可检验的特征设计。

在技术实现层面,作者提出一种「非侵入、实时、且无需额外硬件设备」的活体检测方法,在论文所用网络摄像头和照片攻击设置下得到较好效果;真实部署仍需针对设备、攻击类型与环境验证。

虽然当今活体检测技术在性能与稳健性方面已大幅超越早期方法,但这篇早期工作展示了图像分解与特征学习的一种思路;其结果来自论文所用的数据集,是否适用于后来的多模态或跨光照系统仍需另行验证。