返回论文笔记资料库
arXiv 2020ECCV 2020人脸防伪论文笔记

Disentangle-FAS

断开魂结

原始论文

Face Anti-Spoofing Via Disentangled Representation Learning

论文作者

Ke-Yue Zhang · Taiping Yao · Jian Zhang …

查看全部 9 位作者

Ke-Yue Zhang · Taiping Yao · Jian Zhang · Ying Tai · Shouhong Ding · Jilin Li · Feiyue Huang · Haichuan Song · Lizhuang Ma

发表版本
ECCV 2020会议
arXiv 首次提交
arXiv:2008.08250
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{faceantispoofingdisentanglefas2020,
  title = {{Face Anti-Spoofing Via Disentangled Representation Learning}},
  author = {Ke-Yue Zhang and Taiping Yao and Jian Zhang and Ying Tai and Shouhong Ding and Jilin Li and Feiyue Huang and Haichuan Song and Lizhuang Ma},
  year = {2020},
  eprint = {2008.08250},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2008.08250}
}
本页内容

这篇论文没有帮自己取个好听的名字。

所以我们就直接取用论文标题,称它为:Disentangle-FAS。

定义问题

Face Anti-Spoofing(FAS)一直站在识别系统的前线。

从手机解锁、门禁系统、金融身份核验,到各种 eKYC 场景,我们仰赖这个任务帮我们分辨这张脸是真的人,还是某种伪装?

随着算法精进、数据集扩充、模型精度一路攀升,我们以为问题正在被解决。

但事实上,我们只是在用更多样的假象,逼迫模型记住更多答案。

仔细一看,整个领域其实卡在几个老问题里:

  • 真假分类的黑盒模型,无法说明判断依据;
  • 泛化能力极差,一换数据集就崩溃;
  • 数据永远不够,攻击样式永远变化更快。

更严重的是:我们甚至无法明确描述「活体的特征」究竟是什么。

这不只是模型结构或数据量的问题。

而是我们对于脸的理解,本身就过于混沌。

脸上同时存在太多语义:身份、姿势、光照、背景、设备特性、肤色纹理等,而我们却让模型在这片混合语法里,一次性做出「真或假」的判断。

这种方式是不是打从一开始就错了?我们有没有可能:

让模型先试着从噪声与语义的纠缠中,抽出一条独立的、属于「活体」的线索?

解决问题

为了解开「脸上语义混杂」的难题,作者提出了两大核心部件:

  1. 进行活体与内容分离的 Disentanglement Process。
  2. 通过多种 Auxiliary Supervision(如 LBP、Depth、判别器)来强化拆解效果。

Disentanglement Process

首先,作者设计了一条「交换并重组」的流程,把人脸图像的潜在特征向量,拆成两块:

  • Liveness Features ( LL ):代表「这张脸是真还是假」的关键因子
  • Content Features ( CC ):代表脸的身份、背景、光照、姿势… 这些与真假无关的属性

完整流程可以参考上图:

  1. 一张真脸 AA 和一张假脸 BB 分别进入编码器 (Encoder),被拆解为 (LA,CA)(L_A, C_A) 与 (LB,CB)(L_B, C_B)。

  2. 接着,交换活体特征 以合成新的图像 A^b\hat{A}_b 和 B^a\hat{B}_a,分别代表:

    • 用「假脸的活体特征」+「真脸的内容特征」重组出来的图像 A^b\hat{A}_b
    • 用「真脸的活体特征」+「假脸的内容特征」重组出来的图像 B^a\hat{B}_a

这样一来,如果把真脸的 LL 与假脸的 CC 重新拼接,理论上就能生成一张「保留 B 的内容,但带有 A 的真脸属性」的新图;反之亦然。

这种交换行为,正是为了促使模型把「真假」和「脸部内容」分开;若两者混在一起,交换后的合成图可能失真或带有错误痕迹。

重建损失:Image & Latent

Encoder + Decoder 的组合在整个流程里,需要保证「能把图像再度重建回来」。

作者通过两种重建损失做约束:

  1. 图像重建损失 (Image Reconstruction)

    希望 D(E(xi))D(E(x_i)) 能够近似 xix_i 本身,公式如下:

    Lrecxi  =  Exi∼p(xi)∥ D(E(xi))  −  xi∥1\mathcal{L}_{rec}^{x_i} \;=\; \mathbb{E}_{x_i \sim p(x_i)} \Bigl\|\,D\bigl(E(x_i)\bigr) \;-\; x_i\Bigr\|_1

    其中 EE 表示编码器、DD 表示解码器,p(xi)p(x_i) 为真实图像的分布。

  2. 潜变量重建损失 (Latent Reconstruction)

    希望交换后的潜变量 ziz_i 经解码、再编码后,仍能重建出同一个 ziz_i,公式如下:

    Lreczi  =  Ezi∼q(zi)∥ E(D(zi))  −  zi∥1\mathcal{L}_{rec}^{z_i} \;=\; \mathbb{E}_{z_i \sim q(z_i)} \Bigl\|\, E\bigl(D(z_i)\bigr) \;-\; z_i \Bigr\|_1

    如此一来,可约束交换后的活体特征和内容特征仍能重建,促进两者分离。

Auxiliary Supervision

为了进一步「锁定」活体特征,作者在拆解流程中,额外加入三个辅助监督:

  1. LBP Map
  2. Depth Map
  3. Discriminative Supervision(判别器)

下表示作者使用各种辅助网络的结构细节:

每个网络都由一连串卷积层、BN、ReLU 所组成,用不同层级特征去校正或判别。

  • LBP Map

    考量到「假脸」常在纹理上出现破绽(如印刷墨点、屏幕摩尔纹),作者让活体特征接受 LBP(Local Binary Pattern) 监督:

    • 真脸:希望能靠 LBP Net 输出跟真实的 LBP 相近;
    • 假脸:以一张「全零图」作为训练目标。

    数学式如下:

    Llbp=  Eli∼P(li), xi∼P(xi)∥ LBP(li)−lbpxi∥1  +  Eli∼N(li), xi∼N(xi)∥ LBP(li)−0∥1\mathcal{L}_{lbp} =\; \mathbb{E}_{l_i \sim P(l_i),\, x_i \sim P(x_i)} \Bigl\|\, LBP(l_i) - lbp_{x_i} \Bigr\|_1 \;+\; \mathbb{E}_{l_i \sim N(l_i),\, x_i \sim N(x_i)} \Bigl\|\, LBP(l_i) - 0 \Bigr\|_1

    其中 P(⋅)P(\cdot) 表示真脸分布,N(⋅)N(\cdot) 表示假脸分布,lbpxilbp_{x_i} 为真脸的 LBP 图像, 0\,0 则是全零图。

  • Depth Map

    对于真脸的 3D 几何信息,作者也引入深度监督。

    • 真脸对应「伪深度图」,由 3D 对齐算法生成;
    • 假脸对应全零图。

    数学式如下:

    Ldep=  Exi∼N(xi)∥ Dep(xi)−0∥1  +  Exi∼P(xi)∥ Dep(xi)−depxi∥1\mathcal{L}_{dep} =\; \mathbb{E}_{x_i \sim N(x_i)} \Bigl\|\, Dep(x_i) - 0 \Bigr\|_1 \;+\; \mathbb{E}_{x_i \sim P(x_i)} \Bigl\|\, Dep(x_i) - dep_{x_i} \Bigr\|_1

    这里的 Dep(⋅)Dep(\cdot) 表示深度网络的输出。

    深度网络以图像为输入,训练拆解网络时参数保持固定;重建与交换后的图像也接受对应的深度或零图约束,以促进 LL 分支学到活体信息。零图是区分类别的训练目标。

  • Discriminative Supervision

    最后,作者设计了多尺度的判别器 (Discriminator),帮忙判断「生成的图像」到底像不像真实图像。

    本质类似 GAN 的对抗训练:

    • 判别器损失 ( LDisDL_{Dis}^D ):在固定生成器之后,更新判别器,让它学会分辨真实 (R) 与生成 (G);
    • 生成器损失 ( LGenDL_{Gen}^D ):在固定判别器之后,反向更新整个 Disentanglement Net,逼它产生更逼真的图像。

    数学式如下:

    LGenD=−  EI∈G log⁡(D1(I))  −  EI∈G log⁡(D2(I)).\mathcal{L}_{Gen}^{D} = - \; \mathbb{E}_{I \in G}\,\log\bigl(D_1(I)\bigr) \;-\; \mathbb{E}_{I \in G}\,\log\bigl(D_2(I)\bigr).

    其中 D1D_1 与 D2D_2 为不同尺度的判别器,用来捕捉局部细节与整体结构。

最终目标函数

作者把上述所有损失加总,形成最终训练目标:

L=  LGenD  +  λ1 Lrecxi  +  λ2 Lreczi  +  λ3 Ldep  +  λ4 Llbp\mathcal{L} =\; \mathcal{L}_{Gen}^{D} \;+\; \lambda_1\,\mathcal{L}_{rec}^{x_i} \;+\; \lambda_2\,\mathcal{L}_{rec}^{z_i} \;+\; \lambda_3\,\mathcal{L}_{dep} \;+\; \lambda_4\,\mathcal{L}_{lbp}

其中 λ1,λ2,λ3,λ4\lambda_1, \lambda_2, \lambda_3, \lambda_4 是平衡各种损失的重要超参数。

整个训练过程,采用典型的「对抗式迭代」:先优化判别器,再优化整个拆解网络。

一来一往,最终希望达到:

  • 交换后的图像足够逼真,
  • 活体与内容尽可能分离且能重建,
  • LBP 与深度监督也引导活体特征带有真假信息。

推理阶段不进行重建与交换,而是将由 LL 估计的 LBP 图分数,与图像经深度网络估计的深度图分数取平均来判断真伪;跨域能力仍须由实验检验。

讨论

论文作者在四个常见 FAS 数据库上进行测试:

  • Oulu-NPU、SiW(用于 intra-testing)
  • CASIA-MFSD 与 Replay-Attack(用于 cross-testing)

并通过常见的 APCER / BPCER / ACER / HTER 指标来量化。

Intra-testing: Oulu-NPU

基于 Oulu-NPU 的实验数据如上表所示,Disentangle-FAS 的 ACER 在 p1 与 FAS-TD 同为 1.3%,p2 为 2.4%(高于 FAS-TD 的 1.9%),p3、p4 则分别以 2.2%、4.4% 优于表中比较方法。这些结果支持它在所测协议下的表现,不能单由表格归因于特征拆解。

Cross-testing: CASIA-MFSD ↔ Replay-Attack

实验设计用 CASIA 训练、Replay 测试;或是 Replay 训练、CASIA 测试,都是 FAS 的标准「跨域」实验。

结果如上表,Disentangle-FAS 在 (CASIA → Replay) 的 HTER 为 22.4%,比表中 BASN 的 23.6% 低 1.2 个百分点;(Replay → CASIA) 则为 30.3%,略高于 BASN 的 29.9% 与 Auxiliary 的 28.4%。

这两个方向的结果不同,说明跨数据集表现仍取决于训练与测试数据的组合。

图像转换结果与可视化

作者在论文展示了三组翻译结果:「真脸 ↔ 假脸」、「真脸 ↔ 真脸」、「假脸 ↔ 假脸」。

  • 在「真脸 ↔ 假脸」交换时,对应的深度图也会同步切换,显示活体特征带有真假线索;
  • 而在「真脸 ↔ 真脸」或「假脸 ↔ 假脸」内部交换时,深度几乎不动。
  • 这些可视化结果与作者希望将 ID、光照、背景留在 content features 的设计一致。

接着,作者进一步聚焦局部区域(如印刷纹理、屏幕摩尔纹),展示交换后的结果真能呈现各种「假」细节的纹理特征,如下图:

这些局部示例显示,交换后的图像可呈现部分不同攻击媒介的纹理细节。

Ablation Study

作者也测了许多 ablation 组合,核心结论如下:

  • 有无 Disentanglement:图中的 t-SNE 投影显示,加入活体/内容分离后,真脸与假脸在活体特征上的分布较容易区分;内容特征的投影则较混杂。

  • LBP + Depth 监督:在 Oulu-NPU p1 消融实验中,同时利用低阶纹理(LBP)和深度(Depth)监督的组合取得表中最低 ACER(融合分数 1.25%)。

  • Score Fusion:在同一协议下,将 LBP 与 Depth 分数平均融合的 ACER 为 1.25%,低于只用 LBP(1.56%)、只用 Depth(1.67%)或取最大值(1.88%)。

这些实验与可视化支持活体特征有助于区分真伪,并可在展示的样本中呈现部分攻击纹理;跨数据集结果仍随测试方向而变。

结论

Disentangle-FAS 并没有试图再做一个更复杂的分类器。它选择把任务重写,将「脸」的潜在语法切割成两个世界:

一个是活体,一个是内容。

在这个框架下,真假除了体现在输出分数中,也对应一个可以交换、生成和可视化的语义空间。

模型不只学会分辨,还尝试拆解表征,展示哪些区域可能带有伪造痕迹。

通过活体特征的视觉转换、深度与纹理的辅助监督,以及跨域评测的实验结果,这篇论文告诉我们:

比起「判断真假」,我们更应该教模型学会「看见假象从何而来」。

在未来混沌多变的攻击世界里,这条路或许不容易,但它让我们有机会把防御这件事变得有语法、可推理还有能解释。

这正是从黑盒中抽身,走向一种更有意识的视觉识别方式。