返回论文笔记资料库
arXiv 2023ICCV 2023人脸防伪论文笔记

FLIP

防御咒

原始论文

FLIP: Cross-domain Face Anti-spoofing with Language Guidance

论文作者

Koushik Srivatsan · Muzammal Naseer · Karthik Nandakumar

发表版本
ICCV 2023会议
arXiv 首次提交
arXiv:2309.16649
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{faceantispoofingflip2023,
  title = {{FLIP: Cross-domain Face Anti-spoofing with Language Guidance}},
  author = {Koushik Srivatsan and Muzammal Naseer and Karthik Nandakumar},
  year = {2023},
  eprint = {2309.16649},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2309.16649}
}
本页内容

「这是真的!」

吾以自然语言作为崇高的见证,模型如是说。

定义问题

在机场、手机、门禁与各种验证节点中,脸早已成为最习以为常的识别符号。

然而,这些系统依赖的防伪模型(FAS),往往在跨装置、跨攻击形式、跨环境条件的测试下,显现出意料之外的脆弱:

  • 模型在熟悉的数据分布下表现良好,一旦离开训练场景便大幅退化;
  • 相机解析度、光照条件、甚至是攻击方式的微调,都可能让模型误判虚构为真实;

最后,许多方法假设可取得目标域的样本,但在实际应用中,这往往是一种奢求。毕竟谁也不知道下一次的攻击会从何而来,用什么方式。

同样的话,我们已经听了十几年,却依然无法解决这个问题。

这让我们不得不重新思考一个根本性的提问:

在目标域缺乏标注、攻击类型未知的跨域场景中,模型能否依然保有对「活体」的感知?

过去的尝试,多半围绕在三种策略中寻求解答:

  • 无监督领域适应(UDA):依赖未标记的目标数据协助决策边界泛化;
  • 少样本学习(Few-shot Learning):以少量目标标注样本快速调整表征;
  • 领域泛化(Domain Generalization):试图从多源域中学出攻击无关的识别特征。

然而,这些方法多半假设模型可以接触到目标域,或者依赖非平凡的辅助信息,例如攻击类型、风格标签、甚至特殊模块的加入。这使得「零样本迁移」始终是个既理想、又棘手的命题。

这篇论文的作者,则提出了一个更为激进的思考:

  • 如果我们把预训练的 ViT 换成来自 CLIP 这类多模态模型,会不会天然就更能跨域?
  • 如果语言本身能成为一种「风格中立」的描述辅助,那么它是否能引导模型学出语义层次的防伪直觉?
  • 若图像与文字不只是配对,而是在学习过程中共同编码其「真实性」,那么模型对于真实是否会有更深的理解?

这些问题所隐含的,不仅是数据的结构问题,更是表征的语义深度问题。模型所要学习的,不只是特征,而是如何从「描述」中认出一张脸的组成是否真实。

而这一切,都从一句话开始:

“This is not a spoof face.”


解决问题

等等,你说你还不知道什么是 CLIP?

那我们先简单介绍一下:

假设我们有一组图像-文字对,其中一对可能是一张狗的图片和文字「一只可爱的小狗」。

在一个训练批次中,CLIP 会接收到多个这样的对。图像编码器可能通过 ResNet 或 ViT 来处理图像,获取图像特征,而文本编码器可能通过 Transformer 来处理文本,获取文字特征。

然后,模型会比较这些特征,以确保正确配对的图像和文字(例如:狗的图像和「一只可爱的小狗」的文字)之间的余弦相似度最大,而错误配对的图像和文字( 例如:狗的图像和「一个苹果」的文字)之间的余弦相似度最小。

最后,使用 4 亿组图像文本对,进行训练。

非常简单的概念,效果也非常好,而这个架构的成功也开启了一个新世代的潮流。

模型架构

上图是本篇论文的研究架构,对应如下:

  • (a) FLIP-Vision:单纯使用 CLIP 的 vision encoder + MLP,为 baseline 架构。
  • (b) FLIP-IT:导入文字描述作为类别对应,使用 cosine 相似度作为分类基准。
  • (c) FLIP-MCL:多模态正则化下的进化版本,让模型从更多视角、自我验证中学习一致的跨域表征。

这是个基于 CLIP 的多模态对比学习架构,我们来看一下到底该怎么把 CLIP 的知识转移到我们希望解决的问题上。

FLIP-Vision

刚才提到,由于 CLIP 在大规模网络图文数据上预训练,因此能在许多自然图像任务(例如分类、物体检测、图像分割等)展现良好的零样本迁移效果。

但是,由于 FAS 任务需要辨别「非常微小」的差异(如纸张反光、屏幕纹理、翻拍失真等),因此 CLIP 特征没办法直接套用。

因此,作者提出 FLIP-Vision(FLIP-V)作为 baseline 模型,采取一个极简的转换策略:

  • 保留 CLIP 的 图像编码器(image encoder);
  • 舍弃文字编码器,仅使用 CLIP 的 ViT 结构做特征抽取;
  • 将最后一层 Transformer block 的 class token 输出,接上一个 多层感知器(MLP) 头部进行二分类;
  • 使用标准的 Cross Entropy Loss 进行训练,区分真实人脸与伪造人脸。

这样的设计可以视为使用图文预训练权重的视觉微调:它承袭 CLIP 图像编码器的初始表征,但 FAS 微调时不使用文字编码器。

训练时,作者使用来自多个来源域的平衡图像数据,让模型在不同风格、攻击形态与拍摄条件中学习判断依据。

而这个过程中,仍是一个纯监督式的训练流程,没有引入任何语言提示或语义线索。

因此,FLIP-V 实际上只是证明了一件事情:

即使微调时不使用语言,CLIP 的视觉 backbone 在本文测试协议的平均 HTER 上仍优于比较用的 ImageNet 预训练 ViT。

FLIP-Image-Text

FLIP-Vision 的基础版本,虽然已经证明 CLIP 的视觉编码器在 FAS 任务上具有一定迁移潜力,但其本质仍是「视觉单模态」的分类器。

这样的设计,依旧局限在「识别特征」的框架内,并未发挥 CLIP 最初的设计精神,也就是让语言成为视觉的引导与判别基准。

于是,作者接着引入 FLIP-IT 的概念。

这一版本的核心想法,是以自然语言句子作为「语义锚点」,让模型在学习过程中,直接比较图像特征与语言描述之间的对齐程度,而不是仅通过图像间的分类边界进行学习。

这里的设计不再使用传统的 MLP 头部来判别图像真伪,而是让每一张图像去「选择一段更相似的描述」。

这么做的核心逻辑,是把每一个类别(real / spoof)以一句自然语言句子来代表,然后使用 CLIP 的文字编码器(text encoder)来转换这些句子为向量表示 z⃗r\vec{z}_r 和 z⃗s\vec{z}_s,接着与图像向量 x⃗\vec{x} 计算余弦相似度,作为模型的预测依据。

也就是说模型仍在判断图像属于哪一类,只是以图像和两类文字描述的相似度作为分类分数。

同一个类别可以用多种句子描述;作者希望借此引导图像表征学习与真伪相关的线索。

作者在实验中设计了多组语句来描述真实与攻击类别,总共六组,如下表所示:

Prompt No.Real PromptsSpoof Prompts
P1This is an example of a real faceThis is an example of a spoof face
P2This is a bonafide faceThis is an example of an attack face
P3This is a real faceThis is not a real face
P4This is how a real face looks likeThis is how a spoof face looks like
P5A photo of a real faceA photo of a spoof face
P6This is not a spoof faceA printout shown to be a spoof face

这些句子代表了不同层次的语言策略:

  • 有些强调正面描述(如 P2:「This is a bonafide face」);
  • 有些采用否定结构(如 P3:「This is not a real face」);
  • 有些更像图像标题(如 P5:「A photo of a real face」);
  • 也有些使用否定句描述真实人脸,并以特定攻击形式描述伪造人脸(如 P6)。

这些描述组成一组「语言上下文提示集(context prompts)」,作者使用每类六组提示(P=6)的文字嵌入平均值 zˉ\bar{z},来与图像特征进行对齐学习。图像编码器与文字编码器都参与 FLIP-IT 的微调。

这个机制让分类分数同时参考多种同类描述;提示集是否优于单句,仍须看各测试域的结果。

FLIP-Multimodal-Contrastive-Learning

前面我们已经看见了语言如何从「标注」转化为「分类器」,FLIP-IT 的架构让模型直接对齐语义描述,从而学会识别真伪。但这样的对齐,仍旧建立在单一配对关系上,缺乏对于变化与不确定性的韧性。

最后,作者提出了 FLIP-MCL(FLIP-Multimodal Contrastive Learning)。

FLIP-MCL 的核心精神是将对比学习(Contrastive Learning)引入多模态架构之中,让模型不只看见对应,更看见「不变」的部分。

作者将整体训练目标拓展为三个部分:

  1. 分类损失 LceL_{ce}:延续前节 FLIP-IT 的余弦相似度和交叉熵损失;
  2. 图像间的对比损失 LsimCLRL_{simCLR}:强化模型在不同视角下对图像内容的一致认知;
  3. 图像与语言对的相似度一致性 LmseL_{mse}:进一步促进图文语境的语义稳定。

先来看看 simCLR 的部分。

在图像特征的学习上,作者借用了经典的 simCLR 对比学习框架。对于每一张输入图像 II,随机生成两个转换视角(如不同光照、遮罩、裁切等),分别记为 Iv1I^{v_1} 与 Iv2I^{v_2}。

接着经由 CLIP 的图像编码器 VV 抽取特征:

x⃗v1=V(Iv1),x⃗v2=V(Iv2)\vec{x}^{v_1} = \mathcal{V}(I^{v_1}), \quad \vec{x}^{v_2} = \mathcal{V}(I^{v_2})

再通过一个非线性的投影头 H\mathcal{H} 转换至对比空间:

h⃗1=H(x⃗v1),h⃗2=H(x⃗v2)\vec{h}_1 = \mathcal{H}(\vec{x}^{v_1}), \quad \vec{h}_2 = \mathcal{H}(\vec{x}^{v_2})

最后施加 simCLR 对比损失 LsimCLRL_{simCLR},鼓励模型在不同视角下抽出的特征能靠近彼此,达成内容一致性的学习效果。


接着是 MSE 的部分。

在语言层面,FLIP-MCL 更进一步从「语句多样性」中抽取一致信号。作者从该图像真实标签所对应类别的提示中随机抽出两句描述 z⃗v1\vec{z}^{v_1} 与 z⃗v2\vec{z}^{v_2},然后与图像的两个视角形成配对。

此时,对于 (x⃗v1,z⃗v1)(\vec{x}^{v_1}, \vec{z}^{v_1}) 和 (x⃗v2,z⃗v2)(\vec{x}^{v_2}, \vec{z}^{v_2}),我们计算它们之间的余弦相似度,并用 MSE 损失让这两个相似度接近:

Lmse=(sim(x⃗v1,z⃗v1)−sim(x⃗v2,z⃗v2))2L_{mse} = \left(\text{sim}(\vec{x}^{v_1}, \vec{z}^{v_1}) - \text{sim}(\vec{x}^{v_2}, \vec{z}^{v_2})\right)^2

这就像是在告诉模型:

无论你看的是哪个角度、读的是同类别的哪句话,两组图文相似度应该接近。


最终,作者将三个目标函数整合为总损失:

Lmcl=Lce+LsimCLR+LmseL_{mcl} = L_{ce} + L_{simCLR} + L_{mse}

而在推理阶段,模型仍使用与 FLIP-IT 相同的余弦相似度方法,比较图像与真、假两类文字表示的分数来预测。

讨论

本研究采用三种跨域测试协议进行评估:

  • Protocol 1 采用 MSU-MFSD、CASIA-MFSD、Idiap Replay Attack 与 OULU-NPU 四个经典数据集,依据 leave-one-domain-out 的设定,每次留一个数据集作为目标域,其余作为训练来源。
  • Protocol 2 使用三个大规模人脸防伪数据集:WMCA、CASIA-CeFA、CASIA-SURF,同样采用 leave-one-out 策略,以验证方法在跨装置与复杂环境变化下的泛化能力。
  • Protocol 3 则为单源训练至单一目标域的情境,选自上述 MCIO 四个数据集进行 12 组配对测试,主要用于模拟实务中数据来源受限的场景。

模型性能评估指标包含:

  • Half-Total Error Rate(HTER,越低越好)
  • Receiver Operating Characteristic 曲线下面积(AUC,越高越好)
  • 在 FPR = 1% 条件下的 True Positive Rate(TPR,越高越好)。

所有实验皆重复执行 5 次,并回报平均结果以提升统计稳定性。

Protocol 1:MCIO 四域

从上表中可以观察到三个主要趋势:

首先,FLIP-V(视觉微调) 在 C、I、O 三个目标域的 HTER 低于表中的零样本 ViT,但在 M 域反而较高;平均 HTER 为 3.48%,低于 ViT 的 6.00%。这显示 CLIP 初始化配合完整微调在此协议中具有竞争力,并非每个目标域都占优。

其次,FLIP-IT(语言监督) 进一步提升了模型在目标域 C、I、O 上的表现,特别是在 TPR@FPR=1% 指标上呈现大幅提升,显示语言提示在数据量受限时可有效强化语义层级的判断依据。

最后,FLIP-MCL(多模态对比学习) 的平均 HTER 为 3.01%,是表中最低;单看各目标域,最低 HTER 出现在 O 域,C、I 域则由 FLIP-IT 领先,M 域由零样本 ViT 领先。FLIP-MCL 在 C 与 O 域的 HTER 也低于 ViTAF 的 five-shot 结果,但 AUC、TPR 并非每栏都最高。

M 域相对零样本 ViT 的差距尤其明显;原论文的错分样本中,有真实人脸被误判为攻击,作者认为解析度与光照变化可能造成影响。

整体而言,Protocol 1 支持 FLIP-MCL 在这四个测试域的平均 HTER 优势;个别域与不同指标的结果仍有例外。

Protocol 2:WCS 三域

Protocol 2 进一步将实验扩展至三个规模更大、环境条件更复杂的数据集:WMCA(W)、CASIA-CeFA(C)与 CASIA-SURF(S)。这些数据集涵盖超过千位不同受试者,并包含多样化的攻击类型与传感器配置,因此更贴近真实部署情境。

从上表可见,FLIP-V 的 HTER 在 W、C、S 三个目标域分别比零样本 ViT 低 1.85、0.24、0.87 个百分点;平均 HTER 由 10.82% 降至 9.83%。

FLIP-IT 相较 FLIP-V,在 W 与 C 两个目标域的 TPR@FPR=1% 分别高 8.88 与 5.47 个百分点;但在 CW → S 的 HTER、AUC、TPR 三项指标都较差。表格未测试造成这项差异的具体原因。

FLIP-MCL 在三个目标域的 HTER 与 AUC 均优于表中的其他零样本方法;TPR 在 W、S 域最高,在 C 域则略低于 FLIP-IT(59.00% 对 59.40%)。与零样本 ViT 相比,三域 TPR 分别高 10.25、11.41、8.01 个百分点。

相较于 Protocol 1,这一组数据集有更多受试者与环境变化;结果显示 FLIP-MCL 在这三种跨数据集设定下取得较低的平均 HTER,但未分开衡量受试者、装置或其他偏移各自的影响。

Protocol 3:单源 → 单目标

Protocol 3 模拟一个极端但常见的实务情境:在资源受限的情况下,训练数据仅来自单一来源域(source domain),并需直接推理另一个未见过的目标域(target domain)。

以 MSU-MFSD(M)、CASIA-MFSD(C)、Idiap Replay(I)与 OULU-NPU(O)四个数据集为基础,总共设计了 12 组跨域配对任务,强调模型在数据不足与 domain shift 双重压力下的泛化能力。

实验结果显示:

首先,FLIP-V 虽为最基础变体,12 组的平均 HTER 为 7.12%,低于表中完整列出 12 组结果的先前方法;个别配对仍有其他方法更好。

然而,FLIP-MCL 在此协议中的平均 HTER 为 4.84%,比 CDFTN-L 的 13.20% 低 8.36 个百分点。例如,两者比较时:

  • C → O 的 HTER 由 29.90% 降至 3.91%,低 25.99 个百分点;
  • I → O 由 29.90% 降至 4.22%,低 25.68 个百分点;M → C 由 8.80% 降至 0.19%,低 8.61 个百分点;
  • C → I、M → I、O → M 等配对则由 CDFTN-L 取得较低 HTER;FLIP-MCL 仍维持表中最低的 12 组平均 HTER。

此结果显示 FLIP-MCL 在这 12 组单源训练、异域测试的平均 HTER 较低;表格本身无法区分 simCLR、提示平均与 MSE 各自带来多少改善。

整体而言,Protocol 3 显示 FLIP-MCL 在没有目标域训练样本的设定下具有平均优势;实际部署的可靠性仍需另行验证。

预训练策略

为厘清初始化策略对跨域防伪泛化能力的影响,作者比较了多种 ViT 初始化方式。包括从头训练(无预训练)、以自监督方法(如 BeIT)进行预训练、使用 ImageNet 分类任务的预训练模型,以及来自 CLIP 的多模态预训练权重。

从上表可观察到,CLIP 初始化的平均 HTER 最低,并在 C、I、O 三个目标域取得最低 HTER;M 域则由 ImageNet 初始化较佳(1.58% 对 3.79%)。这项比较支持 CLIP 作为本文方法的有效起点,但无法单独证明优势全由图文语义结构造成。

语句提示设计

在语言监督架构(如 FLIP-IT、FLIP-MCL)中,文本提示的撰写对分类性能具有明显影响。

上表展示了不同语句设计在多组跨域场景中的表现差异,显示「不存在单一通用最优提示句」,各场景对语义叙述的依赖存在风格差。

此外,作者比较了单句与多句平均策略:prompt ensemble 的平均 HTER 为 3.06%,优于多数单句,但不及 P6 的 2.94%;在 C、I、O 等个别目标域,也各有单句取得较低 HTER。

这说明提示句的选择会影响结果。

多损失组合的权重分析

FLIP-MCL 采用三重损失函数联合训练,分别为监督式的 Cross Entropy、simCLR 自监督损失,以及从真实类别提示抽样的图文相似度一致性损失(MSE)。为验证各损失项的贡献,作者调整其加权组合,结果如上表所示。

可以发现,将 simCLR 或 MSE 权重设为 0,表中性能皆下降,支持这两项损失在该设定下的贡献。然而,将两项权重提高至 1:5:5 时,表中性能也下降。

这说明三损合一设计需要调整各项权重;其中 MSE 的提示抽样依赖真实类别标签,不能视为完全无标注的自监督训练。

结论

在过去多数方法仍困于视觉特征的堆叠与数据集的轮替时,作者选择尝试一条新的路:

从 CLIP 这类多模态基础模型出发,导入语言作为判断的语义锚点。

并在此基础上叠加视觉与语言间的对比学习框架,建立起一套以语义对齐为核心的防伪策略。

这个选择带来了几个重要启示:

  1. 多模态预训练模型所学得的表示,在本文测试中展现跨域潜力。

    即便只微调其中的图像编码器,在本文协议下也能改善平均泛化指标。

  2. 语言不再只是辅助的注解,而是一种可学习的分类基准。

    通过语句所定义的类别语境,模型能学会「这是什么样的真实」,而不只是从像素判断「这看起来真不真」。

  3. 多模态对比学习提供一种更通用的正则化策略。

    在目标域没有标注、来源样本多样性有限的场景中,它能帮助模型对齐多种视觉语境与语义解释;其中 MSE 提示抽样仍依赖来源样本的真伪标签。

尽管 FLIP-MCL 架构在训练阶段需引入额外的语言编码器,增加了部分计算负担,本文各协议的平均结果仍显示了跨场景测试优势;实际部署仍需另行验证。

在未来面对更多复合型、多源数据的任务中,语言有可能成为深度模型泛化的关键媒介。