FLIP: Cross-domain Face Anti-spoofing with Language Guidance
- 发表版本
- ICCV 2023会议
- arXiv 首次提交
- arXiv:2309.16649
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{faceantispoofingflip2023,
title = {{FLIP: Cross-domain Face Anti-spoofing with Language Guidance}},
author = {Koushik Srivatsan and Muzammal Naseer and Karthik Nandakumar},
year = {2023},
eprint = {2309.16649},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2309.16649}
}
「这是真的!」
吾以自然语言作为崇高的见证,模型如是说。
定义问题
在机场、手机、门禁与各种验证节点中,脸早已成为最习以为常的识别符号。
然而,这些系统依赖的防伪模型(FAS),往往在跨装置、跨攻击形式、跨环境条件的测试下,显现出意料之外的脆弱:
- 模型在熟悉的数据分布下表现良好,一旦离开训练场景便大幅退化;
- 相机解析度、光照条件、甚至是攻击方式的微调,都可能让模型误判虚构为真实;
最后,许多方法假设可取得目标域的样本,但在实际应用中,这往往是一种奢求。毕竟谁也不知道下一次的攻击会从何而来,用什么方式。
同样的话,我们已经听了十几年,却依然无法解决这个问题。
这让我们不得不重新思考一个根本性的提问:
在目标域缺乏标注、攻击类型未知的跨域场景中,模型能否依然保有对「活体」的感知?
过去的尝试,多半围绕在三种策略中寻求解答:
- 无监督领域适应(UDA):依赖未标记的目标数据协助决策边界泛化;
- 少样本学习(Few-shot Learning):以少量目标标注样本快速调整表征;
- 领域泛化(Domain Generalization):试图从多源域中学出攻击无关的识别特征。
然而,这些方法多半假设模型可以接触到目标域,或者依赖非平凡的辅助信息,例如攻击类型、风格标签、甚至特殊模块的加入。这使得「零样本迁移」始终是个既理想、又棘手的命题。
这篇论文的作者,则提出了一个更为激进的思考:
- 如果我们把预训练的 ViT 换成来自 CLIP 这类多模态模型,会不会天然就更能跨域?
- 如果语言本身能成为一种「风格中立」的描述辅助,那么它是否能引导模型学出语义层次的防伪直觉?
- 若图像与文字不只是配对,而是在学习过程中共同编码其「真实性」,那么模型对于真实是否会有更深的理解?
这些问题所隐含的,不仅是数据的结构问题,更是表征的语义深度问题。模型所要学习的,不只是特征,而是如何从「描述」中认出一张脸的组成是否真实。
而这一切,都从一句话开始:
“This is not a spoof face.”
解决问题
等等,你说你还不知道什么是 CLIP?
那我们先简单介绍一下:
假设我们有一组图像-文字对,其中一对可能是一张狗的图片和文字「一只可爱的小狗」。
在一个训练批次中,CLIP 会接收到多个这样的对。图像编码器可能通过 ResNet 或 ViT 来处理图像,获取图像特征,而文本编码器可能通过 Transformer 来处理文本,获取文字特征。
然后,模型会比较这些特征,以确保正确配对的图像和文字(例如:狗的图像和「一只可爱的小狗」的文字)之间的余弦相似度最大,而错误配对的图像和文字( 例如:狗的图像和「一个苹果」的文字)之间的余弦相似度最小。
最后,使用 4 亿组图像文本对,进行训练。
非常简单的概念,效果也非常好,而这个架构的成功也开启了一个新世代的潮流。
模型架构
上图是本篇论文的研究架构,对应如下:
- (a) FLIP-Vision:单纯使用 CLIP 的 vision encoder + MLP,为 baseline 架构。
- (b) FLIP-IT:导入文字描述作为类别对应,使用 cosine 相似度作为分类基准。
- (c) FLIP-MCL:多模态正则化下的进化版本,让模型从更多视角、自我验证中学习一致的跨域表征。
这是个基于 CLIP 的多模态对比学习架构,我们来看一下到底该怎么把 CLIP 的知识转移到我们希望解决的问题上。
FLIP-Vision
刚才提到,由于 CLIP 在大规模网络图文数据上预训练,因此能在许多自然图像任务(例如分类、物体检测、图像分割等)展现良好的零样本迁移效果。
但是,由于 FAS 任务需要辨别「非常微小」的差异(如纸张反光、屏幕纹理、翻拍失真等),因此 CLIP 特征没办法直接套用。
因此,作者提出 FLIP-Vision(FLIP-V)作为 baseline 模型,采取一个极简的转换策略:
- 保留 CLIP 的 图像编码器(image encoder);
- 舍弃文字编码器,仅使用 CLIP 的 ViT 结构做特征抽取;
- 将最后一层 Transformer block 的 class token 输出,接上一个 多层感知器(MLP) 头部进行二分类;
- 使用标准的 Cross Entropy Loss 进行训练,区分真实人脸与伪造人脸。
这样的设计可以视为使用图文预训练权重的视觉微调:它承袭 CLIP 图像编码器的初始表征,但 FAS 微调时不使用文字编码器。
训练时,作者使用来自多个来源域的平衡图像数据,让模型在不同风格、攻击形态与拍摄条件中学习判断依据。
而这个过程中,仍是一个纯监督式的训练流程,没有引入任何语言提示或语义线索。
因此,FLIP-V 实际上只是证明了一件事情:
即使微调时不使用语言,CLIP 的视觉 backbone 在本文测试协议的平均 HTER 上仍优于比较用的 ImageNet 预训练 ViT。
FLIP-Image-Text
FLIP-Vision 的基础版本,虽然已经证明 CLIP 的视觉编码器在 FAS 任务上具有一定迁移潜力,但其本质仍是「视觉单模态」的分类器。
这样的设计,依旧局限在「识别特征」的框架内,并未发挥 CLIP 最初的设计精神,也就是让语言成为视觉的引导与判别基准。
于是,作者接着引入 FLIP-IT 的概念。
这一版本的核心想法,是以自然语言句子作为「语义锚点」,让模型在学习过程中,直接比较图像特征与语言描述之间的对齐程度,而不是仅通过图像间的分类边界进行学习。
这里的设计不再使用传统的 MLP 头部来判别图像真伪,而是让每一张图像去「选择一段更相似的描述」。
这么做的核心逻辑,是把每一个类别(real / spoof)以一句自然语言句子来代表,然后使用 CLIP 的文字编码器(text encoder)来转换这些句子为向量表示 和 ,接着与图像向量 计算余弦相似度,作为模型的预测依据。
也就是说模型仍在判断图像属于哪一类,只是以图像和两类文字描述的相似度作为分类分数。
同一个类别可以用多种句子描述;作者希望借此引导图像表征学习与真伪相关的线索。
作者在实验中设计了多组语句来描述真实与攻击类别,总共六组,如下表所示:
| Prompt No. | Real Prompts | Spoof Prompts |
|---|---|---|
| P1 | This is an example of a real face | This is an example of a spoof face |
| P2 | This is a bonafide face | This is an example of an attack face |
| P3 | This is a real face | This is not a real face |
| P4 | This is how a real face looks like | This is how a spoof face looks like |
| P5 | A photo of a real face | A photo of a spoof face |
| P6 | This is not a spoof face | A printout shown to be a spoof face |
这些句子代表了不同层次的语言策略:
- 有些强调正面描述(如 P2:「This is a bonafide face」);
- 有些采用否定结构(如 P3:「This is not a real face」);
- 有些更像图像标题(如 P5:「A photo of a real face」);
- 也有些使用否定句描述真实人脸,并以特定攻击形式描述伪造人脸(如 P6)。
这些描述组成一组「语言上下文提示集(context prompts)」,作者使用每类六组提示(P=6)的文字嵌入平均值 ,来与图像特征进行对齐学习。图像编码器与文字编码器都参与 FLIP-IT 的微调。
这个机制让分类分数同时参考多种同类描述;提示集是否优于单句,仍须看各测试域的结果。
FLIP-Multimodal-Contrastive-Learning
前面我们已经看见了语言如何从「标注」转化为「分类器」,FLIP-IT 的架构让模型直接对齐语义描述,从而学会识别真伪。但这样的对齐,仍旧建立在单一配对关系上,缺乏对于变化与不确定性的韧性。
最后,作者提出了 FLIP-MCL(FLIP-Multimodal Contrastive Learning)。
FLIP-MCL 的核心精神是将对比学习(Contrastive Learning)引入多模态架构之中,让模型不只看见对应,更看见「不变」的部分。
作者将整体训练目标拓展为三个部分:
- 分类损失 :延续前节 FLIP-IT 的余弦相似度和交叉熵损失;
- 图像间的对比损失 :强化模型在不同视角下对图像内容的一致认知;
- 图像与语言对的相似度一致性 :进一步促进图文语境的语义稳定。
先来看看 simCLR 的部分。
在图像特征的学习上,作者借用了经典的 simCLR 对比学习框架。对于每一张输入图像 ,随机生成两个转换视角(如不同光照、遮罩、裁切等),分别记为 与 。
接着经由 CLIP 的图像编码器 抽取特征:
再通过一个非线性的投影头 转换至对比空间:
最后施加 simCLR 对比损失 ,鼓励模型在不同视角下抽出的特征能靠近彼此,达成内容一致性的学习效果。
接着是 MSE 的部分。
在语言层面,FLIP-MCL 更进一步从「语句多样性」中抽取一致信号。作者从该图像真实标签所对应类别的提示中随机抽出两句描述 与 ,然后与图像的两个视角形成配对。
此时,对于 和 ,我们计算它们之间的余弦相似度,并用 MSE 损失让这两个相似度接近:
这就像是在告诉模型:
无论你看的是哪个角度、读的是同类别的哪句话,两组图文相似度应该接近。
最终,作者将三个目标函数整合为总损失:
而在推理阶段,模型仍使用与 FLIP-IT 相同的余弦相似度方法,比较图像与真、假两类文字表示的分数来预测。
讨论
本研究采用三种跨域测试协议进行评估:
- Protocol 1 采用 MSU-MFSD、CASIA-MFSD、Idiap Replay Attack 与 OULU-NPU 四个经典数据集,依据 leave-one-domain-out 的设定,每次留一个数据集作为目标域,其余作为训练来源。
- Protocol 2 使用三个大规模人脸防伪数据集:WMCA、CASIA-CeFA、CASIA-SURF,同样采用 leave-one-out 策略,以验证方法在跨装置与复杂环境变化下的泛化能力。
- Protocol 3 则为单源训练至单一目标域的情境,选自上述 MCIO 四个数据集进行 12 组配对测试,主要用于模拟实务中数据来源受限的场景。
模型性能评估指标包含:
- Half-Total Error Rate(HTER,越低越好)
- Receiver Operating Characteristic 曲线下面积(AUC,越高越好)
- 在 FPR = 1% 条件下的 True Positive Rate(TPR,越高越好)。
所有实验皆重复执行 5 次,并回报平均结果以提升统计稳定性。
Protocol 1:MCIO 四域
从上表中可以观察到三个主要趋势:
首先,FLIP-V(视觉微调) 在 C、I、O 三个目标域的 HTER 低于表中的零样本 ViT,但在 M 域反而较高;平均 HTER 为 3.48%,低于 ViT 的 6.00%。这显示 CLIP 初始化配合完整微调在此协议中具有竞争力,并非每个目标域都占优。
其次,FLIP-IT(语言监督) 进一步提升了模型在目标域 C、I、O 上的表现,特别是在 TPR@FPR=1% 指标上呈现大幅提升,显示语言提示在数据量受限时可有效强化语义层级的判断依据。
最后,FLIP-MCL(多模态对比学习) 的平均 HTER 为 3.01%,是表中最低;单看各目标域,最低 HTER 出现在 O 域,C、I 域则由 FLIP-IT 领先,M 域由零样本 ViT 领先。FLIP-MCL 在 C 与 O 域的 HTER 也低于 ViTAF 的 five-shot 结果,但 AUC、TPR 并非每栏都最高。
M 域相对零样本 ViT 的差距尤其明显;原论文的错分样本中,有真实人脸被误判为攻击,作者认为解析度与光照变化可能造成影响。
整体而言,Protocol 1 支持 FLIP-MCL 在这四个测试域的平均 HTER 优势;个别域与不同指标的结果仍有例外。
Protocol 2:WCS 三域
Protocol 2 进一步将实验扩展至三个规模更大、环境条件更复杂的数据集:WMCA(W)、CASIA-CeFA(C)与 CASIA-SURF(S)。这些数据集涵盖超过千位不同受试者,并包含多样化的攻击类型与传感器配置,因此更贴近真实部署情境。
从上表可见,FLIP-V 的 HTER 在 W、C、S 三个目标域分别比零样本 ViT 低 1.85、0.24、0.87 个百分点;平均 HTER 由 10.82% 降至 9.83%。
FLIP-IT 相较 FLIP-V,在 W 与 C 两个目标域的 TPR@FPR=1% 分别高 8.88 与 5.47 个百分点;但在 CW → S 的 HTER、AUC、TPR 三项指标都较差。表格未测试造成这项差异的具体原因。
FLIP-MCL 在三个目标域的 HTER 与 AUC 均优于表中的其他零样本方法;TPR 在 W、S 域最高,在 C 域则略低于 FLIP-IT(59.00% 对 59.40%)。与零样本 ViT 相比,三域 TPR 分别高 10.25、11.41、8.01 个百分点。
相较于 Protocol 1,这一组数据集有更多受试者与环境变化;结果显示 FLIP-MCL 在这三种跨数据集设定下取得较低的平均 HTER,但未分开衡量受试者、装置或其他偏移各自的影响。
Protocol 3:单源 → 单目标
Protocol 3 模拟一个极端但常见的实务情境:在资源受限的情况下,训练数据仅来自单一来源域(source domain),并需直接推理另一个未见过的目标域(target domain)。
以 MSU-MFSD(M)、CASIA-MFSD(C)、Idiap Replay(I)与 OULU-NPU(O)四个数据集为基础,总共设计了 12 组跨域配对任务,强调模型在数据不足与 domain shift 双重压力下的泛化能力。
实验结果显示:
首先,FLIP-V 虽为最基础变体,12 组的平均 HTER 为 7.12%,低于表中完整列出 12 组结果的先前方法;个别配对仍有其他方法更好。
然而,FLIP-MCL 在此协议中的平均 HTER 为 4.84%,比 CDFTN-L 的 13.20% 低 8.36 个百分点。例如,两者比较时:
- C → O 的 HTER 由 29.90% 降至 3.91%,低 25.99 个百分点;
- I → O 由 29.90% 降至 4.22%,低 25.68 个百分点;M → C 由 8.80% 降至 0.19%,低 8.61 个百分点;
- C → I、M → I、O → M 等配对则由 CDFTN-L 取得较低 HTER;FLIP-MCL 仍维持表中最低的 12 组平均 HTER。
此结果显示 FLIP-MCL 在这 12 组单源训练、异域测试的平均 HTER 较低;表格本身无法区分 simCLR、提示平均与 MSE 各自带来多少改善。
整体而言,Protocol 3 显示 FLIP-MCL 在没有目标域训练样本的设定下具有平均优势;实际部署的可靠性仍需另行验证。
预训练策略
为厘清初始化策略对跨域防伪泛化能力的影响,作者比较了多种 ViT 初始化方式。包括从头训练(无预训练)、以自监督方法(如 BeIT)进行预训练、使用 ImageNet 分类任务的预训练模型,以及来自 CLIP 的多模态预训练权重。
从上表可观察到,CLIP 初始化的平均 HTER 最低,并在 C、I、O 三个目标域取得最低 HTER;M 域则由 ImageNet 初始化较佳(1.58% 对 3.79%)。这项比较支持 CLIP 作为本文方法的有效起点,但无法单独证明优势全由图文语义结构造成。
语句提示设计
在语言监督架构(如 FLIP-IT、FLIP-MCL)中,文本提示的撰写对分类性能具有明显影响。
上表展示了不同语句设计在多组跨域场景中的表现差异,显示「不存在单一通用最优提示句」,各场景对语义叙述的依赖存在风格差。
此外,作者比较了单句与多句平均策略:prompt ensemble 的平均 HTER 为 3.06%,优于多数单句,但不及 P6 的 2.94%;在 C、I、O 等个别目标域,也各有单句取得较低 HTER。
这说明提示句的选择会影响结果。
多损失组合的权重分析
FLIP-MCL 采用三重损失函数联合训练,分别为监督式的 Cross Entropy、simCLR 自监督损失,以及从真实类别提示抽样的图文相似度一致性损失(MSE)。为验证各损失项的贡献,作者调整其加权组合,结果如上表所示。
可以发现,将 simCLR 或 MSE 权重设为 0,表中性能皆下降,支持这两项损失在该设定下的贡献。然而,将两项权重提高至 1:5:5 时,表中性能也下降。
这说明三损合一设计需要调整各项权重;其中 MSE 的提示抽样依赖真实类别标签,不能视为完全无标注的自监督训练。
结论
在过去多数方法仍困于视觉特征的堆叠与数据集的轮替时,作者选择尝试一条新的路:
从 CLIP 这类多模态基础模型出发,导入语言作为判断的语义锚点。
并在此基础上叠加视觉与语言间的对比学习框架,建立起一套以语义对齐为核心的防伪策略。
这个选择带来了几个重要启示:
-
多模态预训练模型所学得的表示,在本文测试中展现跨域潜力。
即便只微调其中的图像编码器,在本文协议下也能改善平均泛化指标。
-
语言不再只是辅助的注解,而是一种可学习的分类基准。
通过语句所定义的类别语境,模型能学会「这是什么样的真实」,而不只是从像素判断「这看起来真不真」。
-
多模态对比学习提供一种更通用的正则化策略。
在目标域没有标注、来源样本多样性有限的场景中,它能帮助模型对齐多种视觉语境与语义解释;其中 MSE 提示抽样仍依赖来源样本的真伪标签。
尽管 FLIP-MCL 架构在训练阶段需引入额外的语言编码器,增加了部分计算负担,本文各协议的平均结果仍显示了跨场景测试优势;实际部署仍需另行验证。
在未来面对更多复合型、多源数据的任务中,语言有可能成为深度模型泛化的关键媒介。