InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing
- 发表版本
- ACM Multimedia 2025会议
- arXiv 首次提交
- arXiv:2507.12060
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{faceantispoofinginstructflip2025,
title = {{InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing}},
author = {Kun-Hsiang Lin and Yu-Wen Tseng and Kang-Yang Huang and Jhih-Ciang Wu and Wen-Huang Cheng},
year = {2025},
eprint = {2507.12060},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2507.12060}
}
人脸识别技术是一面镜子。
它反映了人工智慧在「看见」人类外貌的进展,也揭露了我们对「真实」定义的脆弱。
定义问题
这项技术从生物识别的边缘走入日常,替代密码、解锁装置、甚至决定谁能穿越边境。
但当一张高解析的照片、一段循环播放的影片,甚至一张脸型完美的矽胶面具,足以欺骗系统的时候,我们不得不承认:这面镜子并不可靠。
Face Anti-Spoofing(FAS)因此而生。研究者从二分类模型出发,渐次加入注意力机制、生成对抗网络与辅助学习模块,试图拆穿假脸的假象。
接着,Domain Adaptation(DA)与 Domain Generalization(DG)进场,针对跨设备、跨场景的问题提出补救机制。DA 可能需要目标域数据;留一域 DG 评估每换一组目标域,也可能需要重新训练。这让「每多一个评估场景,就多一份成本」成了不可忽视的问题。
直到 2023 年,FLIP 的出现带来了新的想像。
它首次引入 CLIP 的语言模态,试图将「脸的语义」纳入检测系统,用语言描述画面中的真实与否。这样的做法为 FAS 开启了跨模态大门,但语言仅扮演辅助角色,语义尚未成为核心。
紧接着,CFPL-FAS 延续这条路径,采用 BLIP-2 的 Q-Former 桥接模块,生成受图像条件约束的内容与风格 prompt,尝试更深入地对齐图像与语言特征。训练仍使用真伪标签;这些 prompt 本身并不是自由生成的攻击描述。
不过,CFPL-FAS 报告的跨域泛化评估仍需按留一域设置分别训练;它以结构化 prompt 辅助分类,并不直接生成自由形式的攻击解释。
2025 年,I-FAS 则通过 spoof-aware caption 与指令微调,让模型输出判断和描述。它的 Protocol 1 采用留一域训练;另一个 Protocol 2 则只在 CelebA-Spoof 上训练一次,再测试十一个未知数据集。两种设置检验的是不同的泛化问题。
换句话说,这些研究,从 FLIP 到 CFPL,再到 I-FAS,虽然不断扩展 FAS 任务的语义边界,却都在同一堵墙边留下叹息:
模型无法用统一语言理解世界,也无法在多样环境中保持推理一致性。
那么,我们是否真的需要更多训练、更大模型,才能翻越这堵墙?语言是否还有未被启用的力量?我们是否能够,建立一个能听懂语言、看穿假象、一次学会全局的模型?
解决问题
在处理 FAS 任务时,模型所面对的最大挑战之一,是来自不同数据集、场景、设备所导致的特征分布差异。
传统解法通常选择「广撒网」的方法:在多组 domain 上反复训练,再逐一验证,试图拼凑出一个跨域适用的模型。留一域验证每换一组目标域就需要重新训练,因而增加训练成本。
为了解决这个问题,InstructFLIP 提出一种 统一化的泛化架构,其核心思路是:
与其让模型自己盲猜每张脸背后的攻击与环境,不如直接给它清楚的语言指令。
这项策略建立在一个关键数据集上:CelebA-Spoof。
CelebA-Spoof 具有攻击类型与场景条件标注,允许我们针对图像设计明确的提示语句,让模型在这些标注范围内学习 spoof 与场景条件。
为了有效覆盖语义空间,InstructFLIP 的指令设计被清楚拆成两类:
-
内容指令(Content Prompts):询问「这张图是哪种攻击类型?」
选项包含:照片、屏幕、平面面具、区域遮蔽、3D 假脸等攻击类型,以及真实脸部,共 11 种类别。例如:
“Choose the correct option for the following question: Which spoof type is in this image?”
-
风格指令(Style Prompts):询问「这张图的拍摄环境是什么?」
选项涵盖:光照条件(正常/背光/黑暗/强光)、场景(室内/室外)、相机质量(低/中/高)。例如:
“What is the illumination condition in this image?”
“What is the environment of this image?”
“What is the camera quality in this image?”
这样的语言结构把内容与风格标注转成不同指令,分别监督模型学习攻击类型及拍摄条件。
模型架构
上图是整个 InstructFLIP 的架构图,可分为三个核心模块:
- (a) 内容分支(Content Branch)
- (b) 风格分支(Style Branch)
- (c) 特征融合与判断模块(Fusion + Classifier & Cue Generator)
以下,我们依照数据流动顺序,一步步解构这张图。
内容分支
内容分支(Content Branch)负责学习与攻击类型直接相关的语义表征,目标是让模型能够根据输入影像,判断其属于哪一类 spoof 攻击,或是否为真实人脸。
整体流程从图像 出发,通过视觉编码器 取得深层特征 ,代表影像中的内容语义。接着,进入语言驱动的关键模块 Q-Former,串起了语言指令与图像语义之间的桥梁。
具体来说,作者设计一组内容提示,形式为选择题式的语句,例如:
"Choose the correct option for the following question: Which spoof type is in this image?"
选项涵盖真人脸(real face)与各类 spoof 类型(如照片、屏幕回放、2D 面具、3D 面具等,合计 11 类),这些指令会先被转换为指令嵌入向量 ,并与一组可学习查询向量 串接,作为 Q-Former 的初始输入:
Q-Former 内部堆叠多层注意力模块:
- 自注意力(MSA):更新查询与语义指令之间的内部关联:
- 跨模态注意力(MCA):将隐状态与图像内容特征 互动,提取视觉资讯;原论文式 (3) 将此处的输入仍记为 :
这个过程让查询向量学会「对应」指令所要寻找的语义目标,例如「这张脸是否有可疑的攻击特征」,或「它是否呈现特定的 spoof 模式」。
最终的查询表示会与原始指令嵌入一起组成 soft prompt,进入 LLM 冷冻层进行语义引导式预测,产生内容分支预测结果 。
损失函数使用标准的交叉熵:
其中 为 ground truth 类别标签。这一设计以攻击类型与真人脸标签监督内容分支;是否排除背景干扰,仍须由实验验证。
风格分支
风格分支更像一位背景观察者,主要功能是:理解「这张脸是怎样被拍下来的」。
FAS 任务中的 domain shift,也可能来自「环境与设备」的差异。例如:一张在黄昏拍摄、解析度低的真人脸,可能比一张光线明亮、拍摄清晰的假脸更像攻击样本。
这就是为什么,我们需要风格分支的理由:它以光照、环境及相机质量为监督信号,学习与攻击类型不同的变异因子。
风格分支在结构上与内容分支对称,它同样接收一组风格提示,如:
- “What is the illumination condition in this image?”
- “What is the camera quality in this image?”
- “Is this photo taken indoors or outdoors?”
这些指令被编码为嵌入向量 ,并与可学习查询向量 串接后,进入 Q-Former 模块,让风格分支预测对应的拍摄条件。
而在特征设计上,风格分支采用不同于内容的建构方式:
-
首先从视觉编码器中抽取多层中间输出 。
-
对每一层,计算其均值 与标准差 ,组成统计表示:
-
最后将所有层级组合为多尺度风格特征:
这样的设计灵感来自于风格转换任务中的 Adaptive Instance Normalization(AdaIN)。
风格分支的预测结果 同样经由语言驱动的语义对齐,最后以 cross-entropy 损失优化其识别正确率:
风格分支不直接输出 spoof/real 标签,但其查询向量 会参与后续融合与最终判断。
特征融合与判断模块
当内容分支与风格分支各自完成了任务语义与场景语义的解析后,InstructFLIP 并未将两者简单拼接输出,而是设计了一个 语义引导的融合模块,将这两条通道的知识汇聚为最终判断依据。
这个模块的关键操作来自 Q-Former 结构中的注意力机制,作者首先将内容分支与风格分支所学得的查询向量(, )串接为融合查询:
接着,将这组查询与内容特征 再次进行跨模态注意力互动,得到最终融合表示 :
在这里,特别需要注意的是:风格特征 并未参与融合。这是刻意的决策,因为风格特征是 domain-specific,加入后可能反而削弱泛化能力。
也就是说,InstructFLIP 通过风格分支来学习免疫机制,但不让其主导最终判断。
融合后的表示 被拆成两段:
- :前导 token,作为 spoofing classifier 的输入,用于预测是否为诈欺样本。
- :其余 token,传入提示图生成器 ,产生辅助判断的 cue map。
多重目标学习
为了同时最佳化语言理解、视觉推理与可解释性输出,作者采用多重损失函数组合:
- / :分别来自内容与风格分支的指令分类任务(即语义对齐)。
- :最终判断 spoof / real 的分类损失,使用标准交叉熵预测与 ground truth 差异。
- :提示图 cue map 的学习损失,灵感来自 one-class training,设计如下:
其中 为预测 cue map 与目标图之间的差异, 为切换 L1 / L2 惩罚的阈值。论文没有使用人工标注的攻击区域:假脸的目标图设为全白,真脸则设为全黑。
这项设计以「白图=假脸、黑图=真脸」提供辅助训练信号,不能将 cue map 当成有区域标注监督的攻击位置预测。
实现细节
InstructFLIP 采用 CelebA-Spoof (CA) 作为唯一训练来源。
这个数据集提供 11 个内容选项(10 类 spoof 与真人脸),同时还具备环境标注数据,包括:
- 光照条件(illumination)
- 拍摄环境(environment)
- 相机质量(camera quality)
这些语义标注可以建构丰富的 内容指令(content prompts) 与 风格指令(style prompts),用于训练模型以自然语言驱动其特征学习能力。
不同于以往 leave-one-out 或一对一训练策略,InstructFLIP 采取 一次训练 → 多数据集测试 的方式,并于七个公开 FAS 数据集中进行泛化评估:
- MSU-MFSD (M)
- CASIA-FASD (C)
- Replay-Attack (I)
- OULU-NPU (O)
- WMCA (W)
- CASIA-CeFA (C)
- CASIA-SURF (S)
此种 protocol 代表更严苛的泛化场景,也就是 模型无须针对目标 domain 调整,而是直接应对未知领域的攻击样态与风格分布。
以下配置为模型实现细节:
-
输入处理:所有人脸图像皆经由 MTCNN 对齐,并调整为 的 RGB 输入。
-
视觉骨干:采用 CLIP 的 ViT-B/16 模型作为特征提取器 。
-
语言模型(LLM):使用 FLAN-T5 base,并在训练期间保持冻结。
-
训练策略:采用 AdamW 优化器与 OneCycleLR 调度器。初始学习率 ,高峰学习率 ,weight decay 为 。
-
训练参数:单张 NVIDIA RTX 4090,batch size 为 24,总共训练 20 个 epoch。
-
损失加权设置:
- (内容分支)
- (风格分支)
- (最终分类器)
- (提示图生成器)
这些是论文的训练设置;推理成本须依实际采用的模型版本评估。附录另列出去除冻结 LLM 的 InstructFLIP⁻ 版本。
评估指标的部分,作者遵循先前文献惯例,采用三项经典指标进行评估:
- HTER(Half Total Error Rate)
- AUC(Area Under ROC Curve)
- TPR@FPR(在特定 False Positive Rate 下的 True Positive Rate)
为了确保实验稳定性与结果可信度,每组模型皆以 五种随机种子重复训练,报告其平均表现。
讨论
为评估 InstructFLIP 在统一设置下的真实实力,作者纳入当前最具代表性的 FAS 方法作为比较基准,涵盖不同设计思维与技术路线,包括:
- SSDG:使用 style separation 强化 domain-invariant 特征。
- ViT:纯视觉变压器架构,本文采用其 zero-shot 设置,排除 ViTAF few-shot 版本以维持比较公平性。
- SAFAS:采用 self-adaptive filter 增强泛化能力。
- FLIP:首次导入 CLIP 模型进行跨模态 FAS 的先驱性研究。
- CFPL:进一步引入 BLIP2 与 Q-Former,扩展语言指令在 FAS 任务中的应用范围。
由于 BUDoPT、DiffFAS 与 FGPL 尚未公开程式码,故未纳入实现比较。
其余方法皆已在作者所设计的统一实验流程下重新实现与训练,以确保评估一致性。
实验结果如下表:
-
HTER(错误率):InstructFLIP 在七个测试集中的六个优于表列对照方法;CASIA-CeFA 是例外,HTER 为 8.49%,高于 CFPL 的 5.50%。与 CFPL 相比,其余六组 HTER 如下:
- MSU-MFSD (M):8.45% → 5.52%
- CASIA-FASD (C):2.77% → 1.47%
- Replay-Attack (I):10.00% → 9.12%
- OULU-NPU (O):17.21% → 14.33%
- WMCA (W):26.85% → 19.51%
- CASIA-SURF (S):42.29% → 30.33%
-
AUC(曲线下面积):六个测试集高于 CFPL;CASIA-CeFA 为 96.81%,低于 CFPL 的 98.74%。
-
TPR@FPR=1%(固定低误报率下的真阳性率):六个测试集高于 CFPL;CASIA-CeFA 为 70.17%,低于 CFPL 的 78.72%。
CASIA-CeFA 的三项指标都低于 CFPL。论文提出文化与环境差异可能是原因,但没有针对这些因素做消融,不能由这张表判定原因。
模块贡献分析
消融实验一开始,作者首先评估三个主要模块的效益:
- 内容分支(CB)
- 风格分支(SB)
- 提示图生成器(Cue)
基准模型为「不使用任何语言提示,仅图像输入」的传统 FAS 架构,作为公平比较的起点。
- 单独加入 CB,平均 HTER 从 21.96% 降至 14.25%,AUC 从 82.88% 升至 90.23%。
- 单独加入 SB,平均 HTER 为 16.25%,TPR@FPR=1% 从 26.89% 升至 41.92%;CB 与 SB 合用时,该 TPR 升至 60.84%。
- 再加入 Cue,平均 HTER 从 13.25% 降至 12.68%,TPR@FPR=1% 从 60.84% 升至 65.23%;表格未评估 cue map 的区域定位准确率。
这组消融支持三个模块在此统一评估设置下对平均分类指标有贡献。
LLM 模块的影响
为厘清性能提升究竟来自大型语言模型(LLM)的语义能力,还是 meta-domain 提供的结构标注,作者设计了变体 InstructFLIP†:
- 保留 CB 与 SB,但将 LLM 替换为轻量分类器。
结果显示:
- 不使用冻结 LLM 的 InstructFLIP†,平均 HTER/AUC 为 14.39%/89.97%,优于 CFPL 的 16.15%/88.65%;但 TPR@FPR=1% 为 48.33%,低于 CFPL 的 53.98%。
- 使用冻结 LLM 的完整模型,三项平均指标进一步达到 12.68%、93.68% 与 65.23%。这比较显示该模块在此架构下有帮助,无法单独证明提升来自「语言推理」。
换言之,结构化标注与冻结 LLM 在这组模型变体中都影响了结果,效益仍须按指标分开看。
Spoof 类型分类细致度
在这组实验中,作者评估 spoof 类型的「语义分类细致度」对模型效能的影响。将 print/replay/2D mask 各自从一类逐步细分至三类,真人脸与 3D mask 仍各为一类。
从各一类增至各三类时,平均 HTER 从 19.11% 降至 12.68%,AUC 从 87.14% 升至 93.68%;但中间的各两类设置,TPR@FPR=1% 从 39.13% 降至 38.30%,并非每增加一类都改善所有指标。
这支持在此数据与模型设置下使用较细的攻击类别标注。
Style Prompt 多样性
最后,作者检视不同数量的 style prompt 对效能的影响。分别加入:
- Style 1:光照条件
- Style 2:拍摄环境
- Style 3:相机质量
在这三组设置中,加入更多 style prompt 后,平均 HTER 依序为 20.65%、19.25%、12.68%,TPR@FPR=1% 依序为 37.48%、45.08%、65.23%。这支持在此设置下加入三种风格标注有帮助,但表格没有直接量测特征是否已解耦。
质性分析
除了量化指标外,作者亦通过一系列质性观察来解析 InstructFLIP 的实际推理表现,涵盖成功案例、失败案例及开源 VLM 模型的对照分析。
为确保分析公平性与语义完整性,作者这里针对每个样本设计四组提示语:
- Content:检测攻击类型
- Style1:光照条件
- Style2:拍摄场景
- Style3:相机质量
下表列出这些提示如何分别询问攻击内容与拍摄条件。
成功案例分析
如上图 (a) 所示,一个 live face 样本被模型正确分类为真实人脸,这个例子的 fake score 为 0.001。
同样,在 (b) 中,一张 spoof 图像(平板屏幕重播)被正确识别为伪造样本,fake score 为 0.998。
在这些成功案例中,我们可以观察到:
- LLM 预测的语义输出(如 spoof 类型、光照、环境、图像质量)可与这两个样本所显示的 ground truth 对照。
- Cue map 会对图像部分区域产生响应,但它使用全白/全黑的类别目标训练,并非以人工标注的伪造边界监督。
- 这些跨 domain 样本展示了输出形式。
失败案例分析
尽管整体表现优异,InstructFLIP 在部分情境中仍存在误判风险。
作者将失败案例依误判类型分为:
-
攻击样本被判为真实
如上图 (c) 所示,模型误将一张 海报攻击样本识别为真实人脸。图中还显示:
- 这个海报样本的 fake score 只有 0.055。
- 模型把光照预测为 Backlight,而图中标签是 Normal。
-
真实样本被判为攻击
如上图 (d) 所示,模型将一张 真人脸误判为屏幕播放,fake score 为 0.851。其他属性预测有的与标签一致,有的不一致;单凭这一例无法判断反光或相机图像质量是否导致误判。
这些案例提醒我们:属性预测与真伪判断需要分别评估。
与开源 VLM 模型对比
为进一步验证 InstructFLIP 在指令理解上的优势,作者选择两个代表性模型作为对照组:
- InstructBLIP:能遵循指令的通用视觉语言模型。
- GPT-4o:通用多模态模型。
作者比较两组样本(fake 与 live),分别给予完整的 content + style 指令。
在表列的两个样本中,GPT-4o 对部分问题拒绝回答或回答不完整;InstructBLIP 对部分属性判断错误。此表无法估计这些行为在一般情况下出现的频率。
在所展示的样本中,InstructFLIP 的回答更符合表列标签;是否具有普遍更好的稳定性与推理能力,还需要更大规模的受控比较。
结论
InstructFLIP 延续了 CFPL 对语义驱动 FAS 的研究脉络,两者在架构上表面相似,皆采用 Q-Former 搭配多模态指令设计,但实质上,InstructFLIP 在三个关键层面完成了显著的改进:
首先,借助 meta-domain 训练策略,InstructFLIP 在 CelebA-Spoof 上训练一次,再评估七个目标数据集,省去本次评估中逐个留一域重新训练的步骤;部署成本仍未测量。
其次,它用内容与风格两个分支分别监督攻击类型和拍摄条件,再融合两者学到的查询向量。消融结果支持这两个分支在测试设置中的作用。
最后,InstructFLIP 引入查询融合(Query Fusion)与 cue map 生成器。论文报告的完整模型仍包含冻结的 LLM;附录另测试移除该模块的变体,在单张 RTX 4090 上每样本用时 0.030 秒,对照完整模型的 0.046 秒。cue map 也没有攻击区域标注监督。
从工程实现的角度来看,InstructFLIP 展示了一种以语言作为监督信号、同时测试较轻变体的方法。指令可以成为模型与任务规格之间的接口,但额外成本和解释是否忠实,仍须在目标使用场景中核验。