返回论文笔记资料库
arXiv 2025ACM Multimedia 2025人脸防伪论文笔记

InstructFLIP

叹息之壁

原始论文

InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing

论文作者

Kun-Hsiang Lin · Yu-Wen Tseng · Kang-Yang Huang · Jhih-Ciang Wu · Wen-Huang Cheng

发表版本
ACM Multimedia 2025会议
arXiv 首次提交
arXiv:2507.12060
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{faceantispoofinginstructflip2025,
  title = {{InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing}},
  author = {Kun-Hsiang Lin and Yu-Wen Tseng and Kang-Yang Huang and Jhih-Ciang Wu and Wen-Huang Cheng},
  year = {2025},
  eprint = {2507.12060},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2507.12060}
}
本页内容

人脸识别技术是一面镜子。

它反映了人工智慧在「看见」人类外貌的进展,也揭露了我们对「真实」定义的脆弱。

定义问题

这项技术从生物识别的边缘走入日常,替代密码、解锁装置、甚至决定谁能穿越边境。

但当一张高解析的照片、一段循环播放的影片,甚至一张脸型完美的矽胶面具,足以欺骗系统的时候,我们不得不承认:这面镜子并不可靠。

Face Anti-Spoofing(FAS)因此而生。研究者从二分类模型出发,渐次加入注意力机制、生成对抗网络与辅助学习模块,试图拆穿假脸的假象。

接着,Domain Adaptation(DA)与 Domain Generalization(DG)进场,针对跨设备、跨场景的问题提出补救机制。DA 可能需要目标域数据;留一域 DG 评估每换一组目标域,也可能需要重新训练。这让「每多一个评估场景,就多一份成本」成了不可忽视的问题。

直到 2023 年,FLIP 的出现带来了新的想像。

它首次引入 CLIP 的语言模态,试图将「脸的语义」纳入检测系统,用语言描述画面中的真实与否。这样的做法为 FAS 开启了跨模态大门,但语言仅扮演辅助角色,语义尚未成为核心。

紧接着,CFPL-FAS 延续这条路径,采用 BLIP-2 的 Q-Former 桥接模块,生成受图像条件约束的内容与风格 prompt,尝试更深入地对齐图像与语言特征。训练仍使用真伪标签;这些 prompt 本身并不是自由生成的攻击描述。

不过,CFPL-FAS 报告的跨域泛化评估仍需按留一域设置分别训练;它以结构化 prompt 辅助分类,并不直接生成自由形式的攻击解释。

2025 年,I-FAS 则通过 spoof-aware caption 与指令微调,让模型输出判断和描述。它的 Protocol 1 采用留一域训练;另一个 Protocol 2 则只在 CelebA-Spoof 上训练一次,再测试十一个未知数据集。两种设置检验的是不同的泛化问题。

换句话说,这些研究,从 FLIP 到 CFPL,再到 I-FAS,虽然不断扩展 FAS 任务的语义边界,却都在同一堵墙边留下叹息:

模型无法用统一语言理解世界,也无法在多样环境中保持推理一致性。

那么,我们是否真的需要更多训练、更大模型,才能翻越这堵墙?语言是否还有未被启用的力量?我们是否能够,建立一个能听懂语言、看穿假象、一次学会全局的模型?

解决问题

在处理 FAS 任务时,模型所面对的最大挑战之一,是来自不同数据集、场景、设备所导致的特征分布差异。

传统解法通常选择「广撒网」的方法:在多组 domain 上反复训练,再逐一验证,试图拼凑出一个跨域适用的模型。留一域验证每换一组目标域就需要重新训练,因而增加训练成本。

为了解决这个问题,InstructFLIP 提出一种 统一化的泛化架构,其核心思路是:

与其让模型自己盲猜每张脸背后的攻击与环境,不如直接给它清楚的语言指令。

这项策略建立在一个关键数据集上:CelebA-Spoof。

CelebA-Spoof 具有攻击类型与场景条件标注,允许我们针对图像设计明确的提示语句,让模型在这些标注范围内学习 spoof 与场景条件。

为了有效覆盖语义空间,InstructFLIP 的指令设计被清楚拆成两类:

  • 内容指令(Content Prompts):询问「这张图是哪种攻击类型?」

    选项包含:照片、屏幕、平面面具、区域遮蔽、3D 假脸等攻击类型,以及真实脸部,共 11 种类别。例如:

    “Choose the correct option for the following question: Which spoof type is in this image?”

  • 风格指令(Style Prompts):询问「这张图的拍摄环境是什么?」

    选项涵盖:光照条件(正常/背光/黑暗/强光)、场景(室内/室外)、相机质量(低/中/高)。例如:

    “What is the illumination condition in this image?”

    “What is the environment of this image?”

    “What is the camera quality in this image?”

这样的语言结构把内容与风格标注转成不同指令,分别监督模型学习攻击类型及拍摄条件。

模型架构

上图是整个 InstructFLIP 的架构图,可分为三个核心模块:

  • (a) 内容分支(Content Branch)
  • (b) 风格分支(Style Branch)
  • (c) 特征融合与判断模块(Fusion + Classifier & Cue Generator)

以下,我们依照数据流动顺序,一步步解构这张图。

内容分支

内容分支(Content Branch)负责学习与攻击类型直接相关的语义表征,目标是让模型能够根据输入影像,判断其属于哪一类 spoof 攻击,或是否为真实人脸。

整体流程从图像 xx 出发,通过视觉编码器 EE 取得深层特征 fcf_c,代表影像中的内容语义。接着,进入语言驱动的关键模块 Q-Former,串起了语言指令与图像语义之间的桥梁。

具体来说,作者设计一组内容提示,形式为选择题式的语句,例如:

"Choose the correct option for the following question: Which spoof type is in this image?"

选项涵盖真人脸(real face)与各类 spoof 类型(如照片、屏幕回放、2D 面具、3D 面具等,合计 11 类),这些指令会先被转换为指令嵌入向量 Tc∈Rj×dT_c \in \mathbb{R}^{j \times d},并与一组可学习查询向量 Qc∈Rk×dQ_c \in \mathbb{R}^{k \times d} 串接,作为 Q-Former 的初始输入:

h=Qc⊕Tch = Q_c \oplus T_c

Q-Former 内部堆叠多层注意力模块:

  1. 自注意力(MSA):更新查询与语义指令之间的内部关联:
h~=h+ϕ(h)\tilde{h} = h + \phi(h)
  1. 跨模态注意力(MCA):将隐状态与图像内容特征 fcf_c 互动,提取视觉资讯;原论文式 (3) 将此处的输入仍记为 hh:
h^=h+ψ(h,fc)\hat{h} = h + \psi(h, f_c)

这个过程让查询向量学会「对应」指令所要寻找的语义目标,例如「这张脸是否有可疑的攻击特征」,或「它是否呈现特定的 spoof 模式」。

最终的查询表示会与原始指令嵌入一起组成 soft prompt,进入 LLM 冷冻层进行语义引导式预测,产生内容分支预测结果 pcp_c。

损失函数使用标准的交叉熵:

Lc=−∑yclog⁡(pc)\mathcal{L}_c = - \sum y_c \log(p_c)

其中 ycy_c 为 ground truth 类别标签。这一设计以攻击类型与真人脸标签监督内容分支;是否排除背景干扰,仍须由实验验证。

风格分支

风格分支更像一位背景观察者,主要功能是:理解「这张脸是怎样被拍下来的」。

FAS 任务中的 domain shift,也可能来自「环境与设备」的差异。例如:一张在黄昏拍摄、解析度低的真人脸,可能比一张光线明亮、拍摄清晰的假脸更像攻击样本。

这就是为什么,我们需要风格分支的理由:它以光照、环境及相机质量为监督信号,学习与攻击类型不同的变异因子。

风格分支在结构上与内容分支对称,它同样接收一组风格提示,如:

  • “What is the illumination condition in this image?”
  • “What is the camera quality in this image?”
  • “Is this photo taken indoors or outdoors?”

这些指令被编码为嵌入向量 TsT_s,并与可学习查询向量 QsQ_s 串接后,进入 Q-Former 模块,让风格分支预测对应的拍摄条件。

而在特征设计上,风格分支采用不同于内容的建构方式:

  1. 首先从视觉编码器中抽取多层中间输出 E1(x),E2(x),…,EL(x)E_1(x), E_2(x), \dots, E_L(x)。

  2. 对每一层,计算其均值 μi\mu_i 与标准差 σi\sigma_i,组成统计表示:

    si=μi⊕σis_i = \mu_i \oplus \sigma_i
  3. 最后将所有层级组合为多尺度风格特征:

    fs=s1⊕s2⊕⋯⊕sL∈R2L×df_s = s_1 \oplus s_2 \oplus \cdots \oplus s_L \in \mathbb{R}^{2L \times d}

这样的设计灵感来自于风格转换任务中的 Adaptive Instance Normalization(AdaIN)。

风格分支的预测结果 psp_s 同样经由语言驱动的语义对齐,最后以 cross-entropy 损失优化其识别正确率:

Ls=−∑yslog⁡(ps)\mathcal{L}_s = -\sum y_s \log(p_s)

风格分支不直接输出 spoof/real 标签,但其查询向量 QsQ_s 会参与后续融合与最终判断。

特征融合与判断模块

当内容分支与风格分支各自完成了任务语义与场景语义的解析后,InstructFLIP 并未将两者简单拼接输出,而是设计了一个 语义引导的融合模块,将这两条通道的知识汇聚为最终判断依据。

这个模块的关键操作来自 Q-Former 结构中的注意力机制,作者首先将内容分支与风格分支所学得的查询向量(QcQ_c, QsQ_s)串接为融合查询:

Q=Qc⊕Qs∈R2k×dQ = Q_c \oplus Q_s \in \mathbb{R}^{2k \times d}

接着,将这组查询与内容特征 fcf_c 再次进行跨模态注意力互动,得到最终融合表示 Q^\hat{Q}:

Q^=Q+ψ(Q,fc~)\hat{Q} = Q + \psi(Q, \tilde{f_c})

在这里,特别需要注意的是:风格特征 fsf_s 并未参与融合。这是刻意的决策,因为风格特征是 domain-specific,加入后可能反而削弱泛化能力。

也就是说,InstructFLIP 通过风格分支来学习免疫机制,但不让其主导最终判断。

融合后的表示 Q^\hat{Q} 被拆成两段:

  • tclst_{cls}:前导 token,作为 spoofing classifier CC 的输入,用于预测是否为诈欺样本。
  • tcuet_{cue}:其余 token,传入提示图生成器 GG,产生辅助判断的 cue map。

多重目标学习

为了同时最佳化语言理解、视觉推理与可解释性输出,作者采用多重损失函数组合:

L=λ1Lc+λ2Ls+λ3Lcls+λ4Lcue\mathcal{L} = \lambda_1 \mathcal{L}_c + \lambda_2 \mathcal{L}_s + \lambda_3 \mathcal{L}_{cls} + \lambda_4 \mathcal{L}_{cue}
  • Lc\mathcal{L}_c / Ls\mathcal{L}_s:分别来自内容与风格分支的指令分类任务(即语义对齐)。
  • Lcls\mathcal{L}_{cls}:最终判断 spoof / real 的分类损失,使用标准交叉熵预测与 ground truth 差异。
  • Lcue\mathcal{L}_{cue}:提示图 cue map 的学习损失,灵感来自 one-class training,设计如下:
Lcue={d2βif d<βd−β2otherwise\mathcal{L}_{cue} = \begin{cases} \frac{d^2}{\beta} & \text{if } d < \beta \\ d - \frac{\beta}{2} & \text{otherwise} \end{cases}

其中 d=∣pcue−ymask∣d = |p_{cue} - y_{mask}| 为预测 cue map 与目标图之间的差异,β\beta 为切换 L1 / L2 惩罚的阈值。论文没有使用人工标注的攻击区域:假脸的目标图设为全白,真脸则设为全黑。

这项设计以「白图=假脸、黑图=真脸」提供辅助训练信号,不能将 cue map 当成有区域标注监督的攻击位置预测。

实现细节

InstructFLIP 采用 CelebA-Spoof (CA) 作为唯一训练来源。

这个数据集提供 11 个内容选项(10 类 spoof 与真人脸),同时还具备环境标注数据,包括:

  • 光照条件(illumination)
  • 拍摄环境(environment)
  • 相机质量(camera quality)

这些语义标注可以建构丰富的 内容指令(content prompts) 与 风格指令(style prompts),用于训练模型以自然语言驱动其特征学习能力。

不同于以往 leave-one-out 或一对一训练策略,InstructFLIP 采取 一次训练 → 多数据集测试 的方式,并于七个公开 FAS 数据集中进行泛化评估:

  • MSU-MFSD (M)
  • CASIA-FASD (C)
  • Replay-Attack (I)
  • OULU-NPU (O)
  • WMCA (W)
  • CASIA-CeFA (C)
  • CASIA-SURF (S)

此种 protocol 代表更严苛的泛化场景,也就是 模型无须针对目标 domain 调整,而是直接应对未知领域的攻击样态与风格分布。

以下配置为模型实现细节:

  • 输入处理:所有人脸图像皆经由 MTCNN 对齐,并调整为 224×224224 \times 224 的 RGB 输入。

  • 视觉骨干:采用 CLIP 的 ViT-B/16 模型作为特征提取器 EE。

  • 语言模型(LLM):使用 FLAN-T5 base,并在训练期间保持冻结。

  • 训练策略:采用 AdamW 优化器与 OneCycleLR 调度器。初始学习率 1×10−61 \times 10^{-6},高峰学习率 5×10−65 \times 10^{-6},weight decay 为 1×10−61 \times 10^{-6}。

  • 训练参数:单张 NVIDIA RTX 4090,batch size 为 24,总共训练 20 个 epoch。

  • 损失加权设置:

    • λ1=0.4\lambda_1 = 0.4(内容分支)
    • λ2=0.4\lambda_2 = 0.4(风格分支)
    • λ3=0.15\lambda_3 = 0.15(最终分类器)
    • λ4=0.05\lambda_4 = 0.05(提示图生成器)

这些是论文的训练设置;推理成本须依实际采用的模型版本评估。附录另列出去除冻结 LLM 的 InstructFLIP⁻ 版本。

评估指标的部分,作者遵循先前文献惯例,采用三项经典指标进行评估:

  • HTER(Half Total Error Rate)
  • AUC(Area Under ROC Curve)
  • TPR@FPR(在特定 False Positive Rate 下的 True Positive Rate)

为了确保实验稳定性与结果可信度,每组模型皆以 五种随机种子重复训练,报告其平均表现。

讨论

为评估 InstructFLIP 在统一设置下的真实实力,作者纳入当前最具代表性的 FAS 方法作为比较基准,涵盖不同设计思维与技术路线,包括:

  • SSDG:使用 style separation 强化 domain-invariant 特征。
  • ViT:纯视觉变压器架构,本文采用其 zero-shot 设置,排除 ViTAF few-shot 版本以维持比较公平性。
  • SAFAS:采用 self-adaptive filter 增强泛化能力。
  • FLIP:首次导入 CLIP 模型进行跨模态 FAS 的先驱性研究。
  • CFPL:进一步引入 BLIP2 与 Q-Former,扩展语言指令在 FAS 任务中的应用范围。

由于 BUDoPT、DiffFAS 与 FGPL 尚未公开程式码,故未纳入实现比较。

其余方法皆已在作者所设计的统一实验流程下重新实现与训练,以确保评估一致性。

实验结果如下表:

  • HTER(错误率):InstructFLIP 在七个测试集中的六个优于表列对照方法;CASIA-CeFA 是例外,HTER 为 8.49%,高于 CFPL 的 5.50%。与 CFPL 相比,其余六组 HTER 如下:

    • MSU-MFSD (M):8.45% → 5.52%
    • CASIA-FASD (C):2.77% → 1.47%
    • Replay-Attack (I):10.00% → 9.12%
    • OULU-NPU (O):17.21% → 14.33%
    • WMCA (W):26.85% → 19.51%
    • CASIA-SURF (S):42.29% → 30.33%
  • AUC(曲线下面积):六个测试集高于 CFPL;CASIA-CeFA 为 96.81%,低于 CFPL 的 98.74%。

  • TPR@FPR=1%(固定低误报率下的真阳性率):六个测试集高于 CFPL;CASIA-CeFA 为 70.17%,低于 CFPL 的 78.72%。

CASIA-CeFA 的三项指标都低于 CFPL。论文提出文化与环境差异可能是原因,但没有针对这些因素做消融,不能由这张表判定原因。

模块贡献分析

消融实验一开始,作者首先评估三个主要模块的效益:

  • 内容分支(CB)
  • 风格分支(SB)
  • 提示图生成器(Cue)

基准模型为「不使用任何语言提示,仅图像输入」的传统 FAS 架构,作为公平比较的起点。

  • 单独加入 CB,平均 HTER 从 21.96% 降至 14.25%,AUC 从 82.88% 升至 90.23%。
  • 单独加入 SB,平均 HTER 为 16.25%,TPR@FPR=1% 从 26.89% 升至 41.92%;CB 与 SB 合用时,该 TPR 升至 60.84%。
  • 再加入 Cue,平均 HTER 从 13.25% 降至 12.68%,TPR@FPR=1% 从 60.84% 升至 65.23%;表格未评估 cue map 的区域定位准确率。

这组消融支持三个模块在此统一评估设置下对平均分类指标有贡献。

LLM 模块的影响

为厘清性能提升究竟来自大型语言模型(LLM)的语义能力,还是 meta-domain 提供的结构标注,作者设计了变体 InstructFLIP†:

  • 保留 CB 与 SB,但将 LLM 替换为轻量分类器。

结果显示:

  • 不使用冻结 LLM 的 InstructFLIP†,平均 HTER/AUC 为 14.39%/89.97%,优于 CFPL 的 16.15%/88.65%;但 TPR@FPR=1% 为 48.33%,低于 CFPL 的 53.98%。
  • 使用冻结 LLM 的完整模型,三项平均指标进一步达到 12.68%、93.68% 与 65.23%。这比较显示该模块在此架构下有帮助,无法单独证明提升来自「语言推理」。

换言之,结构化标注与冻结 LLM 在这组模型变体中都影响了结果,效益仍须按指标分开看。

Spoof 类型分类细致度

在这组实验中,作者评估 spoof 类型的「语义分类细致度」对模型效能的影响。将 print/replay/2D mask 各自从一类逐步细分至三类,真人脸与 3D mask 仍各为一类。

从各一类增至各三类时,平均 HTER 从 19.11% 降至 12.68%,AUC 从 87.14% 升至 93.68%;但中间的各两类设置,TPR@FPR=1% 从 39.13% 降至 38.30%,并非每增加一类都改善所有指标。

这支持在此数据与模型设置下使用较细的攻击类别标注。

Style Prompt 多样性

最后,作者检视不同数量的 style prompt 对效能的影响。分别加入:

  • Style 1:光照条件
  • Style 2:拍摄环境
  • Style 3:相机质量

在这三组设置中,加入更多 style prompt 后,平均 HTER 依序为 20.65%、19.25%、12.68%,TPR@FPR=1% 依序为 37.48%、45.08%、65.23%。这支持在此设置下加入三种风格标注有帮助,但表格没有直接量测特征是否已解耦。

质性分析

除了量化指标外,作者亦通过一系列质性观察来解析 InstructFLIP 的实际推理表现,涵盖成功案例、失败案例及开源 VLM 模型的对照分析。

为确保分析公平性与语义完整性,作者这里针对每个样本设计四组提示语:

  • Content:检测攻击类型
  • Style1:光照条件
  • Style2:拍摄场景
  • Style3:相机质量

下表列出这些提示如何分别询问攻击内容与拍摄条件。

成功案例分析

如上图 (a) 所示,一个 live face 样本被模型正确分类为真实人脸,这个例子的 fake score 为 0.001。

同样,在 (b) 中,一张 spoof 图像(平板屏幕重播)被正确识别为伪造样本,fake score 为 0.998。

在这些成功案例中,我们可以观察到:

  • LLM 预测的语义输出(如 spoof 类型、光照、环境、图像质量)可与这两个样本所显示的 ground truth 对照。
  • Cue map 会对图像部分区域产生响应,但它使用全白/全黑的类别目标训练,并非以人工标注的伪造边界监督。
  • 这些跨 domain 样本展示了输出形式。

失败案例分析

尽管整体表现优异,InstructFLIP 在部分情境中仍存在误判风险。

作者将失败案例依误判类型分为:

  • 攻击样本被判为真实

    如上图 (c) 所示,模型误将一张 海报攻击样本识别为真实人脸。图中还显示:

    • 这个海报样本的 fake score 只有 0.055。
    • 模型把光照预测为 Backlight,而图中标签是 Normal。
  • 真实样本被判为攻击

    如上图 (d) 所示,模型将一张 真人脸误判为屏幕播放,fake score 为 0.851。其他属性预测有的与标签一致,有的不一致;单凭这一例无法判断反光或相机图像质量是否导致误判。

    这些案例提醒我们:属性预测与真伪判断需要分别评估。

与开源 VLM 模型对比

为进一步验证 InstructFLIP 在指令理解上的优势,作者选择两个代表性模型作为对照组:

  • InstructBLIP:能遵循指令的通用视觉语言模型。
  • GPT-4o:通用多模态模型。

作者比较两组样本(fake 与 live),分别给予完整的 content + style 指令。

在表列的两个样本中,GPT-4o 对部分问题拒绝回答或回答不完整;InstructBLIP 对部分属性判断错误。此表无法估计这些行为在一般情况下出现的频率。

在所展示的样本中,InstructFLIP 的回答更符合表列标签;是否具有普遍更好的稳定性与推理能力,还需要更大规模的受控比较。

结论

InstructFLIP 延续了 CFPL 对语义驱动 FAS 的研究脉络,两者在架构上表面相似,皆采用 Q-Former 搭配多模态指令设计,但实质上,InstructFLIP 在三个关键层面完成了显著的改进:

首先,借助 meta-domain 训练策略,InstructFLIP 在 CelebA-Spoof 上训练一次,再评估七个目标数据集,省去本次评估中逐个留一域重新训练的步骤;部署成本仍未测量。

其次,它用内容与风格两个分支分别监督攻击类型和拍摄条件,再融合两者学到的查询向量。消融结果支持这两个分支在测试设置中的作用。

最后,InstructFLIP 引入查询融合(Query Fusion)与 cue map 生成器。论文报告的完整模型仍包含冻结的 LLM;附录另测试移除该模块的变体,在单张 RTX 4090 上每样本用时 0.030 秒,对照完整模型的 0.046 秒。cue map 也没有攻击区域标注监督。

从工程实现的角度来看,InstructFLIP 展示了一种以语言作为监督信号、同时测试较轻变体的方法。指令可以成为模型与任务规格之间的接口,但额外成本和解释是否忠实,仍须在目标使用场景中核验。