返回论文笔记资料库
arXiv 2025CVPR 2026人脸防伪论文笔记

FaceCoT

六段式作文

原始论文

Harnessing Chain-of-Thought Reasoning in Multimodal Large Language Models for Face Anti-Spoofing

论文作者

Honglu Zhang · Zhiqin Fang · Ningning Zhao …

查看全部 7 位作者

Honglu Zhang · Zhiqin Fang · Ningning Zhao · Saihui Hou · Long Ma · Renwang Pei · Zhaofeng He

发表版本
CVPR 2026会议
arXiv 首次提交
arXiv:2506.01783
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{faceantispoofingfacecot2025,
  title = {{Harnessing Chain-of-Thought Reasoning in Multimodal Large Language Models for Face Anti-Spoofing}},
  author = {Honglu Zhang and Zhiqin Fang and Ningning Zhao and Saihui Hou and Long Ma and Renwang Pei and Zhaofeng He},
  year = {2025},
  eprint = {2506.01783},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2506.01783}
}
本页内容

把一张翻拍的照片交给通用的多模态大语言模型,问它「这是攻击吗?」,会怎样?

这篇论文的附录刚好做了这个实验。作者把 Rose-Youtu 的攻击图像直接交给没有微调过的模型,逐类计算它判为攻击的比例,再和用 FaceCoT 训练后的结果对照:

横向条形图,Rose-Youtu 七种攻击各两根条形。三种面具:零样本分别是 100%、74%、93.43%,训练后都是 100%。两种纸质攻击与两种屏幕视频:零样本全部是 0%,训练后分别是 95.50%、68%、96.02%、71.36%。
本文依原论文附录 Table 8 的数字绘制。

面具大多认得出来,纸质和屏幕攻击一张都没抓到。对一个通用模型来说,屏幕里的那张脸,看起来就是一张脸。

滴滴出行、北京邮电大学与北京师范大学的团队认为,缺的是数据。防伪数据集只有图像和真假标签,要教大语言模型一步步说出判断依据,得先有一份图文问答数据。于是他们做了 FaceCoT,108 万条问答、每条都附六段推理,再设计了一套两阶段的训练方法来用它。

定义问题

I-FAS 让模型先回答真假,再接一句说明。说明由一个微调过的描述模型生成,会在句子里带出 screen、paper 这类攻击媒介。这比单纯的标签多了一点语义,但终究只有一句话。

作者想要的是完整的判断过程。先看整张图,再看脸,列出五官与皮肤的细节,然后推理、描述攻击手法,最后才下结论。要做到这件事,需要一份每条都写好这种推理的数据,也需要一种能同时学会推理与分类的训练方法。

训练方法这一点,作者另外给了理由。如果把推理文本和分类标签混在一起端到端训练,分类收敛得快,推理还没学好,训练就结束了;视觉编码器也就没机会从那些细节描述里学到东西。

解决问题

FaceCoT 的三段流程图。第一行 FaceCoT-Gold100K:10 万张图像、四类各 2.5 万,交给 GPT-4o 写六段推理并附上标签与提示,结论对照标签后 98,976 条通过,最后含 581 条人工修正。第二行 FaceCoT-Silver982K:caption 模型以 SFT 训练、一致率 88%,加上强化学习后一致率 99.6%,标注 CelebA-Spoof 与 WFAS 两个训练集,不一致者人工修正。第三行 CEPL:MiniCPM-V-2.6-8B、输入 448×448,Stage 1 全参数只学 CoT,保留视觉编码器、其余回到预训练权重,Stage 2 用 LoRA 学 CoT 与标签,评分取第一个 token 的 Yes/No 概率。
本文整理,依原论文第 3–5 节与附录绘制。

整套流程分三段。前两段造数据,第三段训练模型。

数据从哪里来

图像来自两个数据集。CelebA-Spoof 有 62.5 万张图像、1 万个人、10 种攻击;WFAS 是在不受控环境下采集的野外数据,有 138 万张图像,其中 85.3 万张攻击、52.9 万张真人,涵盖 14 种攻击。

精选的十万张分成四类,每类 2.5 万张:

  • 真人:全部取自 WFAS,因为它的场景最多样。
  • 打印:照片、海报各 5,000,报纸、相册、A4、脸部打印、上半身打印各 3,000。
  • 重放:手机、平板各 10,000,电脑屏幕 5,000。
  • 面具:3D 面具 12,768、局部面具 10,579、手办(garage kit)1,488、仿真人偶 165。

三大类下面一共 14 种攻击。每一类里,作者尽量让各个子类别的张数接近。

六段推理

每条答案都切成六个标签:

text
<Caption>整张图在拍什么</Caption>
<Facial Description>脸部的样子</Facial Description>
<Facial Attributes>眼睛、鼻子、嘴巴、皮肤等细节</Facial Attributes>
<Reasoning>综合前面的信息,一步步判断</Reasoning>
<Spoofing Description>攻击手法与关键痕迹</Spoofing Description>
<Conclusion>Yes 或 No</Conclusion>

问题是「你是人脸防伪专家,请回答:这是攻击吗?」,所以 Yes 代表攻击,No 代表真人。

论文开头的例子是一个人手拿印着女性脸孔的纸面具,眼睛、鼻子、嘴巴的位置都挖了洞。六段的内容依次是:

最上方是问题「这是攻击吗?」和例子:一个人手拿印着女性脸孔的纸面具,眼睛、鼻子、嘴巴的位置都挖了洞。下面六层方框从上往下排列。Caption:有人拿着挖了洞的面具,挡住自己的脸。Facial Description:面具上印着一张女性的脸,挖洞处对着五官。Facial Attributes:印的眼睛和眼洞重叠、鼻孔处凹陷、嘴巴开了洞、材质是纸。Reasoning:真正的脸藏在面具后面,印刷的五官和真脸对不齐。Spoofing Description:印有脸部特征的纸面具。最后一格以红框标出 Conclusion:Yes。
本文整理:转述原论文 Figure 1 的例子。

由大到小、由整体到局部,最后才下结论。作者说这是模仿人判断真假的顺序。

让 GPT-4o 对着答案写

Gold100K 的六段文本由 GPT-4o 撰写。附录交代了 GPT-4o 每次收到的五样东西:图像、系统提示词、问题、提示,还有这张图的标签。

系统提示词要它扮演「审查员」,按六段格式回答,而且结论必须和标准答案完全一致。所以 GPT-4o 写的不是自己的判断,而是一份已经知道答案的详解。

为什么要给答案和提示?附录里有一个例子。一张翻拍日本报纸的图像,GPT-4o 看出了这是报纸上的内容,却判定这不是攻击。它的理由是脸部清晰自然、没有修图痕迹,报纸也没有带来换脸或篡改的迹象。它把「攻击」理解成了数字篡改。

上方是一张标签为攻击的图像:翻拍的日本报纸。左边分支没有提示,GPT-4o 写出看出这是日本报纸上的内容、脸部清晰自然没有修图痕迹、报纸没有带来换脸或篡改的迹象,结论 No,判错。右边分支加上提示「翻拍报纸属于攻击」,GPT-4o 写出这是报纸上印的照片、不是直接拍摄的人像、属于间接获取的图像,结论 Yes,和标签一致。
本文整理:转述原论文附录 Figure 7 的两段标注。

加上「翻拍报纸属于攻击」这句提示,GPT-4o 就改口了。报纸上印的确实是一个真人;拍一张报纸算不算攻击,是防伪这个任务自己的规矩。所以作者给十种纸质与屏幕攻击各写了一句提示,例如「翻拍海报属于攻击」「翻拍手机屏幕属于攻击」。面具类模型自己分得清楚,就没有加。

零样本模型把纸质和屏幕攻击全当成真人,原因大概也包括这一点。它没被教过这条规矩。

写完之后,用正则表达式抓出 <Conclusion> 的内容和标签比对。第一轮有 98,976 条对得上,其余再请 GPT-4o 标一次,还是对不上的 581 条列为困难样本,交给人工处理。人工先确认结论,再找出推理或描述哪里出错,修正后把后面几段重新理顺。

GPT-4o 的费用大约每张 0.01 美元,十万张约一千美元。

扩充到九十八万条

要再多标一百万张,GPT-4o 加人工就太贵了。作者改为训练一个专门写六段推理的 caption 模型。

先在 Gold100K 上做监督微调。拿它去标没见过的图像,结论和标签一致的只有 88%,常见的毛病是内容写错和格式跑偏。接着加一段强化学习,奖励只有两项。结论和标签一致得 1 分,格式符合六段模板得 1 分;再用 KL 惩罚拉住它,不让它离监督微调的版本太远。做完之后,在随机抽出的 2,000 张未标注图像上,一致率升到 99.6%。

用这个模型标完 CelebA-Spoof 和 WFAS 的训练集,就是 Silver982K,其中真人约 36.8 万条。结论和标签对不上的样本,同样交给人工修正。训练 caption 模型用 8 张 A100 大约一天,标注本身约 288 GPU 小时;两个子集的人工清洗,是 6 位标注员做了三天。

CEPL:先练眼睛,再学说话

骨干是 MiniCPM-V-2.6-8B,由视觉编码器、resampler 和语言模型组成,输入缩放到 448×448。CEPL(CoT-Enhanced Progressive Learning)分两个阶段:

  • Stage 1,视觉增强预训练:全参数微调,只用六段推理文本作监督。目的是让视觉编码器跟着文本里的细节描述,例如面具的边缘、纸张的材质、屏幕的反光,学会去注意那些地方。
  • Stage 2,多任务联合训练:只留下 Stage 1 的视觉编码器,resampler 和语言模型都回到原本的预训练权重,语言模型加上 LoRA,再同时用推理文本和二分类标签训练。

Stage 2 为什么要把语言模型重置?论文只说要保留视觉编码器学到的细节,其他模块恢复预训练权重,没有多做解释。一种理解方式是,Stage 1 只是借文本监督来训练视觉编码器的手段,语言模型在那一阶段学到的东西不必保留。

训练用 AdamW,学习率 1e-6,最多 10 个 epoch,批大小 256,8 张 A100,每组实验跑三个随机种子取平均。

分数从哪里来

防伪的指标 HTER 和 AUC 需要一个连续的分数。附录写明了做法,关掉随机性做贪心解码,取模型生成的第一个 token 上 Yes 与 No 的 logits,做 softmax:

preal=eℓNoeℓNo+eℓYesp_{\text{real}} = \frac{e^{\ell_{\text{No}}}}{e^{\ell_{\text{No}}} + e^{\ell_{\text{Yes}}}}
流程图。图像加上问题「这是攻击吗?」交给 CEPL 训练后的 MiniCPM-V;模型生成的第 1 个 token 以红框标出,里面有 Yes 和 No 的 logit;往下接到「两者做 softmax,取 No 的概率」,再成为真人分数,用来计算 HTER 和 AUC。第 1 个 token 右边是灰色的后续输出,标注不影响分数。
本文整理,依原论文附录 2.3 节绘制。

第一个 token 出来的时候,还没有任何推理文本。所以表格里的成绩,衡量的是模型直接回答的能力。六段推理影响的是模型怎么学,分数本身在推理文本出现之前就决定了。

讨论

One-to-Eleven

协议沿用 I-FAS 的 Protocol 2,训练完直接在 11 个数据集上测试:MSU-MFSD、CASIA-MFSD、Replay-Attack、OULU-NPU、SiW、Rose-Youtu、HKBU-MARs-V1+、WMCA、SiW-M-V2、CASIA-SURF-3DMask、HiFiMask。

比较时要分清训练数据。表中的基线方法都只用 CelebA-Spoof 训练,作者的模型则有三个版本。HTER 与 AUC 都是 11 个数据集的平均(%):

方法训练图像HTERAUC
ViTAFCelebA-Spoof23.8582.82
ViT-LCelebA-Spoof21.0885.61
FLIPCelebA-Spoof18.7387.90
I-FASCelebA-Spoof11.3093.71
Ours-CelebACelebA-Spoof8.5696.37
Ours-100KGold100K7.6596.59
Ours-All全部 108 万条6.3097.77

论文说的「HTER 降了 5 个百分点」,指的是 Ours-All 对比 I-FAS。Ours-All 多了 WFAS 的图像,条件不同。条件最接近的是 Ours-CelebA,只用 CelebA-Spoof 的图像,HTER 从 11.30% 降到 8.56%。它用的六段推理由 caption 模型撰写,而 caption 模型是在含有 WFAS 图像的 Gold100K 上学出来的。

逐个数据集看,训练数据的影响更清楚(HTER,%):

测试数据集I-FASCelebAAll
CASIA-SURF-3DMask6.186.210.40
HiFiMask28.2328.6815.93
HKBU-MARs-V1+18.646.967.34
OULU-NPU14.869.475.86
WMCA20.0711.5110.16
SiW4.020.790.48
MSU-MFSD5.638.335.00
Replay-Attack9.159.8712.75
  • CASIA-SURF-3DMask 和 HiFiMask,只用 CelebA-Spoof 时和 I-FAS 几乎一样,加入 WFAS 才大幅改善。这两个数据集的进步,主要来自 WFAS 里的面具数据。
  • 同样是面具数据集的 HKBU-MARs-V1+,只用 CelebA-Spoof 就从 18.64% 降到 6.96%。OULU-NPU、WMCA、SiW 也在只用 CelebA-Spoof 时就明显进步。
  • 也有反方向的。MSU-MFSD 只用 CelebA-Spoof 时比 I-FAS 差;Replay-Attack 加入更多数据后,反而从 9.87% 升到 12.75%,比 I-FAS 的 9.15% 还高。

CoT、CEPL 与分辨率

消融实验都在 Gold100K 上训练。把分散在几张表里的 HTER 画在一起:

柱状图,纵轴是 HTER(%),越低越好。输入 224×224:只用标签、单阶段 17.07;标签加 CoT、单阶段 11.28;CEPL 未测。输入 448×448:只用标签、单阶段 9.07;标签加 CoT、单阶段 8.84;标签加 CoT、CEPL 7.65。
本文依原论文 Table 2、3、4 与附录 Table 11 的数字绘制,模型都在 Gold100K 上训练。

依次看这张图:

  1. 影响最大的是分辨率。只用标签,从 224 换成 448,HTER 从 17.07% 降到 9.07%。
  2. CoT 在低分辨率时帮助最大。224 下加入六段推理,HTER 降了将近 6 个百分点;到了 448,同样是单阶段训练,只降 0.23。作者的解读是,推理文本帮模型找回低分辨率下看不清的细节。反过来说,图像足够清晰的时候,那段文本能补的就不多了。
  3. 448 下拉开差距的是 CEPL,从 8.84% 降到 7.65%。
  4. CEPL 之后再加强化学习,没有更好,HTER 是 7.80%。作者认为监督数据已经足够多,强化学习的边际收益很小。

附录也提到,包括 I-FAS 在内,多数防伪方法都用 224×224 的输入。主表里这篇用 448×448 去比,从上面的消融来看,光是这一项就可能占了不小的优势。

数据质量也有一组对照。用只做监督微调的 caption 模型标出来的数据训练,HTER 是 8.00%;换成加了强化学习的版本,降到 6.87%。

换骨干、零样本、旧考法

  • 换骨干:MiniCPM-V-2.6-8B 零样本的平均 HTER 是 17.91%,训练后 6.30%;Qwen2.5-VL-7B 零样本 19.60%,训练后 9.32%。两个骨干都受益,MiniCPM-V 的结果更好。
  • 最难的攻击:在 Rose-Youtu 上,训练后抓得最差的仍是静止的纸质攻击(68.00%)和 Mac 屏幕播放的视频(71.36%)。
  • OCIM:附录另外跑了 O、C、I、M 四个数据集轮流当测试集的旧考法,平均 HTER 1.06%,I-FAS 是 1.33%。四组里有两组的 HTER 输给 I-FAS:ICM→O 是 2.81% 对 1.74%,OCI→M 是 0.42% 对 0.32%。作者自己也说,这组考法的 AUC 都已经超过 99%,不太分得出高下。

还没回答的问题

  • HTER 的阈值:论文没说阈值怎么确定,也没说最多 10 个 epoch 里用的是哪一个 checkpoint。AUC 不需要阈值,受的影响比较小。
  • 推理是否忠实:六段推理最早是 GPT-4o 看着答案写的,模型学的是这种写法;评分又取自推理之前的第一个 token。模型写出来的理由,是否就是它实际依赖的线索,论文没有检验。作者在局限部分也提到,FaceCoT 可以用来评估可解释性,但这次还没做。
  • 推理开销:8B 的模型吃 448×448 的图像,论文没有报告推理耗时。
  • 开放程度:数据集要签协议向作者申请,仅限学术用途,而且只发布文本标注,图像得自己向 CelebA-Spoof 和 WFAS 获取。GitHub 上写着模型权重和代码「论文正式录用后公开」,目前仍标为未公开。

结论

FaceCoT 做了一份 108 万条、每条六段推理的防伪问答数据。前十万条由 GPT-4o 对着答案写、人工收尾,其余由一个用强化学习调过的标注模型扩充。拿它训练 MiniCPM-V,One-to-Eleven 的平均 HTER 降到 6.30%;只用 CelebA-Spoof 的图像,也有 8.56%。

不过最实用的是消融表。只用标签,把输入从 224 换成 448,HTER 就从 17.07% 降到 9.07%;在 448 下,六段推理在单阶段训练里只多帮了 0.23 个百分点。如果你手上的多模态防伪模型还在吃 224 的人脸,先把分辨率调上去,再决定要不要花一千美元请 GPT-4o 写详解。

同一届 CVPR 的 TAR-FAS 走了另一条路。它没有把推理写得更长,而是让模型在推理途中调出 LBP、FFT 这些老工具来看。两篇用的是同一套 One-to-Eleven,只用 CelebA-Spoof 训练时,TAR-FAS 的 7.54% 比这篇的 8.56% 低一些,只是骨干和输入分辨率都不一样。

至于开头那些被当成真人的纸质和屏幕攻击,倒也不能全怪通用模型。一开始,连 GPT-4o 都要人提醒,才知道拍一张报纸也算犯规。