Harnessing Chain-of-Thought Reasoning in Multimodal Large Language Models for Face Anti-Spoofing
- 发表版本
- CVPR 2026会议
- arXiv 首次提交
- arXiv:2506.01783
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{faceantispoofingfacecot2025,
title = {{Harnessing Chain-of-Thought Reasoning in Multimodal Large Language Models for Face Anti-Spoofing}},
author = {Honglu Zhang and Zhiqin Fang and Ningning Zhao and Saihui Hou and Long Ma and Renwang Pei and Zhaofeng He},
year = {2025},
eprint = {2506.01783},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2506.01783}
}
把一张翻拍的照片交给通用的多模态大语言模型,问它「这是攻击吗?」,会怎样?
这篇论文的附录刚好做了这个实验。作者把 Rose-Youtu 的攻击图像直接交给没有微调过的模型,逐类计算它判为攻击的比例,再和用 FaceCoT 训练后的结果对照:

面具大多认得出来,纸质和屏幕攻击一张都没抓到。对一个通用模型来说,屏幕里的那张脸,看起来就是一张脸。
滴滴出行、北京邮电大学与北京师范大学的团队认为,缺的是数据。防伪数据集只有图像和真假标签,要教大语言模型一步步说出判断依据,得先有一份图文问答数据。于是他们做了 FaceCoT,108 万条问答、每条都附六段推理,再设计了一套两阶段的训练方法来用它。
定义问题
I-FAS 让模型先回答真假,再接一句说明。说明由一个微调过的描述模型生成,会在句子里带出 screen、paper 这类攻击媒介。这比单纯的标签多了一点语义,但终究只有一句话。
作者想要的是完整的判断过程。先看整张图,再看脸,列出五官与皮肤的细节,然后推理、描述攻击手法,最后才下结论。要做到这件事,需要一份每条都写好这种推理的数据,也需要一种能同时学会推理与分类的训练方法。
训练方法这一点,作者另外给了理由。如果把推理文本和分类标签混在一起端到端训练,分类收敛得快,推理还没学好,训练就结束了;视觉编码器也就没机会从那些细节描述里学到东西。
解决问题

整套流程分三段。前两段造数据,第三段训练模型。
数据从哪里来
图像来自两个数据集。CelebA-Spoof 有 62.5 万张图像、1 万个人、10 种攻击;WFAS 是在不受控环境下采集的野外数据,有 138 万张图像,其中 85.3 万张攻击、52.9 万张真人,涵盖 14 种攻击。
精选的十万张分成四类,每类 2.5 万张:
- 真人:全部取自 WFAS,因为它的场景最多样。
- 打印:照片、海报各 5,000,报纸、相册、A4、脸部打印、上半身打印各 3,000。
- 重放:手机、平板各 10,000,电脑屏幕 5,000。
- 面具:3D 面具 12,768、局部面具 10,579、手办(garage kit)1,488、仿真人偶 165。
三大类下面一共 14 种攻击。每一类里,作者尽量让各个子类别的张数接近。
六段推理
每条答案都切成六个标签:
<Caption>整张图在拍什么</Caption>
<Facial Description>脸部的样子</Facial Description>
<Facial Attributes>眼睛、鼻子、嘴巴、皮肤等细节</Facial Attributes>
<Reasoning>综合前面的信息,一步步判断</Reasoning>
<Spoofing Description>攻击手法与关键痕迹</Spoofing Description>
<Conclusion>Yes 或 No</Conclusion>
问题是「你是人脸防伪专家,请回答:这是攻击吗?」,所以 Yes 代表攻击,No 代表真人。
论文开头的例子是一个人手拿印着女性脸孔的纸面具,眼睛、鼻子、嘴巴的位置都挖了洞。六段的内容依次是:

由大到小、由整体到局部,最后才下结论。作者说这是模仿人判断真假的顺序。
让 GPT-4o 对着答案写
Gold100K 的六段文本由 GPT-4o 撰写。附录交代了 GPT-4o 每次收到的五样东西:图像、系统提示词、问题、提示,还有这张图的标签。
系统提示词要它扮演「审查员」,按六段格式回答,而且结论必须和标准答案完全一致。所以 GPT-4o 写的不是自己的判断,而是一份已经知道答案的详解。
为什么要给答案和提示?附录里有一个例子。一张翻拍日本报纸的图像,GPT-4o 看出了这是报纸上的内容,却判定这不是攻击。它的理由是脸部清晰自然、没有修图痕迹,报纸也没有带来换脸或篡改的迹象。它把「攻击」理解成了数字篡改。

加上「翻拍报纸属于攻击」这句提示,GPT-4o 就改口了。报纸上印的确实是一个真人;拍一张报纸算不算攻击,是防伪这个任务自己的规矩。所以作者给十种纸质与屏幕攻击各写了一句提示,例如「翻拍海报属于攻击」「翻拍手机屏幕属于攻击」。面具类模型自己分得清楚,就没有加。
零样本模型把纸质和屏幕攻击全当成真人,原因大概也包括这一点。它没被教过这条规矩。
写完之后,用正则表达式抓出 <Conclusion> 的内容和标签比对。第一轮有 98,976 条对得上,其余再请 GPT-4o 标一次,还是对不上的 581 条列为困难样本,交给人工处理。人工先确认结论,再找出推理或描述哪里出错,修正后把后面几段重新理顺。
GPT-4o 的费用大约每张 0.01 美元,十万张约一千美元。
扩充到九十八万条
要再多标一百万张,GPT-4o 加人工就太贵了。作者改为训练一个专门写六段推理的 caption 模型。
先在 Gold100K 上做监督微调。拿它去标没见过的图像,结论和标签一致的只有 88%,常见的毛病是内容写错和格式跑偏。接着加一段强化学习,奖励只有两项。结论和标签一致得 1 分,格式符合六段模板得 1 分;再用 KL 惩罚拉住它,不让它离监督微调的版本太远。做完之后,在随机抽出的 2,000 张未标注图像上,一致率升到 99.6%。
用这个模型标完 CelebA-Spoof 和 WFAS 的训练集,就是 Silver982K,其中真人约 36.8 万条。结论和标签对不上的样本,同样交给人工修正。训练 caption 模型用 8 张 A100 大约一天,标注本身约 288 GPU 小时;两个子集的人工清洗,是 6 位标注员做了三天。
CEPL:先练眼睛,再学说话
骨干是 MiniCPM-V-2.6-8B,由视觉编码器、resampler 和语言模型组成,输入缩放到 448×448。CEPL(CoT-Enhanced Progressive Learning)分两个阶段:
- Stage 1,视觉增强预训练:全参数微调,只用六段推理文本作监督。目的是让视觉编码器跟着文本里的细节描述,例如面具的边缘、纸张的材质、屏幕的反光,学会去注意那些地方。
- Stage 2,多任务联合训练:只留下 Stage 1 的视觉编码器,resampler 和语言模型都回到原本的预训练权重,语言模型加上 LoRA,再同时用推理文本和二分类标签训练。
Stage 2 为什么要把语言模型重置?论文只说要保留视觉编码器学到的细节,其他模块恢复预训练权重,没有多做解释。一种理解方式是,Stage 1 只是借文本监督来训练视觉编码器的手段,语言模型在那一阶段学到的东西不必保留。
训练用 AdamW,学习率 1e-6,最多 10 个 epoch,批大小 256,8 张 A100,每组实验跑三个随机种子取平均。
分数从哪里来
防伪的指标 HTER 和 AUC 需要一个连续的分数。附录写明了做法,关掉随机性做贪心解码,取模型生成的第一个 token 上 Yes 与 No 的 logits,做 softmax:

第一个 token 出来的时候,还没有任何推理文本。所以表格里的成绩,衡量的是模型直接回答的能力。六段推理影响的是模型怎么学,分数本身在推理文本出现之前就决定了。
讨论
One-to-Eleven
协议沿用 I-FAS 的 Protocol 2,训练完直接在 11 个数据集上测试:MSU-MFSD、CASIA-MFSD、Replay-Attack、OULU-NPU、SiW、Rose-Youtu、HKBU-MARs-V1+、WMCA、SiW-M-V2、CASIA-SURF-3DMask、HiFiMask。
比较时要分清训练数据。表中的基线方法都只用 CelebA-Spoof 训练,作者的模型则有三个版本。HTER 与 AUC 都是 11 个数据集的平均(%):
| 方法 | 训练图像 | HTER | AUC |
|---|---|---|---|
| ViTAF | CelebA-Spoof | 23.85 | 82.82 |
| ViT-L | CelebA-Spoof | 21.08 | 85.61 |
| FLIP | CelebA-Spoof | 18.73 | 87.90 |
| I-FAS | CelebA-Spoof | 11.30 | 93.71 |
| Ours-CelebA | CelebA-Spoof | 8.56 | 96.37 |
| Ours-100K | Gold100K | 7.65 | 96.59 |
| Ours-All | 全部 108 万条 | 6.30 | 97.77 |
论文说的「HTER 降了 5 个百分点」,指的是 Ours-All 对比 I-FAS。Ours-All 多了 WFAS 的图像,条件不同。条件最接近的是 Ours-CelebA,只用 CelebA-Spoof 的图像,HTER 从 11.30% 降到 8.56%。它用的六段推理由 caption 模型撰写,而 caption 模型是在含有 WFAS 图像的 Gold100K 上学出来的。
逐个数据集看,训练数据的影响更清楚(HTER,%):
| 测试数据集 | I-FAS | CelebA | All |
|---|---|---|---|
| CASIA-SURF-3DMask | 6.18 | 6.21 | 0.40 |
| HiFiMask | 28.23 | 28.68 | 15.93 |
| HKBU-MARs-V1+ | 18.64 | 6.96 | 7.34 |
| OULU-NPU | 14.86 | 9.47 | 5.86 |
| WMCA | 20.07 | 11.51 | 10.16 |
| SiW | 4.02 | 0.79 | 0.48 |
| MSU-MFSD | 5.63 | 8.33 | 5.00 |
| Replay-Attack | 9.15 | 9.87 | 12.75 |
- CASIA-SURF-3DMask 和 HiFiMask,只用 CelebA-Spoof 时和 I-FAS 几乎一样,加入 WFAS 才大幅改善。这两个数据集的进步,主要来自 WFAS 里的面具数据。
- 同样是面具数据集的 HKBU-MARs-V1+,只用 CelebA-Spoof 就从 18.64% 降到 6.96%。OULU-NPU、WMCA、SiW 也在只用 CelebA-Spoof 时就明显进步。
- 也有反方向的。MSU-MFSD 只用 CelebA-Spoof 时比 I-FAS 差;Replay-Attack 加入更多数据后,反而从 9.87% 升到 12.75%,比 I-FAS 的 9.15% 还高。
CoT、CEPL 与分辨率
消融实验都在 Gold100K 上训练。把分散在几张表里的 HTER 画在一起:

依次看这张图:
- 影响最大的是分辨率。只用标签,从 224 换成 448,HTER 从 17.07% 降到 9.07%。
- CoT 在低分辨率时帮助最大。224 下加入六段推理,HTER 降了将近 6 个百分点;到了 448,同样是单阶段训练,只降 0.23。作者的解读是,推理文本帮模型找回低分辨率下看不清的细节。反过来说,图像足够清晰的时候,那段文本能补的就不多了。
- 448 下拉开差距的是 CEPL,从 8.84% 降到 7.65%。
- CEPL 之后再加强化学习,没有更好,HTER 是 7.80%。作者认为监督数据已经足够多,强化学习的边际收益很小。
附录也提到,包括 I-FAS 在内,多数防伪方法都用 224×224 的输入。主表里这篇用 448×448 去比,从上面的消融来看,光是这一项就可能占了不小的优势。
数据质量也有一组对照。用只做监督微调的 caption 模型标出来的数据训练,HTER 是 8.00%;换成加了强化学习的版本,降到 6.87%。
换骨干、零样本、旧考法
- 换骨干:MiniCPM-V-2.6-8B 零样本的平均 HTER 是 17.91%,训练后 6.30%;Qwen2.5-VL-7B 零样本 19.60%,训练后 9.32%。两个骨干都受益,MiniCPM-V 的结果更好。
- 最难的攻击:在 Rose-Youtu 上,训练后抓得最差的仍是静止的纸质攻击(68.00%)和 Mac 屏幕播放的视频(71.36%)。
- OCIM:附录另外跑了 O、C、I、M 四个数据集轮流当测试集的旧考法,平均 HTER 1.06%,I-FAS 是 1.33%。四组里有两组的 HTER 输给 I-FAS:ICM→O 是 2.81% 对 1.74%,OCI→M 是 0.42% 对 0.32%。作者自己也说,这组考法的 AUC 都已经超过 99%,不太分得出高下。
还没回答的问题
- HTER 的阈值:论文没说阈值怎么确定,也没说最多 10 个 epoch 里用的是哪一个 checkpoint。AUC 不需要阈值,受的影响比较小。
- 推理是否忠实:六段推理最早是 GPT-4o 看着答案写的,模型学的是这种写法;评分又取自推理之前的第一个 token。模型写出来的理由,是否就是它实际依赖的线索,论文没有检验。作者在局限部分也提到,FaceCoT 可以用来评估可解释性,但这次还没做。
- 推理开销:8B 的模型吃 448×448 的图像,论文没有报告推理耗时。
- 开放程度:数据集要签协议向作者申请,仅限学术用途,而且只发布文本标注,图像得自己向 CelebA-Spoof 和 WFAS 获取。GitHub 上写着模型权重和代码「论文正式录用后公开」,目前仍标为未公开。
结论
FaceCoT 做了一份 108 万条、每条六段推理的防伪问答数据。前十万条由 GPT-4o 对着答案写、人工收尾,其余由一个用强化学习调过的标注模型扩充。拿它训练 MiniCPM-V,One-to-Eleven 的平均 HTER 降到 6.30%;只用 CelebA-Spoof 的图像,也有 8.56%。
不过最实用的是消融表。只用标签,把输入从 224 换成 448,HTER 就从 17.07% 降到 9.07%;在 448 下,六段推理在单阶段训练里只多帮了 0.23 个百分点。如果你手上的多模态防伪模型还在吃 224 的人脸,先把分辨率调上去,再决定要不要花一千美元请 GPT-4o 写详解。
同一届 CVPR 的 TAR-FAS 走了另一条路。它没有把推理写得更长,而是让模型在推理途中调出 LBP、FFT 这些老工具来看。两篇用的是同一套 One-to-Eleven,只用 CelebA-Spoof 训练时,TAR-FAS 的 7.54% 比这篇的 8.56% 低一些,只是骨干和输入分辨率都不一样。
至于开头那些被当成真人的纸质和屏幕攻击,倒也不能全怪通用模型。一开始,连 GPT-4o 都要人提醒,才知道拍一张报纸也算犯规。