返回论文笔记资料库
arXiv 2024CVPR Workshops 2024人脸防伪论文笔记

FAS-Challenge

兵器谱

原始论文

Unified Physical-Digital Attack Detection Challenge

论文作者

Haocheng Yuan · Ajian Liu · Junze Zheng …

查看全部 9 位作者

Haocheng Yuan · Ajian Liu · Junze Zheng · Jun Wan · Jiankang Deng · Sergio Escalera · Hugo Jair Escalante · Isabelle Guyon · Zhen Lei

发表版本
CVPR Workshops 2024会议
arXiv 首次提交
arXiv:2404.06211
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{faceantispoofingfaschallenge2024,
  title = {{Unified Physical-Digital Attack Detection Challenge}},
  author = {Haocheng Yuan and Ajian Liu and Junze Zheng and Jun Wan and Jiankang Deng and Sergio Escalera and Hugo Jair Escalante and Isabelle Guyon and Zhen Lei},
  year = {2024},
  eprint = {2404.06211},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2404.06211}
}
本页内容

这是 CVPR2024 举办的 FAS 比赛,全名为:

5th Chalearn Face Anti-spoofing Workshop and Challenge@CVPR2024

非常热闹,在 FAS 领域的工作者都可以来逛逛。

定义问题

Face Anti-Spoofing(FAS)的任务本质,是从图像中挖掘出「活体」的语法。

然而在现实中,攻击手段却以两种形式发展成平行的技术分支:

  • 物理攻击(Physical Attacks):模仿者以实体介质展示脸部,如纸张、屏幕或矽胶面具。其干扰多发生于传感器层,与真实世界有直接交互。
  • 数字攻击(Digital Attacks):如 Deepfake、face swapping 或对抗样本,则从数据生成源头或特征层进行操控,画面逼真但本质虚构。

传统方法多半针对其中一类进行建模,于是模型表现便局限于其训练分布,无法广泛迁移。

虽然物理与数字攻击在最终分类中皆属于「fake」,但其图像统计特征与变异方向存在高度异质性,使得伪类内的特征距离远大于预期,导致泛化瓶颈。

目前之所以难以建构「统一模型」,核心原因有二:

  1. 缺乏大规模统一数据集:过往常以单独搜集的 PA 与 DA 数据集拼接而成,未涵盖同一 ID 的完整攻击样态。
  2. 欠缺公共评估基准:物理与数字攻击使用不同的指标与协议,导致无法对跨领域演算法进行一致比较。

这正是 Unified Physical-Digital Attack Detection Challenge 发起的背景。通过新数据集、标准协议与公开竞赛,尝试定义一个新的问题设定:

能否以一套模型,同时应对两种异质假象,并在未知领域中仍保有鉴别能力?

统一数据集:UniAttackData

UniAttackData 是论文提出时规模最大的公开统一物理与数字攻击数据集,涵盖了 1,800 位受试者、共计 28,706 段脸部视频,构成以下三类样本;上图列的是挑战赛的各协议数据切分:

  • Live:1,800 段真实图像
  • Physical Attacks(PA):5,400 段,来自列印与屏幕重播攻击
  • Digital Attacks(DA):21,506 段,包括 Deepfake、Face Swap、对抗样本等

数据集的特点在于:每位 ID 均涵盖完整的攻击类型,借此减少身份与攻击类型彼此混淆的风险;各协议的真伪样本数仍不平衡。

挑战赛提供的数据先从视频裁取脸部,并为每段视频选取一帧;档名重新编号,以隐去原始名称可能透露的攻击类型等信息。

评估协议与泛化设计

本次挑战包含两大协议(Protocol),模拟不同真实世界场景下的模型部署需求:

  • Protocol 1:Unified Attack Detection 模拟模型需同时识别 PA 与 DA 的场景,测试模型对于混合样态的整合与分类能力。

  • Protocol 2:Generalization to Unseen Attacks 针对「未曾见过的攻击类型」进行 zero-shot 测试,进一步分为:

    • Protocol 2.1:Unseen Physical Attacks,训练集没有 PA,测试集为 PA
    • Protocol 2.2:Unseen Digital Attacks,训练集没有 DA,测试集为 DA

此协议将物理或数字攻击留到测试阶段,检查模型对未见攻击大类的表现。


赛程流程与规则设计

整体竞赛流程分为两个阶段,皆于 CodaLab 平台进行:

  • Development Phase(2/1–2/22) 提供已标记训练数据与未标记开发集,开放反覆提交预测结果至排行榜,帮助选手逐步调整模型。

  • Final Phase(2/23–3/3) 公开开发集标签、释出未标记测试集,参赛队伍须在无法接触真实测试标签的情况下,提交最终模型预测。 最后一次提交视为正式成绩,并须公开程式码与技术说明表(fact sheet)方具备获奖资格。


评估指标

挑战采用 ISO/IEC 30107-3 国际标准指标,以量化模型对假象的识别能力,具体包括:

  • APCER(Attack Presentation Classification Error Rate)
  • BPCER(Bona Fide Presentation Classification Error Rate)
  • ACER(Average Classification Error Rate)
  • AUC(Area Under the ROC Curve)

主排序以 ACER 为准,AUC 作为辅助指标。为维持评估一致性,最终 ACER 由开发集上的 Equal Error Rate(EER)标定阈值计算得出。


兵器谱

接着是前 13 名参赛队伍的技术概览,我们依序来看看他们到底做了些什么。

1. MTFace

在这场横跨数字与实体的攻击挑战中,MTFace 团队提出了最终夺冠的解法。

MTFace 提出的架构可简称为:

Optimized Data Augmentation for Comprehensive Face Attack Detection Across Physical and Digital Domains

听来冗长,却切中问题本质:如何让模型在训练时看过「足够多样、足够逼真」的假样貌。

MTFace 架构的核心,在于数据增强与损失平衡的共同设计。

其数据预处理步骤如下:

  1. 人脸检测与裁剪:对所有图像进行人脸检测,并额外扩张 20 pixels,保留周边特征。
  2. 脸部遮罩提取:将 live data 的脸部遮罩预先提取,供后续增强使用。

接着,针对不同 Protocol 所需的泛化能力,设计出两种「语义对应的增强策略」:

  • Moire 拟真增强(用于 Protocol 1 与 2.1) 屏幕重播常造成摩尔纹(moire pattern),这种纹理成为识别攻击的重要视觉线索。 MTFace 仿造这类干扰,将摩尔纹注入原始图像,使模型能预习此一物理现象的潜在影响。

  • 自体融合增强(用于 Protocol 1 与 2.2) 受到过去文献启发,MTFace 使用 live data 为基底,注入数字攻击的表面特征, 通过颜色扭曲、空间变形与遮罩折叠等方式,创造出「数字假象的混种样本」,提升模型对 Deepfake 类攻击的分辨力。

不同协议下,真实样本与攻击样本的比例差异极大。

若无调整,模型将偏向样本数量较多的一方,失去辨别稀有样态的能力。

为此,MTFace 在每条协议中调整 cross-entropy 的权重配置:

  • Protocol 1:live : fake = 1 : 1 保持损失平衡,确保学习不偏不倚。
  • Protocol 2.1(Unseen PA):live : fake = 5 : 1 提高真脸样本的损失权重,让模型在测试未见的物理攻击前更充分学习真脸特征。
  • Protocol 2.2(Unseen DA):live : fake = 2 : 1 调整真脸与假脸样本对损失的影响,以因应这条协议的样本比例。

这样的调整配合数据增强,是 MTFace 在三条协议中采用的训练策略;论文没有单独列出每一项损失权重的消融结果。

MTFace 最终以 ResNet-50 作为骨干网络,并载入 ImageNet 预训练权重。

没有 ViT,也没有自订大模型,仅以策略与数据,斩获本次比赛的第一名。

2. SeaRecluse

SeaRecluse 选择在数据边界与比例配置中筑起防线。

他们的方案名为:

Cross-domain Face Anti-spoofing in Unified Physical-Digital Attack Dataset

这个架构不强调极端变形,也不假借风格转换,而是从数据使用比例与裁剪策略出发,试图以更接近真实部署条件的方式,优化模型于跨域任务下的稳定性与泛化。

SeaRecluse 使用 SCRFD 对训练集中的 uncropped 图像进行人脸检测与裁剪。

但与其他队伍不同的是,他们对裁剪版本进行了松裁(loose crop)与紧裁(tight crop)的区分与补充,作为数据增强的方式之一。

此外,针对不同任务协议,数据切分比例与增强策略也完全不同:

  • Protocol 1:不进行额外增强 模拟最基本的条件下识别效能,使用 80% 训练数据与验证集混合训练。

  • Protocol 2.1(Unseen PA) 针对 live data 实施 downsample 与边缘补齐,将 real face 数据增强为原始的 3 倍,平衡真假样本比例。

  • Protocol 2.2(Unseen DA) 为强化模型对假样本的感知能力,对 fake face 实施 4x 及 8x 下采样,总计增强为原始的 7 倍数量。

此外,团队也对部分长宽比异常的图像进行修正,恢复为合理的原始比例,避免模型在视觉失真下学得错误偏好。

在图像增强层面,所有任务皆实施标准操作(如翻转、随机裁剪等),而 P2.1 额外采用了 Gaussian Blur,以模拟摄影模糊与远距视角的模糊失焦状态。

训练主干网络为 ConvNeXt V2;团队表示选择时考量了挑战要求与本地训练资源。

此外,为强化泛化能力,团队采用两项训练技巧:

  • Image CutMix:混合两张图像与标签,增强视觉边界与空间变异的适应性。
  • Label Smoothing:将 hard label 转为 soft label,降低过度拟合的风险。

团队以这些技巧增强训练;论文没有分别量测 CutMix 或 Label Smoothing 对数据不均的贡献。

SeaRecluse 采取的不是大刀阔斧,而是像筑墙一般,他们从每个任务的比例细节与裁剪尺度出发,将假象围堵于视野之内。

这是一种耐心处理数据切分与裁剪尺度的解法。

3. duileduile

duileduile 团队设计了一套模块化的双阶段学习流程,以抽象视觉表征的方式,对抗真实与假象的流动边界。其架构核心为:

Swin Transformer + Masked Image Modeling + 物理与数字攻击对应增强

模型骨干选用 Swin-Large Transformer,提取出 1536 维的特征向量,具备良好的区域感知与层次抽象能力。

在 预训练阶段,duileduile 采用 simMIM(Simple Masked Image Modeling) 策略, 将图像切分为非重叠区块,随机遮挡其中部分,迫使模型学会「由残缺重建整体」。

这种自监督预训练使用未标注的训练集与开发集图像,目标是让模型从被遮挡的输入学习表征;论文未单独量测它对遮挡攻击或 Protocol 2 的增益。

完成视觉语法的训练之后,进入 微调阶段(Fine-tuning)。此时的策略不再是大量数据堆叠,而是针对不同攻击类型进行精准的样态拟合,分别设计对应的增强流程:

  • Gaussian Noise:模拟数字攻击带来的像素级杂讯与压缩痕迹
  • ColorJitter + Moire Pattern + Gamma Correction:重建物理攻击的光影变异与显示偏差

这些增强不强加于所有数据,而是根据不同训练样本与 Protocol 任务进行概率性施加,让模型在每一次学习中都暴露于不同的干扰与假象之中。

相较于前两名团队聚焦于数据增强与比例配置,duileduile 的两阶段主干与训练设定在各协议相同;这是竞赛中的一种实现选择。

4. BSP-Idiap

BSP-Idiap 团队则选择走一条不太一样的路:回到信号本身的纹理节奏,将攻击的信号从频率维度还原出来。

这套方法名为: DBPixBiS(Dual-Branch Pixel-wise Binary Supervision)

延续其团队前作的设计理念,并在原有基础上扩展为双分支架构。

DBPixBiS 采用一个双分支的神经网络架构:

  1. RGB 分支:使用 Central Difference Convolution(CDC) 替代传统卷积,强调局部纹理变化,强化模型对异常边缘与微变动区域的感知。
  2. Fourier 分支:对输入图像进行傅里叶转换,送入另一套特征路径,捕捉频域上的伪装纹理,例如重复性、干扰性、压缩残留等信号。

这样的设计让模型同时具备对「画面上的像」与「信号内的假」的双重感知能力。

为了减缓过拟合与视觉对抗样本的隐蔽性,BSP-Idiap 采用了极具针对性的训练设计:

  • Pixel-wise Binary Supervision:针对每个像素在 feature map 上进行二分类监督,而非整张图像,提升区域伪装的识别能力。
  • Attentional Angular Margin Loss:在训练时加入角度边界惩罚项(Angular Margin),引导模型更明确地将 live 与 spoof 特征向量推离,强化分类边界的区隔稳定性。

在测试阶段,模型会对 feature map 进行全图平均,取其 mean activation 作为最终的 spoof 概率分数。

5. VAI-Face

在这场统一识别的战局中,有些队伍构建机制、有些队伍还原语法,而 VAI-Face 团队选择了第三条路:制造异常,强化识别。

他们的方案核心建构于 Dinov2 Vision Transformer(ViT-Large) 架构之上,目标就是让变形的脸,在视觉注意力下显出破绽。

VAI-Face 在数据增强上的最大策略特点,在于刻意破坏 live 与 fake 的对称性处理。

他们将两者视为语义异质的来源数据,因而采取截然不同的增强管道:

  • Live 图像:只进行 RandomResizedCrop 与 HorizontalFlip,保持其图像的自然分布与几何稳定性。
  • Fake 图像:则施加大量非对称扰动,包括模糊(Blur)、畸变(Distortion)、客制遮挡(Custom Cutout)等,模拟各种假象中常见的非自然痕迹与结构性破碎。

这套策略目标在于让 ViT 模型学会识别异常的几何与纹理。

除了数据策略,VAI-Face 在训练配置上也展现出极高的工程敏锐度:

  • OneCycleLR:精细控制学习率上升与下降的节奏,提高模型收敛效率与泛化能力。
  • Label Smoothing:避免模型对特定样态过度自信,缓解过拟合。
  • Mixup Augmentation:融合两张图像与标签,提升模型在样本空间边界的泛化稳定性。
  • Optimizer:选用 ADAN,这是一种结合 adaptive gradient 与动量的新型优化器,在这场挑战中提供更稳定的梯度动能。

ViT-Large 本身具备出色的区域关联建模能力,在处理 spoof 图像时,能以全域注意力机制捕捉出微细不协调处,进一步放大假象中难以掩饰的扭曲。此外,他们也没有加入额外 branch 或生成模块,而是选择最大化主干视觉模型的识别潜力,以微调的数据扰动与学习曲线,在简单架构中榨出泛化的可能性。

6. L&L&W

当大多数模型选择整体输入、全图判别,L&L&W 团队反其道而行,他们选择从局部出发,从细节出手:将一张脸切成无数碎片,从中拼凑真伪的蛛丝马迹。

他们的核心策略围绕在:

Patch-based Feature Learning + 频率导向采样 + 局部注意力导引

整个流程由图像分块(patch extraction)开始,将每张输入图像拆解为多个小区域,再进行独立特征学习。在此基础上,他们导入名为 Centre Difference Attention(CDA) 的机制。

CDA 是一种强化细节纹理差异的注意力方法,专注于「原本应该一致却出现微变异」的区块,例如:边缘晕影、错位重组、低频融合失败等。

除了空间细节,L&L&W 也不放过频率信号的潜藏线索。他们设计了名为 High-Frequency Wavelet Sampler(HFWS) 的模块,聚焦于图像中的高频波段,用以识别伪造过程中留下的压缩残迹、融合失真与非自然纹理跳变。

这种特征策略,将局部注意力与高频成分共同纳入识别流程;论文未分别量测两个模块各自带来的改善。

在验证和测试阶段,团队对每张图像产出 36 个裁剪版本,将其预测分数平均,作为最终分数。

7. SARM

SARM 团队的设计不在于复杂结构或数据变形,而是一套反覆「训练训练者」的过程。

他们的方法名为:

Multi-Attention Training(MAT) + Label Flip Augmentation

这是一种「阶段式视觉调整方法」,简单来说,先训练一个理解任务的模型,再由此模型细致调整,应用到不同的攻击类型上。

SARM 将整体流程拆为两阶段:

  1. 阶段一:针对每个协议(P1, P2.1, P2.2)训练专属的预训检测器,使用 Supervised Contrastive Learning,让 live 与 fake 之间的表征尽可能拉开语义距离。

  2. 阶段二:以第一阶段产出的表征作为初始权重,进行细部微调,完成真正的防伪模型建构。

这样的设计强化了每条任务的「预期对象理解」,降低直接 end-to-end 训练可能出现的误导现象, 尤其对于跨域泛化任务(P2.1 与 P2.2)特别有效。

在数据增强方面,SARM 的创新重点在于:将真脸,转为假脸,并标记为 fake。

这并非一般的合成假脸,而是一种使用 OpenCV 风格转换(style transformation) 进行的弱假象模拟。

针对 P2.1 和 P2.2 的训练数据,他们使用基于 OpenCV 的图像风格转换;论文未列出色调、光照、gamma 或滤镜的逐项设定。

然后将这些处理过的 live 图像标记为 spoof,形成 label-flip augmentation 训练样本。作者认为这有助于减少训练与测试数据的差距,但没有把「弱攻击样本」定义为独立攻击类别。

优化器选用 Adam,搭配交叉熵与 supervised contrastive loss 的组合;论文指出 P1 使用一般训练策略,P2.1 / P2.2 额外采用 label-flip 增强,未呈现各阶段的收敛曲线。

这套方法主要是靠「任务意图的前置理解」来驱动模型收敛。

8. M2-Purdue

M2-Purdue 团队带来不一样策略。

他们放弃设计复杂架构与强化数据增强,而选择用 CLIP 的语义表征,搭配「极值风险导向」的损失设计,其方法名为:

Robust Face Attack Detection with CLIP + MLP + CVAR–AUC Loss Fusion

流程从标准图像前处理开始,将所有输入调整为 224×224,确保尺度一致性。

接着使用 CLIP 的 image encoder 抽取语义特征,将视觉信息转化为深层嵌入表示。

这里的关键不在于创造新特征,而在于「借用已经看过大量数据的模型」,让 CLIP 输出视觉特征。后续接上一个三层 MLP 分类器,担任任务特化的决策模块。论文说明会微调 MLP,但未以实验确定它是唯一更新的部分,也未测量移动端部署成本。

最具特色的是其双损失设计,整合两种监督信号:

  • CVAR(Conditional Value at Risk)损失:常见于金融风控,关注 tail risk,也就是最容易误判、风险最大的样本区段。
  • AUC(Area Under Curve)损失:强调整体判别能力,优化模型对于「排序正确性」的整体感知。

整体损失定义如下:

L=λ⋅LCVAR+(1−λ)⋅LAUC\mathcal{L} = \lambda \cdot \mathcal{L}_{\mathrm{CVAR}} + (1 - \lambda) \cdot \mathcal{L}_{\mathrm{AUC}}

其中参数 λ\lambda 可调节模型在「极值风险感知」与「整体泛化能力」间的权衡。

这种设计背后的核心逻辑是:不求全面正确,但求在「最容易错的地方」,错得更少。

整体训练部分,论文正文写使用 Adam,但上方架构图标示 SAM optimizer;两处信息不一致,无法单凭这篇挑战报告确定实际设定。这套设计以 CLIP 特征为基础、以尾端风险与排序损失共同训练;论文没有提供独立的收敛稳定性或部署测试。

9. Cloud Recesses

若说防伪识别的本质是从脸上寻找破绽,那么 Cloud Recesses 团队的策略,则给了一个很有创意的方法:遮住那些最容易辨认的地方,逼迫模型从更隐微的信号中理解真假。

他们的方法名为:

Random Masking for Face Anti-Spoofing Detection

这是一种数据层级的对抗训练方式,也就是直接把图像中的关键部位遮挡,让模型在看不清楚眼睛与嘴巴时,也得学会辨认活体。

整体流程可拆解为三步骤:

  1. 人脸检测:使用 RetinaFace 将人脸从原图中裁剪,统一为 256×256 尺寸。
  2. 关键点标注:以 dlib 检测 68 个脸部关键点,精准描绘眼睛、鼻尖、嘴唇等区域。
  3. 随机遮挡:于每张训练样本上,随机遮挡三个到五个关键区域,使模型失去依赖五官识别的捷径。

这样的设计刻意遮住眼睛、鼻子和嘴巴等局部区域,减少模型依赖特定五官线索;论文没有验证模型转而学到哪一种纹理,也没有使用视频动态模糊作为此方法的特征。

模型主干选用 EfficientNet,平衡精度与效能,适用于遮挡图像下的轻量级识别。

整体训练以随机遮挡作为数据增强,让模型在局部信息缺失时仍进行真伪分类;论文没有单独报告遮挡策略的消融结果。

Cloud Recesses 的方案没有额外模块、没有双分支、没有融合特征,他们就只是拆掉那张脸的关键视觉线索,看看模型能否在黑暗中辨认真假。

10. Image Lab

在防伪检测的任务中,我们习惯让模型「看清楚」,但 Image Lab 团队选择让模型「看很多次」。他们提出的架构名为:

Multiattention-Net:由多层注意力组成的深层视觉识别网络

这是一种将多阶段空间信息与多重注意力整合的架构设计,系统化地从图像的不同维度汲取可能的异常征兆。

整体网络从一层 7×7 卷积层 开始,负责捕捉局部区域内的细节纹理,接着串接十层 变形残差块(modified squeezed residual blocks),在残差块组之间使用 max pooling 下采样,让输入信息逐步被抽象为越来越宏观的空间语义。

在这过程中,模型从不同残差块组提取空间信息,并在后四组各接一个 双重注意力模块(Dual Attention Block),强化关键部位的识别权重。这让模型能同时从细节与结构中发掘伪装痕迹。

最后各注意力分支通过 Global Average Pooling(GAP) 缩减维度,并将分支输出拼接,进入全连接层进行分类。

在训练方面,Image Lab 采用了 Binary Focal Cross Entropy Loss,这种损失函数特别针对少数类别与高置信错误进行额外惩罚,具体形式如下:

L(y,y^)=−α⋅(1−y^)γ⋅log⁡(y^)−(1−α)⋅y^γ⋅log⁡(1−y^)\mathcal{L}(y, \hat{y}) = -\alpha \cdot (1 - \hat{y})^\gamma \cdot \log(\hat{y}) - (1 - \alpha) \cdot \hat{y}^\gamma \cdot \log(1 - \hat{y})

其中:

  • y^\hat{y} 是模型预测概率,yy 是真实标签;
  • α=0.25\alpha = 0.25(启用类别平衡时);
  • γ=3\gamma = 3(强化错误样本惩罚)。

原论文的式(2)写出了两个概率项,但没有依真实标签 yy 切换正负类,因此无法只凭这个式子还原实际使用的 binary focal loss。表中 ImageLab 的 ACER 为 34.9434%,论文也没有提供单独的收敛效率量测。

11. BOVIFOCR-UFPR

在这场专注于「识别假象」的赛局中,BOVIFOCR-UFPR 是少数选择将视角移出二维平面的队伍。他们不再仅仅分析图像的色彩与纹理,而是试图重构整张脸的三维真实性,借此辨认那些伪装无法还原的空间错误。

其方案核心为:

3D Reconstruction + ArcFace + Chamfer Loss

整体架构灵感来自 3DPC-Net,以 Encoder-Decoder 架构为主体:

  1. 预处理阶段:检测、对齐并裁剪脸部;另以既有重建方法取得训练用的 3D 点云参考数据。
  2. Encoder:采用 ResNet-50 作为 backbone,提取高层特征。
  3. Decoder:将特征转换为对应的 3D 点云表示(Point Cloud), 模拟出脸部在空间中的几何形态,作为后续判别依据。

通过这样的结构,模型学到的就不只是「像不像」,而是「合不合理」,是否能在空间座标中站得住脚。

训练阶段中,团队同时结合两种特征导向的损失函数:

  • ArcFace Loss:为分类特征加入角度间隔约束;这里的图示输出为真伪分类。
  • Chamfer Distance Loss:度量预测点云与预先重建的 3D 参考点云间的空间距离,用以约束几何结构逼近程度。

模型不仅要学会分类 live/fake,还必须产出与真实结构一致的 3D 几何形状。

在论文介绍的 13 队中,这队使用 3D 点云重建来辅助真伪分类;其最终 ACER 为 35.3620%。

这是一种跨维度的识别方式,不靠像素细节,而靠几何合理性建立防线。

12. Inria-CENATAV-Tec

Inria-CENATAV-Tec 团队选择回到一个经典问题:

能否在计算资源受限的场景下,依然达成稳定的防伪效果?

他们的答案是:MobileNetV3-spoof with hyperparameter tuning

这是一场在模型复杂度与识别精度之间进行的动态平衡实验。

流程开端即体现其系统性与保守策略:

  1. 脸部标定:使用 ResNet-50 执行 landmark 检测。
  2. 对齐与退阶处理:若可检测出关键点,则使用 InsightFace template 进行脸部对齐;若无,则保留原图,仅进行大小重设。

这样的流程兼顾了严谨(有 landmark 时精准对齐)与容错(无 landmark 时亦不排除数据), 展现出对真实世界应用场景的务实理解。

选择 MobileNetV3-large1.25 作为特征提取骨干,是本方案的关键设计。

此架构本身即为针对 edge AI 与低功耗设备所优化,在保持卷积效率的前提下,导入 SE attention block 与 h-swish 非线性激活函数,能在参数数量与识别能力间取得合理折衷。

搭配 SGD optimizer + Multi-step Learning Rate 调度策略,让模型能逐阶段稳定收敛,而非一次性全域下降。

除了基本的增强(如裁剪、翻转等),团队也针对不同 Protocol 数据集的均值与标准差进行归一化处理,避免因来源异质导致特征偏移。

这种针对各协议调整预处理的设计,属于团队提交的方法;论文未单独量测它对泛化能力的影响,该队在最终榜单的 ACER 为 37.3436%。

13. Vicognit

在所有参赛队伍中,Vicognit 是少数明确将注意力焦点放在 ViT 上的团队。

他们提出的方案名为:

FASTormer:Leveraging Vision Transformers for Face Anti-Spoofing

这是一种以 Transformer 为主干的设计,团队希望利用它编码关联、捕捉序列结构的能力,从空间信息中学习脸部真伪的识别线索。

Vicognit 的方案核心在于:使用 ViT 建模人脸图像;报告称没有降低输入数据的维度,但未提供输入解析度或相关消融,无法判断具体保留了哪些细节。

这样的策略并不新颖,但在 face anti-spoofing 任务中却极具挑战。

由于假脸与真脸间的差异往往不在几何,而在纹理、材质与微幅干扰;ViT 所提供的全域关联建模能力,正好适合学习这些细微且不规律的语意裂缝。

在训练策略上,他们采用以下方式:

  • 微调 Learning Rate 与 Weight Decay,使模型参数能稳定、精准地收敛;
  • 报告未提供额外数据增强流程的细节,因此无法评估这部分对结果的影响。

这样的策略以 Transformer 作为识别主干,但最终 ACER 为 52.1031%、AUC 为 46.7025%,本次结果没有支持「良好泛化能力」的判断。

Vicognit 的方案提供了纯 Transformer 架构在这次挑战中的比较结果。

讨论

根据官方最终统计,排名前五的队伍呈现出几个值得留意的结果:

  1. 前三名在 ACER 指标上明显领先其他队伍:第三名为 5.5111%,第四名为 16.2263%。
  2. 第一名队伍在 ACER、AUC、BPCER 全数拔得头筹,但最佳 APCER 则由第五名队伍夺下,显示不同模型对不同错误类型具选择性优势。
  3. 前五名包含业界与研究机构队伍,例如第四名 BSP-Idiap 来自 Idiap Research Institute;队伍背景本身不能解释成绩差异。
  4. 整体队伍在 ACER 表现上落差甚大,由 2.3396% 到 52.1031%;单次竞赛还不足以判定某一类架构是普遍最佳解。

这场挑战除了排名,也让不同模型与数据策略在相同协议下接受比较。

从主办单位的赛后整理来看,有三个值得继续检验的方向:

  • 路径一:检查骨干容量与成绩的关系;大型模型有可能受益,但冠军使用的是 ResNet-50,不能只按模型大小选择。
  • 路径二:改善数据预处理与类别平衡;多队使用裁剪、增强或损失权重调整,仍需分别验证其贡献。
  • 路径三:从局部信息缺失的图像学习;遮挡与局部特征方法提供研究方向,这份报告没有跨方法消融来排序它们。

这些是主办单位从参赛方案归纳的方向,不能把榜单名次直接当成单一设计选择的因果证据。

结论

根据本次竞赛观察与主办单位的整理,未来 UAD 发展仍有三个主要方向需要突破:

  1. 更完整的数据集建构:

    尽管 UniAttackData 已为跨攻击类型的数据统一立下基础,但在攻击类型丰富性、受试者多样性与画质品质上仍有改进空间。尤其是在对抗式攻击、风格转换式假脸等新型态下,现有数据样本数仍难以支撑系统性泛化验证。

  2. 预训练模型引导的泛化策略:

    CLIP 是视觉语言模型,DINOv2 则是视觉基础模型;两者提供不同的预训练表征。未来若能更有效将这些知识用于 UAD 任务,或许能减少对 labeled spoof data 的高度依赖。

  3. 任务协议与标准重构:

    现有协议虽具代表性,但难以涵盖混合式攻击、多模态场景与移动端部署等新应用情境。发展更高层次的任务定义与分层评估机制(例如将误判区分为高风险 vs 可容忍错误),将是提升真实应用可信度的必要之路。

当前,我们仍行走在识别假象的迷雾中。

不同队伍在演算法的多样路径上点亮了火光,有的通过注意力看穿异常,有的以遮挡训练出坚韧,有的从三维空间抽离形体真伪。

但最终问题仍然未变:

我们是否真的知道,一张假脸是如何构成的?

或许答案还未成形,但在这场技术的公开比试之后,我们离它,已再近一步。