返回论文笔记资料库
IEEE TPAMI 2022人脸防伪论文笔记

FAS Survey

攻与防的编年史

原始论文

Deep Learning for Face Anti-Spoofing: A Survey

论文作者

Zitong Yu · Yunxiao Qin · Xiaobai Li · Chenxu Zhao · Zhen Lei · Guoying Zhao

引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@article{faceantispoofingfassurvey2022,
  title = {{Deep Learning for Face Anti-Spoofing: A Survey}},
  author = {Zitong Yu and Yunxiao Qin and Xiaobai Li and Chenxu Zhao and Zhen Lei and Guoying Zhao},
  year = {2022},
  journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence},
  url = {https://doi.org/10.1109/tpami.2022.3215850},
  doi = {10.1109/tpami.2022.3215850}
}
本页内容

看了过去几篇论文之后,我们也大概知道了 FAS 的研究背景与发展脉络。

现在,我们直接来回顾一下过去十几年内的各种方法。

FAS 架构

所有攻击的第一步,都是欺骗传感器。

因此,我们大致可将攻击分为两类:

  • 数字攻击(Digital Manipulation):如深度伪造(deepfake)或图像处理,直接在虚拟领域进行改造。
  • 实体展示攻击(Physical Presentation Attacks):也是本篇重点,意图在真实世界中通过物理媒介骗过摄影摄像头。

常见的攻击型态和 FAS 系统的建构方式如下图所示:

从实体展示攻击中,进一步根据意图区分为:

  • 模仿(Impersonation):模仿他人,例如持照片或配戴 3D 面具,让系统认为你是某个特定人。
  • 遮蔽(Obfuscation):遮掩自己,例如化妆、墨镜、假发,让系统无法识别你是谁。

根据几何结构,又可区分为:

  • 2D 攻击:例如平面照片、屏幕重播视频、挖洞照片等。
  • 3D 攻击:包含各种材质制成的立体面具,如纸质、石膏、硅胶或树脂。这类攻击往往更拟真,也更具挑战性。

有趣的是,除了整脸的「正攻」,也出现了不少「侧击」的局部攻击,例如眼部戴上搞笑眼镜、脸颊贴纸等,只针对局部区域进行欺骗,增添了防御难度。

随着深度学习方法的发展,数据集的规模与复杂度也逐步提升。

在本论文中归纳了三大趋势:

  1. 大规模化:例如 CelebA-Spoof 收集数十万张图像,HiFiMask 则收集数万段视频,扩大了可用的训练数据。
  2. 多样性强化:新的数据集不再只包含常见的打印与重播攻击,开始引入细分类型的 3D 攻击、变化光照、跨场景录制等情境,例如 SiW-M 中涵盖多达 13 种攻击类型。
  3. 传感器升级:从单一 RGB 摄像头,拓展至深度(Depth)、近红外(NIR)、热感(Thermal)、短波红外(SWIR)等模态,甚至使用光场摄像机进行记录。

深度学习方法总览

上图中展示的是一张 FAS 方法分类树状结构图,从传感器出发,逐层延伸至不同模型设计与泛化策略。

从传感器层级的划分开始:

  • Commercial RGB Camera:目前最常见的设备类型,多数手机或笔记本电脑皆属此类。针对此类设备开发的 FAS 方法,强调在可见光单一模态下进行伪造检测。
  • Advanced Sensor:例如 NIR、Depth、Thermal、SWIR、光场摄像机等,提供更丰富的图像特征。应用于这类设备的模型,能结合跨模态信息提升识别力,但也提高了开发与部署成本。

由于多数情境下,都只有 RGB 摄像头可用,因此我们将重点放在这个模态下的 FAS 方法。

  • Common Deep Learning Method

    使用最传统的二元分类监督学习(如 Binary Cross-Entropy),或进一步进行像素级监督(Pixel-wise Supervision),强调模型对局部 spoof cue 的学习能力。

    常见辅助设计如:

    • Auxiliary Supervision:引入伪深度图、遮罩等像素级标签,辅助模型学习。
    • Generative Model:采用 GAN 或重建方式提升对异常样本的识别力。
  • Hybrid Method

    将手工设计的特征与深度模型结合,例如先提取 LBP、光流或 rPPG 线索再交给模型,或在特征与分数层融合两者。

  • Generalized Deep Learning Method

    此路线的核心目标为「跨域泛化(Domain Generalization)」,不仅在训练场景中表现良好,更能应对未知数据分布。 主要技术分支如下:

    • Domain Adaptation:有少量目标数据时,对模型进行微调。
    • Domain Generalization:完全无目标数据,仍需保持泛化能力。
    • Federated Learning:将多端设备学习整合,提升隐私下的泛化性能。

评估指标

FAS 任务的评估,聚焦于两个核心面向:

  • FAR(False Acceptance Rate):误将攻击样本判为真实使用者的比率。
  • FRR(False Rejection Rate):误将真实使用者判为攻击样本的比率。

为兼顾这两者的平衡表现,常见综合指标包含:

  • HTER(Half Total Error Rate):FAR 与 FRR 的平均值

    HTER=FAR+FRR2\text{HTER} = \frac{\text{FAR} + \text{FRR}}{2}
  • EER(Equal Error Rate):当 FAR 与 FRR 相等时的错误率(即 HTER 在平衡点的值),常作为模型性能的综合评估指标。

  • AUC(Area Under Curve):计算 ROC 曲线下的面积,反映模型将 bonafide 与 spoof 攻击区分开的能力,越接近 1 越好。

此外,依据 ISO/IEC 30107-3 标准,也逐渐引入更细化的三项错误指标:

  • APCER(Attack Presentation Classification Error Rate):攻击样本被误判为 bonafide 的比率。

  • BPCER(Bonafide Presentation Classification Error Rate):真实样本被误判为攻击的比率。

  • ACER(Average Classification Error Rate):APCER 与 BPCER 的平均值

    ACER=APCER+BPCER2\text{ACER} = \frac{\text{APCER} + \text{BPCER}}{2}

这些指标提供了模型在不同误分类情境下的具体量化依据,特别适用于真实部署环境中,针对误判风险进行细致评估。

评估协议

四种主流测试协议下,深度学习 FAS 方法的表现比较。


不同的协议设定,反映着模型在面对实际部署场景时的挑战程度。我们可将这些设定视为模型从「熟悉」迈向「未知」的成长阶梯,依序可分为四种常见测试协议:

  1. Intra-Dataset Intra-Type

    同一数据集、同类型攻击。此为最基础的评估方式,模型于训练与测试阶段皆使用来自相同分布的数据。

    常见于如 OULU-NPU、SiW 等数据集预设子协议中。该情境下 domain gap 极小,因此为深度模型最容易获得高准确率的设定。

    如上图 (a) 所示,较近期的多种方法在 OULU-NPU 的 Protocol-4 测试中,ACER 已低于 5%;图中也有高于此值的方法。


  2. Cross-Dataset Intra-Type

    训练与测试数据来自不同数据集,但攻击类型相同,主要测试模型的领域泛化能力。

    模拟实际应用中「开发环境」与「真实应用场景」不一致的挑战。上图 (b) 呈现了在 Replay-Attack 训练、CASIA-MFSD 测试的结果,仅训练单一数据集时(绿色柱)HTER 普遍偏高。若结合多个数据集(紫色柱)进行训练,通过跨域学习方法(如 SSDG, SSAN)可明显改善泛化表现。


  3. Intra-Dataset Cross-Type

    采用 leave-one-type-out 设定,即某一攻击类型只在测试阶段出现,训练数据中不包含。

    此协议专为验证模型面对「未知攻击类型」时的应变能力。如上图 (c) 展示 SiW-M 的测试结果,其中包含多达 13 类攻击类型,各类型间的难度落差大,导致模型平均 EER 虽不高(~10%),但标准差较大。

    通过预训练与转移学习,如 ViTranZFAS 即可将 EER 降至 6.7%。


  4. Cross-Dataset Cross-Type

    为目前最具挑战的设定,同时更换数据来源与攻击类型。

    训练时仅使用 OULU-NPU 与 SiW(主要为 2D 攻击),测试时则使用 HKBU-MARs 或 CASIA-SURF 3DMask 等 3D 面具数据集。上图 (d) 显示,目前方法如 NAS-FAS、DTN 仅能检测某些低拟真 3D 面具,对高拟真材质仍难以区分。

    此协议最贴近现实部署中会遇到的未知场景与复合攻击挑战,是未来研究的重要方向。


每一种协议的设计,都是对模型能力的逐步拉升: 从最理想的「封闭训练测试」到真实世界的「开放未知情境」,FAS 系统该如何成长、学会辨别从未见过的攻击,是这场防伪对抗的核心课题。

基于 RGB 的 FAS

上图整理了基于 RGB 相机的 FAS 技术演进脉络。

从结合手工特征的早期方法开始,一路走向强调监督设计与跨域泛化的 RGB 深度模型。

由于 RGB 相机几乎是所有设备的标配,因此针对这类设备所开发的防伪系统,也就成了 FAS 技术落地的主战场。

混合式方法

虽然深度学习已经在分类与检测任务中横扫千军,但 FAS 任务的实际情况比较现实:

数据量普遍不大、样本分布还经常失衡,导致模型训练容易陷入过拟合。

这时候,一些研究便转向结合传统手工特征与深度模型,希望通过这种「补短板」的方式,弥补模型对非纹理线索的感知盲点,像是光影变化、心跳节奏、动作异常等等。

这类方法大致可以分成三种套路。

第一种是「特征前融合」,也就是先用传统方法抽取静态或动态特征,再送进深度模型进行分类。常见的作法包括用 multi-scale LBP 或 Weber descriptors 抓出细节纹理,或是结合 LBP 与 CNN 来保留边缘与强度等低阶信息。

如果目标是抓动态线索,那就会看到 dense optical flow 用来分析动作轨迹、rPPG 被转成时序图喂给 Vision Transformer,甚至有研究直接抓亮度变化的直方图,对重播攻击进行反制。

这类方法的核心逻辑是:模型你负责学,我先帮你把该看的线索准备好。


第二种是「特征后融合」,这边的流程刚好相反:先让深度模型抽特征,接着再加上一些手工设计的描述子作为补强。像是有人用 PCA 先从 VGG-face 清理掉多余信息,也有人直接从卷积层提取彩色 LBP,试图补强统计信号,还有在时序特征上叠加 LBP-TOP 或 optical flow,增加时间动态的解析度。

这类方法最大的麻烦在于,CNN 特征本身会随着层数产生语义变化,怎么选择合适的融合层级,常常需要靠经验+实验,没有标准答案。


第三种则是「双流融合」,也就是让手工特征与深度模型各自跑各自的路,最后在特征层或分数层整合起来。

这里的例子就更多了:有直接把 LBP 与 VGG16 的预测分数加在一起的,也有用 HOG、LBP 这类特征图来引导 CNN 的底层学习方向,甚至还有人把 1D CNN 提取的亮度与模糊线索融合起来,专门对付重播类型的攻击。

这类方法就是把不同的模型放在一起,让它们各自发挥专长,最后再把结果综合起来。


整体来说,Hybrid 方法最大的好处是:可以补上纯深度模型不擅长的部分,尤其是那些微弱但有意义的非纹理特征,像是脸部微光反射、心跳周期、摄像头动态模糊等等。在数据量不够、场景差异又大的情况下,这种方式确实能提供额外的稳定性与弹性。

不过它也有明显限制,像是手工特征不可学习、需要专家调参,泛化能力有限;再加上手工与深度特征之间的语义不一致,融合时一不小心就会出现信息打架、模型迷路的情况。

传统深度学习方法

Hybrid 方法之所以存在,是因为当时深度模型还在发育期,数据也不够多,只好用手工特征先撑场面。

但随着 CNN 架构愈来愈成熟、大型防伪数据集陆续释出,FAS 社群也开始拥抱「数据给多一点、网络堆厚一点、监督用狠一点」的全端学习路线。

这波方法强调从图像中直接学出活体与伪造之间的差异特征,舍弃所有不可学的外挂,从 input 到 output 一条龙学习,成为目前商用 RGB FAS 的主流路线。

虽然形式五花八门,但这类方法大致可分成两类:

  • 是把 FAS 当成二分类问题处理。
  • 通过像素级监督加上生成式设计,让模型学会更细腻的 spoof 模式。

二分类监督

最直观的做法,就是把 FAS 当成 Bonafide vs Spoof 的二分类问题,采用 BCE Loss 作为损失函数,从输入图像直接预测标签。

早期常见的网络如 8-layer CNN、VGG16、ResNet18,后来也出现了 MobileNet 为基础的轻量化架构,甚至有研究结合 CNN 与 LSTM,让模型可以看「多帧」的细微动作,比如眨眼、头微动,试图把时间信号也纳进判断依据。

为了让模型更不容易被误导,损失函数也持续进化:

  • 改成多分类:有人加入攻击类型标签(multi-class CE),让模型学会区分重播、打印、3D 面具等不同 spoof 手法,把二分类问题转成多分类问题。
  • 对比学习:也有人使用 Triplet 或 Contrastive Loss,让类内特征紧密、类间分离,强化表示能力

甚至连 Focal Loss 和非对称 Softmax 这些设计也被搬进来,分别加强难例学习,并放宽分布多样的 spoof 类别的类内约束。

这种设计的好处在于实现容易、收敛快,但也不是没有地雷。最大的风险是:

模型太容易学到一些不该学的东西。

像是屏幕边框、画面黑边或光线异常等「提示」,虽然短期内看起来正确率很高,实际上却是把数据集记熟了,泛化效果堪忧,稍有不慎就变成一堆电子垃圾。

像素级监督

为了解决模型太爱偷看提示这件事,部分研究开始导入像素级的监督信号,让模型更专注于脸部本身的物理与材质特征,而不是背景或设备产生的杂讯。


  • (a) 辅助任务监督(Auxiliary Task Supervision)

    这类方法会搭配一或多个辅助标签,举几个例子,例如:

    • pseudo depth map 用来区分平面攻击与真实脸部
    • binary mask 为各空间位置提供真脸/攻击监督;ternary map 进一步区分背景,另有 rPPG、光反射图等辅助信号

    让模型在识别之外,输出可供检视的辅助图;但图上的信号仍需核对,不能直接当成完整解释。

    像 DepthNet 早期便用伪深度图当监督,后来的 CDCN 以中央差分卷积改造这类架构;FAS-SGTD 还加入了短期与长期的动作估计,试图建立一种「你假装得再像,也会露出破绽」的节奏感。

    遮罩类方法则由 George & Marcel 开始推动,后来有研究加上 attention 模块,解决模型注意力偏移的问题,也有人引入 ternary mask,把背景信号排除,让模型更聚焦在关键区域。

    这类方法的优点很明显:

    可解释性强、有空间语意、支持多任务学习,但同时也很依赖数据质量。

    大多数 pixel label 都是用外部模型或人工建构,质量一差反而会变成误导。


  • (b) 生成式监督(Generative Supervision)

    除了直接贴标,还有一派研究选择从「让模型自己发现异常」的角度出发。

    这类方法采用 autoencoder 或 encoder-decoder 等结构:有的用真脸重建误差判断 spoof,有的直接估计伪造痕迹。

    也有研究定义 spoof 是一种「添加了噪声的输入」,试图从 noise estimation 中挖出破绽。更进一步的像是 meta-teacher 概念,让教师模型自动产生像素级监督,学生模型负责学 spoof 特征,搞得像一套内建 QA 系统。

    这些方法的好处是:

    视觉化强、具解释力,也特别适合数据驱动的泛化学习。

    但坏处也不小:训练容易不稳、收敛慢,有时还会学到传感器特有的噪声,反而增加过拟合风险。


从这一波传统深度学习方法可以看出,FAS 社群不再满足于单纯的分类准确率,而是开始关注模型的可解释性、泛化能力与场景适应性。

泛化导向的深度学习方法

如果说传统深度学习方法的挑战是数据不够、模型太信任错误提示,那么泛化导向的挑战就更现实:

模型只在它「看过」的场景下表现良好,但一换相机、一换光源,甚至只换个人脸,它就瞬间崩溃。

这种「训练很会、实战不灵」的问题,在 FAS 领域尤其严重。

泛化挑战大致可以拆成两种:

  • 一种是来自环境的变异(unseen domains),例如光照、传感器、背景杂讯等;
  • 另一种则来自攻击类型的未知性(unknown attacks),例如你根本没看过的 3D 面具、变形遮蔽物。

这两种问题本质不同,因此处理方式也不一样,以下我们分别来看看:

面对未知环境

环境变异可能造成数据分布偏移,影响模型输出的稳定性。

这类场景下,泛化策略主要分为两种路线:

  • Domain Adaptation
  • Domain Generalization

这两者的差别在于「你有没有办法取得目标环境的数据」。


  • Domain Adaptation:我知道你会去哪,就帮你调整一下

    这类方法假设你已经知道模型将被部署在哪个环境中,甚至可能手上有一些(不管有没有标注的)目标数据。既然知道目的地,自然可以提前校正方向。

    有些方法会进行无监督对齐,像是 Li 等人用 MMD(最大平均差异)最小化 source 和 target 的特征分布差异,或是用 adversarial learning 让模型难以分辨来源 domain,借此逼它学出通用特征。

    半监督方法则进一步假设有少量 target domain 的样本(例如每类各 3 笔),就能显著提升模型表现。但这招也有代价:如果你只有 bonafide 没有 spoof 样本,那模型可能就会偏心了。

    进阶一点的设计,像是 multi-layer MMD、domain-specific normalization,或是知识蒸馏,都试图在网络架构本身做调整。某些研究还进行 filter pruning,边迁移边瘦身,一举两得。

    缺点也很明显:你在现实场景中根本不知道 spoof 样本会是什么样子,难以取得有效的数据。


  • Domain Generalization:我不知道你去哪,但我希望你去哪都行

    相对地,Domain Generalization 的假设比较硬核:完全没有 target domain 的数据,那就只能靠多个 source domains 训练出一个能「应对所有未来」的模型。这听起来像 AI 里的冒险者训练营,也难怪成为近年来研究热点。

    方法大致可以归为几类:最基本的是 adversarial learning,设计 domain discriminator 强迫特征不携带来源信息;也有通过 feature disentanglement,把 identity、camera noise 等干扰因素剥离,留下真正能跨场景生存的 spoof 表征。

    元学习方法则更具「角色扮演」精神:将不同 source domain 当作不同任务训练模型,让它具备快速适应新环境的能力。甚至有研究连 domain label 都不需要,直接用 clustering 动态生成 pseudo domain,算是把泛化练成一种内功。

    另外,也有从 normalization 着手的设计,例如 Liu 等人的 ANRL 自适应结合 batch 与 instance normalization,尝试降低 domain bias。

    缺点就是难训练,而且容易受到边缘样本影响,进而降低整体表现。

面对未知攻击

另一种挑战,来自攻击手法的多样化:

除了事前准备的 spoof 类型,攻击者新发明的手法也会带来挑战。

这时候,「只学已知攻击」的模型就会出现 blind spot,进而判错。

因此,对抗未知攻击的方法,也逐渐从 closed-set 思维转向 open-set,主要出现了两大方向:

  1. Zero / Few-Shot Learning
  2. Anomaly Detection

  • Zero / Few-Shot Learning:我没看过,但我有预感

    Zero-shot 方法的概念是:从已知的 spoof 类型中学特征,尝试识别没看过的攻击。例如 Liu 等人提出 Deep Tree Network(DTN),自动将已知攻击分成树状子群,再依特征相似性将未知攻击导向相应分支。

    Few-shot 方法则更实际一点,允许模型看到极少数新型样本(例如五笔),用 meta-learning 快速更新模型参数,实现快速适应。像 Qin 的方法就是结合 zero- 与 few-shot 的优点,加入动态学习率机制;而 Perez-Cabo 则设计了 continual few-shot 学习机制,模型可以随数据成长进行更新,避免旧任务遗忘。

    这类方法的共同优势是反应快、可扩展,但当样本极少甚至为零时,仍可能出现混淆。尤其当 spoof 手法几乎以假乱真时,模型要分辨就没那么简单了。


  • 异常检测(Anomaly Detection):我不认识你,所以我不信你

    Anomaly Detection 思维比较简单粗暴:我只学 bonafide,任何长得不像 bonafide 的东西,我一律视为可疑。

    有些方法采 one-class 训练策略,例如用 GMM、One-Class SVM、Autoencoder 重建误差等手段界定「正常区域」。

    更进一步,有些设计会将特征空间内的 bonafide 收敛成一个 hypersphere,只要落在球外的点,就可能是 spoof。还有像 George 提出的 One-Class Contrastive Loss(OCCL),结合对比学习与后验评分,强化模型对异常点的区辨力。

    纯 one-class 方法可不使用真实攻击样本;但 OCCL、hypersphere loss 等方法仍会利用已知攻击样本学特征。它们共同的难题是:

    只要 spoof 样本长得太像 bonafide,就容易混淆,分类边界也难以明确定义。

多传感器的深度学习方法

讨论

受益于深度学习技术的快速进展,FAS 模型在过去几年确实取得了长足进步。

依本篇综述的 Figure 5,不同协议下已有方法分别达到 ACER < 5%、EER < 10%、HTER < 15% 或跨数据集跨类型 HTER < 20%;这些数字来自不同测试设定,不能视为所有模型都同时达标。设计精致的架构(如 NAS-FAS、FAS-SGTD)与像素级监督(pseudo depth、reflection map 等)在部分 2D 与 3D 攻击测试中取得不错表现。

然而,这些数据只是纸上谈兵的一环。当模型走出实验室、走进真实世界,才会发现它们还有很多过不去的关卡:

  • 光线一变就崩溃。
  • 攻击一换就当机。
  • 数据一少就自信满满地猜错。

即便是泛化导向设计(如 SSDG、SSAN、FGHV)展现了跨域潜力,但整体来看,FAS 依然是一个尚未解决的任务。

本篇论文的作者从以下五个面向总结当前挑战与未来可能的研究突破口。

架构设计与模型可解释性

目前主流方法仍大量依赖经典 CNN 架构(如 ResNet、MobileNet)与手工设计的监督信号(如 depth map、mask),这类设定虽然稳,但对于数据多样性高的实际场景往往吃力不讨好。

未来可考虑引入自动化机制,例如:

  • 利用 AutoML 搜寻不同模态与时间条件下的最佳模型结构;
  • 针对 RGB、Depth、NIR 等多模态输入,自动设计合理融合策略,取代人为堆叠;
  • 搭配轻量模型设计,让 FAS 不再是服务器独享,也能下放到手机与 IoT;
  • 强化解释性:从 Grad-CAM 到 spoof map、甚至自然语言生成预测解释,让模型的判断过程不再是黑盒。

让模型说得出它为什么认定某张脸是假的,会是未来可信 FAS 系统的关键一步。

表示学习

FAS 的本质,其实是表征学习的高阶应用。问题不在于有没有抓到「差异」,而是抓到的到底是不是 spoof 相关的差异。

未来可聚焦在几个方向:

  • 导入 迁移学习 与大型预训模型(如 ResNet、ViT)转移通用视觉知识;
  • 做好 特征解耦:从 identity、光照、画面质量中分离出 spoof 专属信号;
  • 结合 度量学习(Triplet, Hypersphere Loss),拉开 bonafide / spoof 的特征分布;
  • 用 自监督学习 从 unlabeled patch 中学习区域对比,建立细节识别力;
  • 更进阶的对抗式数据增强,像是合成反光、微动失真、极端材质,让模型面对不熟悉攻击时也能有判断依据。

说白了,就是让模型学会:「我不只知道你长得不像活体,我知道你哪里不像。」

真实开放场景测试

目前的 FAS 测试协议几乎都偏向「小规模、单因子、封闭型」,例如只测光源变异、只测单一 spoof 类型。然而现实场景永远不只一种变数在变,甚至是连攻击者本身都会变。

因此,建立真实可用的 open-set 测试框架,将是评估新一代模型的必要条件。

未来可朝以下方向发展:

  • GrandTest 的混合域测试,以及同时包含未知 domain 与攻击类型的 open-set 协议;
  • 多模态测试:训练时有 RGB、Depth 等模态,推理时若只剩部分模态,能不能维持表现?能不能补出缺少的模态?
  • 多样混合协议:例如 RGB-NIR-D 的随机搭配,模拟传感器不一致的场景。

如果说过去的测试是在让模型过关,那未来的测试应该是让模型出事,因为只有在它出错的地方,我们才能真正知道它学到了什么。

整合式攻击检测

随着 Deepfake、morphing、GAN 生成等数字伪造攻击的兴起,FAS 的守备范围也逐渐扩张。未来的防伪任务,将不再只是人脸真不真,而是:

这张图像的来源、完整性与真实性是否可信?

这意味着 FAS 模型要开始具备:

  • 多任务学习能力,从文件、商品、脸部等多领域中学出共通的 spoof 模式;
  • 跨领域知识整合,将实体 spoof(眼镜、化妆)与数位 spoof(StyleGAN、FaceSwap)一并建模;
  • 对抗式攻击防御,包括物理对抗眼镜、贴纸、特殊图纹等扰动手法的识别与抵抗。

通用 PAD(Presentation Attack Detection)与实体、数字攻击的共同线索,是作者提出的后续研究方向。

隐私保护下的训练方式

GDPR 等隐私法规上路后,「把数据集中起来再训练」这件事越来越困难。面对数据无法共享、无法标记的现实,模型训练必须转向「数据不动,模型动」的策略。

目前较被看好的方向包括:

  • 联邦学习(Federated Learning):每个数据持有端各自训练,再汇整模型更新,减少直接共享原始人脸数据;模型更新本身的隐私仍需处理。
  • Source-Free Learning:先以来源数据训练模型,部署后在无法取得来源数据的条件下,尝试利用目标数据与 pseudo-label 适应;伪标签的可靠性仍是限制。
  • 私有数据学习中的风险控制:如何避免模型记住使用者特征本身、如何做可信的去识别化,是未来结合 FAS 与 AI 安全的新战场。

能不能「在不知道你是谁的前提下,判断你是不是真的」,是 FAS 在隐私时代的全新命题。

结论

过去的 FAS 是为了挡下纸片与手机;现在的 FAS,是在对抗服务器端生成、跨域攻击与伪装式干扰。在这条进化路上,我们已经从分类模型走到生成模型,从封闭集走到 open-set,从单一监督走向多任务学习与自监督优化。

但还不够。

FAS 是面对攻击者的第一道防线,却也是 AI 系统最脆弱的环节。未来的 FAS,需要的是能够跨模态理解、跨数据学习、跨场景生存的整合式系统。它应该能自己判断可信度、自己调整策略、自己识别什么是风险,并且在面对未知攻击时,能够自我调整与适应。

这个领域的探索仍在进行中,之后的路还很漫长。