Test-Time Adaptation for Robust Face Anti-Spoofing
- 发表版本
- BMVC 2023会议
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@inproceedings{faceantispoofingthreeatta2023,
title = {{Test-Time Adaptation for Robust Face Anti-Spoofing}},
author = {Pei-Kai Huang and Chen-Yu Lu and Shu-Jung Chang and Jun-Xiong Chong and Chiou-Ting Hsu},
year = {2023},
booktitle = {BMVC},
url = {https://proceedings.bmvc2023.org/379/}
}
你应该不会记得自己是怎么学会分辨一张照片和一张脸的。
也许是光线,也许是反光,也许是某种说不出的违和感。
但对一个模型来说,这件事从来不简单。尤其当它要在没人教的情况下,它得自己做决定。
定义问题
Face Anti-Spoofing(FAS)是一道看似简单、实则刁钻的问题。
我们只需要它判断这张脸是真人还是伪造,但这个判断会在无数环境变化、攻击类型、装置差异中崩解。
为了解决跨环境的问题,研究者提出了很多看似强壮的学习策略。
- Domain Generalization(DG)说:我们让模型学得更稳。
- Domain Adaptation(DA)说:我们让模型先见见新数据再学。
- 甚至 Source-Free DA(SFDA)也说:没关系,我们不用旧数据,也能微调。
只要你知道未来的应用场景,这些方法都能让模型在训练阶段,学会适应未来的变化。
但这个世界从不照剧本走。
当模型已经部署,而攻击者开始用你没见过的手法入侵,当环境开始出现你从未适应过的变化,那个我们以为训练完毕的模型,是否还有第二次学习的机会?
这篇论文的出发点,就来自这样的场景:
当学习的机会只剩下推理那一刻,模型该如何反应?
这并不只是个技术问题,而是一场迟来的记忆对抗。
我们无法预知攻击者的下一步,但我们可以试着在最后一刻,让模型重新学会看见。
解决问题
作者提出了 3A-TTA 这个三合一解法,让模型能在「真正推理」的时候,直接依赖尚未标注的目标数据,进行最后一刻的自适应调整。
整个架构分为三个主要组件:
-
Activation-based Pseudo-Labeling:
测试数据没有标注,模型该凭什么学?如果用分数(score-based)产生伪标签,很容易因活体与攻击样本外观相似而混淆。
这个部分就是通过 Grad-CAM 取得活体与攻击样本的类别激活图,辅以特征和激活图的余弦相似度比对,产生「伪标签」。
-
Anti-Forgetting Feature Learning:
如果新来的批次里都是新型态攻击,模型可能将它们记下来,但也很可能「忘掉」旧知识。
因此这里对高可信度样本进行「筛选」后,将其特征与伪标签保存于记忆库(Memory Bank),在每次更新时一并考虑,以减少模型遗忘风险。
-
Asymmetric Prototype Contrastive Learning:
新攻击类型可能与旧攻击或真人脸在特征空间中有部分重叠,如何在「没见过该攻击」的情况下,仍能区分出攻击样本与活体?
作者使用对比学习,且针对「攻击样本」采取局部聚合(找出与攻击样本相近的 K 个 spoof 特征)、对「活体」采用全局聚合(记忆库中的 live 特征合成一个原型),以此利用攻击之间的局部相似,并区隔活体与攻击样本。
在作者的设定里,每当模型收到一批(batch)新的「未标注」目标数据时,就会立刻在该批次里执行:
(1) 伪标签生成 → (2) 筛选可靠样本 → (3) 对比学习更新。
这个流程在推理阶段发生,没有额外的标注可依赖,也无需反复调用旧数据。
3A-TTA 在每个批次推理前借伪标签和对比学习更新模型参数;实验显示整体评估结果改善。
如果你只是想知道概念的话,那这篇论文到这边就看完了。
接下来,我们仔细看下每个组件的运作原理,如果你不感兴趣的话,可以直接跳到最后的结论。
Activation-based Pseudo-Labeling
上图为这个机制的运作示意图,这一步解决「没标注怎么学」的问题。
考虑某张未标注图像 ,若仅凭分数预测去猜它是活体还是攻击样本,很可能因光线或表面特征相似而误判。
为此,作者使用 Grad-CAM,分别取得分类器对活体与攻击样本类别的激活图,再与特征比对。
接着,作者定义了余弦相似度 :
并用比较活体和攻击样本激活图之相似度的方式决定伪标签 :
如此便能替各图像产生伪标签;其可靠性仍须由后续实验检验。
最后用 liveness loss,让模型在测试阶段持续更新:
Anti-Forgetting Feature Learning
光有伪标签还不够,因为有些批次可能「全部是 live 或全部是 spoof」,还可能混有「未知的新攻击」。若我们单纯用这批数据更新,就会发生「只记得新的假脸样本,忘掉旧有的知识」的问题。
为了避免这种情况,作者在每次批次更新时,通过阈值机制选出最可信赖的特征,并把它们存到一个 Memory Bank (MB) 里。
每次新的批次到来,就会一并考虑 MB 里的特征与伪标签,计算 Anti-Forgetting Liveness Loss ,以减轻模型只向新数据偏移的风险。MB 保存的是先前目标批次的选中样本,没有重新取用来源数据。
具体做法是:对于每个样本 ,其伪标签为 ,定义以下阈值判定是否可信:
其中,
若 ,则将此特征写入 (以 FIFO 更新)。
如此产生的样本特征集与伪标签,将在后续 mini-batch 更新中同时被考量,并通过下式定义 Anti-Forgetting Liveness Loss :
此举旨在让模型同时利用新批次与先前目标批次的资讯,减轻类别不平衡带来的遗忘。
Asymmetric Prototype Contrastive Learning
然而,当攻击模式越来越多,连「记忆库」也未必能全然捕捉到所有变形手法。
因此这个阶段要做的就是在同一特征空间里同时「拉开活体与攻击样本间的距离」,又「适度地聚合各种攻击样本之间的共同点」。
-
局部聚合(Local Spoof Prototype)
假设某个攻击样本样本 是全新攻击类型。
记忆库里可能有某些先前目标批次的 spoof 特征与它部分相似。作者以欧氏距离选出最相近的 K 个攻击样本特征,聚合成局部 spoof 原型,作为此 anchor 的正样本;记忆库中的 live 特征则是负样本。
-
全局聚合(Global Live Prototype)
另一边,作者假设真人脸跨 domain 的分布差异较小,因此将记忆库中的 live 特征取平均,聚合为一个「全局」的 live 原型作为正样本;负样本则只取与 live anchor 最接近的 K 个 spoof 特征。
这样形成的「非对称对比学习」,旨在拉开活体与攻击样本的距离,同时保留不同攻击样本之间可能有用的局部相似性。
即使有了伪标签学习和防遗忘策略,面对未知攻击时,模型可能仍缺乏足够的判别线索。将正负样本集合纳入后,作者定义了 Asymmetric Prototype Contrastive Loss :
其中, 与 分别为 spoof 与 live anchor 的负样本集合。
在这种对比学习下,活体与攻击样本得以在特征空间中拉开距离,同时也能留住各攻击样本之间的微妙相似点,达到更强的未知攻击适应性。
总损失函数
最后,作者将上述三部分损失汇整为
并在实验中设定 、。
借由整合 伪标签学习 (Liveness Loss)、防遗忘 (Anti-Forgetting) 和 对比区分 (Prototype Contrast),模型不再只是被动地接收输入,而能在目标批次推理前进行调整。这篇论文评估了指定跨域与未见攻击协议,并未验证所有真实部署环境中的稳定度。
讨论
与其他方法之比较
作者将 3A-TTA 与不适应模型、Tent 和去除来源数据的 OAP 做比较;表中 Time 是对各目标数据集的总执行时间。
实验结果如上表:
- Tent 在表中四组协议的平均 HTER 均高于「No adaptation」,显示此通用 TTA 方法在这些 FAS 测试中未必有益。
- OAP 在表中有些目标域改善、有些退步,平均结果的提升有限。
- 3A-TTA 在四组协议的平均 HTER 均为最低;但 [I,C,M]→[O,D,H] 的平均 AUC 为 82.24%,略低于「No adaptation」的 82.54%。论文正文称相对 OAP 的平均 HTER 改善 12.54%、AUC 提升 2.11%,但直接按表中四组平均值计算,约为 HTER 相对下降 12.68%、AUC 上升 1.80 个百分点。3A-TTA 的总执行时间也高于对照方法,不能单凭精度表格判定部署成本。
消融实验
作者拆解了三大核心模组(伪标签学习、Anti-Forgetting、Asymmetric Prototype Contrast),对比各种损失组合的成效。
主要发现如下:
-
伪标签机制:
- 分数导向(Score-based)或 Class Prototype-based 的方法,相较于 Activation-based(即本篇论文之方法),在表 3 的两组下游 HTER 与 AUC 都较差;表中没有直接测量伪标签准确率。
- 图 3 展示了 Activation-based 方法修正两个分数式伪标签的例子。
-
Anti-Forgetting Feature Learning:
- 与只用 的 M3 相比,加入 的 M4 使两组 HTER 下降,但 AUC 都略降;再加可靠特征筛选的 M5,两组 HTER 与 AUC 才都优于 M4。
- 这支持记忆库与特征筛选在表中设定的效益。
-
Prototype Contrast vs. General Contrast:
- 使用一般的监督对比损失 的 M6,在两组 HTER 与 AUC 都不及未加此损失的 M5;作者认为同类 spoof 的整体聚合可能忽略攻击类型差异。
- 改用 Asymmetric Prototype Contrast () 的 M7 在表中两组 HTER 与 AUC 均最佳,支持此设计在这两个测试方向的效益。
视觉化分析
最后,作者将 3A-TTA 的结果与其他方法进行视觉化分析,并与未经适应的模型进行比较。
-
t-SNE 特征分布:
- 上图 (a) 显示,在 [O,M,I]→[C,D,H] 的未适应模型中,Live 与 Spoof 特征有重叠。
- 上图 (b) 的 3A-TTA 特征在这个 t-SNE 投影中分得较清楚;此视觉化可辅助解读。
-
Activation Maps:
- 在图中的活体例子里,相较于无适应的 ①,3A-TTA 的活体激活图 ② 较集中于脸部区域;
- 在攻击样本例子里,相较于无适应的 ③,3A-TTA 的活体激活图 ④ 反应较弱。这是示例。
结论
Face Anti-Spoofing 早就不再是单纯的分类任务。
面对生成式攻击不断进化、数据来源更加分散的环境,FAS 模型要生存,就得具备一种能力:
能够在未曾预见的场景中,自我修正判断依据。
这篇论文提出的 3A-TTA,某种程度上正是这种「自我修正」的尝试。
从结果来看,这套方法在 TTA-FAS 基准上优于过往的方法,也证明 Test-Time Adaptation 的确能为 FAS 任务注入新的应变路径。
传统模型的生命终点是训练完毕、上线推理;而 TTA 模型的生命才刚开始于推理时刻。这样的思维,也让我们重新审视一个问题:
若现场就是战场,那模型该如何在现场中学会反击?
也许,未来的 AI 模型不应该只会交卷,更应该学会在交卷之后,动笔修改答案。