返回论文笔记资料库
BMVC 2023人脸防伪论文笔记

3A-TTA

荒野求生

原始论文

Test-Time Adaptation for Robust Face Anti-Spoofing

论文作者

Pei-Kai Huang · Chen-Yu Lu · Shu-Jung Chang · Jun-Xiong Chong · Chiou-Ting Hsu

发表版本
BMVC 2023会议
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@inproceedings{faceantispoofingthreeatta2023,
  title = {{Test-Time Adaptation for Robust Face Anti-Spoofing}},
  author = {Pei-Kai Huang and Chen-Yu Lu and Shu-Jung Chang and Jun-Xiong Chong and Chiou-Ting Hsu},
  year = {2023},
  booktitle = {BMVC},
  url = {https://proceedings.bmvc2023.org/379/}
}
本页内容

你应该不会记得自己是怎么学会分辨一张照片和一张脸的。

也许是光线,也许是反光,也许是某种说不出的违和感。

但对一个模型来说,这件事从来不简单。尤其当它要在没人教的情况下,它得自己做决定。

定义问题

Face Anti-Spoofing(FAS)是一道看似简单、实则刁钻的问题。

我们只需要它判断这张脸是真人还是伪造,但这个判断会在无数环境变化、攻击类型、装置差异中崩解。

为了解决跨环境的问题,研究者提出了很多看似强壮的学习策略。

  • Domain Generalization(DG)说:我们让模型学得更稳。
  • Domain Adaptation(DA)说:我们让模型先见见新数据再学。
  • 甚至 Source-Free DA(SFDA)也说:没关系,我们不用旧数据,也能微调。

只要你知道未来的应用场景,这些方法都能让模型在训练阶段,学会适应未来的变化。

但这个世界从不照剧本走。

当模型已经部署,而攻击者开始用你没见过的手法入侵,当环境开始出现你从未适应过的变化,那个我们以为训练完毕的模型,是否还有第二次学习的机会?

这篇论文的出发点,就来自这样的场景:

当学习的机会只剩下推理那一刻,模型该如何反应?

这并不只是个技术问题,而是一场迟来的记忆对抗。

我们无法预知攻击者的下一步,但我们可以试着在最后一刻,让模型重新学会看见。

解决问题

作者提出了 3A-TTA 这个三合一解法,让模型能在「真正推理」的时候,直接依赖尚未标注的目标数据,进行最后一刻的自适应调整。

整个架构分为三个主要组件:

  1. Activation-based Pseudo-Labeling:

    测试数据没有标注,模型该凭什么学?如果用分数(score-based)产生伪标签,很容易因活体与攻击样本外观相似而混淆。

    这个部分就是通过 Grad-CAM 取得活体与攻击样本的类别激活图,辅以特征和激活图的余弦相似度比对,产生「伪标签」。


  2. Anti-Forgetting Feature Learning:

    如果新来的批次里都是新型态攻击,模型可能将它们记下来,但也很可能「忘掉」旧知识。

    因此这里对高可信度样本进行「筛选」后,将其特征与伪标签保存于记忆库(Memory Bank),在每次更新时一并考虑,以减少模型遗忘风险。


  3. Asymmetric Prototype Contrastive Learning:

    新攻击类型可能与旧攻击或真人脸在特征空间中有部分重叠,如何在「没见过该攻击」的情况下,仍能区分出攻击样本与活体?

    作者使用对比学习,且针对「攻击样本」采取局部聚合(找出与攻击样本相近的 K 个 spoof 特征)、对「活体」采用全局聚合(记忆库中的 live 特征合成一个原型),以此利用攻击之间的局部相似,并区隔活体与攻击样本。


在作者的设定里,每当模型收到一批(batch)新的「未标注」目标数据时,就会立刻在该批次里执行:

(1) 伪标签生成 → (2) 筛选可靠样本 → (3) 对比学习更新。

这个流程在推理阶段发生,没有额外的标注可依赖,也无需反复调用旧数据。

3A-TTA 在每个批次推理前借伪标签和对比学习更新模型参数;实验显示整体评估结果改善。

如果你只是想知道概念的话,那这篇论文到这边就看完了。

接下来,我们仔细看下每个组件的运作原理,如果你不感兴趣的话,可以直接跳到最后的结论。

Activation-based Pseudo-Labeling

上图为这个机制的运作示意图,这一步解决「没标注怎么学」的问题。

考虑某张未标注图像 xj\mathbf{x}_j,若仅凭分数预测去猜它是活体还是攻击样本,很可能因光线或表面特征相似而误判。

为此,作者使用 Grad-CAM,分别取得分类器对活体与攻击样本类别的激活图,再与特征比对。

接着,作者定义了余弦相似度 sim(f,A)\text{sim}(\mathbf{f}, \mathbf{A}):

sim(f,A)=f⋅A∥f∥∥A∥.\text{sim}(\mathbf{f}, \mathbf{A}) = \frac{\mathbf{f} \cdot \mathbf{A}}{\|\mathbf{f}\|\|\mathbf{A}\|}.

并用比较活体和攻击样本激活图之相似度的方式决定伪标签 yˉ\bar{y}:

yˉ={1,if sim(f,Al)≥sim(f,As),0,otherwise.\bar{y} = \begin{cases} 1, & \text{if } \text{sim}(\mathbf{f}, \mathbf{A}_l) \ge \text{sim}(\mathbf{f}, \mathbf{A}_s), \\ 0, & \text{otherwise}. \end{cases}

如此便能替各图像产生伪标签;其可靠性仍须由后续实验检验。

最后用 liveness loss,让模型在测试阶段持续更新:

Ll=−∑[yˉlog⁡(CF(f))+(1−yˉ)log⁡(1−CF(f))].L_{l} = -\sum \Big[\bar{y}\log(CF(\mathbf{f})) + (1-\bar{y})\log\big(1 - CF(\mathbf{f})\big)\Big].

Anti-Forgetting Feature Learning

光有伪标签还不够,因为有些批次可能「全部是 live 或全部是 spoof」,还可能混有「未知的新攻击」。若我们单纯用这批数据更新,就会发生「只记得新的假脸样本,忘掉旧有的知识」的问题。

为了避免这种情况,作者在每次批次更新时,通过阈值机制选出最可信赖的特征,并把它们存到一个 Memory Bank (MB) 里。

每次新的批次到来,就会一并考虑 MB 里的特征与伪标签,计算 Anti-Forgetting Liveness Loss LaflL_{afl},以减轻模型只向新数据偏移的风险。MB 保存的是先前目标批次的选中样本,没有重新取用来源数据。

具体做法是:对于每个样本 f\mathbf{f},其伪标签为 yˉ\bar{y},定义以下阈值判定是否可信:

γ={1,if (CF(f)>α ∧ msim≥β)  or  (CF(f)<1−α ∧ msim≤−β),0,otherwise,\gamma = \begin{cases} 1, & \text{if } (CF(\mathbf{f}) > \alpha \,\wedge\, m_{\text{sim}} \ge \beta)\;\text{or}\;(CF(\mathbf{f}) < 1-\alpha \,\wedge\, m_{\text{sim}} \le -\beta), \\ 0, & \text{otherwise}, \end{cases}

其中,α=0.8,  β=0.2,  msim=sim(f,Al)−sim(f,As)\alpha = 0.8,\; \beta = 0.2,\; m_{\text{sim}} = \text{sim}(\mathbf{f}, \mathbf{A}_l) - \text{sim}(\mathbf{f}, \mathbf{A}_s)

若 γ=1\gamma=1,则将此特征写入 MBMB(以 FIFO 更新)。

如此产生的样本特征集与伪标签,将在后续 mini-batch 更新中同时被考量,并通过下式定义 Anti-Forgetting Liveness Loss LaflL_{afl}:

Lafl=−∑[y^log⁡(CF(f^))+(1−y^)log⁡(1−CF(f^))].L_{afl} = -\sum \Big[\hat{y}\log\big(CF(\hat{\mathbf{f}})\big) + (1-\hat{y})\log\big(1 - CF(\hat{\mathbf{f}})\big)\Big].

此举旨在让模型同时利用新批次与先前目标批次的资讯,减轻类别不平衡带来的遗忘。

Asymmetric Prototype Contrastive Learning

然而,当攻击模式越来越多,连「记忆库」也未必能全然捕捉到所有变形手法。

因此这个阶段要做的就是在同一特征空间里同时「拉开活体与攻击样本间的距离」,又「适度地聚合各种攻击样本之间的共同点」。

  • 局部聚合(Local Spoof Prototype)

    假设某个攻击样本样本 fsa\mathbf{f}_{s}^{a} 是全新攻击类型。

    记忆库里可能有某些先前目标批次的 spoof 特征与它部分相似。作者以欧氏距离选出最相近的 K 个攻击样本特征,聚合成局部 spoof 原型,作为此 anchor 的正样本;记忆库中的 live 特征则是负样本。

  • 全局聚合(Global Live Prototype)

    另一边,作者假设真人脸跨 domain 的分布差异较小,因此将记忆库中的 live 特征取平均,聚合为一个「全局」的 live 原型作为正样本;负样本则只取与 live anchor 最接近的 K 个 spoof 特征。

这样形成的「非对称对比学习」,旨在拉开活体与攻击样本的距离,同时保留不同攻击样本之间可能有用的局部相似性。

即使有了伪标签学习和防遗忘策略,面对未知攻击时,模型可能仍缺乏足够的判别线索。将正负样本集合纳入后,作者定义了 Asymmetric Prototype Contrastive Loss LapcL_{apc}:

Lapc=−log⁡exp⁡(sim(fsa,  f^sp))∑f^j∈{f^sp}∪Nsexp⁡(sim(fsa,  f^j))−log⁡exp⁡(sim(fla,  f^lp))∑f^i∈{f^lp}∪Nlexp⁡(sim(fla,  f^i)).L_{apc} = -\log \frac{\exp\bigl(\text{sim}(\mathbf{f}_{s}^{a},\;\hat{\mathbf{f}}_{s}^{p})\bigr)} {\sum_{\hat{\mathbf{f}}_{j}\in \{\hat{\mathbf{f}}_{s}^{p}\}\cup \mathbf{N}_s}\exp\bigl(\text{sim}(\mathbf{f}_{s}^{a},\;\hat{\mathbf{f}}_{j})\bigr)} -\log \frac{\exp\bigl(\text{sim}(\mathbf{f}_{l}^{a},\;\hat{\mathbf{f}}_{l}^{p})\bigr)} {\sum_{\hat{\mathbf{f}}_{i}\in \{\hat{\mathbf{f}}_{l}^{p}\}\cup \mathbf{N}_l}\exp\bigl(\text{sim}(\mathbf{f}_{l}^{a},\;\hat{\mathbf{f}}_{i})\bigr)}.

其中,Ns\mathbf{N}_s 与 Nl\mathbf{N}_l 分别为 spoof 与 live anchor 的负样本集合。

在这种对比学习下,活体与攻击样本得以在特征空间中拉开距离,同时也能留住各攻击样本之间的微妙相似点,达到更强的未知攻击适应性。

总损失函数

最后,作者将上述三部分损失汇整为

LT=Ll+λ1Lafl+λ2Lapc,L_{T} = L_{l} + \lambda_{1}L_{afl} + \lambda_{2}L_{apc},

并在实验中设定 λ1=0.5\lambda_{1} = 0.5、λ2=1.5\lambda_{2} = 1.5。

借由整合 伪标签学习 (Liveness Loss)、防遗忘 (Anti-Forgetting) 和 对比区分 (Prototype Contrast),模型不再只是被动地接收输入,而能在目标批次推理前进行调整。这篇论文评估了指定跨域与未见攻击协议,并未验证所有真实部署环境中的稳定度。

讨论

与其他方法之比较

作者将 3A-TTA 与不适应模型、Tent 和去除来源数据的 OAP 做比较;表中 Time 是对各目标数据集的总执行时间。

实验结果如上表:

  • Tent 在表中四组协议的平均 HTER 均高于「No adaptation」,显示此通用 TTA 方法在这些 FAS 测试中未必有益。
  • OAP 在表中有些目标域改善、有些退步,平均结果的提升有限。
  • 3A-TTA 在四组协议的平均 HTER 均为最低;但 [I,C,M]→[O,D,H] 的平均 AUC 为 82.24%,略低于「No adaptation」的 82.54%。论文正文称相对 OAP 的平均 HTER 改善 12.54%、AUC 提升 2.11%,但直接按表中四组平均值计算,约为 HTER 相对下降 12.68%、AUC 上升 1.80 个百分点。3A-TTA 的总执行时间也高于对照方法,不能单凭精度表格判定部署成本。

消融实验

作者拆解了三大核心模组(伪标签学习、Anti-Forgetting、Asymmetric Prototype Contrast),对比各种损失组合的成效。

主要发现如下:

  • 伪标签机制:

    • 分数导向(Score-based)或 Class Prototype-based 的方法,相较于 Activation-based(即本篇论文之方法),在表 3 的两组下游 HTER 与 AUC 都较差;表中没有直接测量伪标签准确率。
    • 图 3 展示了 Activation-based 方法修正两个分数式伪标签的例子。
  • Anti-Forgetting Feature Learning:

    • 与只用 LlL_l 的 M3 相比,加入 LaflL_{afl} 的 M4 使两组 HTER 下降,但 AUC 都略降;再加可靠特征筛选的 M5,两组 HTER 与 AUC 才都优于 M4。
    • 这支持记忆库与特征筛选在表中设定的效益。
  • Prototype Contrast vs. General Contrast:

    • 使用一般的监督对比损失 LcL_c 的 M6,在两组 HTER 与 AUC 都不及未加此损失的 M5;作者认为同类 spoof 的整体聚合可能忽略攻击类型差异。
    • 改用 Asymmetric Prototype Contrast (LapcL_{apc}) 的 M7 在表中两组 HTER 与 AUC 均最佳,支持此设计在这两个测试方向的效益。

视觉化分析

最后,作者将 3A-TTA 的结果与其他方法进行视觉化分析,并与未经适应的模型进行比较。

  1. t-SNE 特征分布:

    • 上图 (a) 显示,在 [O,M,I]→[C,D,H] 的未适应模型中,Live 与 Spoof 特征有重叠。
    • 上图 (b) 的 3A-TTA 特征在这个 t-SNE 投影中分得较清楚;此视觉化可辅助解读。
  2. Activation Maps:

    • 在图中的活体例子里,相较于无适应的 ①,3A-TTA 的活体激活图 ② 较集中于脸部区域;
    • 在攻击样本例子里,相较于无适应的 ③,3A-TTA 的活体激活图 ④ 反应较弱。这是示例。

结论

Face Anti-Spoofing 早就不再是单纯的分类任务。

面对生成式攻击不断进化、数据来源更加分散的环境,FAS 模型要生存,就得具备一种能力:

能够在未曾预见的场景中,自我修正判断依据。

这篇论文提出的 3A-TTA,某种程度上正是这种「自我修正」的尝试。

从结果来看,这套方法在 TTA-FAS 基准上优于过往的方法,也证明 Test-Time Adaptation 的确能为 FAS 任务注入新的应变路径。

传统模型的生命终点是训练完毕、上线推理;而 TTA 模型的生命才刚开始于推理时刻。这样的思维,也让我们重新审视一个问题:

若现场就是战场,那模型该如何在现场中学会反击?

也许,未来的 AI 模型不应该只会交卷,更应该学会在交卷之后,动笔修改答案。