Rethinking Generalizable Face Anti-spoofing via Hierarchical Prototype-guided Distribution Refinement in Hyperbolic Space
- 发表版本
- CVPR 2024会议
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@inproceedings{faceantispoofinghpdr2024,
title = {{Rethinking Generalizable Face Anti-spoofing via Hierarchical Prototype-guided Distribution Refinement in Hyperbolic Space}},
author = {Chengyang Hu and Ke-Yue Zhang and Taiping Yao and Shouhong Ding and Lizhuang Ma},
year = {2024},
booktitle = {CVPR},
url = {https://openaccess.thecvf.com/content/CVPR2024/html/Hu_Rethinking_Generalizable_Face_Anti-spoofing_via_Hierarchical_Prototype-guided_Distribution_Refinement_in_CVPR_2024_paper.html}
}
我们来看一篇 CVPR 的论文。
作者用一个非常新颖的角度,来试着切入 FAS 的问题。
定义问题
人脸识别系统的防护网,建构在 FAS 之上。
随着深度学习的成熟,研究的进展有目共睹:从早年的手工特征,到后来的深度二分类架构,再到近年的跨域学习技术,FAS 正一步步学会如何从混乱中认识风险。
但是,一旦数据集换了或场景变了,模型的能力就会急剧降低,屡试不爽。
后来研究者试着教模型「学会泛化」,引入对抗、解耦、对比、元学习等各种训练策略,试图让特征在不同场景中达到一致。
但在这个过程中,有一件事在不知不觉中被牺牲:语义的结构性。
所谓结构性,并不是网络结构本身,而是样本之间的「语义距离」与「阶层脉络」:
- 一张彩色打印机印出的照片,与一段手机录影重播的视频,或许在像素分布上接近,但它们背后所代表的攻击类型与行为机制却天差地远。
- 一场攻击的生成条件,包含光线、背景或材质等,本质上是对样本语义属性的切分,而不是噪声。
可是现有方法大多将所有样本强行嵌入同一个「欧几里得」特征空间中,并以最小化 domain gap 为优先目标,导致过度对齐(over-alignment)。
我们将本该分离的特征捏在一起,把模型原本可能理解的结构,压缩成一块没有层次的平面。
这也太奇怪了吧?
因此,这篇论文的作者认为:
既然泛化的困难来自语义的失衡,那么,我们能否换一个空间,让阶层自己说话?
解决问题
为了修补语义结构被压缩的断层,这篇论文提出了一种崭新的方法论:
- Hierarchical Prototype-guided Distribution Refinement(HPDR)。
整体来说,HPDR 建构在三个核心之上:
- 在双曲空间中嵌入特征,捕捉其内在的阶层结构;
- 以原型学习(Prototype Learning)作为语义坐标系,让样本与语义聚点形成关联;
- 通过多层对齐与优化策略,逐步逼近一个可泛化的语义分布。
首先,我们从这个空间本身开始看起。
双曲空间
若语义有树状结构,那么双曲空间就是几何上的精准选择。
我们可以想像一棵语义之树,从「攻击」与「真实」分出主干,再根据材质、呈现方式、来源设备不断分枝展叶。如果我们硬是将这棵树压进一张平坦的欧几里得地图上,会发现它的枝节被扭曲、重叠、无法展开;但在双曲空间里,它反而能自然延伸,彼此避让,甚至在边界上无限繁生。
HPDR 采用的正是这样一个空间模型:Poincaré Ball Model。
Poincaré Ball 是个概念上的空间:
这表示,曲率参数为 时,所有点都被包裹在半径 的开球体中; 时半径才是 1。
乍看之下像是个封闭的结界,但这个球体的边界其实不是尽头,而是无穷远。
这表示我们可以逼近边界,却永远无法触及。
这样的设计有一个关键特性:愈靠近边界的点,彼此之间的距离会呈非线性膨胀,也就是说距离本身就带有语义层级的张力。
为了让这个空间具有计算能力,我们不能再使用传统的欧几里得度量,而是引入一组由曲率控制的黎曼度量张量(Riemannian metric):
- :这是我们熟悉的平面尺规。
- :这是一个随位置变动的缩放因子(conformal factor)。
当你靠近中心, 接近常数,整体几何行为近似平面;但当你靠近边界,, 发散,整个空间突然变得「张力极大」,使得距离稍有偏移就被极度放大。
这正是双曲空间的本质:让层级扩张得以自然展开。
要描述这种几何里的位移,我们会用到 Möbius 加法:
这种加法并不是我们熟悉的向量叠加,而是双曲球模型中的位移组合;结果会受到目前位置与曲率参数影响。
而点与点之间的距离,则由双曲距离给出:
这条距离公式,是对「语义分歧」的几何化诠释,关心的是向量之间是弯了多少、分了多深,而不是传统意义上的「距离多远」。
有了双曲空间之后,下一个问题就是:
- 我们该如何把神经网络的输出进行映射?
由于神经网络输出的特征仍然是欧几里得向量,我们必须找到一个合理的方式,将它们映射进双曲空间。
这一步由指数映射(Exponential Map)完成:
这个操作有两个效果:
- 长度短的向量:映射到球心附近
- 长度长的向量:映射到靠近球边缘的位置
至于这些位置能否对应语义层级,还要靠后续的原型与损失函数学习;映射本身不会自动赋予语义。
语义锚点
双曲空间准备好了,接下来,语义要在哪里长出来?
在 HPDR 中,作者不是只用特征向量直接分类,而是在最终判断前加入可学习的原型关系,这就是所谓的「原型」(Prototype)设计。
原型不只是点,而是一种语义聚集的承载单位。
- 它的坐标位置,会决定样本怎么被归类;
- 它之间的距离,会形塑整个语义空间的分布。
首先定义最基本的一组原型,称作 叶节点原型(Leaf Prototypes),它们是直接对应样本的语义聚点,具有明确的标签信息。
在数学上,定义如下:
- :二元类别索引,区分 fake 与 live;
- :该类别中第 个原型,共 个;
- 所以总共有 个 leaf prototypes,分别对应两类样本的语义子群。
这个设计隐含了对一件事的假设:同一类别中的样本,可能存在多个特征子群,而这些子群可以由不同的 leaf prototype 来对应;论文没有另给子群标签。
理论上,我们希望这些原型初始化在双曲空间中,但实际操作中直接在 上初始化容易导致梯度爆炸或优化不稳。因此,作者在这里的实际操作是:
- 在欧几里得空间 随机初始化原型向量
- 再通过前述的指数映射,将其送进双曲空间:
这个设计是为了避开直接在双曲空间初始化的优化困难。
接下来是整体结构设计中最有意思的部分:None-leaf Prototypes。
这些原型并不对应任何单一样本,而是作为 leaf prototypes 的候选共同祖先与语义连结节点。
定义如下:
- 这些原型也嵌入在 中,但不带任何标签信息;
- 它们的存在是为了建构语义之树的内部节点,模拟语义层级之间的过渡与收敛。
也就是说:
- Leaf Prototypes 负责聚合样本 → 建立语义对应;
- None-leaf Prototypes 负责聚合原型 → 建立层级结构。
这套设计的美感在于:它在已知真伪标签的分类架构中,学习没有额外层级标签的原型关系。
我们不用显式标注哪个子群属于谁,只需让模型自己去发现,哪些原型彼此接近、哪些原型有共同祖先,哪些祖先其实应该更靠近边界、哪些应该停留在中心。
语义的三层对齐
有了双曲空间和原型,接下来就是要建构一个可学习的系统。
这部分的设计称为 Hyperbolic Prototype Learning(HPL),是一组针对语义三层关系设计的学习架构:
- Prototype ↔ Instance:点对点的语义对齐
- Instance ↔ Instance:样本间的内部一致性
- Prototype ↔ Prototype:语义结构的层级建构
下面我们逐一来看一下:
-
Prototype-based Feature Alignment
先从最基本的一步开始,让样本找到自己的语义锚点。
对于每个样本的特征向量 ,我们根据其标签 ,在该类别下的 leaf prototypes 中找出与其距离最近者:
这样,就可以为每个样本建立「正对应的原型」。
接下来,我们希望模型学到的特征能够自动靠近这些原型,同时远离非对应原型,这就是对比式学习在双曲空间中的运用:
这个损失让模型在语义空间里自行判断哪些样本应该靠近,哪些样本应该远离。
此外,为避免所有样本都指派给同一个原型而产生 collapse,论文提出 mini-batch 内的均衡指派。不过论文所写「每类 20 个」合计 40 个叶原型,超过每批 30 个样本;作者公开代码则设为总数 20 个,因此重现时不能把两种设置混为一谈。
-
Instance-based Consistency
由于现实中的样本并非静态存在,它们会因光线、角度、遮蔽等外部条件而出现不同的扰动。我们希望模型能学到这些样本中与语义真正有关的信号。为此,HPL 引入了样本一致性学习:
给定一对样本 ,我们分别取其特征为 ,要求它们在语义空间中保持一致,在特征层级,两者的距离应尽量缩小:
其中 表示阻断梯度,确保只调整 ,稳定 anchor 特征。
在语义分布层级,它们对所有原型的距离分布应尽可能一致:
最终总损失为:
即使样本样貌改变,这组设计也试图减少其在语义结构中的定位漂移。
-
Hierarchical Structure Modeling
原型之间的关系,不能只是「平均分布」,它们应该彼此有远近、有高下、有祖孙关系。
这就是 HPDR 中最具象征性的一步:语义树的自我生长。
为了学出这种结构,作者借用了来自层级分群中的 Dasgupta cost 概念:
其中 表示 的最低共同祖先(LCA),而 表示该子树的叶节点数。这个 cost 本质上就是在问:语义相近的原型,能否在更低层级就收敛?
但由于 Dasgupta cost 形式离散,且这里没有节点相似度的真值权重,作者改采 triplet-based 优化策略,建构三元组:
- 正样本: 为互为 KNN;
- 负样本: 与 不满足上述互为近邻的条件。
接着,对每组 ,从 none-leaf prototypes 中选取 的候选 LCA :
其中 是 Gumbel noise,作者用它扰动候选祖先的选取;单独的 argmax 并不是可微操作。
然后,令 为 与 的共同祖先,并设计以下 triplet 损失:
此外,还需对 leaf prototypes 的分布做两项结构性约束:
- 鼓励所有原型远离原点(避免塌缩):
- 鼓励不同原型彼此分散:
最终,语义结构建模的总损失为:
语义的对齐,真正困难的地方在于让点之间的关系也跟着长出树来。
HPDR 的 Hyperbolic Prototype Learning,在一个非线性的空间中,让分类变得像是语法解析,而非单纯给予标签。
图中的 Prototype-oriented Classifier 则使用样本到各叶原型的双曲距离产生真伪预测;因此最终决策也使用了原型信息,而非只依赖特征向量。论文式(19)写成 sigmoid 形式;公开代码实际使用线性层输出两类 logits,并以交叉熵训练。
训练流程
训练流程分为三个步骤:
-
Step 1:Prototype Initialization
首先在欧几里得空间随机初始化,再映射到双曲空间:
- 所有 Leaf Prototypes(用于对齐样本)
- 所有 None-leaf Prototypes(用于建构阶层)
原型在空间中彼此分散,尚未带有结构性,也未与样本建立明确的对应关系。它们在这个阶段中只是静静地存在,等待被样本认领,等待从距离中长出语义。
-
Step 2:Prototype Assignment
样本在这个阶段被送进双曲空间,开始寻找自己的语义锚点。
作者会根据样本的标签 ,将其特征 指派给同一类别下、与之最接近的 Leaf Prototype。
-
Step 3:Prototype Optimization
一旦样本与原型之间的关系确立,接下来便是整个系统的协同调整与语义对齐。
最终通过以下总损失进行优化:
这四项损失分别对应:
- 语义决策的稳定性()
- 样本与原型的对齐程度()
- 样本自身在增强下的一致性()
- 原型之间的层级与结构关系()
这一轮优化完成后,空间中的样本与原型都发生了变化,原型位置微调,样本嵌入收束,语义张力重新分配。
然后整个流程回到 Step 2,再次进行 Assignment,进入下一轮收敛循环。
实验设计
为了验证 HPDR 的泛化能力,作者使用常见的 OCIM 验证基准。
为了让整体架构具备可学性与可重现性,以下是模型实现的重要设置:
- 图像输入尺寸:256×256(彩色人脸区域裁切)
- leaf 原型数量:论文正文写 、每类 20 个;Table 5 标为总数 ,公开代码也配置总数 20 个(每类 10 个)
- none-leaf 原型 :建构语义层级的骨干节点
- 特征维度:256 维双曲特征空间
- 曲率参数 :对应双曲几何的空间弯曲程度
- 样本配置:每个 domain 每类取 5 个样本,总 batch size 为 30
- 三元组中的正对应原型对:KNN 选择前三名为正样本
- 损失函数中的结构边界
训练使用 PyTorch 框架与 DepthNet 作为 backbone,并在 NVIDIA 4090 上进行,优化器采用 Adam,学习率为 0.001。
讨论
OCIM Benchmark
这几乎是近年每篇论文的标配,任选三个数据集作为训练来源,留下一个从未见过的 domain 作为测试集。
实验目的是为了要模拟实际场景中「新设备、新光线、新环境」的挑战。
实验结果如上表:
- DG 方法整体表现较传统方法好,但并非每个 DG 方法在每组测试都胜过所有传统方法;
- HPDR 在四组设置中取得最低 HTER;AUC 在 C、O 两组最高,在 I、M 两组则非最高;
特别值得注意的是:在这四组测试中,HPDR 的 HTER/AUC 也优于表列的 prototype 与 hyperbolic embedding 方法。作者认为,原因可能是 HPDR 不只是对齐样本,也建立了一棵有层次的语义之树。
这里的优势来自于模型所内建的语法结构。 其他方法对齐的是点与点的关系,HPDR 对齐的是语义与语义之间的位置与层级。
Limited Source Domain
在这组测试中,作者限制仅使用两个数据集(MSU 与 Idiap Replay-Attack)作为训练来源,再在 OULU 与 CASIA 上进行测试。这是在检验来源 domain 受限时的泛化能力。
实验结果如上表:相较于 AMEL,HPDR 在 M&I→C 的设置中 AUC 提升 3.42 个百分点、HTER 减少 2.30 个百分点;在 M&I→O,HPDR 的 AUC 较高,但 HTER 21.07% 仍高于 AMEL 的 19.68%。相较于表列的 hyperbolic 与 prototype 方法,HPDR 在两组设置中皆领先。
这显示在这两组有限来源测试中,HPDR 仍能对未见数据集取得较低的错误率。
HPDR 在这里的角色像是一名视野清晰的地图阅读者,不依赖眼前的路线,而是靠内建的地形知识理解方向。
Cross-Attack
最后,作者在 HQ-WMCA 数据集进行 cross-attack 测试。
这个任务困难在于:训练时排除某一攻击形式,测试时仅用该攻击类型做验证,考验的是语义转移的稳健性。
实验结果显示 HPDR 在八种攻击中的四种取得最低 ACER,整体平均与标准差为表中最低的 14.6±8.5%;但 Replay 的 19.0% 高于所有对照方法。这显示方法在部分「新攻击」上有效,仍有明显例外。
换言之,模型试着利用原型关系判断「这张脸的整体语义,是否合理地存在于已知的语义结构中」,但单靠这组结果还无法确认它实际依赖了哪些线索。
谁是语义空间的关键?
根据实验结果,我们可以得到几个观察:
- 不加三项 HPL 损失时,模型仍有分类损失 ,但表现最差(HTER 17.78%):代表光是进入双曲空间并不足以提升性能,空间需要结构性的监督信号。
- 单独加入 (Prototype-instance 对齐)后,性能大幅提升:显示样本与语义原型之间的对应,是形成稳定嵌入空间的第一要素。
- 在 基础上加入 后,HTER 由 15.56% 降至 12.78%:支持原型间的结构约束在这组实验中有帮助。
- 全损失开启时效果最佳:印证了 HPDR 的设计逻辑是协同的,不是线性堆叠,而是语义语法的立体拼图。
在这组消融设置中,对齐、一致性与层级约束一起使用时表现最好。
语义之树该长出几根?
作者测试不同的叶原型数量:从 4 增加到 20,HTER 逐步下降,但 AUC 并非一路上升。超过 20 后,这组测试的 HTER 与 AUC 都变差。
作者认为原型过多可能造成 mini-batch 指派不均;在这组设置下,Table 5 标示总数 20 个原型取得最佳结果,与正文的每类 20 个不一致。
语义空间该多弯?
实验结果如上表,我们可以看到几个关键:
- 欧几里得空间()效果最差:语义层级难以展开;
- 曲率 由小增加至 0.01 时性能提升:代表语义层级开始清晰;
- 当 继续增加,性能反而下降;作者推测这与以 为 base point 的 exponential map 近似有关。
因此,双曲空间不是越弯越好,而是要刚刚好,必须让语义之枝能自由生长、又不至于迷失方向。
可视化结果
最后,作者以 Leave-One-Out 与 Cross-Attack 任务为背景,将 HPDR 所学出的特征分布进行可视化。
上图中展示了不同测试设置下的特征分布图,每张图中:
- 样本颜色同时区分真伪类别与来源/目标 domain;
- 位置则对应于双曲空间下的嵌入结果;
- leaf prototypes 与 none-leaf prototypes 则标注为特定点位或阶层节点。
从图中可以观察到几个重点:
- 图 (a)、(c)~(h) 中,真伪样本在所选的跨数据集与跨攻击设置下大致分开,并与原型形成分支;
- none-leaf prototypes 在这些图中连接多个叶原型,呈现作者所设计的层级关系;
- 这些可视化提供了分布线索,但无法单独证明模型已学到跨 domain 或跨 attack 的「整体语义拓扑」。
在上图 (b) 中,作者将每个 leaf prototype 对应的样本分别可视化,并用图像群组呈现,可以发现:
- 在选取的示例中,同一个原型下的样本外观有相似之处;
- 共享 LCA 越低的原型,其样本间的语义一致性越高,这说明层级是语义一致性的几何反映,而非分类结果的附加说明。
这个可视化结果展示了在没有额外层级标签时,模型学出的原型关系;真伪标签与层级损失仍参与训练。
结论
本研究的核心思想不在于记住更多样本,而在于构筑一个能容纳语义层级的空间逻辑。
作者通过大量实验与可视化分析检验了 HPDR 的有效性。在所测试的未知场景、有限来源和新型攻击设置中,方法总体展现出良好的泛化表现,但仍有例外;这些结果表明结构性建模有助于提升跨场景识别表现。
近年流行将自然语言的能力融入 FAS 架构,如果未来我们将语义树概念和自然语言相结合,或许能看到另外一种截然不同的语义之树也说不定。