返回论文笔记资料库
CVPR 2024人脸防伪论文笔记

HPDR

双曲的世界树

原始论文

Rethinking Generalizable Face Anti-spoofing via Hierarchical Prototype-guided Distribution Refinement in Hyperbolic Space

论文作者

Chengyang Hu · Ke-Yue Zhang · Taiping Yao · Shouhong Ding · Lizhuang Ma

发表版本
CVPR 2024会议
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@inproceedings{faceantispoofinghpdr2024,
  title = {{Rethinking Generalizable Face Anti-spoofing via Hierarchical Prototype-guided Distribution Refinement in Hyperbolic Space}},
  author = {Chengyang Hu and Ke-Yue Zhang and Taiping Yao and Shouhong Ding and Lizhuang Ma},
  year = {2024},
  booktitle = {CVPR},
  url = {https://openaccess.thecvf.com/content/CVPR2024/html/Hu_Rethinking_Generalizable_Face_Anti-spoofing_via_Hierarchical_Prototype-guided_Distribution_Refinement_in_CVPR_2024_paper.html}
}
本页内容

我们来看一篇 CVPR 的论文。

作者用一个非常新颖的角度,来试着切入 FAS 的问题。

定义问题

人脸识别系统的防护网,建构在 FAS 之上。

随着深度学习的成熟,研究的进展有目共睹:从早年的手工特征,到后来的深度二分类架构,再到近年的跨域学习技术,FAS 正一步步学会如何从混乱中认识风险。

但是,一旦数据集换了或场景变了,模型的能力就会急剧降低,屡试不爽。

后来研究者试着教模型「学会泛化」,引入对抗、解耦、对比、元学习等各种训练策略,试图让特征在不同场景中达到一致。

但在这个过程中,有一件事在不知不觉中被牺牲:语义的结构性。

所谓结构性,并不是网络结构本身,而是样本之间的「语义距离」与「阶层脉络」:

  • 一张彩色打印机印出的照片,与一段手机录影重播的视频,或许在像素分布上接近,但它们背后所代表的攻击类型与行为机制却天差地远。
  • 一场攻击的生成条件,包含光线、背景或材质等,本质上是对样本语义属性的切分,而不是噪声。

可是现有方法大多将所有样本强行嵌入同一个「欧几里得」特征空间中,并以最小化 domain gap 为优先目标,导致过度对齐(over-alignment)。

我们将本该分离的特征捏在一起,把模型原本可能理解的结构,压缩成一块没有层次的平面。

这也太奇怪了吧?

因此,这篇论文的作者认为:

既然泛化的困难来自语义的失衡,那么,我们能否换一个空间,让阶层自己说话?


解决问题

为了修补语义结构被压缩的断层,这篇论文提出了一种崭新的方法论:

  • Hierarchical Prototype-guided Distribution Refinement(HPDR)。

整体来说,HPDR 建构在三个核心之上:

  1. 在双曲空间中嵌入特征,捕捉其内在的阶层结构;
  2. 以原型学习(Prototype Learning)作为语义坐标系,让样本与语义聚点形成关联;
  3. 通过多层对齐与优化策略,逐步逼近一个可泛化的语义分布。

首先,我们从这个空间本身开始看起。


双曲空间

若语义有树状结构,那么双曲空间就是几何上的精准选择。

我们可以想像一棵语义之树,从「攻击」与「真实」分出主干,再根据材质、呈现方式、来源设备不断分枝展叶。如果我们硬是将这棵树压进一张平坦的欧几里得地图上,会发现它的枝节被扭曲、重叠、无法展开;但在双曲空间里,它反而能自然延伸,彼此避让,甚至在边界上无限繁生。

HPDR 采用的正是这样一个空间模型:Poincaré Ball Model。

Poincaré Ball 是个概念上的空间:

Dcn={x∈Rn∣c∥x∥2<1}\mathbb{D}_c^n = \left\{ \mathbf{x} \in \mathbb{R}^n \mid c\|\mathbf{x}\|^2 < 1 \right\}

这表示,曲率参数为 cc 时,所有点都被包裹在半径 1/c1/\sqrt{c} 的开球体中;c=1c=1 时半径才是 1。

乍看之下像是个封闭的结界,但这个球体的边界其实不是尽头,而是无穷远。

这表示我们可以逼近边界,却永远无法触及。

这样的设计有一个关键特性:愈靠近边界的点,彼此之间的距离会呈非线性膨胀,也就是说距离本身就带有语义层级的张力。

为了让这个空间具有计算能力,我们不能再使用传统的欧几里得度量,而是引入一组由曲率控制的黎曼度量张量(Riemannian metric):

gD=λc2⋅gE,λc=21−c∥x∥2g_{\mathbb{D}} = \lambda_c^2 \cdot g_E, \quad \lambda_c = \frac{2}{1 - c\|\mathbf{x}\|^2}
  • gEg_E:这是我们熟悉的平面尺规。
  • λc\lambda_c:这是一个随位置变动的缩放因子(conformal factor)。

当你靠近中心,λc\lambda_c 接近常数,整体几何行为近似平面;但当你靠近边界,c∥x∥2→1c\|\mathbf{x}\|^2 \to 1,λc\lambda_c 发散,整个空间突然变得「张力极大」,使得距离稍有偏移就被极度放大。

这正是双曲空间的本质:让层级扩张得以自然展开。

要描述这种几何里的位移,我们会用到 Möbius 加法:

u⊕cv=(1+2c⟨u,v⟩+c∥v∥2)u+(1−c∥u∥2)v1+2c⟨u,v⟩+c2∥u∥2∥v∥2\mathbf{u} \oplus_c \mathbf{v} = \frac{(1 + 2c\langle \mathbf{u}, \mathbf{v} \rangle + c\|\mathbf{v}\|^2)\mathbf{u} + (1 - c\|\mathbf{u}\|^2)\mathbf{v}}{1 + 2c\langle \mathbf{u}, \mathbf{v} \rangle + c^2\|\mathbf{u}\|^2\|\mathbf{v}\|^2}

这种加法并不是我们熟悉的向量叠加,而是双曲球模型中的位移组合;结果会受到目前位置与曲率参数影响。

而点与点之间的距离,则由双曲距离给出:

dH(u,v)=2c⋅arctanh(c⋅∥−u⊕cv∥)d_H(\mathbf{u}, \mathbf{v}) = \frac{2}{\sqrt{c}} \cdot \text{arctanh}\left( \sqrt{c} \cdot \| -\mathbf{u} \oplus_c \mathbf{v} \| \right)

这条距离公式,是对「语义分歧」的几何化诠释,关心的是向量之间是弯了多少、分了多深,而不是传统意义上的「距离多远」。

有了双曲空间之后,下一个问题就是:

  • 我们该如何把神经网络的输出进行映射?

由于神经网络输出的特征仍然是欧几里得向量,我们必须找到一个合理的方式,将它们映射进双曲空间。

这一步由指数映射(Exponential Map)完成:

exp⁡0c(v)=tanh⁡(c∥v∥)⋅vc∥v∥\exp_0^c(\mathbf{v}) = \tanh\left(\sqrt{c}\|\mathbf{v}\|\right) \cdot \frac{\mathbf{v}}{\sqrt{c}\|\mathbf{v}\|}

这个操作有两个效果:

  • 长度短的向量:映射到球心附近
  • 长度长的向量:映射到靠近球边缘的位置

至于这些位置能否对应语义层级,还要靠后续的原型与损失函数学习;映射本身不会自动赋予语义。

语义锚点

双曲空间准备好了,接下来,语义要在哪里长出来?

在 HPDR 中,作者不是只用特征向量直接分类,而是在最终判断前加入可学习的原型关系,这就是所谓的「原型」(Prototype)设计。

原型不只是点,而是一种语义聚集的承载单位。

  • 它的坐标位置,会决定样本怎么被归类;
  • 它之间的距离,会形塑整个语义空间的分布。

首先定义最基本的一组原型,称作 叶节点原型(Leaf Prototypes),它们是直接对应样本的语义聚点,具有明确的标签信息。

在数学上,定义如下:

Pleaf={pij∣i∈{0,1},j∈{0,…,K−1}}\mathcal{P}_{\text{leaf}} = \{ p_{ij} \mid i \in \{0,1\}, j \in \{0, \dots, K-1\} \}
  • ii:二元类别索引,区分 fake 与 live;
  • jj:该类别中第 jj 个原型,共 KK 个;
  • 所以总共有 2K2K 个 leaf prototypes,分别对应两类样本的语义子群。

这个设计隐含了对一件事的假设:同一类别中的样本,可能存在多个特征子群,而这些子群可以由不同的 leaf prototype 来对应;论文没有另给子群标签。

理论上,我们希望这些原型初始化在双曲空间中,但实际操作中直接在 Dn\mathbb{D}^n 上初始化容易导致梯度爆炸或优化不稳。因此,作者在这里的实际操作是:

  1. 在欧几里得空间 Rn\mathbb{R}^n 随机初始化原型向量 pEuc\mathbf{p}_{\text{Euc}}
  2. 再通过前述的指数映射,将其送进双曲空间:
p=exp⁡0c(pEuc)withpEuc∈Rn\mathbf{p} = \exp_0^c(\mathbf{p}_{\text{Euc}}) \quad \text{with} \quad \mathbf{p}_{\text{Euc}} \in \mathbb{R}^n

这个设计是为了避开直接在双曲空间初始化的优化困难。

接下来是整体结构设计中最有意思的部分:None-leaf Prototypes。

这些原型并不对应任何单一样本,而是作为 leaf prototypes 的候选共同祖先与语义连结节点。

定义如下:

Pnone-leaf={pk∣k∈{0,…,K′−1}}\mathcal{P}_{\text{none-leaf}} = \{ p_k \mid k \in \{0, \dots, K'-1\} \}
  • 这些原型也嵌入在 Dn\mathbb{D}^n 中,但不带任何标签信息;
  • 它们的存在是为了建构语义之树的内部节点,模拟语义层级之间的过渡与收敛。

也就是说:

  • Leaf Prototypes 负责聚合样本 → 建立语义对应;
  • None-leaf Prototypes 负责聚合原型 → 建立层级结构。

这套设计的美感在于:它在已知真伪标签的分类架构中,学习没有额外层级标签的原型关系。

我们不用显式标注哪个子群属于谁,只需让模型自己去发现,哪些原型彼此接近、哪些原型有共同祖先,哪些祖先其实应该更靠近边界、哪些应该停留在中心。

语义的三层对齐

有了双曲空间和原型,接下来就是要建构一个可学习的系统。

这部分的设计称为 Hyperbolic Prototype Learning(HPL),是一组针对语义三层关系设计的学习架构:

  • Prototype ↔ Instance:点对点的语义对齐
  • Instance ↔ Instance:样本间的内部一致性
  • Prototype ↔ Prototype:语义结构的层级建构

下面我们逐一来看一下:

  1. Prototype-based Feature Alignment

    先从最基本的一步开始,让样本找到自己的语义锚点。

    对于每个样本的特征向量 z\mathbf{z},我们根据其标签 yy,在该类别下的 leaf prototypes 中找出与其距离最近者:

    p(z)=arg⁡min⁡pyj∈PleafdH(z,pyj)p(\mathbf{z}) = \arg\min_{p_{yj} \in \mathcal{P}_{\text{leaf}}} d_H(\mathbf{z}, p_{yj})

    这样,就可以为每个样本建立「正对应的原型」。

    接下来,我们希望模型学到的特征能够自动靠近这些原型,同时远离非对应原型,这就是对比式学习在双曲空间中的运用:

    LPI=−∑n=1Nlog⁡e−dH(zn,pck)∑i,je−dH(zn,pij)\mathcal{L}_{PI} = -\sum_{n=1}^N \log \frac{e^{-d_H(\mathbf{z}_n, p_{c_k})}}{\sum_{i,j} e^{-d_H(\mathbf{z}_n, p_{ij})}}

    这个损失让模型在语义空间里自行判断哪些样本应该靠近,哪些样本应该远离。

    此外,为避免所有样本都指派给同一个原型而产生 collapse,论文提出 mini-batch 内的均衡指派。不过论文所写「每类 20 个」合计 40 个叶原型,超过每批 30 个样本;作者公开代码则设为总数 20 个,因此重现时不能把两种设置混为一谈。


  1. Instance-based Consistency

    由于现实中的样本并非静态存在,它们会因光线、角度、遮蔽等外部条件而出现不同的扰动。我们希望模型能学到这些样本中与语义真正有关的信号。为此,HPL 引入了样本一致性学习:

    给定一对样本 (x,xaug)(x, x_{\text{aug}}),我们分别取其特征为 z,zaug\mathbf{z}, \mathbf{z}_{\text{aug}},要求它们在语义空间中保持一致,在特征层级,两者的距离应尽量缩小:

    LII-feat=dH(detach(z),zaug)\mathcal{L}_{II\text{-feat}} = d_H(\text{detach}(\mathbf{z}), \mathbf{z}_{\text{aug}})

    其中 detach(⋅)\text{detach}(\cdot) 表示阻断梯度,确保只调整 zaug\mathbf{z}_{\text{aug}},稳定 anchor 特征。

    在语义分布层级,它们对所有原型的距离分布应尽可能一致:

    LII-dist=∥dH(detach(z),Pleaf)−dH(zaug,Pleaf)∥2\mathcal{L}_{II\text{-dist}} = \left\| d_H(\text{detach}(\mathbf{z}), \mathcal{P}_{\text{leaf}}) - d_H(\mathbf{z}_{\text{aug}}, \mathcal{P}_{\text{leaf}}) \right\|_2

    最终总损失为:

    LII=LII-feat+LII-dist\mathcal{L}_{II} = \mathcal{L}_{II\text{-feat}} + \mathcal{L}_{II\text{-dist}}

    即使样本样貌改变,这组设计也试图减少其在语义结构中的定位漂移。


  1. Hierarchical Structure Modeling

    原型之间的关系,不能只是「平均分布」,它们应该彼此有远近、有高下、有祖孙关系。

    这就是 HPDR 中最具象征性的一步:语义树的自我生长。

    为了学出这种结构,作者借用了来自层级分群中的 Dasgupta cost 概念:

    C=∑i,jwij⋅∣leaves(pi∨pj)∣\mathcal{C} = \sum_{i,j} w_{ij} \cdot |\text{leaves}(p_i \vee p_j)|

    其中 pi∨pjp_i \vee p_j 表示 pi,pjp_i, p_j 的最低共同祖先(LCA),而 ∣leaves(⋅)∣|\text{leaves}(\cdot)| 表示该子树的叶节点数。这个 cost 本质上就是在问:语义相近的原型,能否在更低层级就收敛?

    但由于 Dasgupta cost 形式离散,且这里没有节点相似度的真值权重,作者改采 triplet-based 优化策略,建构三元组:

    1. 正样本:pi,pjp_i, p_j 为互为 KNN;
    2. 负样本:pkp_k 与 pip_i 不满足上述互为近邻的条件。

    接着,对每组 (pi,pj,pk)(p_i, p_j, p_k),从 none-leaf prototypes 中选取 pi,pjp_i, p_j 的候选 LCA ρij\rho_{ij}:

    πij(ρ)=exp⁡(−max⁡(dH(pi,ρ),dH(pj,ρ)))\pi_{ij}(\rho) = \exp\left( - \max(d_H(p_i, \rho), d_H(p_j, \rho)) \right) ρij=arg⁡max⁡ρ(πij(ρ)+gij)\rho_{ij} = \arg\max_{\rho} \left( \pi_{ij}(\rho) + g_{ij} \right)

    其中 gijg_{ij} 是 Gumbel noise,作者用它扰动候选祖先的选取;单独的 argmax 并不是可微操作。

    然后,令 ρijk\rho_{ijk} 为 ρij\rho_{ij} 与 pkp_k 的共同祖先,并设计以下 triplet 损失:

    LPP-LCA=[dH(pi,ρij)−dH(pi,ρijk)+δ]+[dH(pj,ρij)−dH(pj,ρijk)+δ]+[dH(pk,ρijk)−dH(pk,ρij)+δ]\begin{aligned} \mathcal{L}_{PP\text{-LCA}} = &\left[d_H(p_i, \rho_{ij}) - d_H(p_i, \rho_{ijk}) + \delta\right] \\ + &\left[d_H(p_j, \rho_{ij}) - d_H(p_j, \rho_{ijk}) + \delta\right] \\ + &\left[d_H(p_k, \rho_{ijk}) - d_H(p_k, \rho_{ij}) + \delta\right] \end{aligned}

    此外,还需对 leaf prototypes 的分布做两项结构性约束:

    • 鼓励所有原型远离原点(避免塌缩):
    LP-Origin=−log⁡11+∑pi∈Pleafexp⁡(−dH(pi,O))\mathcal{L}_{P\text{-Origin}} = -\log \frac{1}{1 + \sum_{p_i \in \mathcal{P}_{\text{leaf}}} \exp(-d_H(p_i, \mathbf{O}))}
    • 鼓励不同原型彼此分散:
    LPP-leaf=−log⁡11+∑pi,pj∈Pleafexp⁡(−dH(pi,pj))\mathcal{L}_{PP\text{-leaf}} = -\log \frac{1}{1 + \sum_{p_i, p_j \in \mathcal{P}_{\text{leaf}}} \exp(-d_H(p_i, p_j))}

    最终,语义结构建模的总损失为:

    LPP=LPP-LCA+LP-Origin+LPP-leaf\mathcal{L}_{PP} = \mathcal{L}_{PP\text{-LCA}} + \mathcal{L}_{P\text{-Origin}} + \mathcal{L}_{PP\text{-leaf}}

语义的对齐,真正困难的地方在于让点之间的关系也跟着长出树来。

HPDR 的 Hyperbolic Prototype Learning,在一个非线性的空间中,让分类变得像是语法解析,而非单纯给予标签。

图中的 Prototype-oriented Classifier 则使用样本到各叶原型的双曲距离产生真伪预测;因此最终决策也使用了原型信息,而非只依赖特征向量。论文式(19)写成 sigmoid 形式;公开代码实际使用线性层输出两类 logits,并以交叉熵训练。

训练流程

训练流程分为三个步骤:

  • Step 1:Prototype Initialization

    首先在欧几里得空间随机初始化,再映射到双曲空间:

    • 所有 Leaf Prototypes(用于对齐样本)
    • 所有 None-leaf Prototypes(用于建构阶层)

    原型在空间中彼此分散,尚未带有结构性,也未与样本建立明确的对应关系。它们在这个阶段中只是静静地存在,等待被样本认领,等待从距离中长出语义。


  • Step 2:Prototype Assignment

    样本在这个阶段被送进双曲空间,开始寻找自己的语义锚点。

    作者会根据样本的标签 yy,将其特征 z\mathbf{z} 指派给同一类别下、与之最接近的 Leaf Prototype。


  • Step 3:Prototype Optimization

    一旦样本与原型之间的关系确立,接下来便是整个系统的协同调整与语义对齐。

    最终通过以下总损失进行优化:

    Lall=Lpred+LPI+LII+LPP\mathcal{L}_{\text{all}} = \mathcal{L}_{\text{pred}} + \mathcal{L}_{PI} + \mathcal{L}_{II} + \mathcal{L}_{PP}

    这四项损失分别对应:

    • 语义决策的稳定性(Lpred\mathcal{L}_{\text{pred}})
    • 样本与原型的对齐程度(LPI\mathcal{L}_{PI})
    • 样本自身在增强下的一致性(LII\mathcal{L}_{II})
    • 原型之间的层级与结构关系(LPP\mathcal{L}_{PP})

    这一轮优化完成后,空间中的样本与原型都发生了变化,原型位置微调,样本嵌入收束,语义张力重新分配。

    然后整个流程回到 Step 2,再次进行 Assignment,进入下一轮收敛循环。

实验设计

为了验证 HPDR 的泛化能力,作者使用常见的 OCIM 验证基准。

为了让整体架构具备可学性与可重现性,以下是模型实现的重要设置:

  • 图像输入尺寸:256×256(彩色人脸区域裁切)
  • leaf 原型数量:论文正文写 K=20K = 20、每类 20 个;Table 5 标为总数 ∣Pleaf∣=20|\mathcal{P}_{\text{leaf}}| = 20,公开代码也配置总数 20 个(每类 10 个)
  • none-leaf 原型 K′=256K' = 256:建构语义层级的骨干节点
  • 特征维度:256 维双曲特征空间
  • 曲率参数 c=0.01c = 0.01:对应双曲几何的空间弯曲程度
  • 样本配置:每个 domain 每类取 5 个样本,总 batch size 为 30
  • 三元组中的正对应原型对:KNN 选择前三名为正样本
  • 损失函数中的结构边界 δ=0.1\delta = 0.1

训练使用 PyTorch 框架与 DepthNet 作为 backbone,并在 NVIDIA 4090 上进行,优化器采用 Adam,学习率为 0.001。

讨论

OCIM Benchmark

这几乎是近年每篇论文的标配,任选三个数据集作为训练来源,留下一个从未见过的 domain 作为测试集。

实验目的是为了要模拟实际场景中「新设备、新光线、新环境」的挑战。

实验结果如上表:

  • DG 方法整体表现较传统方法好,但并非每个 DG 方法在每组测试都胜过所有传统方法;
  • HPDR 在四组设置中取得最低 HTER;AUC 在 C、O 两组最高,在 I、M 两组则非最高;

特别值得注意的是:在这四组测试中,HPDR 的 HTER/AUC 也优于表列的 prototype 与 hyperbolic embedding 方法。作者认为,原因可能是 HPDR 不只是对齐样本,也建立了一棵有层次的语义之树。

这里的优势来自于模型所内建的语法结构。 其他方法对齐的是点与点的关系,HPDR 对齐的是语义与语义之间的位置与层级。


Limited Source Domain

在这组测试中,作者限制仅使用两个数据集(MSU 与 Idiap Replay-Attack)作为训练来源,再在 OULU 与 CASIA 上进行测试。这是在检验来源 domain 受限时的泛化能力。

实验结果如上表:相较于 AMEL,HPDR 在 M&I→C 的设置中 AUC 提升 3.42 个百分点、HTER 减少 2.30 个百分点;在 M&I→O,HPDR 的 AUC 较高,但 HTER 21.07% 仍高于 AMEL 的 19.68%。相较于表列的 hyperbolic 与 prototype 方法,HPDR 在两组设置中皆领先。

这显示在这两组有限来源测试中,HPDR 仍能对未见数据集取得较低的错误率。

HPDR 在这里的角色像是一名视野清晰的地图阅读者,不依赖眼前的路线,而是靠内建的地形知识理解方向。


Cross-Attack

最后,作者在 HQ-WMCA 数据集进行 cross-attack 测试。

这个任务困难在于:训练时排除某一攻击形式,测试时仅用该攻击类型做验证,考验的是语义转移的稳健性。

实验结果显示 HPDR 在八种攻击中的四种取得最低 ACER,整体平均与标准差为表中最低的 14.6±8.5%;但 Replay 的 19.0% 高于所有对照方法。这显示方法在部分「新攻击」上有效,仍有明显例外。

换言之,模型试着利用原型关系判断「这张脸的整体语义,是否合理地存在于已知的语义结构中」,但单靠这组结果还无法确认它实际依赖了哪些线索。

谁是语义空间的关键?

根据实验结果,我们可以得到几个观察:

  • 不加三项 HPL 损失时,模型仍有分类损失 Lpred\mathcal{L}_{\text{pred}},但表现最差(HTER 17.78%):代表光是进入双曲空间并不足以提升性能,空间需要结构性的监督信号。
  • 单独加入 LPI\mathcal{L}_{PI}(Prototype-instance 对齐)后,性能大幅提升:显示样本与语义原型之间的对应,是形成稳定嵌入空间的第一要素。
  • 在 LPI\mathcal{L}_{PI} 基础上加入 LPP\mathcal{L}_{PP} 后,HTER 由 15.56% 降至 12.78%:支持原型间的结构约束在这组实验中有帮助。
  • 全损失开启时效果最佳:印证了 HPDR 的设计逻辑是协同的,不是线性堆叠,而是语义语法的立体拼图。

在这组消融设置中,对齐、一致性与层级约束一起使用时表现最好。

语义之树该长出几根?

作者测试不同的叶原型数量:从 4 增加到 20,HTER 逐步下降,但 AUC 并非一路上升。超过 20 后,这组测试的 HTER 与 AUC 都变差。

作者认为原型过多可能造成 mini-batch 指派不均;在这组设置下,Table 5 标示总数 20 个原型取得最佳结果,与正文的每类 20 个不一致。


语义空间该多弯?

实验结果如上表,我们可以看到几个关键:

  • 欧几里得空间(c=0c=0)效果最差:语义层级难以展开;
  • 曲率 由小增加至 0.01 时性能提升:代表语义层级开始清晰;
  • 当 cc 继续增加,性能反而下降;作者推测这与以 x=0x=0 为 base point 的 exponential map 近似有关。

因此,双曲空间不是越弯越好,而是要刚刚好,必须让语义之枝能自由生长、又不至于迷失方向。

可视化结果

最后,作者以 Leave-One-Out 与 Cross-Attack 任务为背景,将 HPDR 所学出的特征分布进行可视化。

上图中展示了不同测试设置下的特征分布图,每张图中:

  • 样本颜色同时区分真伪类别与来源/目标 domain;
  • 位置则对应于双曲空间下的嵌入结果;
  • leaf prototypes 与 none-leaf prototypes 则标注为特定点位或阶层节点。

从图中可以观察到几个重点:

  1. 图 (a)、(c)~(h) 中,真伪样本在所选的跨数据集与跨攻击设置下大致分开,并与原型形成分支;
  2. none-leaf prototypes 在这些图中连接多个叶原型,呈现作者所设计的层级关系;
  3. 这些可视化提供了分布线索,但无法单独证明模型已学到跨 domain 或跨 attack 的「整体语义拓扑」。

在上图 (b) 中,作者将每个 leaf prototype 对应的样本分别可视化,并用图像群组呈现,可以发现:

  • 在选取的示例中,同一个原型下的样本外观有相似之处;
  • 共享 LCA 越低的原型,其样本间的语义一致性越高,这说明层级是语义一致性的几何反映,而非分类结果的附加说明。

这个可视化结果展示了在没有额外层级标签时,模型学出的原型关系;真伪标签与层级损失仍参与训练。

结论

本研究的核心思想不在于记住更多样本,而在于构筑一个能容纳语义层级的空间逻辑。

作者通过大量实验与可视化分析检验了 HPDR 的有效性。在所测试的未知场景、有限来源和新型攻击设置中,方法总体展现出良好的泛化表现,但仍有例外;这些结果表明结构性建模有助于提升跨场景识别表现。

近年流行将自然语言的能力融入 FAS 架构,如果未来我们将语义树概念和自然语言相结合,或许能看到另外一种截然不同的语义之树也说不定。