返回論文筆記資料庫
CVPR 2024人臉防偽論文筆記

HPDR

雙曲的世界樹

原始論文

Rethinking Generalizable Face Anti-spoofing via Hierarchical Prototype-guided Distribution Refinement in Hyperbolic Space

論文作者

Chengyang Hu · Ke-Yue Zhang · Taiping Yao · Shouhong Ding · Lizhuang Ma

發表版本
CVPR 2024會議
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@inproceedings{faceantispoofinghpdr2024,
  title = {{Rethinking Generalizable Face Anti-spoofing via Hierarchical Prototype-guided Distribution Refinement in Hyperbolic Space}},
  author = {Chengyang Hu and Ke-Yue Zhang and Taiping Yao and Shouhong Ding and Lizhuang Ma},
  year = {2024},
  booktitle = {CVPR},
  url = {https://openaccess.thecvf.com/content/CVPR2024/html/Hu_Rethinking_Generalizable_Face_Anti-spoofing_via_Hierarchical_Prototype-guided_Distribution_Refinement_in_CVPR_2024_paper.html}
}
本頁內容

我們來看一篇 CVPR 的論文。

作者用一個非常新穎的角度,來試著切入 FAS 的問題。

定義問題

人臉辨識系統的防護網,建構在 FAS 之上。

隨著深度學習的成熟,研究的進展有目共睹:從早年的手工特徵,到後來的深度二分類架構,再到近年的跨域學習技術,FAS 正一步步學會如何從混亂中認識風險。

但是,一但資料集換了或場景變了,模型的能力就會急劇降低,屢試不爽。

後來研究者試著教模型「學會泛化」,引入對抗、解耦、對比、元學習等各種訓練策略,試圖讓特徵在不同場景中達到一致。

但在這個過程中,有一件事在不知不覺中被犧牲:語意的結構性。

所謂結構性,並不是網路結構本身,而是樣本之間的「語意距離」與「階層脈絡」:

  • 一張彩色印表機印出的照片,與一段手機錄影重播的影片,或許在像素分布上接近,但它們背後所代表的攻擊類型與行為機制卻天差地遠。
  • 一場攻擊的生成條件,包含光線、背景或材質等,本質上是對樣本語意屬性的切分,而不是雜訊。

可是現有方法大多將所有樣本強行嵌入同一個「歐幾里得」特徵空間中,並以最小化 domain gap 為優先目標,導致過度對齊(over-alignment)。

我們將本該分離的特徵捏在一起,把模型原本可能理解的結構,壓縮成一塊沒有層次的平面。

這也太奇怪了吧?

因此,這篇論文的作者認為:

既然泛化的困難來自語意的失衡,那麼,我們能否換一個空間,讓階層自己說話?


解決問題

為了修補語意結構被壓縮的斷層,這篇論文提出了一種嶄新的方法論:

  • Hierarchical Prototype-guided Distribution Refinement(HPDR)。

整體來說,HPDR 建構在三個核心之上:

  1. 在雙曲空間中嵌入特徵,捕捉其內在的階層結構;
  2. 以原型學習(Prototype Learning)作為語意座標系,讓樣本與語意聚點形成關聯;
  3. 透過多層對齊與優化策略,逐步逼近一個可泛化的語意分布。

首先,我們從這個空間本身開始看起。


雙曲空間

若語意有樹狀結構,那麼雙曲空間就是幾何上的精準選擇。

我們可以想像一棵語意之樹,從「攻擊」與「真實」分出主幹,再根據材質、呈現方式、來源設備不斷分枝展葉。如果我們硬是將這棵樹壓進一張平坦的歐幾里得地圖上,會發現它的枝節被扭曲、重疊、無法展開;但在雙曲空間裡,它反而能自然延伸,彼此避讓,甚至在邊界上無限繁生。

HPDR 採用的正是這樣一個空間模型:Poincaré Ball Model。

Poincaré Ball 是個概念上的空間:

Dcn={x∈Rn∣c∥x∥2<1}\mathbb{D}_c^n = \left\{ \mathbf{x} \in \mathbb{R}^n \mid c\|\mathbf{x}\|^2 < 1 \right\}

這表示,曲率參數為 cc 時,所有點都被包裹在半徑 1/c1/\sqrt{c} 的開球體中;c=1c=1 時半徑才是 1。

乍看之下像是個封閉的結界,但這個球體的邊界其實不是盡頭,而是無窮遠。

這表示我們可以逼近邊界,卻永遠無法觸及。

這樣的設計有一個關鍵特性:愈靠近邊界的點,彼此之間的距離會呈非線性膨脹,也就是說距離本身就帶有語意層級的張力。

為了讓這個空間具有計算能力,我們不能再使用傳統的歐幾里得度量,而是引入一組由曲率控制的黎曼度量張量(Riemannian metric):

gD=λc2⋅gE,λc=21−c∥x∥2g_{\mathbb{D}} = \lambda_c^2 \cdot g_E, \quad \lambda_c = \frac{2}{1 - c\|\mathbf{x}\|^2}
  • gEg_E:這是我們熟悉的平面尺規。
  • λc\lambda_c:這是一個隨位置變動的縮放因子(conformal factor)。

當你靠近中心,λc\lambda_c 接近常數,整體幾何行為近似平面;但當你靠近邊界,c∥x∥2→1c\|\mathbf{x}\|^2 \to 1,λc\lambda_c 發散,整個空間突然變得「張力極大」,使得距離稍有偏移就被極度放大。

這正是雙曲空間的本質:讓層級擴張得以自然展開。

要描述這種幾何裡的位移,我們會用到 Möbius 加法:

u⊕cv=(1+2c⟨u,v⟩+c∥v∥2)u+(1−c∥u∥2)v1+2c⟨u,v⟩+c2∥u∥2∥v∥2\mathbf{u} \oplus_c \mathbf{v} = \frac{(1 + 2c\langle \mathbf{u}, \mathbf{v} \rangle + c\|\mathbf{v}\|^2)\mathbf{u} + (1 - c\|\mathbf{u}\|^2)\mathbf{v}}{1 + 2c\langle \mathbf{u}, \mathbf{v} \rangle + c^2\|\mathbf{u}\|^2\|\mathbf{v}\|^2}

這種加法並不是我們熟悉的向量疊加,而是雙曲球模型中的位移組合;結果會受到目前位置與曲率參數影響。

而點與點之間的距離,則由雙曲距離給出:

dH(u,v)=2c⋅arctanh(c⋅∥−u⊕cv∥)d_H(\mathbf{u}, \mathbf{v}) = \frac{2}{\sqrt{c}} \cdot \text{arctanh}\left( \sqrt{c} \cdot \| -\mathbf{u} \oplus_c \mathbf{v} \| \right)

這條距離公式,是對「語意分歧」的幾何化詮釋,關心的是向量之間是彎了多少、分了多深,而不是傳統意義上的「距離多遠」。

有了雙曲空間之後,下一個問題就是:

  • 我們該如何把神經網路的輸出進行映射?

由於神經網路輸出的特徵仍然是歐幾里得向量,我們必須找到一個合理的方式,將它們映射進雙曲空間。

這一步由指數映射(Exponential Map)完成:

exp⁡0c(v)=tanh⁡(c∥v∥)⋅vc∥v∥\exp_0^c(\mathbf{v}) = \tanh\left(\sqrt{c}\|\mathbf{v}\|\right) \cdot \frac{\mathbf{v}}{\sqrt{c}\|\mathbf{v}\|}

這個操作有兩個效果:

  • 長度短的向量:映射到球心附近
  • 長度長的向量:映射到靠近球邊緣的位置

至於這些位置能否對應語意層級,還要靠後續的原型與損失函數學習;映射本身不會自動賦予語意。

語意錨點

雙曲空間準備好了,接下來,語意要在哪裡長出來?

在 HPDR 中,作者不是只用特徵向量直接分類,而是在最終判斷前加入可學習的原型關係,這就是所謂的「原型」(Prototype)設計。

原型不只是點,而是一種語意聚集的承載單位。

  • 它的座標位置,會決定樣本怎麼被歸類;
  • 它之間的距離,會形塑整個語意空間的分布。

首先定義最基本的一組原型,稱作 葉節點原型(Leaf Prototypes),它們是直接對應樣本的語意聚點,具有明確的標籤資訊。

在數學上,定義如下:

Pleaf={pij∣i∈{0,1},j∈{0,…,K−1}}\mathcal{P}_{\text{leaf}} = \{ p_{ij} \mid i \in \{0,1\}, j \in \{0, \dots, K-1\} \}
  • ii:二元類別索引,區分 fake 與 live;
  • jj:該類別中第 jj 個原型,共 KK 個;
  • 所以總共有 2K2K 個 leaf prototypes,分別對應兩類樣本的語意子群。

這個設計隱含了對一件事的假設:同一類別中的樣本,可能存在多個特徵子群,而這些子群可以由不同的 leaf prototype 來對應;論文沒有另給子群標籤。

理論上,我們希望這些原型初始化在雙曲空間中,但實務上直接在 Dn\mathbb{D}^n 上初始化容易導致梯度爆炸或優化不穩。因此,作者在這裡的實際操作是:

  1. 在歐幾里得空間 Rn\mathbb{R}^n 隨機初始化原型向量 pEuc\mathbf{p}_{\text{Euc}}
  2. 再透過前述的指數映射,將其送進雙曲空間:
p=exp⁡0c(pEuc)withpEuc∈Rn\mathbf{p} = \exp_0^c(\mathbf{p}_{\text{Euc}}) \quad \text{with} \quad \mathbf{p}_{\text{Euc}} \in \mathbb{R}^n

這個設計是為了避開直接在雙曲空間初始化的優化困難。

接下來是整體結構設計中最有意思的部分:None-leaf Prototypes。

這些原型並不對應任何單一樣本,而是作為 leaf prototypes 的候選共同祖先與語意連結節點。

定義如下:

Pnone-leaf={pk∣k∈{0,…,K′−1}}\mathcal{P}_{\text{none-leaf}} = \{ p_k \mid k \in \{0, \dots, K'-1\} \}
  • 這些原型也嵌入在 Dn\mathbb{D}^n 中,但不帶任何標籤資訊;
  • 它們的存在是為了建構語意之樹的內部節點,模擬語意層級之間的過渡與收斂。

也就是說:

  • Leaf Prototypes 負責聚合樣本 → 建立語意對應;
  • None-leaf Prototypes 負責聚合原型 → 建立層級結構。

這套設計的美感在於:它在已知真偽標籤的分類架構中,學習沒有額外層級標籤的原型關係。

我們不用顯式標註哪個子群屬於誰,只需讓模型自己去發現,哪些原型彼此接近、哪些原型有共同祖先,哪些祖先其實應該更靠近邊界、哪些應該停留在中心。

語意的三層對齊

有了雙曲空間和原型,接下來就是要建構一個可學習的系統。

這部分的設計稱為 Hyperbolic Prototype Learning(HPL),是一組針對語意三層關係設計的學習架構:

  • Prototype ↔ Instance:點對點的語意對齊
  • Instance ↔ Instance:樣本間的內部一致性
  • Prototype ↔ Prototype:語意結構的層級建構

下面我們逐一來看一下:

  1. Prototype-based Feature Alignment

    先從最基本的一步開始,讓樣本找到自己的語意錨點。

    對於每個樣本的特徵向量 z\mathbf{z},我們根據其標籤 yy,在該類別下的 leaf prototypes 中找出與其距離最近者:

    p(z)=arg⁡min⁡pyj∈PleafdH(z,pyj)p(\mathbf{z}) = \arg\min_{p_{yj} \in \mathcal{P}_{\text{leaf}}} d_H(\mathbf{z}, p_{yj})

    這樣,就可以為每個樣本建立「正對應的原型」。

    接下來,我們希望模型學到的特徵能夠自動靠近這些原型,同時遠離非對應原型,這就是對比式學習在雙曲空間中的運用:

    LPI=−∑n=1Nlog⁡e−dH(zn,pck)∑i,je−dH(zn,pij)\mathcal{L}_{PI} = -\sum_{n=1}^N \log \frac{e^{-d_H(\mathbf{z}_n, p_{c_k})}}{\sum_{i,j} e^{-d_H(\mathbf{z}_n, p_{ij})}}

    這個損失讓模型在語意空間裡自行判斷哪些樣本應該靠近,哪些樣本應該遠離。

    此外,為避免所有樣本都指派給同一個原型而產生 collapse,論文提出 mini-batch 內的均衡指派。不過論文所寫「每類 20 個」合計 40 個葉原型,超過每批 30 筆;作者公開程式則設為總數 20 個,因此重現時不能把兩種設定混為一談。


  1. Instance-based Consistency

    由於現實中的樣本並非靜態存在,它們會因光線、角度、遮蔽等外部條件而出現不同的擾動。我們希望模型能學到這些樣本中與語意真正有關的訊號。為此,HPL 引入了樣本一致性學習:

    給定一對樣本 (x,xaug)(x, x_{\text{aug}}),我們分別取其特徵為 z,zaug\mathbf{z}, \mathbf{z}_{\text{aug}},要求它們在語意空間中保持一致,在特徵層級,兩者的距離應盡量縮小:

    LII-feat=dH(detach(z),zaug)\mathcal{L}_{II\text{-feat}} = d_H(\text{detach}(\mathbf{z}), \mathbf{z}_{\text{aug}})

    其中 detach(⋅)\text{detach}(\cdot) 表示阻斷梯度,確保只調整 zaug\mathbf{z}_{\text{aug}},穩定 anchor 特徵。

    在語意分布層級,它們對所有原型的距離分布應盡可能一致:

    LII-dist=∥dH(detach(z),Pleaf)−dH(zaug,Pleaf)∥2\mathcal{L}_{II\text{-dist}} = \left\| d_H(\text{detach}(\mathbf{z}), \mathcal{P}_{\text{leaf}}) - d_H(\mathbf{z}_{\text{aug}}, \mathcal{P}_{\text{leaf}}) \right\|_2

    最終總損失為:

    LII=LII-feat+LII-dist\mathcal{L}_{II} = \mathcal{L}_{II\text{-feat}} + \mathcal{L}_{II\text{-dist}}

    即使樣本樣貌改變,這組設計也試圖減少其在語意結構中的定位漂移。


  1. Hierarchical Structure Modeling

    原型之間的關係,不能只是「平均分布」,它們應該彼此有遠近、有高下、有祖孫關係。

    這就是 HPDR 中最具象徵性的一步:語意樹的自我生長。

    為了學出這種結構,作者借用了來自層級分群中的 Dasgupta cost 概念:

    C=∑i,jwij⋅∣leaves(pi∨pj)∣\mathcal{C} = \sum_{i,j} w_{ij} \cdot |\text{leaves}(p_i \vee p_j)|

    其中 pi∨pjp_i \vee p_j 表示 pi,pjp_i, p_j 的最低共同祖先(LCA),而 ∣leaves(⋅)∣|\text{leaves}(\cdot)| 表示該子樹的葉節點數。這個 cost 本質上就是在問:語意相近的原型,能否在更低層級就收斂?

    但由於 Dasgupta cost 形式離散,且這裡沒有節點相似度的真值權重,作者改採 triplet-based 優化策略,建構三元組:

    1. 正樣本:pi,pjp_i, p_j 為互為 KNN;
    2. 負樣本:pkp_k 與 pip_i 不滿足上述互為近鄰的條件。

    接著,對每組 (pi,pj,pk)(p_i, p_j, p_k),從 none-leaf prototypes 中選取 pi,pjp_i, p_j 的候選 LCA ρij\rho_{ij}:

    πij(ρ)=exp⁡(−max⁡(dH(pi,ρ),dH(pj,ρ)))\pi_{ij}(\rho) = \exp\left( - \max(d_H(p_i, \rho), d_H(p_j, \rho)) \right) ρij=arg⁡max⁡ρ(πij(ρ)+gij)\rho_{ij} = \arg\max_{\rho} \left( \pi_{ij}(\rho) + g_{ij} \right)

    其中 gijg_{ij} 是 Gumbel noise,作者用它擾動候選祖先的選取;單獨的 argmax 並不是可微操作。

    然後,令 ρijk\rho_{ijk} 為 ρij\rho_{ij} 與 pkp_k 的共同祖先,並設計以下 triplet 損失:

    LPP-LCA=[dH(pi,ρij)−dH(pi,ρijk)+δ]+[dH(pj,ρij)−dH(pj,ρijk)+δ]+[dH(pk,ρijk)−dH(pk,ρij)+δ]\begin{aligned} \mathcal{L}_{PP\text{-LCA}} = &\left[d_H(p_i, \rho_{ij}) - d_H(p_i, \rho_{ijk}) + \delta\right] \\ + &\left[d_H(p_j, \rho_{ij}) - d_H(p_j, \rho_{ijk}) + \delta\right] \\ + &\left[d_H(p_k, \rho_{ijk}) - d_H(p_k, \rho_{ij}) + \delta\right] \end{aligned}

    此外,還需對 leaf prototypes 的分布做兩項結構性約束:

    • 鼓勵所有原型遠離原點(避免塌縮):
    LP-Origin=−log⁡11+∑pi∈Pleafexp⁡(−dH(pi,O))\mathcal{L}_{P\text{-Origin}} = -\log \frac{1}{1 + \sum_{p_i \in \mathcal{P}_{\text{leaf}}} \exp(-d_H(p_i, \mathbf{O}))}
    • 鼓勵不同原型彼此分散:
    LPP-leaf=−log⁡11+∑pi,pj∈Pleafexp⁡(−dH(pi,pj))\mathcal{L}_{PP\text{-leaf}} = -\log \frac{1}{1 + \sum_{p_i, p_j \in \mathcal{P}_{\text{leaf}}} \exp(-d_H(p_i, p_j))}

    最終,語意結構建模的總損失為:

    LPP=LPP-LCA+LP-Origin+LPP-leaf\mathcal{L}_{PP} = \mathcal{L}_{PP\text{-LCA}} + \mathcal{L}_{P\text{-Origin}} + \mathcal{L}_{PP\text{-leaf}}

語意的對齊,真正困難的地方在於讓點之間的關係也跟著長出樹來。

HPDR 的 Hyperbolic Prototype Learning,在一個非線性的空間中,讓分類變得像是語法解析,而非單純給予標籤。

圖中的 Prototype-oriented Classifier 則使用樣本到各葉原型的雙曲距離產生真偽預測;因此最終決策也使用了原型資訊,而非只依賴特徵向量。論文式(19)寫成 sigmoid 形式;公開程式實際使用線性層輸出兩類 logits,並以交叉熵訓練。

訓練流程

訓練流程分為三個步驟:

  • Step 1:Prototype Initialization

    首先在歐幾里得空間隨機初始化,再映射到雙曲空間:

    • 所有 Leaf Prototypes(用於對齊樣本)
    • 所有 None-leaf Prototypes(用於建構階層)

    原型在空間中彼此分散,尚未帶有結構性,也未與樣本建立明確的對應關係。它們在這個階段中只是靜靜地存在,等待被樣本認領,等待從距離中長出語意。


  • Step 2:Prototype Assignment

    樣本在這個階段被送進雙曲空間,開始尋找自己的語意錨點。

    作者會根據樣本的標籤 yy,將其特徵 z\mathbf{z} 指派給同一類別下、與之最接近的 Leaf Prototype。


  • Step 3:Prototype Optimization

    一旦樣本與原型之間的關係確立,接下來便是整個系統的協同調整與語意對齊。

    最終透過以下總損失進行優化:

    Lall=Lpred+LPI+LII+LPP\mathcal{L}_{\text{all}} = \mathcal{L}_{\text{pred}} + \mathcal{L}_{PI} + \mathcal{L}_{II} + \mathcal{L}_{PP}

    這四項損失分別對應:

    • 語意決策的穩定性(Lpred\mathcal{L}_{\text{pred}})
    • 樣本與原型的對齊程度(LPI\mathcal{L}_{PI})
    • 樣本自身在增強下的一致性(LII\mathcal{L}_{II})
    • 原型之間的層級與結構關係(LPP\mathcal{L}_{PP})

    這一輪優化完成後,空間中的樣本與原型都發生了變化,原型位置微調,樣本嵌入收束,語意張力重新分配。

    然後整個流程回到 Step 2,再次進行 Assignment,進入下一輪收斂循環。

實驗設計

為了驗證 HPDR 的泛化能力,作者使用常見的 OCIM 驗證基準。

為了讓整體架構具備可學性與可重現性,以下是模型實作的重要設定:

  • 影像輸入尺寸:256×256(彩色人臉區域裁切)
  • leaf 原型數量:論文正文寫 K=20K = 20、每類 20 個;Table 5 標為總數 ∣Pleaf∣=20|\mathcal{P}_{\text{leaf}}| = 20,公開程式也配置總數 20 個(每類 10 個)
  • none-leaf 原型 K′=256K' = 256:建構語意層級的骨幹節點
  • 特徵維度:256 維雙曲特徵空間
  • 曲率參數 c=0.01c = 0.01:對應雙曲幾何的空間彎曲程度
  • 樣本配置:每個 domain 取 5 筆 / 類別,總 batch size 為 30
  • 三元組中的正對應原型對:KNN 選擇前三名為正樣本
  • 損失函數中的結構邊界 δ=0.1\delta = 0.1

訓練使用 Pytorch 框架與 DepthNet 作為 backbone,並在 NVIDIA 4090 上進行,優化器採用 Adam,學習率為 0.001。

討論

OCIM Benchmark

這幾乎是近年每篇論文的標配,任選三個資料集作為訓練來源,留下一個從未見過的 domain 作為測試集。

實驗目的是為了要模擬實際場景中「新設備、新光線、新環境」的挑戰。

實驗結果如上表:

  • DG 方法整體表現較傳統方法好,但並非每個 DG 方法在每組測試都勝過所有傳統方法;
  • HPDR 在四組設定中取得最低 HTER;AUC 在 C、O 兩組最高,在 I、M 兩組則非最高;

特別值得注意的是:在這四組測試中,HPDR 的 HTER/AUC 也優於表列的 prototype 與 hyperbolic embedding 方法。作者認為,原因可能是 HPDR 不只是對齊樣本,也建立了一棵有層次的語意之樹。

這裡的優勢來自於模型所內建的語法結構。 其他方法對齊的是點與點的關係,HPDR 對齊的是語意與語意之間的位置與層級。


Limited Source Domain

在這組測試中,作者限制僅使用兩個資料集(MSU 與 Idiap Replay-Attack)作為訓練來源,再在 OULU 與 CASIA 上進行測試。這是在檢驗來源 domain 受限時的泛化能力。

實驗結果如上表:相較於 AMEL,HPDR 在 M&I→C 的設定中 AUC 提升 3.42 個百分點、HTER 減少 2.30 個百分點;在 M&I→O,HPDR 的 AUC 較高,但 HTER 21.07% 仍高於 AMEL 的 19.68%。相較於表列的 hyperbolic 與 prototype 方法,HPDR 在兩組設定中皆領先。

這顯示在這兩組有限來源測試中,HPDR 仍能對未見資料集取得較低的錯誤率。

HPDR 在這裡的角色像是一名視野清晰的地圖閱讀者,不依賴眼前的路線,而是靠內建的地形知識理解方向。


Cross-Attack

最後,作者在 HQ-WMCA 資料集進行 cross-attack 測試。

這個任務困難在於:訓練時排除某一攻擊形式,測試時僅用該攻擊類型做驗證,考驗的是語意轉移的穩健性。

實驗結果顯示 HPDR 在八種攻擊中的四種取得最低 ACER,整體平均與標準差為表中最低的 14.6±8.5%;但 Replay 的 19.0% 高於所有對照方法。這顯示方法在部分「新攻擊」上有效,仍有明顯例外。

換言之,模型試著利用原型關係判斷「這張臉的整體語意,是否合理地存在於已知的語意結構中」,但單靠這組結果還無法確認它實際依賴了哪些線索。

誰是語意空間的關鍵?

根據實驗結果,我們可以得到幾個觀察:

  • 不加三項 HPL 損失時,模型仍有分類損失 Lpred\mathcal{L}_{\text{pred}},但表現最差(HTER 17.78%):代表光是進入雙曲空間並不足以提升性能,空間需要結構性的監督訊號。
  • 單獨加入 LPI\mathcal{L}_{PI}(Prototype-instance 對齊)後,性能大幅提升:顯示樣本與語意原型之間的對應,是形成穩定嵌入空間的第一要素。
  • 在 LPI\mathcal{L}_{PI} 基礎上加入 LPP\mathcal{L}_{PP} 後,HTER 由 15.56% 降至 12.78%:支持原型間的結構約束在這組實驗中有幫助。
  • 全損失開啟時效果最佳:印證了 HPDR 的設計邏輯是協同的,不是線性堆疊,而是語意語法的立體拼圖。

在這組消融設定中,對齊、一致性與層級約束一起使用時表現最好。

語意之樹該長出幾根?

作者測試不同的葉原型數量:從 4 增加到 20,HTER 逐步下降,但 AUC 並非一路上升。超過 20 後,這組測試的 HTER 與 AUC 都變差。

作者認為原型過多可能造成 mini-batch 指派不均;在這組設定下,Table 5 標示總數 20 個原型取得最佳結果,與正文的每類 20 個不一致。


語意空間該多彎?

實驗結果如上表,我們可以看到幾個關鍵:

  • 歐幾里得空間(c=0c=0)效果最差:語意層級難以展開;
  • 曲率 由小增加至 0.01 時性能提升:代表語意層級開始清晰;
  • 當 cc 繼續增加,性能反而下降;作者推測這與以 x=0x=0 為 base point 的 exponential map 近似有關。

因此,雙曲空間不是越彎越好,而是要剛剛好,必須讓語意之枝能自由生長、又不至於迷失方向。

可視化結果

最後,作者以 Leave-One-Out 與 Cross-Attack 任務為背景,將 HPDR 所學出的特徵分布進行可視化。

上圖中展示了不同測試設定下的特徵分布圖,每張圖中:

  • 樣本顏色同時區分真偽類別與來源/目標 domain;
  • 位置則對應於雙曲空間下的嵌入結果;
  • leaf prototypes 與 none-leaf prototypes 則標註為特定點位或階層節點。

從圖中可以觀察到幾個重點:

  1. 圖 (a)、(c)~(h) 中,真偽樣本在所選的跨資料集與跨攻擊設定下大致分開,並與原型形成分支;
  2. none-leaf prototypes 在這些圖中連接多個葉原型,呈現作者所設計的層級關係;
  3. 這些視覺化提供了分布線索,但無法單獨證明模型已學到跨 domain 或跨 attack 的「整體語意拓撲」。

在上圖 (b) 中,作者將每個 leaf prototype 對應的樣本分別可視化,並用圖像群組呈現,可以發現:

  • 在選取的示例中,同一個原型下的樣本外觀有相似之處;
  • 共享 LCA 越低的原型,其樣本間的語意一致性越高,這說明層級是語意一致性的幾何反映,而非分類結果的附加說明。

這個視覺化結果展示了在沒有額外層級標籤時,模型學出的原型關係;真偽標籤與層級損失仍參與訓練。

結論

本研究的核心思想不在於記住更多樣本,而在於構築一個能容納語意層級的空間邏輯。

作者透過大量實驗與可視化分析驗證了 HPDR 的有效性。無論是面對未知場景、有限來源、還是新型攻擊,皆展現出優異的泛化能力,並證明結構性建模能顯著提升跨場景辨識的穩定性。

近年流行將自然語言的能力融入 FAS 架構,如果未來我們將將語意樹概念和自然語言相結合,或許能看到另外一種截然不同的語意之樹也說不定。