返回論文筆記資料庫
arXiv 2023CVPR 2023人臉防偽論文筆記

SA-FAS

超平面的律令

原始論文

Rethinking Domain Generalization for Face Anti-spoofing: Separability and Alignment

論文作者

Yiyou Sun · Yaojie Liu · Xiaoming Liu · Yixuan Li · Wen-Sheng Chu

發表版本
CVPR 2023會議
arXiv 首次提交
arXiv:2303.13662
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{faceantispoofingsafas2023,
  title = {{Rethinking Domain Generalization for Face Anti-spoofing: Separability and Alignment}},
  author = {Yiyou Sun and Yaojie Liu and Xiaoming Liu and Yixuan Li and Wen-Sheng Chu},
  year = {2023},
  eprint = {2303.13662},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2303.13662}
}
本頁內容

對於 FAS 這個題目,我們先是看過了基於 Domain Generalization(DG)的解決方案 SSDG,然後又是自適應 DG 的解決方案 D²AM。

那麼 DG 到底是不是一個正確的方向呢?

定義問題

DG 用起來確實不錯,但還是有其侷限性。

首先,過去這些方法大多數都建構在一個理想化的前提上:

我們可以學到一個「不受 domain 影響」的特徵空間。

這聽起來很美,但實際上往往撐不起來。

因為訓練資料的 domain 數量有限、變化範圍也受限,模型很容易就在訓練的分佈上發生過擬合。一旦來到真實測試情境,像是不同設備、解析度或光源,模型就會開始出現幻覺。

還有更糟的情況是: 當來自不同 domain 的資料被硬壓進同一個特徵空間裡,live 跟 spoof 本來好好的分開,結果被搞得混在一起。

這時候模型會怎樣判斷? 很簡單,它會學到一些無關痛癢的「錯誤相關性」,例如:

「低解析度的是攻擊,高解析度的是真人。」

但一換 domain,這種關聯性根本就不存在,結果就是大災難。

既然 domain-invariant 這條路不太通,那我們不如換個方向想:

與其把 domain 訊號抹掉,不如好好地「保留下來」,然後重新設計特徵空間。

解決問題

SA-FAS 的出發點其實很單純:

我們不再試圖消除 domain 的影響,而是正視並善用這些差異,重新設計特徵空間。

這個空間要具備兩個核心特性:

  1. 可分性(Separability):live / spoof 之間要分得清楚,不同 domain 也能保有結構
  2. 對齊性(Alignment):在本文的印刷與重播攻擊設定中,各 domain 的真臉到假臉轉變應朝相同方向

這聽起來像是矛盾:又要分開,又要一致?

但事實上,這兩者是互補的:分開讓我們不被 domain 混淆,一致讓我們可以用同一條邊界來分類。

可分性

為了讓同一類別、同一 domain 的資料能夠「聚在一起」,SA-FAS 採用了 Supervised Contrastive Learning(SupCon);每個訓練樣本先做兩次資料增強,再抽取 L2L_2 正規化特徵。

這段 loss 是這樣定義的:

Lsep=∑i=12b−1∣S(i)∣∑j∈S(i)log⁡exp⁡(zi⋅zj/τ)∑t=1,t≠i2bexp⁡(zi⋅zt/τ)\mathcal{L}_{\text{sep}} = \sum_{i=1}^{2b} -\frac{1}{|S(i)|} \sum_{j \in S(i)} \log \frac{\exp(z_i \cdot z_j / \tau)}{\sum_{t=1, t \ne i}^{2b} \exp(z_i \cdot z_t / \tau)}

簡單說,就是:

  • 找出和 anchor ziz_i 有相同 label 和相同 domain 的樣本集合 S(i)S(i)
  • 讓這些 positive 越靠近越好,其他 negative 越遠越好
  • 使用溫度係數 τ\tau 來控制對比程度

如果你有讀過對比學習的筆記,會覺得這很眼熟:沒錯,這其實就是 InfoNCE 的 Supervised 版本,也稱作 Multi-positive InfoNCE。

來看個圖感受一下這三種方法對特徵空間的影響差異:

  • (a) ERM:示意圖中的資料混雜,單一邊界可能依賴 domain 差異
  • (b) ERM + SupCon:資料有群聚了,但每個 domain 的邊界方向還是亂的
  • (c) SA-FAS:不只分得開,而且轉變方向一致,分類穩定

對齊性

有了分群還不夠,如果每個 domain 都有自己的一套邊界方向,那根本沒辦法泛化。

為了解決這問題,SA-FAS 引入了 Invariant Risk Minimization(IRM) 的概念。

IRM 的理想是這樣的:

存在一個 classifier β∗\beta^*,對所有 domain 都有效。

公式長這樣:

min⁡ϕ,β∗1∣E∣∑e∈ERe(ϕ,β∗)(IRM)\min_{\phi, \beta^*} \frac{1}{|E|} \sum_{e \in E} \mathcal{R}_e(\phi, \beta^*) \tag{IRM} s.t. β∗∈arg⁡min⁡βRe(ϕ,β),∀e∈E\text{s.t. } \beta^* \in \arg\min_{\beta} \mathcal{R}_e(\phi, \beta), \quad \forall e \in E

但這個雙層限制式最佳化很難求解;在訓練中途的特徵空間,也可能找不到同時對所有 domain 最優的分類器。

Projected Gradient IRM(PG-IRM)

因此作者提出了一個改良版:PG-IRM。

核心邏輯是:

每個 domain 自己先找一條最適合它的邊界 βe\beta_e,再逐步把大家往同一個方向拉。

這樣問題就變成:

min⁡ϕ,{βe}1∣E∣∑e∈ERe(ϕ,βe)(PG-IRM)\min_{\phi, \{\beta_e\}} \frac{1}{|E|} \sum_{e \in E} \mathcal{R}_e(\phi, \beta_e) \tag{PG-IRM}

並加上一個「鄰近條件」來限制每個 βe\beta_e 不能離其他 domain 太遠:

∀e, βe∈Ωe(ϕ)∩Υα(βe)\forall e, \ \beta_e \in \Omega_e(\phi) \cap \Upsilon_\alpha(\beta_e)

其中:

  • Ωe(ϕ)\Omega_e(\phi) 是該 domain 的最小 loss 解集合
  • Υα(βe)\Upsilon_\alpha(\beta_e) 是一個 α-鄰近集合,要求投影後到其他域最優超平面的最大距離,縮至投影前對應距離的 α\alpha 倍以下:
Υα(βe)={υ∣max⁡e′≠emin⁡βe′∈Ωe′(ϕ)∥υ−βe′∥2≤α⋅max⁡e′≠emin⁡βe′∈Ωe′(ϕ)∥βe−βe′∥2}\Upsilon_\alpha(\beta_e) = \left\{ \upsilon \mid \max_{e' \ne e} \min_{\beta_{e'} \in \Omega_{e'}(\phi)} \|\upsilon - \beta_{e'}\|_2 \le \alpha \cdot \max_{e' \ne e} \min_{\beta_{e'} \in \Omega_{e'}(\phi)} \|\beta_e - \beta_{e'}\|_2 \right\}

整個對齊的過程可以想像成這樣:

  • (a) 原始 IRM 嘗試直接找到 β∗\beta^*,但可能無解
  • (b) PG-IRM 讓每個 domain 各自找出最佳的 βe\beta_e
  • (c) 梯度更新後,將 βe\beta_e 向「離自己最遠的那位」做線性插值,並更新特徵編碼器
  • (d) 收斂時各域超平面幾乎重合,達成 alignment

α-adjacency 是關鍵

為什麼 PG-IRM 可行,而 IRM 卻常常解不了?

因為 PG-IRM 不是要求「所有 domain 一定要一模一樣」,而是只要「大家夠接近」即可。

這個「接近」的概念就是 α-adjacency,如下圖:

圖中的灰色區域是 α\alpha-鄰近集合,黑點是把當前超平面朝最遠的超平面插值後得到的投影;α\alpha 控制的是相對距離的收縮比例,不是固定的距離門檻。

論文把 α\alpha-鄰近集合當作投影目標,並以朝最遠域分類器的線性插值進行更新。但依其距離約束,集合是否非空仍取決於各域最優解的配置;這個插值步驟也不能保證在任意設定下都是對非空集合的歐氏投影。


最後,我們把這兩個 loss 結合起來,形成 SA-FAS 的總 loss:

Lall=Lalign+λLsep\mathcal{L}_{\text{all}} = \mathcal{L}_{\text{align}} + \lambda \mathcal{L}_{\text{sep}}

推論時,我們會把所有 domain 的分類器平均,做出最後決策:

f(x)=Ee∈E[βeTϕ(x)]f(x) = \mathbb{E}_{e \in E}[\beta_e^T \phi(x)]

在本文的四組跨資料集實驗中,這樣訓練的模型表現較佳;附錄的分類器餘弦相似度也顯示各 domain 的分類器逐漸靠近。

討論

這裡採用的是最常見的 cross-domain 評估設定: 從四個資料集(CASIA、Idiap Replay、MSU、Oulu)中擇三做訓練,留下那一個沒看過的作為測試目標。像是:

  • OCI → M:訓練在 Oulu、CASIA、Idiap,測在 MSU
  • OMI → C:訓練在 Oulu、MSU、Idiap,測在 CASIA
  • 以此類推,共有四個方向

這其實是一個 FAS 考古題,看誰能在測試集從來沒出現過的條件下還不會翻車。

和其他方法比較

這裡作者把 SA-FAS 和其他方法的結果放在一起,看看誰的表現最好。

實驗結果顯示,SA-FAS 在四個設定的 HTER 均最低;AUC 則在 OCI→M、OMI→C 低於 SSAN-R。特別是在 OCM→I,HTER 從 SSAN-R 的 8.88% 降至 6.58%,相差 2.30 個百分點,相對降幅約 26%。

如果你想挑戰這四組 cross-domain FAS 設定,這張表提供了一組可對照的分數線。

評估指標分析

作者定義了兩個自創指標:

  • SsepS_{sep}:測試域 live/spoof 特徵中心的 1−cos⁡1-\cos 值(夾角越大,分數越高)
  • SalignS_{align}:各域分類器方向與測試域「live 特徵中心 → spoof 特徵中心」向量的平均餘弦相似度

每個點是一個 training snapshot,X 軸是指標,Y 軸是 AUC 分數。

上圖合併四組設定的相關係數分別為 0.680.68 與 0.460.46,顯示 兩者都與 AUC 呈正相關,但相關程度不同。

  • 有 PG-IRM → SalignS_{align} ↑ → AUC ↑
  • 有 SupCon → SsepS_{sep} ↑ → AUC ↑

這些結果支持 SA-FAS 的幾何設計。

特徵分布

在 OMI → C 的設定下,作者畫出了倒數第二層特徵的 UMAP 分佈:

  • 每個點是 live / spoof 的樣本
  • 顏色代表 domain,虛線是分類器邊界

觀察發現:

  • 圖中的邊界大致能把 unseen domain(CASIA)的 live/spoof 分開
  • 不同解析度的 domain 會表現出不同分布,但分類方向一致

這提供了該組資料的視覺化例子:不必壓平 domain,也能讓不同域的 live/spoof 大致沿同一邊界分開。

DANN 和 SSDG 的比較

DANN 嘗試做 domain-invariant feature,但圖中仍可見 domain gap,尤其 unseen domain 的樣本與訓練域分布不同。

SSDG 相較 DANN,spoof 類別的轉變方向較接近;但圖中訓練域的 live 樣本仍保有 domain gap。這張 UMAP 圖不能單獨量化兩者在所有資料集的泛化差距。

結論

過去我們總想著要消除 domain 的影響,像是在對抗某種雜訊。

但 SA-FAS 給了一個更務實的方向:

與其假裝 domain 不存在,不如設計一個特徵空間,讓它合理存在。

從泛化能力、穩定性、到可解釋性,SA-FAS 都給出了強而有力的答卷。