Rethinking Domain Generalization for Face Anti-spoofing: Separability and Alignment
- 發表版本
- CVPR 2023會議
- arXiv 首次提交
- arXiv:2303.13662
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{faceantispoofingsafas2023,
title = {{Rethinking Domain Generalization for Face Anti-spoofing: Separability and Alignment}},
author = {Yiyou Sun and Yaojie Liu and Xiaoming Liu and Yixuan Li and Wen-Sheng Chu},
year = {2023},
eprint = {2303.13662},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2303.13662}
}
對於 FAS 這個題目,我們先是看過了基於 Domain Generalization(DG)的解決方案 SSDG,然後又是自適應 DG 的解決方案 D²AM。
那麼 DG 到底是不是一個正確的方向呢?
定義問題
DG 用起來確實不錯,但還是有其侷限性。
首先,過去這些方法大多數都建構在一個理想化的前提上:
我們可以學到一個「不受 domain 影響」的特徵空間。
這聽起來很美,但實際上往往撐不起來。
因為訓練資料的 domain 數量有限、變化範圍也受限,模型很容易就在訓練的分佈上發生過擬合。一旦來到真實測試情境,像是不同設備、解析度或光源,模型就會開始出現幻覺。
還有更糟的情況是: 當來自不同 domain 的資料被硬壓進同一個特徵空間裡,live 跟 spoof 本來好好的分開,結果被搞得混在一起。
這時候模型會怎樣判斷? 很簡單,它會學到一些無關痛癢的「錯誤相關性」,例如:
「低解析度的是攻擊,高解析度的是真人。」
但一換 domain,這種關聯性根本就不存在,結果就是大災難。
既然 domain-invariant 這條路不太通,那我們不如換個方向想:
與其把 domain 訊號抹掉,不如好好地「保留下來」,然後重新設計特徵空間。
解決問題
SA-FAS 的出發點其實很單純:
我們不再試圖消除 domain 的影響,而是正視並善用這些差異,重新設計特徵空間。
這個空間要具備兩個核心特性:
- 可分性(Separability):live / spoof 之間要分得清楚,不同 domain 也能保有結構
- 對齊性(Alignment):在本文的印刷與重播攻擊設定中,各 domain 的真臉到假臉轉變應朝相同方向
這聽起來像是矛盾:又要分開,又要一致?
但事實上,這兩者是互補的:分開讓我們不被 domain 混淆,一致讓我們可以用同一條邊界來分類。
可分性
為了讓同一類別、同一 domain 的資料能夠「聚在一起」,SA-FAS 採用了 Supervised Contrastive Learning(SupCon);每個訓練樣本先做兩次資料增強,再抽取 正規化特徵。
這段 loss 是這樣定義的:
簡單說,就是:
- 找出和 anchor 有相同 label 和相同 domain 的樣本集合
- 讓這些 positive 越靠近越好,其他 negative 越遠越好
- 使用溫度係數 來控制對比程度
如果你有讀過對比學習的筆記,會覺得這很眼熟:沒錯,這其實就是 InfoNCE 的 Supervised 版本,也稱作 Multi-positive InfoNCE。
來看個圖感受一下這三種方法對特徵空間的影響差異:
- (a) ERM:示意圖中的資料混雜,單一邊界可能依賴 domain 差異
- (b) ERM + SupCon:資料有群聚了,但每個 domain 的邊界方向還是亂的
- (c) SA-FAS:不只分得開,而且轉變方向一致,分類穩定
對齊性
有了分群還不夠,如果每個 domain 都有自己的一套邊界方向,那根本沒辦法泛化。
為了解決這問題,SA-FAS 引入了 Invariant Risk Minimization(IRM) 的概念。
IRM 的理想是這樣的:
存在一個 classifier ,對所有 domain 都有效。
公式長這樣:
但這個雙層限制式最佳化很難求解;在訓練中途的特徵空間,也可能找不到同時對所有 domain 最優的分類器。
Projected Gradient IRM(PG-IRM)
因此作者提出了一個改良版:PG-IRM。
核心邏輯是:
每個 domain 自己先找一條最適合它的邊界 ,再逐步把大家往同一個方向拉。
這樣問題就變成:
並加上一個「鄰近條件」來限制每個 不能離其他 domain 太遠:
其中:
- 是該 domain 的最小 loss 解集合
- 是一個 α-鄰近集合,要求投影後到其他域最優超平面的最大距離,縮至投影前對應距離的 倍以下:
整個對齊的過程可以想像成這樣:
- (a) 原始 IRM 嘗試直接找到 ,但可能無解
- (b) PG-IRM 讓每個 domain 各自找出最佳的
- (c) 梯度更新後,將 向「離自己最遠的那位」做線性插值,並更新特徵編碼器
- (d) 收斂時各域超平面幾乎重合,達成 alignment
α-adjacency 是關鍵
為什麼 PG-IRM 可行,而 IRM 卻常常解不了?
因為 PG-IRM 不是要求「所有 domain 一定要一模一樣」,而是只要「大家夠接近」即可。
這個「接近」的概念就是 α-adjacency,如下圖:
圖中的灰色區域是 -鄰近集合,黑點是把當前超平面朝最遠的超平面插值後得到的投影; 控制的是相對距離的收縮比例,不是固定的距離門檻。
論文把 -鄰近集合當作投影目標,並以朝最遠域分類器的線性插值進行更新。但依其距離約束,集合是否非空仍取決於各域最優解的配置;這個插值步驟也不能保證在任意設定下都是對非空集合的歐氏投影。
最後,我們把這兩個 loss 結合起來,形成 SA-FAS 的總 loss:
推論時,我們會把所有 domain 的分類器平均,做出最後決策:
在本文的四組跨資料集實驗中,這樣訓練的模型表現較佳;附錄的分類器餘弦相似度也顯示各 domain 的分類器逐漸靠近。
討論
這裡採用的是最常見的 cross-domain 評估設定: 從四個資料集(CASIA、Idiap Replay、MSU、Oulu)中擇三做訓練,留下那一個沒看過的作為測試目標。像是:
- OCI → M:訓練在 Oulu、CASIA、Idiap,測在 MSU
- OMI → C:訓練在 Oulu、MSU、Idiap,測在 CASIA
- 以此類推,共有四個方向
這其實是一個 FAS 考古題,看誰能在測試集從來沒出現過的條件下還不會翻車。
和其他方法比較
這裡作者把 SA-FAS 和其他方法的結果放在一起,看看誰的表現最好。
實驗結果顯示,SA-FAS 在四個設定的 HTER 均最低;AUC 則在 OCI→M、OMI→C 低於 SSAN-R。特別是在 OCM→I,HTER 從 SSAN-R 的 8.88% 降至 6.58%,相差 2.30 個百分點,相對降幅約 26%。
如果你想挑戰這四組 cross-domain FAS 設定,這張表提供了一組可對照的分數線。
評估指標分析
作者定義了兩個自創指標:
- :測試域 live/spoof 特徵中心的 值(夾角越大,分數越高)
- :各域分類器方向與測試域「live 特徵中心 → spoof 特徵中心」向量的平均餘弦相似度
每個點是一個 training snapshot,X 軸是指標,Y 軸是 AUC 分數。
上圖合併四組設定的相關係數分別為 與 ,顯示 兩者都與 AUC 呈正相關,但相關程度不同。
- 有 PG-IRM → ↑ → AUC ↑
- 有 SupCon → ↑ → AUC ↑
這些結果支持 SA-FAS 的幾何設計。
特徵分布
在 OMI → C 的設定下,作者畫出了倒數第二層特徵的 UMAP 分佈:
- 每個點是 live / spoof 的樣本
- 顏色代表 domain,虛線是分類器邊界
觀察發現:
- 圖中的邊界大致能把 unseen domain(CASIA)的 live/spoof 分開
- 不同解析度的 domain 會表現出不同分布,但分類方向一致
這提供了該組資料的視覺化例子:不必壓平 domain,也能讓不同域的 live/spoof 大致沿同一邊界分開。
DANN 和 SSDG 的比較
DANN 嘗試做 domain-invariant feature,但圖中仍可見 domain gap,尤其 unseen domain 的樣本與訓練域分布不同。
SSDG 相較 DANN,spoof 類別的轉變方向較接近;但圖中訓練域的 live 樣本仍保有 domain gap。這張 UMAP 圖不能單獨量化兩者在所有資料集的泛化差距。
結論
過去我們總想著要消除 domain 的影響,像是在對抗某種雜訊。
但 SA-FAS 給了一個更務實的方向:
與其假裝 domain 不存在,不如設計一個特徵空間,讓它合理存在。
從泛化能力、穩定性、到可解釋性,SA-FAS 都給出了強而有力的答卷。