返回論文筆記資料庫
WACV Workshops 2022人臉防偽論文筆記

Personalized-FAS

個人化的嘗試

原始論文

A Personalized Benchmark for Face Anti-Spoofing

論文作者

Davide Belli · Debasmit Das · Bence Major · Fatih Porikli

發表版本
WACV Workshops 2022研討會(Workshop)
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@inproceedings{faceantispoofingpersonalizedfas2022,
  title = {{A Personalized Benchmark for Face Anti-Spoofing}},
  author = {Davide Belli and Debasmit Das and Bence Major and Fatih Porikli},
  year = {2022},
  booktitle = {WACV Workshops},
  url = {https://openaccess.thecvf.com/content/WACV2022W/MAP-A/html/Belli_A_Personalized_Benchmark_for_Face_Anti-Spoofing_WACVW_2022_paper.html}
}
本頁內容

這篇論文偏向應用層面,引用數量不多。

但是它針對現有的 FAS 模型提出了個人化的 benchmark,概念上有契合到目前社會上對於隱私的重視,我們來看一下。

定義問題

我們也陸續看了幾篇 FAS 的論文。

其中的工作模式就是把一張新的圖片,送進已經訓練好的 FAS 模型,然後模型會告訴你這張圖片是 live 還是 spoof。這個過程中,模型會根據圖片的特徵來進行判斷。

而這篇論文的作者則是把主意打到了「使用者註冊影像」上面。

目前的人臉辨識模型都是基於「度量學習」的架構。在實際的應用中,使用者會在註冊的時候拍攝一張(或多張)照片存入系統中,後續的驗證過程會基於這些註冊的照片來進行比對。

那為什麼不把這些註冊的照片也拿來當作 FAS 模型的參考呢?

這篇論文的作者就提出了這樣的想法,並且在實驗中證明了這個方法的有效性。

解決問題

模型架構

本研究提出一套簡潔但可擴充的個人化 FAS 架構,其核心理念為:將來自使用者註冊階段的影像(Enrollment Set)視為「個人活體參照」,並藉由特徵聚合機制與當前查詢影像(Query)進行比較,以強化活體辨識的可靠性。整體流程如上圖所示,可分為以下三個階段:

  1. 雙路徑特徵擷取模組:

    模型使用兩組彼此獨立的 CNN encoder,分別針對 query 圖像與 enrollment 圖像進行編碼。作者讓兩路特徵擷取器分別學習 query 與 enrollment 的表示;共用權重是否合適,另由消融實驗檢驗。

    • 查詢圖像 IqI_q 透過 encoder ϕq\phi_q 提取為特徵向量 fq∈RDf_q \in \mathbb{R}^D
    • Enrollment 圖像 {Iei}i=1N\{I^i_e\}_{i=1}^N 則由另一 encoder ϕe\phi_e 分別編碼為 {fei}i=1N\{f^i_e\}_{i=1}^N
  2. Enrollment 特徵聚合模組:

    模型需將多張 enrollment 圖像的特徵整合為單一潛在向量 feaggf^{agg}_e,作為該使用者的個人化代表。這裡作者探索了多種聚合策略,包括:

    • 非參數方法

      • Concatenation

        • 將 NN 個 enrollment 特徵串接成 N⋅DN \cdot D 長度向量
        • 保留完整資訊,但順序敏感,無 permutation-invariance
      • Mean

        • 對 NN 個特徵取平均 feagg=1N∑i=1Nfeif^{agg}_e = \frac{1}{N} \sum_{i=1}^N f^i_e
        • 高度壓縮為單一向量,具順序不變性
        • 搭配 MLP 建模 query 與 enrollment 之間的對應關係

    • 序列建模(GRU)

      • Enrollment 特徵視為時間序列(特別適用於 SiW 影片 frame)
      • 使用 GRU 演算法遞迴聚合: hli=GRU(fli,hli−1)h_l^i = \text{GRU}(f_l^i, h_l^{i-1})
      • 最後一層的 hidden state 作為聚合特徵 feagg=hLNf^{agg}_e = h_L^N

      這個方式可建模按影片順序抽取的 enrollment 特徵;是否優於非序列聚合,仍由實驗比較。


    • 賦權式學習(Attention)

      對 query 和 enrollment 特徵使用 key-query-value attention:

      feagg=Softmax(QKTM)Vf^{agg}_e = \text{Softmax} \left( \frac{QK^T}{\sqrt{M}} \right)V

      具體作法為:

      • Q=AQ(fq)Q = A_Q(f_q)
      • Ki=AK(fei)K_i = A_K(f^i_e), Vi=AV(fei)V_i = A_V(f^i_e)
      • AQ,AK,AVA_Q, A_K, A_V 均為 linear layer

      這個方式適合建模 query 與 enrollment 特徵間的 相似性,可強化 query 與 enrollment 的對應關係。


    • 圖神經網路(GNN)

      將 query + enrollment 特徵視為圖中節點

      • N+1N + 1 個節點:query + N 個 enrollment

      每層 GNN 執行:

      1. 計算鄰接矩陣 AlA_l:基於節點特徵間的距離函數 ψl(fli,flj)\psi_l(f^i_l, f^j_l)
      2. 圖卷積更新節點特徵: fl+1i=ρ(∑Al∈AlAlfliWl)f^{i}_{l+1} = \rho \left( \sum_{A_l \in \mathcal{A}_l} A_l f^i_l W_l \right)

      最終由 query 節點的輸出直接得到分類預測。

      這個方式適合建模 enrollment 特徵間的 相對關係,可捕捉不同 enrollment 圖像間的相似性與差異性。


    在實驗中,最簡單的平均法(mean operator)反而展現出穩定且優異的表現,顯示即使在不改變模型主體架構的前提下,透過簡潔的聚合策略也能有效導入個人化概念。

  3. 特徵融合與分類模組:

    除 GNN 方案由 query 節點直接預測外,其他聚合方式將 fqf_q 與 feaggf^{agg}_e 串接,輸入 MLP 分類。模型以交叉熵端到端訓練,預測 query 的 live/spoof 類別。

此架構可在多種 backbone 上評估,但實際部署成本與安全性仍須另外驗證。

Enrollment 特徵不依賴當前 query,可在註冊時預先計算;查詢時仍須處理 query 並執行聚合與分類。論文實驗使用 RGB 影像,沒有測試嵌入向量的隱私保障或多模態部署。

建置資料集

為驗證所提模型架構的效益,作者將現有的公開 FAS 資料集進行改造,打造出首批具備「使用者 enrollment 對應關係」的個人化版本,分別為:

  • CASp-Enroll(由 CelebA-Spoof 改造)
  • SiW-Enroll(由 SiW 改造)。

這套資料集轉換流程可用於具備 subject metadata、且每位保留使用者有足夠 live 樣本的反欺騙資料集,其核心邏輯如下:

  • 原始資料集中,每筆資料為一張 query 圖像及其 spoof 標籤 di=(Iq(i),tq(i))d_i = (I_q^{(i)}, t_q^{(i)})
  • 個人化資料集則新增對應的 enrollment set,包含同一使用者的 N 張 live 圖像: di=(Iq(i),tq(i),e(i)),其中 e(i)=(Ie1,...,IeN)d_i = (I_q^{(i)}, t_q^{(i)}, \mathbf{e}^{(i)}), \quad \text{其中 } \mathbf{e}^{(i)} = (I^1_e, ..., I^N_e)
  • 為每位使用者建立對應的 enrollment,並將其套用於該使用者保留下來的 query 樣本

CelebA-Spoof-Enroll(CASp-EnrollN)

CelebA-Spoof 為當前最大規模之一的活體辨識資料集,涵蓋超過 10,000 名使用者與 60 萬張圖像。為建立 CASp-Enroll,作者制定以下策略:

  • 設定固定 enrollment 數量 N(如 N=5),確保每位使用者都能建立統一維度的參照集
  • 對每位使用者進行篩選:若其 live 樣本數不超過 N,則排除,以保留至少一張 live query
  • 將前 N 張 live 圖像指定為 enrollment,剩餘 live + spoof 為 query
  • Enrollment 選取採檔名排序,避免隨機因素引入偏差

透過這樣的資料切分邏輯,不僅維持資料標準化,也貼合實務上「事先註冊 → 後續驗證」的應用流程。

SiW-Enroll(SiW-EnrollN)

SiW 是一個以高品質影片為基礎的反欺騙資料集,原始資料來自 165 位受試者所拍攝的 4,478 支短片。為將其個人化轉換:

  • 先按 Protocol 1 切分 train/test,再以每 10 幀抽樣,並建立訓練與測試使用不同攻擊類型的兩個 fold
  • 對每位使用者 × 設備組合,選取一支代表影片,並從中平均抽取 N 張 frame 作為 enrollment
  • 為模擬實際設備操作場景,影片需符合:
    • 無光源變化
    • 有姿勢變化(以提升 enrollment 表徵多樣性)
  • 該影片所有 frame 均排除於 query,避免資訊洩漏

此設計讓每位使用者在不同拍攝設備下有各自的 enrollment,並避免註冊影片的影格洩漏至 query。

討論

個人化真的好嗎?

實驗結果如上表,我們可以清楚看到,在兩組個人化資料集(CASp-Enroll5 與 SiW-Enroll5)的三種 backbone 上,使用 mean 聚合的個人化模型在表列 AUC、AUC10 與 EER 均優於相應 baseline;這是重新訓練後的比較。

  • 在 CASp-Enroll5 上,個人化版本的 AUC10 最高提升 2.3 個百分點(ResNet18:94.1% → 96.4%);VGG16 與 FeatherNet 也都有提升。
  • FeatherNet 雖為專為 FAS 設計的輕量模型,但加入個人化後依然有穩定進步,顯示這個方法不只對大模型有用,對資源敏感的部署架構也同樣有效。

相較之下,SiW-Enroll5 的提升幅度較小,推測與其 enrollment 組成較為單一、變異性較低有關,導致個人化參照資訊的辨識力不如 CASp-Enroll5 豐富。

這項結果直接回應了我們的第一個研究問題:

加入個人化參照資料,是否能真正改善 FAS 的判斷效能?

答案是肯定的。

在所測資料集與模型中,加入 enrollment 分支並重新訓練後,分類結果改善;單純提供影像給原有模型是否有效,論文沒有測試。

最簡單的方法最好?

作者評估了五種不同的 enrollment 特徵聚合方法。

從圖中實驗結果可見:

平均(Mean)在所測指標中表現穩定,但並非每項都最高。

我們具體觀察:

  • 在 CASp-Enroll5 上,Mean 聚合取得最高 AUC 與 AUC10(98.6 / 94.1),同時也讓 EER 降至全場最低(5.9),展現出極高的綜合性能。
  • 在 SiW-Enroll5 中,Concatenation 的 AUC/AUC10/EER(98.2/94.3/6.0)均優於 Mean(98.1/93.3/6.2);Mean 在各指標仍位居前三。
  • 相較之下,Attention 的結果令人意外地落後,不僅未優於 baseline,在 SiW 中甚至略為退步(EER 提升至 7.1)。
  • GNN 雖展現一定表達能力,但在 CASp 中反而落後於非參數方法,表示其複雜度未能帶來對等的效益。

這些結果再次呼應了在模型設計中的一項常見現象:越複雜的機制,並不一定越有效。 特別是在 enrollment 資料品質與規模有限的前提下,簡單的方法反而更容易學習穩定的匹配邏輯。

不可共用 encoder?

這項消融實驗嘗試回答一個關鍵問題:query 圖像與 enrollment 圖像,是否可以共用同一組 feature extractor?

從直覺上來看,兩者皆為人臉影像,輸入型態相同,理應可以由同一組 CNN encoder 處理;然而,實驗結果卻給出一個明確且意外的結論:

在這組 VGG16 消融中,共用 encoder 的表現低於分離 encoder。

實驗結果如上表,當我們將 query 與 enrollment 圖像交由同一個 encoder 進行特徵提取時:

  • 在 CASp-Enroll5 上,AUC10 明顯下降(由 94.1 降至 90.8),EER 急升至 13.7%,甚至低於無個人化的 baseline。
  • 在 SiW-Enroll5 上,更是重創效能,EER 為 20.6%,高於分離 encoder 的 6.2% 與 baseline 的 6.8%。

相對之下,採用獨立的 encoder 設計則維持原有高效表現。

結論

這項研究提出了個人化 FAS 的全新思路,透過引入使用者的註冊影像作為參照,讓模型在辨識過程中得以結合個體特徵,有效提升 spoof 攻擊的辨識能力。從建立 benchmark、轉換流程,到評估聚合策略與模型設計,整體工作清晰而具啟發性,為未來針對使用者差異化的 FAS 系統提供了起點。