返回論文筆記資料庫
arXiv 2021AAAI 2021人臉防偽論文筆記

D²AM

千域鍛魂術

原始論文

Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing

論文作者

Zhihong Chen · Taiping Yao · Kekai Sheng …

查看全部 8 位作者

Zhihong Chen · Taiping Yao · Kekai Sheng · Shouhong Ding · Ying Tai · Jilin Li · Feiyue Huang · Xinyu Jin

發表版本
AAAI 2021會議
arXiv 首次提交
arXiv:2105.02453
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{faceantispoofingd2am2021,
  title = {{Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing}},
  author = {Zhihong Chen and Taiping Yao and Kekai Sheng and Shouhong Ding and Ying Tai and Jilin Li and Feiyue Huang and Xinyu Jin},
  year = {2021},
  eprint = {2105.02453},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2105.02453}
}
本頁內容

稍早我們看完了 SSDG,它使用單邊域泛化的技術來處理 FAS 的問題。

這次,曾經風靡一時的 Meta Learning 也加入了戰場。

定義問題

針對 DG 技術在 FAS 上取得初步的成功,這篇論文的作者緊接著就提出了下一個質疑:

所謂的「domain」到底是什麼?

是不同的拍攝場景嗎?還是不同的攻擊方式?還是你乾脆拿資料集的名字來當 domain label?

這些做法過去在 DG 任務中其實都被默默採用了,問題是這些「domain」的劃分方法,其實並不科學。

作者指出三個問題:

  1. 手動標記 domain label 太花時間。

    如果一張圖還要叫人來說「這屬於光線偏黃的領域」,標準化的問題就來了。

  2. domain 本身是複雜因素構成,無法單一維度劃分。

    有的 domain 是因為鏡頭太爛,有的則是模特兒太假,誰能說這兩張應該同一類?

  3. 就算你照資料集來劃,也只是 sub-optimal。

    A 資料集跟 B 資料集,其實中間有不少交集,模型可能早就把他們搞混了。


面對這個困境,作者提出一個方案:

我們能不能讓模型自己學著分群?

讓模型自己產生 pseudo-domain,然後再從這些 pseudo-domain 中訓練泛化能力。

這就是 D²AM 的核心想法。

解決問題

作者提供的模型架構圖看起來非常複雜,容易讓人心生畏懼。

所以我們需要搭配論文中的另外一個區塊來理解這個架構,請參考以下演算法邏輯:

第一階段:分群

這階段的任務很明確:

「我不知道這些圖片來自哪個 domain,沒關係,我自己幫自己分群。」

方法大致上是:

  1. 抽出 CNN 的 style 統計量(mean, std)
  2. 經過 DRLM 模組,把特徵拆成 F+F^+ 和 F−F^-
  3. 用 entropy loss 抑制 F−F^- 中的任務資訊
  4. 選出 F−F^- 中注意力權重最低的一半通道,取其統計量做 K-means,產出 pseudo domain label

我們來看詳細步驟:

  • Step 1:前處理

    參考 Algo1:第 2–5 行,初始時,作者先用一個 ImageNet 預訓練的 ResNet來跑過一遍所有圖片。

    這不是為了分類,而是為了抽出 style feature,組成這樣的向量:

    df(x)={μ(F1),σ(F1),...,μ(FM),σ(FM)}df(x) = \{\mu(F_1), \sigma(F_1), ..., \mu(F_M), \sigma(F_M)\}

    第一輪用這些統計量初始化分群數 KK 與 pseudo-domain;後續 epoch 改用 D²AM 自己的特徵抽出器 EE 重新計算(Algo1:第 6–7 行)。


  • Step 2:用 DRLM 強化 domain 特徵

    DRLM 是一個像 SE block 的小模組,會對 CNN feature 加上 channel attention:

    a=σ(W2⋅ReLU(W1⋅pool(F)))a = \sigma(W_2 \cdot ReLU(W_1 \cdot pool(F)))

    接著,把原始特徵分成兩份:

    • F+=a⋅FF^+ = a \cdot F:這是跟任務相關的特徵。
    • F−=(1−a)⋅FF^- = (1 - a) \cdot F:這是我們關心的 domain 特徵。

  • Step 3:丟掉多餘任務訊息,靠 Entropy loss 清洗

    作者加上一個「反 entropy」正則化:

    Lp=P(F−)log⁡P(F−)\mathcal{L}_p = P(F^-) \log P(F^-)

    其中 P(F−)=Sigmoid(Wp⋅pool(F−))P(F^-) = \text{Sigmoid}(W_p \cdot pool(F^-))

    作者希望藉此降低 F−F^- 對正/負樣本 task label 的可辨性,讓分群更重視 domain 線索。但原論文式 (7) 只寫 plog⁡pp\log p;若單獨最小化此式,極小值在 p=1/ep=1/e,不能直接推出文中所說的 p≈0.5p\approx0.5。


  • Step 4:K-means 分群,產生 pseudo-domain label(Algo1:第 8 行)

    從 F−F^- 選注意力權重最低的一半通道,取其 mean/std 組成 df(x)df(x),再做 K-means clustering。正樣本跟負樣本要分開聚類,再配對合併,讓正負樣本組成同一個 pseudo domain。

    為了避免相鄰 epoch 的 cluster 標籤大幅錯位,作者用了 Kuhn-Munkres(匈牙利算法) 做配對。

第二階段:Meta-learning

有了分好的 pseudo domain,接下來模型要進入「模擬實戰訓練」。

這階段的精神跟 meta-learning 一樣:

我把資料自己分成不同小國家(domain),然後不斷模擬『我在 A 國學到的東西,能不能在 B 國用?』

所以每個 epoch 都會經歷:

  • Meta-train:在 K−1 個 domain 上訓練
  • Meta-test:在剩下那個 domain 上驗證泛化
  • Meta-optimize:根據訓練與測試結果更新參數

這部分跟每次訓練都要做兩件事:Meta-train 和 Meta-test。

  • Step 5:隨機選 K−1 個 pseudo-domain 做 Meta-train(Algo1:第 10–12 行)

    在每個 domain DiD_i 中取出 batch BiB_i,接著做三件事:

    1. 分類 loss(依交叉熵的最小化記法補上負號;原論文式 (8) 未寫負號):
    LCls(Bi)=−∑(x,y)∈Bi[ylog⁡M(E(x))+(1−y)log⁡(1−M(E(x)))]\mathcal{L}_{Cls}(B_i) = -\sum_{(x,y) \in B_i} \bigl[y \log M(E(x)) + (1 - y) \log(1 - M(E(x)))\bigr]
    1. MMD 正則:
    LMMD(Bi)=∥1b∑ϕ(hs)−1b∑ϕ(ht)∥H2\mathcal{L}_{MMD}(B_i) = \left\| \frac{1}{b} \sum \phi(h^s) - \frac{1}{b} \sum \phi(h^t) \right\|^2_{\mathcal{H}}

    其中 hsh^s 是 adaptation layer 的樣本特徵,hth^t 由預設的標準常態分布取樣,並非未知測試域特徵。此項用來讓樣本分布靠近先驗分布,降低 outlier 對後續分群的影響。

    1. Depth regression(使用 PRNet 預估真臉深度):
    LDep(Bi)=∥D(E(x))−I∥2\mathcal{L}_{Dep}(B_i) = \| D(E(x)) - I \|^2
  • Step 6:做 Meta-test(Algo1:第 15–16 行)

    這邊選出一個 domain 作為 unseen test domain,取 batch BtB_t,讓每一個 inner-updated 的 meta learner 去跑一次:

    LCls(Bt,θMi′),LMMD(Bt,θMi′)\mathcal{L}_{Cls}(B_t, \theta_{M_i}'), \quad \mathcal{L}_{MMD}(B_t, \theta_{M_i}')

    最後同樣也會加入 depth loss。


  • Step 7:Meta-Optimization(Algo1:第 17 行)

    這裡三個模組參數一起更新,分別對應 Eq.11–13:

    • θEθ_E:feature extractor
    • θMθ_M:meta learner
    • θDθ_D:depth estimator

    每次更新時還會包含來自 DRLM 的 entropy loss:

    ∑j=13λpLpj\sum_{j=1}^3 \lambda_p \mathcal{L}_p^j

    讓整個網路更專注學出「泛化用的 domain 分群能力」。


最後,我們總結一下這段流水線怎麼跑的:

  1. CNN feature → DRLM:分出 F+F^+ 和 F−F^-
  2. 抽 F−F^- → 聚類產生 pseudo domain label
  3. 用這些 label 當 meta learning 的訓練基礎
  4. 訓練完,再回去重新抽特徵 → 再聚類 → 再訓練
  5. 重複這整個過程,直到訓練結束

整體來說,這就是一套「自己分類、自己訓練、自己對自己更嚴格」的自律型演算法。

討論

和其他方法的比較

說了這麼多,D²AM 到底有沒有真的比較強?

作者在上表中列出一系列實驗結果,拿四個主流 FAS 資料集輪流當作「未知測試集」,讓模型在只有三個來源資料集的情況下,挑戰泛化能力。

實驗結果顯示,D²AM 在四組設定中有三組取得最低 HTER、兩組取得最高 AUC;在 O&M&I → C,RFM 的 HTER(20.27%)與 AUC(88.16%)都優於 D²AM(20.98%、85.58%)。

在其餘三個目標資料集上,D²AM 的 HTER 較低;但以 OULU 為目標時,RFM 的 AUC 仍較高(91.16% 對 90.87%)。這些實驗在訓練時沒有使用來源資料集的 domain label,而是以聚類產生 pseudo-domain。

t-SNE 可視化

作者還貼心地用了 t-SNE 畫了一堆圖來幫助理解:

  • F+F^+(任務特徵):此 t-SNE 投影中的真假樣本較可區分
  • F−F^-(domain 特徵):此投影保留較多來源域的分群線索

這與 F−F^- 用於分群、F+F^+ 用於真假判斷的設計方向一致。

投影圖可供定性比較兩組特徵。

聚類可視化

作者進一步觀察 pseudo-domain 的行為,做出一些很有趣的發現:

  • 隨著 epoch 推進,D²AM 分群的依據會變:

    • Epoch 3 聚焦在光線
    • Epoch 6 聚焦在背景
  • 相鄰 epoch 的 pseudo-domain 標籤 NMI 約為 0.6~0.8,顯示分群結果在訓練期間持續變動。

此外,pseudo-domain 與以來源資料集定義的 domain 之間,論文報告的 NMI 為 64.9% ± 5.7%;這是標籤分群相似度,不是樣本「重疊率」。

這項結果說明,聚類得到的劃分與直接按資料集切分不同;哪種切法較好,仍要看下游評測。

結論

D²AM 在 DG 這條路上,提出了一條截然不同的路線。

不需要你幫我標 domain,我自己分群、自己訓練、自己變強。

它的核心觀念很簡單:「泛化能力,不該建立在你事先知道每個 domain 是什麼。」

透過 DRLM 模組 + Entropy Loss + MMD 正則化,D²AM 能在沒有 domain label 的情況下,學出「更有挑戰性」的 domain 劃分方式,進一步訓練出真正穩定的 FAS 模型。

這不只是一個 FAS 案例,也是一種更通用的機器學習思維。

對於那些資料來源混雜、domain 不明的場景來說,D²AM 給出了一個極具啟發性的起點。