Suppress and Rebalance: Towards Generalized Multi-Modal Face Anti-Spoofing
- 發表版本
- CVPR 2024會議
- arXiv 首次提交
- arXiv:2402.19298
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{faceantispoofingmmdg2024,
title = {{Suppress and Rebalance: Towards Generalized Multi-Modal Face Anti-Spoofing}},
author = {Xun Lin and Shuai Wang and Rizhao Cai and Yizhong Liu and Ying Fu and Wenzhong Tang and Zitong Yu and Alex Kot},
year = {2024},
eprint = {2402.19298},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2402.19298}
}
在這篇論文發表的當下,電腦視覺領域已經是多模態架構的天下。
但 FAS 的問題依然存在,跨域泛化始終都是個難題。
定義問題
RGB 模型跑得快,資料集建構相對容易。其他模態的資訊也不是不好,像是深度圖可以看到立體結構,紅外線能感測溫度或材質反光,對於判斷「這張臉是真是假」其實非常有幫助。
但為什麼多模態幾乎沒人用呢?或是用了之後,反而泛化更差,幾乎找不到可以落地機會?
作者點出了兩個關鍵:
-
Modality Unreliability(模態不可靠)
感測器一換、光源一變、domain 就整個跑掉。尤其是 IR 跟 depth,原本該補強的資訊,反而成了誤導的來源。
你用 cross-modal fusion 把所有模態的資訊湊在一起,結果好壞參半,還會彼此拖累。
-
Modality Imbalance(模態失衡)
模型訓練時會自動挑「學起來最快的模態」,通常是 RGB。
其他模態的資訊學不進去,只是表面上有用、實際上沒被學好。一旦到了 target domain,RGB 不管用了,其他慢模態也還沒練成,只能一起陪葬。
所以你看,多模態 FAS 的難,不只是在「多」,而是這些模態根本就不平等,也不可信任。
因此,這篇論文的作者認為:
我們得同時處理「不可靠的訊號來源」,還要訓練一個「不偏心的模型」。
這就是這篇論文的問題定義核心。
解決問題
為了解決多模態 FAS 的問題,作者提出 MMDG(Multi-Modal Domain Generalized)架構,主打兩個功能:
- Suppress(抑制不可靠模態):在跨模態融合時,對不可靠的模態進行懲罰,讓它們的影響力變小。
- Rebalance(平衡模態學習速度):在訓練時,對模態間的梯度進行調整,讓每個模態都能夠有效學習。
從上架構圖來看,每個模態(RGB、深度、紅外線)各自有 ViT backbone,再接上自己專屬的 U-Adapter 負責跨模態融合。
訓練時,ViT backbone 保持凍結,U-Adapter 與分類器參與訓練。ReGrad 調整作用於 U-Adapter 的跨模態梯度,以減輕快模態主導訓練的問題。
U-Adapter
如上圖所示,U-Adapter 是這篇方法的核心模組,接在 ViT block 的 MLP 輸出路徑上;ViT 權重凍結,Adapter 與最後的分類器參與訓練。它的任務是:
- 偵測每個模態中「不可靠」的 token(透過不確定性估計模組 UEM);
- 在做跨模態融合時,對這些不可靠 token 降低影響力,避免其資訊污染其他模態。
不確定性估計模組
參考上圖的 (b),為了找出不可靠的區域,作者引入了不確定性估計模組:
- Uncertainty Estimation Module(UEM)。
這個模組在 Multi-Head Self-Attention 後以 Monte Carlo Dropout(MCD)多次採樣,計算各 token 特徵的變異數,作為不確定性的估計。
設 為 MCD 採樣結果,不確定性估計為:
跨模態融合機制
參考上圖 (c),U-Adapter 不只是做融合,而是 有選擇地融合。
它會壓制來自其他模態的「可疑 token」,避免擴散誤導。
以深度模態為例,其 U-Adapter 的融合過程如下:
- Query 來自另一模態(例如 RGB)的
- Key 與 Value 來自自己的
- 融合過程會根據 RGB 模態的不確定性 進行調整
其公式如下:
其中:
- 、、 為 query、key、value 線性投影
- 是不確定性懲罰權重; 是擴展維度用的全 1 列向量,越不確定的 query token,影響力越低
- 表示 Hadamard product(逐元素乘法)
- 是 Central Difference Convolution,用來增強 token 間的 local difference,彌補 ViT 缺乏鄰域敏感性的問題
三個模態的最終輸出 結合了兩次跨模態融合,以及 ViT block 自身的殘差連接:
其中:
- :ViT block 中的 LN 輸出
- :ViT block 中的 MLP 輸出
- :模態 對應的不確定性估計
ReGrad
ReGrad 的目標很簡單:讓慢的模態學得更多,快的模態學得少一點。
但實際上,每個模態的梯度方向不一定一致,甚至會彼此打架。
所以作者做了這件事:
根據模態的收斂快慢與梯度是否衝突,決定要保留哪一部分的梯度、壓抑哪一部分,並以不確定性限制跨模態影響。
以下是四種情況的處理方式,對應圖四中的 (b1)、(b2)、(c1)、(c2):
其中:
- 、:模態 和 的反向傳播梯度向量
- 、:各模態最後一個 ViT block 的 class token 不確定性之批次平均值
- :不確定性懲罰函數,定義為 ,會壓制不穩定模態的梯度影響力
上面的式子看起來雖然猙獰,但其實不難理解:
- 若 較慢且梯度不衝突,保留 在 方向上的分量、捨去其正交分量,藉此協助 ;若梯度衝突,則捨去 中與 方向相反的分量。
- 若 較快,則依公式交換快慢角色處理。
- 依對應模態的不確定性縮小保留分量的影響。論文只將 ReGrad 作用於交叉熵損失的梯度,SSP 損失不參與梯度調節。
SSP Loss
除了梯度調節,MMDG 還加上了一個對模態內聚有幫助的 loss:
- Single-Side Prototypical Loss(SSP)。
首先,作者將所有來源域的 live 樣本視為一組,每個來源域的 spoof 樣本各自成組;對每個模態 、每組 的原型向量定義為:
接著,SSP Loss 定義如下:
這個 loss 會讓樣本靠近所屬 live/spoof 組的 prototype、遠離其他組的 prototype。作者以各模態 SSP 損失的高低判斷收斂快慢,較低者視為較快。
綜合來看,整體 loss function 為:
其中 是分類任務的交叉熵損失, 用來調整 SSP 的影響比例。
討論
和其他方法的比較
表格橫軸是測試資料集(被當作 unseen domain),縱軸則是不同的方法,包含:
- 傳統的 Domain Generalized 方法(SSDG、SSAN、IADG...)
- 多模態方法(CMFL、MM-CDCN)
- 可彈性處理缺模態的 Flexible-modal 方法(ViT+AMA、VP-FAS)
測試方法是將三個資料集做訓練,一個拿來測試,每次輪流 leave-one-out。
實驗結果顯示:MMDG 在表 1 四組跨資料集測試的 HTER 與 AUC 都是 最好的。與 Flexible-modal 方法 VP-FAS 相比,四組平均 HTER 為 19.25% 對 25.45%,平均 AUC 為 87.96% 對 81.08%,分別相差 6.20 與 6.88 個百分點;這不是每一組測試都有至少 6 個百分點的差距。
這是一個蠻明確的訊號:
多模態並不是越多越好,只有「知道哪些資訊該信、哪些該關掉」的融合策略,才能讓模型在看不見的新世界裡活下去。
消融實驗
為了展示每個設計元件的貢獻,作者做了許多消融實驗。
實驗結果顯示,在作者測試的幾種 DG 與多模態方法中,換用 ViT + U-Adapter 後,表中的平均表現有提升:
- SSDG、SSAN、IADG 等對照方法換用 ViT + U-Adapter 後,在圖 5 的比較中取得改善;這些方法原本並非都以 ViT 為 backbone。
- 只用 ViT + U-Adapter 與 Cross Entropy 的設定,在表 4 平均 HTER 27.38%、AUC 78.88%,優於該表不加 Adapter 的 ViT,但仍落後加上 ReGrad 的 19.48%、87.48%。
如果再加上 ReGrad,表 4 的平均 HTER 與 AUC 進一步改善。這說明:
- U-Adapter 在圖 5 測試的幾種方法中有幫助;表格沒有測試任意 ViT 架構。
- 它不只是做融合,還會依不確定性降低部分資訊的權重;效益仍以本研究的協定為限。
最後作者也實測了 ReGrad 的兩個變體(衝突和非衝突情況),結果都不如全情境啟動的版本,說明:
- 只在梯度衝突時啟動的平均 HTER/AUC 為 21.91%/85.65%,只在不衝突時啟動為 21.23%/85.51%;兩者都優於不用 ReGrad 的 27.38%/78.88%,但不及全情境啟動的 19.48%/87.48%。
- 這支持在表 4 設定下同時處理兩種梯度關係,不能單憑此表判定所有跨域泛化問題的關鍵只有學習進度。
不確定性機制的效果
作者直接拆開兩個模組(U-Adapter、ReGrad)裡的 uncertainty,用來驗證:
- 這個估計不確定性的機制到底有沒有幫助?
結果很明顯:
- 如果拿掉 U-Adapter 裡的 uncertainty 控制,性能會下降
- 如果拿掉 ReGrad 裡的 uncertainty 權重,同樣會掉分
- 兩個都用時,平均 HTER 19.48%、AUC 87.48% 為表中最佳;相較只在 U-Adapter 使用不確定性,HTER 改善 3.27 個百分點,AUC 改善 2.64 個百分點,並非兩項指標都「超過 3%」。
這些消融結果支持在該協定下使用不確定性權重;它們量到的是分類結果,沒有直接量到跨模態資訊是否完全不受干擾。
如下圖所示,深度圖與紅外線示例中有較高不確定性的區域;注意力圖仍可能關注這些位置,而 U-Adapter 在跨模態融合時降低其權重。這張示例圖無法單獨證明誤判已被排除。
結論
人們可能會認為多模態系統的未來會是那種「我全都要」的強化版模型。
RGB 不夠?加 IR;IR 不夠?加 Depth;I 最後再來個 CLIP 式融合!彷彿模態愈多愈安全。
但這篇告訴我們:當 domain shift 發生時,模型能不能正確地判斷「哪些資訊是可信的、哪些該懷疑」,反而才是決定能不能泛化的關鍵。
MMDG 的價值在於它把這個「不確定性」的概念,變成了模型內部的一部份,並進一步用梯度、用融合機制去設計一套「該信誰、該壓誰」的判斷與行動流程。