{"notes":[{"id":"face-antispoofing/mmdg","category":"face-antispoofing","legacyPath":"face-antispoofing/2402-mmdg","legacySlug":"2402-mmdg","legacyPaths":[],"title":"MMDG","subtitle":"信任管理學","author":"Z. Yuan","paperDate":"2024-02-29","publishedOn":"2025-04-19","paperTitle":"Suppress and Rebalance: Towards Generalized Multi-Modal Face Anti-Spoofing","paperUrl":"https://arxiv.org/abs/2402.19298","bibliography":{"title":"Suppress and Rebalance: Towards Generalized Multi-Modal Face Anti-Spoofing","authors":["Xun Lin","Shuai Wang","Rizhao Cai","Yizhong Liu","Ying Fu","Wenzhong Tang","Zitong Yu","Alex Kot"],"url":"https://arxiv.org/abs/2402.19298","pdfUrl":"https://arxiv.org/pdf/2402.19298","codeUrl":"https://github.com/OMGGGGG/mmdg","preprint":{"id":"2402.19298","submittedOn":"2024-02-29","url":"https://arxiv.org/abs/2402.19298"},"publication":{"venue":"CVPR","year":2024,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2024/html/Lin_Suppress_and_Rebalance_Towards_Generalized_Multi-Modal_Face_Anti-Spoofing_CVPR_2024_paper.html"},"citation":"@misc{faceantispoofingmmdg2024,\n  title = {{Suppress and Rebalance: Towards Generalized Multi-Modal Face Anti-Spoofing}},\n  author = {Xun Lin and Shuai Wang and Rizhao Cai and Yizhong Liu and Ying Fu and Wenzhong Tang and Zitong Yu and Alex Kot},\n  year = {2024},\n  eprint = {2402.19298},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2402.19298}\n}\n","citationPath":"/content/papers/citations/face-antispoofing/mmdg.5a010af0ca4d.bib"},"thumbnail":{"src":"/content/papers/assets/7bcf7ad3d8ab0be7abd0c73737c9275503139b1456389ad3546e5e6166312b77.jpg","width":912,"height":928},"locale":"zh-hant","path":"/content/papers/zh-hant/face-antispoofing/mmdg.3d91aec9366d.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"u-adapter","text":"U-Adapter","depth":3},{"id":"不確定性估計模組","text":"不確定性估計模組","depth":3},{"id":"跨模態融合機制","text":"跨模態融合機制","depth":3},{"id":"regrad","text":"ReGrad","depth":3},{"id":"ssp-loss","text":"SSP Loss","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"和其他方法的比較","text":"和其他方法的比較","depth":3},{"id":"消融實驗","text":"消融實驗","depth":3},{"id":"不確定性機制的效果","text":"不確定性機制的效果","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-tuning/adapter","relation":"referenced","topic":""}]},{"id":"model-tuning/adapter","category":"model-tuning","legacyPath":"model-tuning/1902-adapter","legacySlug":"1902-adapter","legacyPaths":[],"title":"Adapter","subtitle":"參數節省九成六","author":"Z. Yuan","paperDate":"2019-02-02","publishedOn":"2024-05-16","paperTitle":"Parameter-Efficient Transfer Learning for NLP","paperUrl":"https://arxiv.org/abs/1902.00751","bibliography":{"title":"Parameter-Efficient Transfer Learning for NLP","authors":["Neil Houlsby","Andrei Giurgiu","Stanislaw Jastrzebski","Bruna Morrone","Quentin de Laroussilhe","Andrea Gesmundo","Mona Attariyan","Sylvain Gelly"],"url":"https://arxiv.org/abs/1902.00751","pdfUrl":"https://arxiv.org/pdf/1902.00751","codeUrl":null,"preprint":{"id":"1902.00751","submittedOn":"2019-02-02","url":"https://arxiv.org/abs/1902.00751"},"publication":{"venue":"ICML","year":2019,"kind":"conference","url":"https://proceedings.mlr.press/v97/houlsby19a.html"},"citation":"@misc{modeltuningadapter2019,\n  title = {{Parameter-Efficient Transfer Learning for NLP}},\n  author = {Neil Houlsby and Andrei Giurgiu and Stanislaw Jastrzebski and Bruna Morrone and Quentin de Laroussilhe and Andrea Gesmundo and Mona Attariyan and Sylvain Gelly},\n  year = {2019},\n  eprint = {1902.00751},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1902.00751}\n}\n","citationPath":"/content/papers/citations/model-tuning/adapter.fa08e84b43d7.bib"},"thumbnail":{"src":"/content/papers/assets/8bca77531dbddb82e18f6dedd27d962405dc5c7a0f976c6c0d09a501c918c122.jpg","width":980,"height":712},"locale":"zh-hant","path":"/content/papers/zh-hant/model-tuning/adapter.8c970e76a643.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"浪費","text":"浪費！","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"討論","text":"討論","depth":2},{"id":"glue-評價","text":"GLUE 評價","depth":3},{"id":"消融實驗","text":"消融實驗","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-tuning/lora","relation":"comparison","topic":"用少量可訓練參數調整模型"},{"id":"model-tuning/prefix-tuning","relation":"comparison","topic":"用少量可訓練參數調整模型"}]}],"text":"在這篇論文發表的當下，電腦視覺領域已經是多模態架構的天下。\n\n但 FAS 的問題依然存在，跨域泛化始終都是個難題。\n\n## 定義問題\n\nRGB 模型跑得快，資料集建構相對容易。其他模態的資訊也不是不好，像是深度圖可以看到立體結構，紅外線能感測溫度或材質反光，對於判斷「這張臉是真是假」其實非常有幫助。\n\n但為什麼多模態幾乎沒人用呢？或是用了之後，反而泛化更差，幾乎找不到可以落地機會？\n\n作者點出了兩個關鍵：\n\n- **Modality Unreliability（模態不可靠）**\n\n  感測器一換、光源一變、domain 就整個跑掉。尤其是 IR 跟 depth，原本該補強的資訊，反而成了誤導的來源。\n\n  你用 cross-modal fusion 把所有模態的資訊湊在一起，結果好壞參半，還會彼此拖累。\n\n- **Modality Imbalance（模態失衡）**\n\n  模型訓練時會自動挑「學起來最快的模態」，通常是 RGB。\n\n  其他模態的資訊學不進去，只是表面上有用、實際上沒被學好。一旦到了 target domain，RGB 不管用了，其他慢模態也還沒練成，只能一起陪葬。\n\n所以你看，多模態 FAS 的難，不只是在「多」，而是這些模態根本就不平等，也不可信任。\n\n因此，這篇論文的作者認為：\n\n> **我們得同時處理「不可靠的訊號來源」，還要訓練一個「不偏心的模型」。**\n\n這就是這篇論文的問題定義核心。\n\n## 解決問題\n\n\n\n![model-arch](/content/papers/assets/7bcf7ad3d8ab0be7abd0c73737c9275503139b1456389ad3546e5e6166312b77.jpg)\n\n\n\n為了解決多模態 FAS 的問題，作者提出 **MMDG**（Multi-Modal Domain Generalized）架構，主打兩個功能：\n\n- **Suppress**（抑制不可靠模態）：在跨模態融合時，對不可靠的模態進行懲罰，讓它們的影響力變小。\n- **Rebalance**（平衡模態學習速度）：在訓練時，對模態間的梯度進行調整，讓每個模態都能夠有效學習。\n\n從上架構圖來看，每個模態（RGB、深度、紅外線）各自有 ViT backbone，再接上自己專屬的 U-Adapter 負責跨模態融合。\n\n訓練時，ViT backbone 保持凍結，U-Adapter 與分類器參與訓練。ReGrad 調整作用於 U-Adapter 的跨模態梯度，以減輕快模態主導訓練的問題。\n\n### U-Adapter\n\n![model-arch](/content/papers/assets/3a51f343f8766ac30059e93c7f406e6ef082a7eeae0896dd55f89f362c6d7c9c.jpg)\n\n如上圖所示，U-Adapter 是這篇方法的核心模組，接在 ViT block 的 MLP 輸出路徑上；ViT 權重凍結，Adapter 與最後的分類器參與訓練。它的任務是：\n\n1. 偵測每個模態中「不可靠」的 token（透過不確定性估計模組 UEM）；\n2. 在做跨模態融合時，對這些不可靠 token 降低影響力，避免其資訊污染其他模態。\n\n\n> [!TIP]\n> \n> 如果你對 Adapter 的概念不熟悉，可以參考我們之前的筆記：\n> \n> - [**[19.02] Adapter: 參數節省九成六**](/blog/papers/model-tuning/adapter)\n\n\n### 不確定性估計模組\n\n參考上圖的 (b)，為了找出不可靠的區域，作者引入了不確定性估計模組：\n\n- **Uncertainty Estimation Module（UEM）**。\n\n這個模組在 Multi-Head Self-Attention 後以 Monte Carlo Dropout（MCD）多次採樣，計算各 token 特徵的變異數，作為不確定性的估計。\n\n設 $T = \\{x^{u1}_R, x^{u2}_R, ..., x^{ut}_R\\}$ 為 MCD 採樣結果，不確定性估計為：\n\n$$\nx^U_R = \\text{Var}(T) \\in \\mathbb{R}^{B \\times L \\times 1}\n$$\n\n### 跨模態融合機制\n\n參考上圖 (c)，U-Adapter 不只是做融合，而是 **有選擇地融合**。\n\n它會壓制來自其他模態的「可疑 token」，避免擴散誤導。\n\n以深度模態為例，其 U-Adapter 的融合過程如下：\n\n- Query 來自另一模態（例如 RGB）的 $x^3_R$\n- Key 與 Value 來自自己的 $x^3_D$\n- 融合過程會根據 RGB 模態的不確定性 $x^U_R$ 進行調整\n\n其公式如下：\n\n$$\nA(x^U_R, x^3_R, x^3_D) =\n\\text{CDC} \\left(\n\\text{Softmax} \\left(\n\\frac{Q(x^3_R)K(x^3_D)^\\top \\odot U(x^U_R)}{\\sqrt{n_k}}\n\\right) V(x^3_D)\n\\right)\n$$\n\n其中：\n\n- $Q(\\cdot)$、$K(\\cdot)$、$V(\\cdot)$ 為 query、key、value 線性投影\n- $U(x^U_R) = \\exp(-r_e \\cdot x^U_R \\cdot \\mathbf{1}_{1\\times L})$ 是不確定性懲罰權重；$\\mathbf{1}_{1\\times L}$ 是擴展維度用的全 1 列向量，越不確定的 query token，影響力越低\n- $\\odot$ 表示 Hadamard product（逐元素乘法）\n- $\\text{CDC}(\\cdot)$ 是 Central Difference Convolution，用來增強 token 間的 local difference，彌補 ViT 缺乏鄰域敏感性的問題\n\n三個模態的最終輸出 $x^{\\text{out}}_m$ 結合了兩次跨模態融合，以及 ViT block 自身的殘差連接：\n\n$$\n\\begin{aligned}\nx^{\\text{out}}_R &= A(x^U_D, x^3_D, x^3_R) + A(x^U_I, x^3_I, x^3_R) + x^3_R + x^4_R \\\\\nx^{\\text{out}}_D &= A(x^U_R, x^3_R, x^3_D) + x^3_D + x^4_D \\\\\nx^{\\text{out}}_I &= A(x^U_R, x^3_R, x^3_I) + x^3_I + x^4_I\n\\end{aligned}\n$$\n\n其中：\n\n- $x^3_m$：ViT block 中的 LN 輸出\n- $x^4_m$：ViT block 中的 MLP 輸出\n- $x^U_m$：模態 $m$ 對應的不確定性估計\n\n\n> [!NOTE]\n> \n> 為避免模態間「彼此誤導」，作者「不允許 depth 與 IR 互相融合」，僅允許它們各自接收來自 RGB 的資訊。\n\n\n### ReGrad\n\n![regrad](/content/papers/assets/37d3aa82d1683826013ac6e1d7cfc57c7c7f26c61d64cbd468706b91b333d9ea.jpg)\n\nReGrad 的目標很簡單：**讓慢的模態學得更多，快的模態學得少一點**。\n\n但實際上，每個模態的梯度方向不一定一致，甚至會彼此打架。\n\n所以作者做了這件事：\n\n> **根據模態的收斂快慢與梯度是否衝突，決定要保留哪一部分的梯度、壓抑哪一部分，並以不確定性限制跨模態影響。**\n\n以下是四種情況的處理方式，對應圖四中的 (b1)、(b2)、(c1)、(c2)：\n\n$$\n\\text{ReGrad}_2(\\mathbf{g}_i, \\mathbf{g}_j) =\n\\begin{cases}\n\\mathbf{g}_i + \\dfrac{\\mathbf{g}_i \\cdot \\mathbf{g}_j}{\\|\\mathbf{g}_i\\|^2} \\mathbf{g}_i \\cdot U(u_j), & \\text{(b1) non-conflict, } j \\text{ is faster} \\\\\n\\mathbf{g}_i + \\left( \\mathbf{g}_j - \\dfrac{\\mathbf{g}_i \\cdot \\mathbf{g}_j}{\\|\\mathbf{g}_i\\|^2} \\mathbf{g}_i \\right) \\cdot U(u_j), & \\text{(b2) conflict, } j \\text{ is faster} \\\\\n\\dfrac{\\mathbf{g}_i \\cdot \\mathbf{g}_j}{\\|\\mathbf{g}_j\\|^2} \\mathbf{g}_j \\cdot U(u_i) + \\mathbf{g}_j, & \\text{(c1) non-conflict, } i \\text{ is faster} \\\\\n\\left( \\mathbf{g}_i - \\dfrac{\\mathbf{g}_i \\cdot \\mathbf{g}_j}{\\|\\mathbf{g}_j\\|^2} \\mathbf{g}_j \\right) \\cdot U(u_i) + \\mathbf{g}_j, & \\text{(c2) conflict, } i \\text{ is faster}\n\\end{cases}\n$$\n\n其中：\n\n- $\\mathbf{g}_i$、$\\mathbf{g}_j$：模態 $i$ 和 $j$ 的反向傳播梯度向量\n- $u_i$、$u_j$：各模態最後一個 ViT block 的 class token 不確定性之批次平均值\n- $U(u)$：不確定性懲罰函數，定義為 $U(u) = \\exp(-r \\cdot u)$，會壓制不穩定模態的梯度影響力\n\n---\n\n上面的式子看起來雖然猙獰，但其實不難理解：\n\n- 若 $i$ 較慢且梯度不衝突，保留 $j$ 在 $i$ 方向上的分量、捨去其正交分量，藉此協助 $i$；若梯度衝突，則捨去 $j$ 中與 $i$ 方向相反的分量。\n- 若 $i$ 較快，則依公式交換快慢角色處理。\n- $U(u)$ 依對應模態的不確定性縮小保留分量的影響。論文只將 ReGrad 作用於交叉熵損失的梯度，SSP 損失不參與梯度調節。\n\n### SSP Loss\n\n除了梯度調節，MMDG 還加上了一個對模態內聚有幫助的 loss：\n\n- **Single-Side Prototypical Loss（SSP）**。\n\n首先，作者將所有來源域的 live 樣本視為一組，每個來源域的 spoof 樣本各自成組；對每個模態 $m$、每組 $d$ 的原型向量定義為：\n\n$$\n\\mathbf{p}_d^m = \\frac{1}{N_d} \\sum_{\\mathbf{c}_m \\in d} \\mathbf{c}_m\n$$\n\n接著，SSP Loss 定義如下：\n\n$$\nL_{\\text{ssp}}^m(\\mathbf{c}_m, \\mathbf{p}_{\\text{dgt}}^m) =\n- \\log \\frac{\n\\exp\\left( -\\text{ED}(\\mathbf{c}_m, \\mathbf{p}_{\\text{dgt}}^m) \\right)\n}{\n\\sum_{d \\in D} \\exp\\left( -\\text{ED}(\\mathbf{c}_m, \\mathbf{p}_d^m) \\right)\n}\n$$\n\n這個 loss 會讓樣本靠近所屬 live／spoof 組的 prototype、遠離其他組的 prototype。作者以各模態 SSP 損失的高低判斷收斂快慢，較低者視為較快。\n\n綜合來看，整體 loss function 為：\n\n$$\nL_{\\text{final}} = L_{\\text{ce}} + \\sum_{m \\in \\{R, D, I\\}} \\lambda \\cdot L_{\\text{ssp}}^m\n$$\n\n其中 $L_{\\text{ce}}$ 是分類任務的交叉熵損失，$\\lambda$ 用來調整 SSP 的影響比例。\n\n## 討論\n\n### 和其他方法的比較\n\n![results](/content/papers/assets/2f0d404b5d1569a445e85c0fd6b5c1ac65585d11c2e01e8273fd200a6e26a220.jpg)\n\n表格橫軸是測試資料集（被當作 unseen domain），縱軸則是不同的方法，包含：\n\n- 傳統的 Domain Generalized 方法（SSDG、SSAN、IADG...）\n- 多模態方法（CMFL、MM-CDCN）\n- 可彈性處理缺模態的 Flexible-modal 方法（ViT+AMA、VP-FAS）\n\n測試方法是將三個資料集做訓練，一個拿來測試，每次輪流 leave-one-out。\n\n實驗結果顯示：MMDG 在表 1 四組跨資料集測試的 HTER 與 AUC 都是 **最好的**。與 Flexible-modal 方法 VP-FAS 相比，四組平均 HTER 為 19.25% 對 25.45%，平均 AUC 為 87.96% 對 81.08%，分別相差 6.20 與 6.88 個百分點；這不是每一組測試都有至少 6 個百分點的差距。\n\n這是一個蠻明確的訊號：\n\n> **多模態並不是越多越好，只有「知道哪些資訊該信、哪些該關掉」的融合策略，才能讓模型在看不見的新世界裡活下去。**\n\n### 消融實驗\n\n\n\n![ablation](/content/papers/assets/605833496c94f1011a11092f10f765229c696718dcde2e964035f41fb3afcce7.jpg)\n\n\n\n為了展示每個設計元件的貢獻，作者做了許多消融實驗。\n\n實驗結果顯示，在作者測試的幾種 DG 與多模態方法中，換用 ViT + U-Adapter 後，表中的平均表現有提升：\n\n- **SSDG、SSAN、IADG 等對照方法**換用 ViT + U-Adapter 後，在圖 5 的比較中取得改善；這些方法原本並非都以 ViT 為 backbone。\n- **只用 ViT + U-Adapter 與 Cross Entropy** 的設定，在表 4 平均 HTER 27.38%、AUC 78.88%，優於該表不加 Adapter 的 ViT，但仍落後加上 ReGrad 的 19.48%、87.48%。\n\n如果再加上 ReGrad，表 4 的平均 HTER 與 AUC 進一步改善。這說明：\n\n1. **U-Adapter 在圖 5 測試的幾種方法中有幫助**；表格沒有測試任意 ViT 架構。\n2. **它不只是做融合，還會依不確定性降低部分資訊的權重**；效益仍以本研究的協定為限。\n\n最後作者也實測了 ReGrad 的兩個變體（衝突和非衝突情況），結果都不如全情境啟動的版本，說明：\n\n- 只在梯度衝突時啟動的平均 HTER／AUC 為 21.91%／85.65%，只在不衝突時啟動為 21.23%／85.51%；兩者都優於不用 ReGrad 的 27.38%／78.88%，但不及全情境啟動的 19.48%／87.48%。\n- 這支持在表 4 設定下同時處理兩種梯度關係，不能單憑此表判定所有跨域泛化問題的關鍵只有學習進度。\n\n### 不確定性機制的效果\n\n\n\n![uncertainty](/content/papers/assets/c498aca12405695a24ea159351779de892f2ae5a6a00df4902cb4f049307330d.jpg)\n\n\n\n作者直接拆開兩個模組（U-Adapter、ReGrad）裡的 uncertainty，用來驗證：\n\n- **這個估計不確定性的機制到底有沒有幫助？**\n\n結果很明顯：\n\n- 如果拿掉 U-Adapter 裡的 uncertainty 控制，性能會下降\n- 如果拿掉 ReGrad 裡的 uncertainty 權重，同樣會掉分\n- **兩個都用時，平均 HTER 19.48%、AUC 87.48% 為表中最佳**；相較只在 U-Adapter 使用不確定性，HTER 改善 3.27 個百分點，AUC 改善 2.64 個百分點，並非兩項指標都「超過 3%」。\n\n這些消融結果支持在該協定下使用不確定性權重；它們量到的是分類結果，沒有直接量到跨模態資訊是否完全不受干擾。\n\n如下圖所示，深度圖與紅外線示例中有較高不確定性的區域；注意力圖仍可能關注這些位置，而 U-Adapter 在跨模態融合時降低其權重。這張示例圖無法單獨證明誤判已被排除。\n\n\n\n![visualization](/content/papers/assets/e650753aadca6d2f14b9d1eddc84bed2e5a80a3cd50e943d34c54eb7c5fa9bef.jpg)\n\n\n\n## 結論\n\n人們可能會認為多模態系統的未來會是那種「我全都要」的強化版模型。\n\nRGB 不夠？加 IR；IR 不夠？加 Depth；I 最後再來個 CLIP 式融合！彷彿模態愈多愈安全。\n\n但這篇告訴我們：當 domain shift 發生時，模型能不能正確地判斷「哪些資訊是可信的、哪些該懷疑」，反而才是決定能不能泛化的關鍵。\n\nMMDG 的價值在於它把這個「不確定性」的概念，變成了模型內部的一部份，並進一步用梯度、用融合機制去設計一套「該信誰、該壓誰」的判斷與行動流程。\n","imageSizes":{"/content/papers/assets/7bcf7ad3d8ab0be7abd0c73737c9275503139b1456389ad3546e5e6166312b77.jpg":{"width":912,"height":928},"/content/papers/assets/3a51f343f8766ac30059e93c7f406e6ef082a7eeae0896dd55f89f362c6d7c9c.jpg":{"width":1770,"height":510},"/content/papers/assets/37d3aa82d1683826013ac6e1d7cfc57c7c7f26c61d64cbd468706b91b333d9ea.jpg":{"width":1666,"height":400},"/content/papers/assets/2f0d404b5d1569a445e85c0fd6b5c1ac65585d11c2e01e8273fd200a6e26a220.jpg":{"width":1676,"height":336},"/content/papers/assets/605833496c94f1011a11092f10f765229c696718dcde2e964035f41fb3afcce7.jpg":{"width":1172,"height":500},"/content/papers/assets/c498aca12405695a24ea159351779de892f2ae5a6a00df4902cb4f049307330d.jpg":{"width":1224,"height":336},"/content/papers/assets/e650753aadca6d2f14b9d1eddc84bed2e5a80a3cd50e943d34c54eb7c5fa9bef.jpg":{"width":1224,"height":572}}}
