La-SoftMoE CLIP for Unified Physical-Digital Face Attack Detection
- 發表版本
- IJCB 2024會議
- arXiv 首次提交
- arXiv:2408.12793
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{faceantispoofinglasoftmoe2024,
title = {{La-SoftMoE CLIP for Unified Physical-Digital Face Attack Detection}},
author = {Hang Zou and Chenxi Du and Hui Zhang and Yuan Zhang and Ajian Liu and Jun Wan and Zhen Lei},
year = {2024},
eprint = {2408.12793},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2408.12793}
}
實體攻擊從印表機吐出來的彩色照片,到擬真面具下的深邃眼窩。
數位攻擊從演算法生成的幻影,到直接竄改影像本身的紀錄。
臉部辨識系統的邊界,從未如此模糊過。
定義問題
在過去的研究中,這兩者被視為不同的任務處理:
-
PAD(Physical Attack Detection):
側重多模態感測與生理特徵擷取,強調實體世界的可測量性;
-
DAD(Digital Attack Detection):
著重在特徵層的細節解析、頻域異常與視覺欺騙模式。
儘管各自取得進展,卻也導致模型部署的重複建置與難以跨任務遷移的困境。
在實務場景中,沒有系統能夠選擇只遭遇一種攻擊類型,也因此,使得 Unified Attack Detection (UAD) 成為迫切而自然的研究方向。
統一處理各領域後,還需要處理特徵融合。
從 UniAttackData 所展現的特徵分佈來看,兩類攻擊在嵌入空間中的分佈極不相同,尤其在包含 ID consistency 的設定下,即便來自同一臉孔的攻擊樣本,亦展現出彼此孤立的聚類傾向。
這種「稀疏又分裂的特徵空間」,正是現有方法的盲區。
雖然有學者試圖透過多分支設計(如 CA-MoEiT)、多任務學習、或引入生理資訊來對應兩種攻擊型態,但這些方法往往引發新的困境:
- 架構複雜度提高,導致運算資源消耗與部署延遲
- 缺乏 ID-consistency 的資料集,使模型學會的是背景與非語意線索
- 面對大規模通用模型(如 CLIP)時,特徵維度間的稀疏性進一步削弱分類邏輯的穩定性
在這樣的情境下,即便是 CLIP 這類視覺語言模型,也難以於稀疏特徵空間中辨認「假臉」的統一語法。
人們開始意識到:這可能不是單純的資料不足,而是語意特徵分佈過於分裂。真正的問題可能不在模型的容量,而在於它該沒有明確的方法來使用自己的能力。
也許,是時候讓模型學會自我調度、自我協作。
這正是 Mixture-of-Experts(MoE)設計邏輯誕生的地方。
解決問題
針對上述問題,作者提出一套結合 Mixture-of-Experts(MoE)設計理念與線性注意力機制的架構,命名為 La-SoftMoE CLIP。
該方法基於原始 CLIP 架構進行改造,並具體強化其在稀疏語義分佈下的分類能力。
SoftMoE 模組設計
為強化 CLIP 在稀疏語義空間中的辨識能力,作者導入 Soft Mixture-of-Experts(SoftMoE) 模組,並嵌入至每層 ViT 的殘差區塊中,如上圖所示。
SoftMoE 相較於傳統 MoE 架構,具備以下幾項優勢:
- 柔性派遣(Soft Dispatch):使用 Softmax 權重將所有輸入 tokens 映射至 slot,減輕 top- hard assignment 可能造成的 token-dropping;本文未單獨量測專家負載均衡。
- 可微分設計:整體運作流程為完全可微,能穩定與主幹網路聯合訓練。
- 擴展潛力:不需排序與選擇 top- 專家;作者認為這讓專家數量更容易擴展,但本文未測試上千個專家。
具體計算流程如下:
-
Dispatch Weights
在 Soft-MoE 中,傳統的 top- 分派策略被棄用,而是改為:
- 柔性派遣機制(soft dispatch)
此機制的核心在於引入一組中介表示,稱為 slots,用以承接輸入 tokens 的語義加權平均。這裡的每個 slot 並不對應單一 token,而是以「token 加權總和」的方式生成,因此 slot 可被視為一種 語義子空間的聚合向量。
每個 expert 將會處理數個 slot,使模型能根據資料特性做出差異化專家運算。
派遣過程如下:令輸入 token 矩陣為 ,我們使用一組可學參數 將 投影成派遣 logits,並對每個 slot(共 個)執行 column-wise softmax:
- 為派遣權重矩陣,表示第 個 token 對第 個 slot 的貢獻程度。
- 是所有 slot 的輸入表徵矩陣,其中第 列表示第 個 slot 所接收到的加權語義向量。
透過這樣的設計,每個 slot 都整合來自所有 tokens 的資訊,但以不同的注意力強度加權。此外,模型得以從 token-level 的離散特徵,轉換為更高階、可共享的 slot-level 表徵。
這種柔性分派減輕了傳統 MoE 的 token-dropping 風險,為後續 expert 處理與組合權重(combine weights)提供可微分的特徵基底。
-
Expert 處理與 Combine Weights
將 按 slot 分組送入 個 Experts(每個 expert 處理 個 slots) 得 slot 輸出 。
接著計算 Combine Weights ,這一次對 每一個 token 做 row-wise softmax,決定「如何從各 slot 回收資訊」:
- 即 Soft-MoE 的輸出 token 列表;本文將模組放在 ViT 的注意力之後,與 MLP 並聯。
La-SoftMoE
雖然 Soft-MoE 具備可微分的派遣與重組機制,但其組合階段仍存在一項潛在限制:
原始設計中,每個輸出 token 對所有 slot 的權重,是由派遣時同一組 logits 經 row-wise softmax 算出;不同 slot 仍有不同權重。作者認為,這種固定的加權形式可能不足以處理不同專家輸出的差異。
為了解決這個問題,作者提出改良版本:La-SoftMoE,具體進行兩項關鍵修正:
-
將 row-wise softmax 替換為 Linear Attention 機制
作者改用特徵映射 計算注意力,讓組合權重能考慮 slot 表徵;這類線性注意力旨在降低注意力運算隨序列長度增長的成本。本文未提供不同序列長度下的部署量測。
-
在權重計算中加入 Instance Normalization
La-SoftMoE 在 Linear Attention 輸出後、組合權重使用前施加 Instance Normalization。論文沒有單獨移除這一步的消融,因此無法從實驗分辨它對穩定性與泛化的貢獻。
實作細節
- 嵌入位置:La-SoftMoE 模組嵌入於 ViT 的 12 個 residual blocks 中,與原本的 Feed-Forward MLP 子模組採並聯架構(parallel composition)。
- 專家配置:每層配置 個 experts,每個 expert 對應 個 slots,總共 個 slots;論文未量測擴大配置後的記憶體或延遲。
- 開銷評估:論文比較了辨識指標,沒有報告相對原始 ViT 的推論延遲或 F1-score 增幅。
- 實作要點:虛擬碼用
einsum表示 token/slot 的矩陣運算,在 Linear Attention 後施加 Instance Normalization。
透過上述架構調整與模組整合,La-SoftMoE CLIP 讓不同專家參與 PAs 與 DAs 的特徵建模;本文沒有量化新增參數與整體推論成本。
該方法在兩個受測基準改善了原始 CLIP 的 ACER;至於未見目標域的跨域泛化能力,仍需另設留出域協定驗證。
討論
實驗主要基於 UniAttackData,該資料集為首個具有 ID consistency 的 Unified Attack Detection 基準,包含:
- 1800 位受試者,涵蓋 2 種實體攻擊(PAs)與 12 種數位攻擊(DAs)
- 第一套評估協定使用完整 live/fake 對應樣本進行訓練與測試
補充實驗使用 JFSFDB,整合 9 個 FAS 資料子集,包含傳統 PAD 與深偽 DAD 範例。
主要使用 Joint Training 協定以檢視跨資料泛化能力。
模型 backbone 為 ViT-B/16,嵌入 La-SoftMoE(每層 4 個 expert,49 個 slots),訓練以 Adam 優化器與 學習率在 A100 GPU 上進行。
實驗結果分析(UniAttackData)
上表顯示 La-SoftMoE CLIP 與現有方法的比較結果,模型於主評估指標中皆取得 SOTA 表現:
- ACER:0.32%(前一最佳為 0.52%)
- ACC:99.54%(前一最佳為 99.45%)
- AUC 與 EER 略遜於最佳模型,但仍保持高水準(99.72% / 0.56%)
這代表 La-SoftMoE 在此資料集的判錯率較低;特徵空間是否更緊湊,還需搭配後面的視覺化判讀。
混合資料集測試(JFSFDB)
為驗證模型在另一個物理與數位攻擊混合基準上的表現,作者亦於 JFSFDB 的 joint training 協定進行測試。這不是留出資料集作為未見目標域的跨資料集實驗。與 UniAttackData 的數值不能直接當成同條件比較;La-SoftMoE CLIP 在 JFSFDB 取得:
- ACER:4.21%
- ACC:95.85%
- AUC:99.11%
- EER:4.19%
作者亦使用 t-SNE 對兩資料集進行分佈可視化如下圖:
圖中 UniAttackData 的點較集中並沿著曲線連結,JFSFDB 則較分散。作者認為 ID consistency 可能是差異來源之一;這張 t-SNE 圖本身無法確認效能差距的主因。
Prompt Robustness 測試
由於 CLIP 類模型對語言提示具有敏感性,作者設計 8 組語意等價但結構不同的提示句(T-1 ~ T-8,見下表),評估 La-SoftMoE CLIP 的穩定性與語義適應能力。
結果顯示:
- T-8(This is an image of a <fake/live> face) 的 ACER 最低,ACC 與 T-3 並列最高
- T-3(A photo of a <fake/live> face) 的 AUC 最高、EER 最低
下圖作者比較了不同 prompt 的性能差異:
八種提示的 ACER 從 0.32% 到 0.63%,有可見差異;這組測試顯示模型能使用不同措辭。
消融實驗
在表六中,作者依序比較:
- Vanilla CLIP
- CLIP + SoftMoE
- CLIP + La-SoftMoE
結果可見 SoftMoE 與 La-SoftMoE 在這組測試中依序降低 ACER、EER 並提高 ACC;但兩者的 AUC 仍低於 vanilla CLIP 的 99.76%。表格同時改動線性注意力與 Instance Normalization,不能只把提升歸因於前者。
最後,作者展示了四種模型的特徵分佈:
- ResNet-50(左上)
- CLIP(右上)
- CLIP + SoftMoE(左下)
- CLIP + La-SoftMoE(右下)
從這張 t-SNE 圖可以看出來,CLIP 的真偽點有些混合;加入 SoftMoE 後,選取樣本的分布較分開;La-SoftMoE 圖中兩類點也大致分開。
這些實驗結果顯示 La-SoftMoE 在兩個混合攻擊基準上有較好的表列辨識指標;特徵結構與計算成本仍需要更直接的量測。
結論
在這篇論文中,作者將 Soft Mixture-of-Experts(SoftMoE)引入 CLIP 的影像編碼器中,並進一步改良其權重計算策略,透過線性注意力與正規化機制,使模型能在不增加大量計算成本的情況下,靈活對應實體與數位攻擊的異質特徵。
這項研究給我們的啟發在於:當語義分佈本質上具有斷裂性時,與其強行統一,不如讓模型學會如何調配專家、共享責任,從結構層次上重新組織特徵空間。
未來可進一步探索語義驅動的 routing 機制、prompt 條件生成、以及具跨模態泛化能力的 token-slot alignment 方法,持續拓展這類結構化設計於多模態辨識任務中的應用潛力。