返回論文筆記資料庫
arXiv 2024IJCB 2024人臉防偽論文筆記

La-SoftMoE

稀疏的裂縫

原始論文

La-SoftMoE CLIP for Unified Physical-Digital Face Attack Detection

論文作者

Hang Zou · Chenxi Du · Hui Zhang …

查看全部 7 位作者

Hang Zou · Chenxi Du · Hui Zhang · Yuan Zhang · Ajian Liu · Jun Wan · Zhen Lei

發表版本
IJCB 2024會議
arXiv 首次提交
arXiv:2408.12793
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{faceantispoofinglasoftmoe2024,
  title = {{La-SoftMoE CLIP for Unified Physical-Digital Face Attack Detection}},
  author = {Hang Zou and Chenxi Du and Hui Zhang and Yuan Zhang and Ajian Liu and Jun Wan and Zhen Lei},
  year = {2024},
  eprint = {2408.12793},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2408.12793}
}
本頁內容

實體攻擊從印表機吐出來的彩色照片,到擬真面具下的深邃眼窩。

數位攻擊從演算法生成的幻影,到直接竄改影像本身的紀錄。

臉部辨識系統的邊界,從未如此模糊過。

定義問題

在過去的研究中,這兩者被視為不同的任務處理:

  • PAD(Physical Attack Detection):

    側重多模態感測與生理特徵擷取,強調實體世界的可測量性;

  • DAD(Digital Attack Detection):

    著重在特徵層的細節解析、頻域異常與視覺欺騙模式。

儘管各自取得進展,卻也導致模型部署的重複建置與難以跨任務遷移的困境。

在實務場景中,沒有系統能夠選擇只遭遇一種攻擊類型,也因此,使得 Unified Attack Detection (UAD) 成為迫切而自然的研究方向。

統一處理各領域後,還需要處理特徵融合。

從 UniAttackData 所展現的特徵分佈來看,兩類攻擊在嵌入空間中的分佈極不相同,尤其在包含 ID consistency 的設定下,即便來自同一臉孔的攻擊樣本,亦展現出彼此孤立的聚類傾向。

這種「稀疏又分裂的特徵空間」,正是現有方法的盲區。

雖然有學者試圖透過多分支設計(如 CA-MoEiT)、多任務學習、或引入生理資訊來對應兩種攻擊型態,但這些方法往往引發新的困境:

  • 架構複雜度提高,導致運算資源消耗與部署延遲
  • 缺乏 ID-consistency 的資料集,使模型學會的是背景與非語意線索
  • 面對大規模通用模型(如 CLIP)時,特徵維度間的稀疏性進一步削弱分類邏輯的穩定性

在這樣的情境下,即便是 CLIP 這類視覺語言模型,也難以於稀疏特徵空間中辨認「假臉」的統一語法。

人們開始意識到:這可能不是單純的資料不足,而是語意特徵分佈過於分裂。真正的問題可能不在模型的容量,而在於它該沒有明確的方法來使用自己的能力。

也許,是時候讓模型學會自我調度、自我協作。

這正是 Mixture-of-Experts(MoE)設計邏輯誕生的地方。

解決問題

針對上述問題,作者提出一套結合 Mixture-of-Experts(MoE)設計理念與線性注意力機制的架構,命名為 La-SoftMoE CLIP。

該方法基於原始 CLIP 架構進行改造,並具體強化其在稀疏語義分佈下的分類能力。

SoftMoE 模組設計

為強化 CLIP 在稀疏語義空間中的辨識能力,作者導入 Soft Mixture-of-Experts(SoftMoE) 模組,並嵌入至每層 ViT 的殘差區塊中,如上圖所示。

SoftMoE 相較於傳統 MoE 架構,具備以下幾項優勢:

  • 柔性派遣(Soft Dispatch):使用 Softmax 權重將所有輸入 tokens 映射至 slot,減輕 top-kk hard assignment 可能造成的 token-dropping;本文未單獨量測專家負載均衡。
  • 可微分設計:整體運作流程為完全可微,能穩定與主幹網路聯合訓練。
  • 擴展潛力:不需排序與選擇 top-kk 專家;作者認為這讓專家數量更容易擴展,但本文未測試上千個專家。

具體計算流程如下:

  1. Dispatch Weights

    在 Soft-MoE 中,傳統的 top-kk 分派策略被棄用,而是改為:

    • 柔性派遣機制(soft dispatch)

    此機制的核心在於引入一組中介表示,稱為 slots,用以承接輸入 tokens 的語義加權平均。這裡的每個 slot 並不對應單一 token,而是以「token 加權總和」的方式生成,因此 slot 可被視為一種 語義子空間的聚合向量。

    每個 expert 將會處理數個 slot,使模型能根據資料特性做出差異化專家運算。

    派遣過程如下:令輸入 token 矩陣為 XX ,我們使用一組可學參數 Φ\Phi 將 XX 投影成派遣 logits,並對每個 slot(共 m=e⋅sm = e \cdot s 個)執行 column-wise softmax:

    Dij=exp⁡[(XΦ)ij]∑i′=1nexp⁡[(XΦ)i′j],X~=D ⁣⊤XD_{ij}= \frac{\exp\bigl[(X\Phi)_{ij}\bigr]} {\sum_{i'=1}^{n}\exp\bigl[(X\Phi)_{i'j}\bigr]} ,\qquad \tilde X = D^{\!\top}X
    • D∈Rn×mD \in \mathbb{R}^{n \times m} 為派遣權重矩陣,表示第 ii 個 token 對第 jj 個 slot 的貢獻程度。
    • X~\tilde X 是所有 slot 的輸入表徵矩陣,其中第 jj 列表示第 jj 個 slot 所接收到的加權語義向量。

    透過這樣的設計,每個 slot 都整合來自所有 tokens 的資訊,但以不同的注意力強度加權。此外,模型得以從 token-level 的離散特徵,轉換為更高階、可共享的 slot-level 表徵。

    這種柔性分派減輕了傳統 MoE 的 token-dropping 風險,為後續 expert 處理與組合權重(combine weights)提供可微分的特徵基底。


  1. Expert 處理與 Combine Weights

    將 X~\tilde X 按 slot 分組送入 ee 個 Experts(每個 expert 處理 ss 個 slots) 得 slot 輸出 Y~\tilde Y。

    接著計算 Combine Weights C\mathbf C,這一次對 每一個 token 做 row-wise softmax,決定「如何從各 slot 回收資訊」:

    Cij=exp⁡[(XΦ)ij]∑j′=1e⋅sexp⁡[(XΦ)ij′],Y=C Y~  C_{ij}= \frac{\exp\bigl[(X\Phi)_{ij}\bigr]} {\displaystyle \sum_{j'=1}^{e\cdot s}\exp\bigl[(X\Phi)_{ij'}\bigr]} ,\qquad Y = C\,\tilde Y\;
    • YY 即 Soft-MoE 的輸出 token 列表;本文將模組放在 ViT 的注意力之後,與 MLP 並聯。

La-SoftMoE

雖然 Soft-MoE 具備可微分的派遣與重組機制,但其組合階段仍存在一項潛在限制:

原始設計中,每個輸出 token 對所有 slot 的權重,是由派遣時同一組 logits 經 row-wise softmax 算出;不同 slot 仍有不同權重。作者認為,這種固定的加權形式可能不足以處理不同專家輸出的差異。

為了解決這個問題,作者提出改良版本:La-SoftMoE,具體進行兩項關鍵修正:

  1. 將 row-wise softmax 替換為 Linear Attention 機制

    作者改用特徵映射 ϕ(⋅)\phi(\cdot) 計算注意力,讓組合權重能考慮 slot 表徵;這類線性注意力旨在降低注意力運算隨序列長度增長的成本。本文未提供不同序列長度下的部署量測。

  2. 在權重計算中加入 Instance Normalization

    La-SoftMoE 在 Linear Attention 輸出後、組合權重使用前施加 Instance Normalization。論文沒有單獨移除這一步的消融,因此無法從實驗分辨它對穩定性與泛化的貢獻。

實作細節

  • 嵌入位置:La-SoftMoE 模組嵌入於 ViT 的 12 個 residual blocks 中,與原本的 Feed-Forward MLP 子模組採並聯架構(parallel composition)。
  • 專家配置:每層配置 e=4e = 4 個 experts,每個 expert 對應 s=49s = 49 個 slots,總共 m=196m = 196 個 slots;論文未量測擴大配置後的記憶體或延遲。
  • 開銷評估:論文比較了辨識指標,沒有報告相對原始 ViT 的推論延遲或 F1-score 增幅。
  • 實作要點:虛擬碼用 einsum 表示 token/slot 的矩陣運算,在 Linear Attention 後施加 Instance Normalization。

透過上述架構調整與模組整合,La-SoftMoE CLIP 讓不同專家參與 PAs 與 DAs 的特徵建模;本文沒有量化新增參數與整體推論成本。

該方法在兩個受測基準改善了原始 CLIP 的 ACER;至於未見目標域的跨域泛化能力,仍需另設留出域協定驗證。

討論

實驗主要基於 UniAttackData,該資料集為首個具有 ID consistency 的 Unified Attack Detection 基準,包含:

  • 1800 位受試者,涵蓋 2 種實體攻擊(PAs)與 12 種數位攻擊(DAs)
  • 第一套評估協定使用完整 live/fake 對應樣本進行訓練與測試

補充實驗使用 JFSFDB,整合 9 個 FAS 資料子集,包含傳統 PAD 與深偽 DAD 範例。

主要使用 Joint Training 協定以檢視跨資料泛化能力。

模型 backbone 為 ViT-B/16,嵌入 La-SoftMoE(每層 4 個 expert,49 個 slots),訓練以 Adam 優化器與 10−610^{-6} 學習率在 A100 GPU 上進行。

實驗結果分析(UniAttackData)

上表顯示 La-SoftMoE CLIP 與現有方法的比較結果,模型於主評估指標中皆取得 SOTA 表現:

  • ACER:0.32%(前一最佳為 0.52%)
  • ACC:99.54%(前一最佳為 99.45%)
  • AUC 與 EER 略遜於最佳模型,但仍保持高水準(99.72% / 0.56%)

這代表 La-SoftMoE 在此資料集的判錯率較低;特徵空間是否更緊湊,還需搭配後面的視覺化判讀。

混合資料集測試(JFSFDB)

為驗證模型在另一個物理與數位攻擊混合基準上的表現,作者亦於 JFSFDB 的 joint training 協定進行測試。這不是留出資料集作為未見目標域的跨資料集實驗。與 UniAttackData 的數值不能直接當成同條件比較;La-SoftMoE CLIP 在 JFSFDB 取得:

  • ACER:4.21%
  • ACC:95.85%
  • AUC:99.11%
  • EER:4.19%

作者亦使用 t-SNE 對兩資料集進行分佈可視化如下圖:

圖中 UniAttackData 的點較集中並沿著曲線連結,JFSFDB 則較分散。作者認為 ID consistency 可能是差異來源之一;這張 t-SNE 圖本身無法確認效能差距的主因。

Prompt Robustness 測試

由於 CLIP 類模型對語言提示具有敏感性,作者設計 8 組語意等價但結構不同的提示句(T-1 ~ T-8,見下表),評估 La-SoftMoE CLIP 的穩定性與語義適應能力。

結果顯示:

  • T-8(This is an image of a <fake/live> face) 的 ACER 最低,ACC 與 T-3 並列最高
  • T-3(A photo of a <fake/live> face) 的 AUC 最高、EER 最低

下圖作者比較了不同 prompt 的性能差異:

八種提示的 ACER 從 0.32% 到 0.63%,有可見差異;這組測試顯示模型能使用不同措辭。

消融實驗

在表六中,作者依序比較:

  • Vanilla CLIP
  • CLIP + SoftMoE
  • CLIP + La-SoftMoE

結果可見 SoftMoE 與 La-SoftMoE 在這組測試中依序降低 ACER、EER 並提高 ACC;但兩者的 AUC 仍低於 vanilla CLIP 的 99.76%。表格同時改動線性注意力與 Instance Normalization,不能只把提升歸因於前者。

最後,作者展示了四種模型的特徵分佈:

  • ResNet-50(左上)
  • CLIP(右上)
  • CLIP + SoftMoE(左下)
  • CLIP + La-SoftMoE(右下)

從這張 t-SNE 圖可以看出來,CLIP 的真偽點有些混合;加入 SoftMoE 後,選取樣本的分布較分開;La-SoftMoE 圖中兩類點也大致分開。

這些實驗結果顯示 La-SoftMoE 在兩個混合攻擊基準上有較好的表列辨識指標;特徵結構與計算成本仍需要更直接的量測。

結論

在這篇論文中,作者將 Soft Mixture-of-Experts(SoftMoE)引入 CLIP 的影像編碼器中,並進一步改良其權重計算策略,透過線性注意力與正規化機制,使模型能在不增加大量計算成本的情況下,靈活對應實體與數位攻擊的異質特徵。

這項研究給我們的啟發在於:當語義分佈本質上具有斷裂性時,與其強行統一,不如讓模型學會如何調配專家、共享責任,從結構層次上重新組織特徵空間。

未來可進一步探索語義驅動的 routing 機制、prompt 條件生成、以及具跨模態泛化能力的 token-slot alignment 方法,持續拓展這類結構化設計於多模態辨識任務中的應用潛力。