返回論文筆記資料庫
arXiv 2024CVPR Workshops 2024人臉防偽論文筆記

FAS-Challenge

兵器譜

原始論文

Unified Physical-Digital Attack Detection Challenge

論文作者

Haocheng Yuan · Ajian Liu · Junze Zheng …

查看全部 9 位作者

Haocheng Yuan · Ajian Liu · Junze Zheng · Jun Wan · Jiankang Deng · Sergio Escalera · Hugo Jair Escalante · Isabelle Guyon · Zhen Lei

發表版本
CVPR Workshops 2024會議
arXiv 首次提交
arXiv:2404.06211
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{faceantispoofingfaschallenge2024,
  title = {{Unified Physical-Digital Attack Detection Challenge}},
  author = {Haocheng Yuan and Ajian Liu and Junze Zheng and Jun Wan and Jiankang Deng and Sergio Escalera and Hugo Jair Escalante and Isabelle Guyon and Zhen Lei},
  year = {2024},
  eprint = {2404.06211},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2404.06211}
}
本頁內容

這是 CVPR2024 舉辦的 FAS 比賽,全名為:

5th Chalearn Face Anti-spoofing Workshop and Challenge@CVPR2024

非常熱鬧,在 FAS 領域的工作者都可以來逛逛。

定義問題

Face Anti-Spoofing(FAS)的任務本質,是從影像中挖掘出「活體」的語法。

然而在現實中,攻擊手段卻以兩種形式發展成平行的技術分支:

  • 物理攻擊(Physical Attacks):模仿者以實體介質展示臉部,如紙張、螢幕或矽膠面具。其干擾多發生於感測器層,與真實世界有直接交互。
  • 數位攻擊(Digital Attacks):如 Deepfake、face swapping 或對抗樣本,則從資料生成源頭或特徵層進行操控,畫面逼真但本質虛構。

傳統方法多半針對其中一類進行建模,於是模型表現便侷限於其訓練分佈,無法廣泛遷移。

雖然物理與數位攻擊在最終分類中皆屬於「fake」,但其圖像統計特徵與變異方向存在高度異質性,使得偽類內的特徵距離遠大於預期,導致泛化瓶頸。

目前之所以難以建構「統一模型」,核心原因有二:

  1. 缺乏大規模統一資料集:過往常以單獨蒐集的 PA 與 DA 資料集拼接而成,未涵蓋同一 ID 的完整攻擊樣態。
  2. 欠缺公共評估基準:物理與數位攻擊使用不同的指標與協定,導致無法對跨領域演算法進行一致比較。

這正是 Unified Physical-Digital Attack Detection Challenge 發起的背景。透過新資料集、標準協定與公開競賽,嘗試定義一個新的問題設定:

能否以一套模型,同時應對兩種異質假象,並在未知領域中仍保有鑑別能力?

統一資料集:UniAttackData

UniAttackData 是論文提出時規模最大的公開統一實體與數位攻擊資料集,涵蓋了 1,800 位受試者、共計 28,706 段臉部影片,構成以下三類樣本;上圖列的是挑戰賽的各協議資料切分:

  • Live:1,800 段真實影像
  • Physical Attacks(PA):5,400 段,來自列印與螢幕重播攻擊
  • Digital Attacks(DA):21,506 段,包括 Deepfake、Face Swap、對抗樣本等

資料集的特點在於:每位 ID 均涵蓋完整的攻擊類型,藉此減少身份與攻擊類型彼此混淆的風險;各協議的真偽樣本數仍不平衡。

挑戰賽提供的資料先從影片裁取臉部,並為每段影片選取一幀;檔名重新編號,以隱去原始名稱可能透露的攻擊類型等資訊。

評估協定與泛化設計

本次挑戰包含兩大協定(Protocol),模擬不同真實世界場景下的模型部署需求:

  • Protocol 1:Unified Attack Detection 模擬模型需同時辨識 PA 與 DA 的場景,測試模型對於混合樣態的整合與分類能力。

  • Protocol 2:Generalization to Unseen Attacks 針對「未曾見過的攻擊類型」進行 zero-shot 測試,進一步分為:

    • Protocol 2.1:Unseen Physical Attacks,訓練集沒有 PA,測試集為 PA
    • Protocol 2.2:Unseen Digital Attacks,訓練集沒有 DA,測試集為 DA

此協定將實體或數位攻擊留到測試階段,檢查模型對未見攻擊大類的表現。


賽程流程與規則設計

整體競賽流程分為兩個階段,皆於 CodaLab 平台進行:

  • Development Phase(2/1–2/22) 提供已標記訓練資料與未標記開發集,開放反覆提交預測結果至排行榜,幫助選手逐步調整模型。

  • Final Phase(2/23–3/3) 公開開發集標籤、釋出未標記測試集,參賽隊伍須在無法接觸真實測試標籤的情況下,提交最終模型預測。 最後一次提交視為正式成績,並須公開程式碼與技術說明表(fact sheet)方具備獲獎資格。


評估指標

挑戰採用 ISO/IEC 30107-3 國際標準指標,以量化模型對假象的辨識能力,具體包括:

  • APCER(Attack Presentation Classification Error Rate)
  • BPCER(Bona Fide Presentation Classification Error Rate)
  • ACER(Average Classification Error Rate)
  • AUC(Area Under the ROC Curve)

主排序以 ACER 為準,AUC 作為輔助指標。為維持評估一致性,最終 ACER 由開發集上的 Equal Error Rate(EER)標定閾值計算得出。


兵器譜

接著是前 13 名參賽隊伍的技術概覽,我們依序來看看他們到底做了些什麼。

1. MTFace

在這場橫跨數位與實體的攻擊挑戰中,MTFace 團隊提出了最終奪冠的解法。

MTFace 提出的架構可簡稱為:

Optimized Data Augmentation for Comprehensive Face Attack Detection Across Physical and Digital Domains

聽來冗長,卻切中問題本質:如何讓模型在訓練時看過「足夠多樣、足夠逼真」的假樣貌。

MTFace 架構的核心,在於資料增強與損失平衡的共同設計。

其資料前處理步驟如下:

  1. 人臉偵測與裁切:對所有影像進行人臉偵測,並額外擴張 20 pixels,保留周邊特徵。
  2. 臉部遮罩提取:將 live data 的臉部遮罩預先萃取,供後續增強使用。

接著,針對不同 Protocol 所需的泛化能力,設計出兩種「語義對應的增強策略」:

  • Moire 擬真增強(用於 Protocol 1 與 2.1) 螢幕重播常造成摩爾紋(moire pattern),這種紋理成為辨識攻擊的重要視覺線索。 MTFace 仿造這類干擾,將摩爾紋注入原始影像,使模型能預習此一物理現象的潛在影響。

  • 自體融合增強(用於 Protocol 1 與 2.2) 受到過去文獻啟發,MTFace 使用 live data 為基底,注入數位攻擊的表面特徵, 透過顏色扭曲、空間變形與遮罩摺疊等方式,創造出「數位假象的混種樣本」,提升模型對 Deepfake 類攻擊的分辨力。

不同協定下,真實樣本與攻擊樣本的比例差異極大。

若無調整,模型將偏向樣本數量較多的一方,失去辨別稀有樣態的能力。

為此,MTFace 在每條協定中調整 cross-entropy 的權重配置:

  • Protocol 1:live : fake = 1 : 1 保持損失平衡,確保學習不偏不倚。
  • Protocol 2.1(Unseen PA):live : fake = 5 : 1 提高真臉樣本的損失權重,讓模型在測試未見的實體攻擊前更充分學習真臉特徵。
  • Protocol 2.2(Unseen DA):live : fake = 2 : 1 調整真臉與假臉樣本對損失的影響,以因應這條協議的樣本比例。

這樣的調整配合資料增強,是 MTFace 在三條協定中採用的訓練策略;論文沒有單獨列出每一項損失權重的消融結果。

MTFace 最終以 ResNet-50 作為骨幹網路,並載入 ImageNet 預訓練權重。

沒有 ViT,也沒有自訂大模型,僅以策略與數據,斬獲本次比賽的第一名。

2. SeaRecluse

SeaRecluse 選擇在數據邊界與比例配置中築起防線。

他們的方案名為:

Cross-domain Face Anti-spoofing in Unified Physical-Digital Attack Dataset

這個架構不強調極端變形,也不假借風格轉換,而是從資料使用比例與裁切策略出發,試圖以更接近真實部署條件的方式,優化模型於跨域任務下的穩定性與泛化。

SeaRecluse 使用 SCRFD 對訓練集中的 uncropped 圖像進行人臉偵測與裁切。

但與其他隊伍不同的是,他們對裁切版本進行了鬆裁(loose crop)與緊裁(tight crop)的區分與補充,作為資料擴增的方式之一。

此外,針對不同任務協定,資料切分比例與增強策略也完全不同:

  • Protocol 1:不進行額外增強 模擬最基本的條件下辨識效能,使用 80% 訓練資料與驗證集混合訓練。

  • Protocol 2.1(Unseen PA) 針對 live data 實施 downsample 與邊緣補齊,將 real face 數據擴增為原始的 3 倍,平衡真假樣本比例。

  • Protocol 2.2(Unseen DA) 為強化模型對假樣本的感知能力,對 fake face 實施 4x 及 8x 下採樣,總計擴增為原始的 7 倍數量。

此外,團隊也對部分長寬比異常的圖像進行修正,恢復為合理的原始比例,避免模型在視覺失真下學得錯誤偏好。

在圖像增強層面,所有任務皆實施標準操作(如翻轉、隨機裁切等),而 P2.1 額外採用了 Gaussian Blur,以模擬攝影模糊與遠距視角的模糊失焦狀態。

訓練主幹網路為 ConvNeXt V2;團隊表示選擇時考量了挑戰要求與本地訓練資源。

此外,為強化泛化能力,團隊採用兩項訓練技巧:

  • Image CutMix:混合兩張圖像與標籤,增強視覺邊界與空間變異的適應性。
  • Label Smoothing:將 hard label 轉為 soft label,降低過度擬合的風險。

團隊以這些技巧增強訓練;論文沒有分別量測 CutMix 或 Label Smoothing 對資料不均的貢獻。

SeaRecluse 採取的不是大刀闊斧,而是像築牆一般,他們從每個任務的比例細節與裁切尺度出發,將假象圍堵於視野之內。

這是一種耐心處理資料切分與裁切尺度的解法。

3. duileduile

duileduile 團隊設計了一套模組化的雙階段學習流程,以抽象視覺表徵的方式,對抗真實與假象的流動邊界。其架構核心為:

Swin Transformer + Masked Image Modeling + 實體與數位攻擊對應增強

模型骨幹選用 Swin-Large Transformer,萃取出 1536 維的特徵向量,具備良好的區域感知與層次抽象能力。

在 預訓練階段,duileduile 採用 simMIM(Simple Masked Image Modeling) 策略, 將圖像切分為非重疊區塊,隨機遮蔽其中部分,迫使模型學會「由殘缺重建整體」。

這種自監督預訓練使用未標註的訓練集與開發集影像,目標是讓模型從被遮蔽的輸入學習表徵;論文未單獨量測它對遮蔽攻擊或 Protocol 2 的增益。

完成視覺語法的訓練之後,進入 微調階段(Fine-tuning)。此時的策略不再是大量資料堆疊,而是針對不同攻擊類型進行精準的樣態擬合,分別設計對應的增強流程:

  • Gaussian Noise:模擬數位攻擊帶來的像素級雜訊與壓縮痕跡
  • ColorJitter + Moire Pattern + Gamma Correction:重建實體攻擊的光影變異與顯示偏差

這些增強不強加於所有資料,而是根據不同訓練樣本與 Protocol 任務進行機率性施加,讓模型在每一次學習中都暴露於不同的干擾與假象之中。

相較於前兩名團隊聚焦於資料增強與比例配置,duileduile 的兩階段主幹與訓練設定在各協定相同;這是競賽中的一種實作選擇。

4. BSP-Idiap

BSP-Idiap 團隊則選擇走一條不太一樣的路:回到訊號本身的紋理節奏,將攻擊的訊號從頻率維度還原出來。

這套方法名為: DBPixBiS(Dual-Branch Pixel-wise Binary Supervision)

延續其團隊前作的設計理念,並在原有基礎上擴展為雙分支架構。

DBPixBiS 採用一個雙分支的神經網路架構:

  1. RGB 分支:使用 Central Difference Convolution(CDC) 替代傳統卷積,強調局部紋理變化,強化模型對異常邊緣與微變動區域的感知。
  2. Fourier 分支:對輸入影像進行傅立葉轉換,送入另一套特徵路徑,捕捉頻域上的偽裝紋理,例如重複性、干擾性、壓縮殘留等訊號。

這樣的設計讓模型同時具備對「畫面上的像」與「訊號內的假」的雙重感知能力。

為了減緩過擬合與視覺對抗樣本的隱蔽性,BSP-Idiap 採用了極具針對性的訓練設計:

  • Pixel-wise Binary Supervision:針對每個像素在 feature map 上進行二分類監督,而非整張圖像,提升區域偽裝的辨識能力。
  • Attentional Angular Margin Loss:在訓練時加入角度邊界懲罰項(Angular Margin),引導模型更明確地將 live 與 spoof 特徵向量推離,強化分類邊界的區隔穩定性。

在測試階段,模型會對 feature map 進行全圖平均,取其 mean activation 作為最終的 spoof 概率分數。

5. VAI-Face

在這場統一辨識的戰局中,有些隊伍構建機制、有些隊伍還原語法,而 VAI-Face 團隊選擇了第三條路:製造異常,強化辨識。

他們的方案核心建構於 Dinov2 Vision Transformer(ViT-Large) 架構之上,目標就是讓變形的臉,在視覺注意力下顯出破綻。

VAI-Face 在資料增強上的最大策略特點,在於刻意破壞 live 與 fake 的對稱性處理。

他們將兩者視為語義異質的來源資料,因而採取截然不同的增強管道:

  • Live 圖像:只進行 RandomResizedCrop 與 HorizontalFlip,保持其影像的自然分佈與幾何穩定性。
  • Fake 圖像:則施加大量非對稱擾動,包括模糊(Blur)、畸變(Distortion)、客製遮擋(Custom Cutout)等,模擬各種假象中常見的非自然痕跡與結構性破碎。

這套策略目標在於讓 ViT 模型學會辨識異常的幾何與紋理。

除了資料策略,VAI-Face 在訓練配置上也展現出極高的工程敏銳度:

  • OneCycleLR:精細控制學習率上升與下降的節奏,提高模型收斂效率與泛化能力。
  • Label Smoothing:避免模型對特定樣態過度自信,緩解過擬合。
  • Mixup Augmentation:融合兩張圖像與標籤,提升模型在樣本空間邊界的泛化穩定性。
  • Optimizer:選用 ADAN,這是一種結合 adaptive gradient 與動量的新型優化器,在這場挑戰中提供更穩定的梯度動能。

ViT-Large 本身具備出色的區域關聯建模能力,在處理 spoof 圖像時,能以全域注意力機制捕捉出微細不協調處,進一步放大假象中難以掩飾的扭曲。此外,他們也沒有加入額外 branch 或生成模組,而是選擇最大化主幹視覺模型的辨識潛力,以精調的資料擾動與學習曲線,在簡單架構中榨出泛化的可能性。

6. L&L&W

當大多數模型選擇整體輸入、全圖判別,L&L&W 團隊反其道而行,他們選擇從局部出發,從細節出手:將一張臉切成無數碎片,從中拼湊真偽的蛛絲馬跡。

他們的核心策略圍繞在:

Patch-based Feature Learning + 頻率導向取樣 + 局部注意力導引

整個流程由圖像切片(patch extraction)開始,將每張輸入影像拆解為多個小區域,再進行獨立特徵學習。在此基礎上,他們導入名為 Centre Difference Attention(CDA) 的機制。

CDA 是一種強化細節紋理差異的注意力方法,專注於「原本應該一致卻出現微變異」的區塊,例如:邊緣暈影、錯位重組、低頻融合失敗等。

除了空間細節,L&L&W 也不放過頻率訊號的潛藏線索。他們設計了名為 High-Frequency Wavelet Sampler(HFWS) 的模組,聚焦於圖像中的高頻波段,用以辨識偽造過程中留下的壓縮殘跡、融合失真與非自然紋理跳變。

這種特徵策略,將局部注意力與高頻成分共同納入辨識流程;論文未分別量測兩個模組各自帶來的改善。

在驗證和測試階段,團隊對每張圖像產出 36 個裁切版本,將其預測分數平均,作為最終分數。

7. SARM

SARM 團隊的設計不在於複雜結構或資料變形,而是一套反覆「訓練訓練者」的過程。

他們的方法名為:

Multi-Attention Training(MAT) + Label Flip Augmentation

這是一種「階段式視覺調整方法」,簡單來說,先訓練一個理解任務的模型,再由此模型細緻調整,應用到不同的攻擊類型上。

SARM 將整體流程拆為兩階段:

  1. 階段一:針對每個協定(P1, P2.1, P2.2)訓練專屬的預訓偵測器,使用 Supervised Contrastive Learning,讓 live 與 fake 之間的表徵盡可能拉開語義距離。

  2. 階段二:以第一階段產出的表徵作為初始權重,進行細部微調,完成真正的防偽模型建構。

這樣的設計強化了每條任務的「預期對象理解」,降低直接 end-to-end 訓練可能出現的誤導現象, 尤其對於跨域泛化任務(P2.1 與 P2.2)特別有效。

在資料增強方面,SARM 的創新重點在於:將真臉,轉為假臉,並標記為 fake。

這並非一般的合成假臉,而是一種使用 OpenCV 樣式轉換(style transformation) 進行的弱假象模擬。

針對 P2.1 和 P2.2 的訓練資料,他們使用基於 OpenCV 的影像風格轉換;論文未列出色調、光照、gamma 或濾鏡的逐項設定。

然後將這些處理過的 live 影像標記為 spoof,形成 label-flip augmentation 訓練樣本。作者認為這有助於減少訓練與測試資料的差距,但沒有把「弱攻擊樣本」定義為獨立攻擊類別。

優化器選用 Adam,搭配交叉熵與 supervised contrastive loss 的組合;論文指出 P1 使用一般訓練策略,P2.1 / P2.2 額外採用 label-flip 增強,未呈現各階段的收斂曲線。

這套方法主要是靠「任務意圖的前置理解」來驅動模型收斂。

8. M2-Purdue

M2-Purdue 團隊帶來不一樣策略。

他們放棄設計複雜架構與強化資料增強,而選擇用 CLIP 的語義表徵,搭配「極值風險導向」的損失設計,其方法名為:

Robust Face Attack Detection with CLIP + MLP + CVAR–AUC Loss Fusion

流程從標準影像前處理開始,將所有輸入調整為 224×224,確保尺度一致性。

接著使用 CLIP 的 image encoder 抽取語義特徵,將視覺資訊轉化為深層嵌入表示。

這裡的關鍵不在於創造新特徵,而在於「借用已經看過大量資料的模型」,讓 CLIP 輸出視覺特徵。後續接上一個三層 MLP 分類器,擔任任務特化的決策模組。論文說明會微調 MLP,但未以實驗確定它是唯一更新的部分,也未測量行動端部署成本。

最具特色的是其雙損失設計,整合兩種監督訊號:

  • CVAR(Conditional Value at Risk)損失:常見於金融風控,關注 tail risk,也就是最容易誤判、風險最大的樣本區段。
  • AUC(Area Under Curve)損失:強調整體判別能力,優化模型對於「排序正確性」的整體感知。

整體損失定義如下:

L=λ⋅LCVAR+(1−λ)⋅LAUC\mathcal{L} = \lambda \cdot \mathcal{L}_{\mathrm{CVAR}} + (1 - \lambda) \cdot \mathcal{L}_{\mathrm{AUC}}

其中參數 λ\lambda 可調節模型在「極值風險感知」與「整體泛化能力」間的權衡。

這種設計背後的核心邏輯是:不求全面正確,但求在「最容易錯的地方」,錯得更少。

整體訓練部分,論文正文寫使用 Adam,但上方架構圖標示 SAM optimizer;兩處資訊不一致,無法單憑這篇挑戰報告確定實際設定。這套設計以 CLIP 特徵為基礎、以尾端風險與排序損失共同訓練;論文沒有提供獨立的收斂穩定性或部署測試。

9. Cloud Recesses

若說防偽辨識的本質是從臉上尋找破綻,那麼 Cloud Recesses 團隊的策略,則給了一個很有創意的方法:遮住那些最容易辨認的地方,逼迫模型從更隱微的訊號中理解真假。

他們的方法名為:

Random Masking for Face Anti-Spoofing Detection

這是一種資料層級的對抗訓練方式,也就是直接把影像中的關鍵部位遮蔽,讓模型在看不清楚眼睛與嘴巴時,也得學會辨認活體。

整體流程可拆解為三步驟:

  1. 人臉偵測:使用 RetinaFace 將人臉從原圖中裁切,統一為 256×256 尺寸。
  2. 關鍵點標註:以 dlib 偵測 68 個臉部關鍵點,精準描繪眼睛、鼻尖、嘴唇等區域。
  3. 隨機遮蔽:於每張訓練樣本上,隨機遮擋三個到五個關鍵區域,使模型失去依賴五官辨識的捷徑。

這樣的設計刻意遮住眼睛、鼻子和嘴巴等局部區域,減少模型依賴特定五官線索;論文沒有驗證模型轉而學到哪一種紋理,也沒有使用影片動態模糊作為此方法的特徵。

模型主幹選用 EfficientNet,平衡精度與效能,適用於遮蔽圖像下的輕量級辨識。

整體訓練以隨機遮蔽作為資料增強,讓模型在局部資訊缺失時仍進行真偽分類;論文沒有單獨報告遮蔽策略的消融結果。

Cloud Recesses 的方案沒有額外模組、沒有雙分支、沒有融合特徵,他們就只是拆掉那張臉的關鍵視覺線索,看看模型能否在黑暗中辨認真假。

10. Image Lab

在防偽偵測的任務中,我們習慣讓模型「看清楚」,但 Image Lab 團隊選擇讓模型「看很多次」。他們提出的架構名為:

Multiattention-Net:由多層注意力組成的深層視覺辨識網絡

這是一種將多階段空間資訊與多重注意力整合的架構設計,系統化地從圖像的不同維度汲取可能的異常徵兆。

整體網路從一層 7×7 卷積層 開始,負責捕捉局部區域內的細節紋理,接著串接十層 變形殘差塊(modified squeezed residual blocks),在殘差塊組之間使用 max pooling 下採樣,讓輸入資訊逐步被抽象為越來越宏觀的空間語義。

在這過程中,模型從不同殘差塊組提取空間資訊,並在後四組各接一個 雙重注意力模組(Dual Attention Block),強化關鍵部位的辨識權重。這讓模型能同時從細節與結構中發掘偽裝痕跡。

最後各注意力分支透過 Global Average Pooling(GAP) 縮減維度,並將分支輸出拼接,進入全連接層進行分類。

在訓練方面,Image Lab 採用了 Binary Focal Cross Entropy Loss,這種損失函數特別針對少數類別與高置信錯誤進行額外懲罰,具體形式如下:

L(y,y^)=−α⋅(1−y^)γ⋅log⁡(y^)−(1−α)⋅y^γ⋅log⁡(1−y^)\mathcal{L}(y, \hat{y}) = -\alpha \cdot (1 - \hat{y})^\gamma \cdot \log(\hat{y}) - (1 - \alpha) \cdot \hat{y}^\gamma \cdot \log(1 - \hat{y})

其中:

  • y^\hat{y} 是模型預測機率,yy 是真實標籤;
  • α=0.25\alpha = 0.25(啟用類別平衡時);
  • γ=3\gamma = 3(強化錯誤樣本懲罰)。

原論文的式(2)寫出了兩個機率項,但沒有依真實標籤 yy 切換正負類,因此無法只憑這個式子還原實際使用的 binary focal loss。表中 ImageLab 的 ACER 為 34.9434%,論文也沒有提供單獨的收斂效率量測。

11. BOVIFOCR-UFPR

在這場專注於「辨識假象」的賽局中,BOVIFOCR-UFPR 是少數選擇將視角拉出二維平面的隊伍。他們不再僅僅分析影像的色彩與紋理,而是試圖重構整張臉的三維真實性,藉此辨認那些偽裝無法還原的空間錯誤。

其方案核心為:

3D Reconstruction + ArcFace + Chamfer Loss

整體架構靈感來自 3DPC-Net,以 Encoder-Decoder 架構為主體:

  1. 預處理階段:偵測、對齊並裁切臉部;另以既有重建方法取得訓練用的 3D 點雲參考資料。
  2. Encoder:採用 ResNet-50 作為 backbone,萃取高層特徵。
  3. Decoder:將特徵轉換為對應的 3D 點雲表示(Point Cloud), 模擬出臉部在空間中的幾何形貌,作為後續判別依據。

透過這樣的結構,模型學到的就不只是「像不像」,而是「合不合理」,是否能在空間座標中站得住腳。

訓練階段中,團隊同時結合兩種特徵導向的損失函數:

  • ArcFace Loss:為分類特徵加入角度間隔約束;這裡的圖示輸出為真偽分類。
  • Chamfer Distance Loss:度量預測點雲與預先重建的 3D 參考點雲間的空間距離,用以約束幾何結構逼近程度。

模型不僅要學會分類 live/fake,還必須產出與真實結構一致的 3D 幾何形狀。

在論文介紹的 13 隊中,這隊使用 3D 點雲重建來輔助真偽分類;其最終 ACER 為 35.3620%。

這是一種跨維度的辨識方式,不靠像素細節,而靠幾何合理性建立防線。

12. Inria-CENATAV-Tec

Inria-CENATAV-Tec 團隊選擇回到一個經典問題:

能否在計算資源受限的場景下,依然達成穩定的防偽效果?

他們的答案是:MobileNetV3-spoof with hyperparameter tuning

這是一場在模型複雜度與辨識精度之間進行的動態平衡實驗。

流程開端即體現其系統性與保守策略:

  1. 臉部標定:使用 ResNet-50 執行 landmark 偵測。
  2. 對齊與退階處理:若可偵測出關鍵點,則使用 InsightFace template 進行臉部對齊;若無,則保留原圖,僅進行大小重設。

這樣的流程兼顧了嚴謹(有 landmark 時精準對齊)與容錯(無 landmark 時亦不排除資料), 展現出對真實世界應用場景的務實理解。

選擇 MobileNetV3-large1.25 作為特徵提取骨幹,是本方案的關鍵設計。

此架構本身即為針對 edge AI 與低功耗設備所優化,在保持卷積效率的前提下,導入 SE attention block 與 h-swish 非線性激活函數,能在參數數量與辨識能力間取得合理折衷。

搭配 SGD optimizer + Multi-step Learning Rate 調度策略,讓模型能逐階段穩定收斂,而非一次性全域下降。

除了基本的增強(如裁切、翻轉等),團隊也針對不同 Protocol 資料集的均值與標準差進行歸一化處理,避免因來源異質導致特徵偏移。

這種針對各協定調整預處理的設計,屬於團隊提交的方法;論文未單獨量測它對泛化能力的影響,該隊在最終榜單的 ACER 為 37.3436%。

13. Vicognit

在所有參賽隊伍中,Vicognit 是少數明確將注意力焦點放在 ViT 上的團隊。

他們提出的方案名為:

FASTormer:Leveraging Vision Transformers for Face Anti-Spoofing

這是一種以 Transformer 為主幹的設計,團隊希望利用它編碼關聯、捕捉序列結構的能力,從空間資訊中學習臉部真偽的辨識線索。

Vicognit 的方案核心在於:使用 ViT 建模人臉影像;報告稱沒有降低輸入資料的維度,但未提供輸入解析度或相關消融,無法判斷具體保留了哪些細節。

這樣的策略並不新穎,但在 face anti-spoofing 任務中卻極具挑戰。

由於假臉與真臉間的差異往往不在幾何,而在紋理、材質與微幅干擾;ViT 所提供的全域關聯建模能力,正好適合學習這些細微且不規律的語意裂縫。

在訓練策略上,他們採用以下方式:

  • 精調 Learning Rate 與 Weight Decay,使模型參數能穩定、精準地收斂;
  • 報告未提供額外資料增強流程的細節,因此無法評估這部分對結果的影響。

這樣的策略以 Transformer 作為辨識主幹,但最終 ACER 為 52.1031%、AUC 為 46.7025%,本次結果沒有支持「良好泛化能力」的判斷。

Vicognit 的方案提供了純 Transformer 架構在這次挑戰中的比較結果。

討論

根據官方最終統計,排名前五的隊伍呈現出幾個值得留意的結果:

  1. 前三名在 ACER 指標上明顯領先其他隊伍:第三名為 5.5111%,第四名為 16.2263%。
  2. 第一名隊伍在 ACER、AUC、BPCER 全數拔得頭籌,但最佳 APCER 則由第五名隊伍奪下,顯示不同模型對不同錯誤類型具選擇性優勢。
  3. 前五名包含業界與研究機構隊伍,例如第四名 BSP-Idiap 來自 Idiap Research Institute;隊伍背景本身不能解釋成績差異。
  4. 整體隊伍在 ACER 表現上落差甚大,由 2.3396% 到 52.1031%;單次競賽還不足以判定某一類架構是普遍最佳解。

這場挑戰除了排名,也讓不同模型與資料策略在相同協議下接受比較。

從主辦單位的賽後整理來看,有三個值得繼續檢驗的方向:

  • 路徑一:檢查骨幹容量與成績的關係;大型模型有可能受益,但冠軍使用的是 ResNet-50,不能只按模型大小選擇。
  • 路徑二:改善資料前處理與類別平衡;多隊使用裁切、增強或損失權重調整,仍需分別驗證其貢獻。
  • 路徑三:從局部資訊缺失的影像學習;遮蔽與局部特徵方法提供研究方向,這份報告沒有跨方法消融來排序它們。

這些是主辦單位從參賽方案歸納的方向,不能把榜單名次直接當成單一設計選擇的因果證據。

結論

根據本次競賽觀察與主辦單位的整理,未來 UAD 發展仍有三個主要方向需要突破:

  1. 更完整的資料集建構:

    儘管 UniAttackData 已為跨攻擊類型的資料統一立下基礎,但在攻擊類型豐富性、受試者多樣性與畫質品質上仍有改進空間。尤其是在對抗式攻擊、風格轉換式假臉等新型態下,現有資料樣本數仍難以支撐系統性泛化驗證。

  2. 視覺語言模型(VLM)引導的泛化策略:

    如 CLIP、DINOv2 等 VLM 模型的引入,提供一種語義層級的泛化壓力設計機制。未來若能更有效將這些多模態預訓知識引導 UAD 任務,或許能減少對 labeled spoof data 的高度依賴。

  3. 任務協定與標準重構:

    現有協定雖具代表性,但難以涵蓋混合式攻擊、多模態場景與行動端部署等新應用情境。發展更高層次的任務定義與分層評估機制(例如將誤判區分為高風險 vs 可容忍錯誤),將是提升真實應用可信度的必要之路。

當前,我們仍行走在辨識假象的迷霧中。

不同隊伍在演算法的多樣路徑上點亮了火光,有的透過注意力看穿異常,有的以遮蔽訓練出堅韌,有的從三維空間抽離形體真偽。

但最終問題仍然未變:

我們是否真的知道,一張假臉是如何構成的?

或許答案還未成形,但在這場技術的公開比試之後,我們離它,已再近一步。