Spoofing Face Recognition with 3D Masks
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@article{faceantispoofingthreedmad2014,
title = {{Spoofing Face Recognition with 3D Masks}},
author = {Nesli Erdogmus and Sebastien Marcel},
year = {2014},
journal = {IEEE Transactions on Information Forensics and Security},
url = {https://doi.org/10.1109/tifs.2014.2322255},
doi = {10.1109/tifs.2014.2322255}
}
還記得我們之前看過了什麼惡意攻擊?
- Print Attack:攻擊者將目標用戶的照片列印出來,然後將其用來突破人臉辨識系統的安全防護。
- Replay Attack:攻擊者錄製目標用戶的影片,然後將其重播以欺騙人臉辨識系統。
你說這解析度太低?好說,找一台 4K 螢幕來播放就行了。
定義問題
在我們都還著眼於這些 2D 攻擊的時候,3D 攻擊已經來了。
這篇論文的作者指出:隨著 3D 重建和列印技術的進步,過去研究對於攻擊型態還停留在 2D 攻擊的假設上,這種假設不再成立。
因為我們可以輕易地從 2D 照片重建出 3D 模型,然後列印出來,這樣就能夠製作出一個與目標用戶的面部結構極為相似的面具。
這個面具可以輕易製造出:
- 景深效果:可以突破景深檢測系統。
- 臉部表情:可以突破主動式活體檢測系統。
它既不是印刷,也不是錄影回放。它可以直接突破基於所有 2D 攻擊的防禦系統。
哎呀!完蛋了。
解決問題
針對 3D 面具攻擊的挑戰,作者提出一個直接的解決方案:
- 先建立一套具代表性的 3D 面具攻擊資料集,然後基於這些資料來訓練新一代防禦系統。
這樣的策略從資料實作出發,有助於釐清真實場景中的攻擊樣態與辨識模型的弱點。
Morpho 資料集
Morpho 是由 MORPHO 公司在 TABULA RASA 計畫中收集的私有資料集。雖然無法公開取得,但它仍是少數包含高精度 3D 面具攻擊樣本的資料集之一,對早期的 FAS 研究有指標性意義。
資料集中共收錄:
- 207 個真實訪問樣本
- 199 個 3D 面具攻擊樣本
- 同時提供灰階紋理影像與 3D 臉部模型
這些面具是針對 16 位特定用戶製作,先使用結構光 3D 掃描器建構臉部模型,再透過 3D 列印技術製成灰階材質、外型逼真的面具。錄製過程中每位用戶拍攝 9 至 15 次,總共包含 20 位受試者資料,並在每幀中標註兩個眼角與鼻尖座標。
特色與限制如下:
- 面具具備極高形狀精度,是真實臉部的準確複製
- 所有樣本均於單一拍攝場次完成,避免環境變異
- 錄製對象須配合靜止,增加攻擊者取得掃描資料的難度
- 資料集為私有資源,無法作為公開研究基準
資料集樣本如下圖,上排是真實用戶,下排是攻擊者佩戴該用戶的面具;三欄依序為灰階紋理影像、深度圖與 3D 臉部模型。這些樣本均來自 Morpho 資料集。
3D Mask Attack Database (3DMAD)
在傳統上,製作方式需仰賴 3D 掃描器,需近距離並取得使用者配合,在真實攻擊場景中不易實現。雖然掃描精度提升,但在沒有授權的情況下取得「高品質 3D 臉部資料」仍非常困難。因此在早期的研究中,3D 面具攻擊的普及性受到限制。
然而近年來,3D 列印與臉部建模技術的商業化服務快速發展,降低了面具製作的技術門檻與取得難度。我們只需要取得使用者的 2D 臉部照片(如網路社群大頭照)且幾乎無感知風險,更具實務威脅。
為了模擬這種低成本、高可取得性的攻擊模式,作者選用了一家名為 ThatsMyFace.com 的第三方服務進行面具製作。
製作步驟如下:
-
影像蒐集: 每位受試者需提供 一張正面照 與 兩張側面照(左側與右側),共三張高品質的 2D 臉部影像。這些影像將成為 3D 臉部重建的輸入來源。
-
模型重建與面具列印: 上傳至 ThatsMyFace 之後,平台會自動將這三張照片重建成 3D 臉部模型。用戶可於網站上預覽模型,確認外觀後下單訂製。
作者為每位使用者製作了兩種面具:
-
可穿戴全尺寸面具:硬樹脂材質、有眼孔與鼻孔,模擬實際攻擊。
-
紙藝組裝面具:較低成本,僅用於展示與未來參考。
-
在資料集中,每位用戶的上傳影像(正面與側面照)及紙藝面具檔案也一併提供,以供未來研究用途;論文沒有說明另有列印用 STL 模型檔。
完成 3D 面具後,作者設計了一套嚴謹的資料錄製流程,以模擬真實訪問與攻擊行為,並蒐集可供模型訓練的彩色與深度影像。
整體錄製工作由 Microsoft Kinect for Xbox 360 完成,該裝置可同步擷取 RGB 與深度影像,對於偵測與分析 3D 面具攻擊具有重要價值。
Kinect 的特色如下:
- 每秒 30 幀:同步擷取 RGB 與深度畫面
- 影像解析度:
- 彩色影像:640 × 480 像素,24 位元(3 × 8 bits)
- 深度影像:640 × 480 像素,11 位元(1 × 11 bits)
- 支援手動標註:可針對彩色影像進行眼睛位置的人工標記
這樣的設計使研究人員得以從彩色紋理與深度兩種資料分析攻擊樣本,並比較 2D、2.5D 與 3D 人臉驗證及防偽方法在本資料集上的表現。
為了模擬不同情境下的真實行為,3DMAD 的錄製工作安排了三個不同的拍攝會話。這種設計考慮到時間、角色與攻擊變因的影響,能有效建立資料的多樣性。
每位使用者參與的錄製安排如下:
-
會話一、會話二(真實訪問):
- 間隔兩週拍攝,以反映生物辨識中「時間差異」的挑戰
- 每場錄製 5 段影片,每段長度 10 秒
- 使用者直視攝影機,正常臉部互動
-
會話三(面具攻擊):
- 由單一攻擊者佩戴先前製作好的 3D 面具進行模擬攻擊
- 每個面具錄製 5 段影片,模擬不同攻擊動作與角度
-
總體規模:
- 17 位使用者 × 3 個會話 × 5 段影片 = 共 255 段影片
- 每段影片為 10 秒、共 300 幀,總計約 76,500 幀 RGB 與深度資料
實際拍攝樣本如下圖範例,從左到右分別對應了上述的三個會話:
為確保後續模型訓練的品質與一致性,作者針對資料標註與拍攝環境做了高度控制:
-
眼睛位置標註:
- 每段影片中,每隔 60 幀人工標註一次眼睛位置
- 其餘幀數透過線性插值自動補齊,達成每幀皆有標註座標
-
拍攝環境設計:
- 使用者正面面對攝影機
- 背景統一(無干擾圖樣)
- 照明充足,避免臉部陰影或過曝
此環境設定能最大化去除背景與光線干擾,聚焦於辨識面具與真臉的差異。
討論
為了系統性評估人臉辨識系統在面具攻擊下的脆弱性,作者在本研究中提出了多項基準實驗,並以 Equal Error Rate(EER) 與 Spoofing False Acceptance Rate(SFAR) 作為兩項主要評估指標:
- EER 表示系統在驗證任務中,錯誤接受與錯誤拒絕發生機率相等時的閾值錯誤率,「越低」表示驗證系統越準確。
- SFAR 則是專門針對偽造攻擊設計的指標,用以量化「攻擊樣本通過驗證閾值」的比率,反映系統在面具攻擊下的抗偽能力,「越低」表示系統越安全。
3D 面具攻擊安全性分析
上表呈現了三組演算法(LBP-2D、LBP-2.5D、TPS-3D)在不同資料集與預處理策略下的驗證錯誤率(EER)與面具攻擊成功率(SFAR),共分為四個設定:
- (1): 文獻 [22] 中所報告的結果(限 Morpho 資料集,未提供 SFAR)
- (2): 採用文獻 [22] 提供的預處理影像,並以作者實作的演算法測試(Morpho)
- (3): 作者自建預處理流程與演算法的完整重建實驗(Morpho)
- (4): 使用自定義預處理與演算法,在 3DMAD 資料集上測試(包括驗證與攻擊)
表中 (2) 的 2D 與 2.5D EER 接近文獻 [22] 的 (1),因為使用了對方提供的預處理資料,可比較演算法實作;3D 的 (2) 沒有數值,不能一併視為重現。Morpho 未設獨立發展集,門檻由全資料的分數事後決定。
在 2D 模式下,從 (2) 改為 (3) 後 EER 只由 6.16% 升至 6.54%,SFAR 卻由 51.27% 升至 59.94%。作者認為,裁切差異使面具邊緣是否入鏡發生變化,可能影響攻擊成功率。
在 2.5D 與 3D 模式中,省略文獻 [22] 的平滑與補洞處理後,EER 上升;2.5D 的 SFAR 反而從 76.93% 降至 41.98%,因為攻擊面具也更難被認成目標用戶。3D 的 (2) 沒有可比的 SFAR 數值。
橫向比較 (3) 與 (4) 顯示:使用 2.5D 或 3D 資料時,3DMAD 的驗證 EER 較高,而面具攻擊 SFAR 較低;2D LBP 的 EER 則較低。作者推測深度與形狀結果的差異可能來自:
- Kinect 所取得的深度品質不如 Morpho 採用的雷射掃描器;
- 3DMAD 的面具來自 2D 圖像重建,形狀精度較低,也使部分攻擊較難成功。
作者進一步針對 3DMAD 中的 17 個面具逐一分析,並比較四種演算法(LBP、TPS、ISV、ICP)在 2D / 2.5D / 3D 三種模式下的 EER 與 SFAR,結果如下圖所示:
分析顯示,不同面具間的 SFAR 差異極大,從 0% 到 98.4% 不等。作者將落差與面具製作品質及對目標的相似程度連結,包括:
- 面具製作的形狀準確度
- 臉部紋理的真實性與還原度
這說明單一平均值會掩蓋不同面具的攻擊差異,還需要查看逐面具結果。
作者進一步觀察也發現,同一面具在不同模式下的攻擊表現差異顯著,例如:
- Mask #11 在 ISV-2D 模式下的 SFAR 高達 96.68%,但在 2.5D 僅為 7.52%。
這顯示相同面具的 2D 紋理與 2.5D 深度表現可以相差很大;作者指出面具的紋理品質與形狀準確度未必同步。
同樣地,相同面具與模式下,不同演算法對攻擊的敏感程度也可能差異極大,例如:
- Mask #17 使用 ISV-2D 時的 SFAR 為 76.32%,但換成 LBP-2D 後僅剩 4.44%。
這說明同一面具在不同驗證演算法下的攻擊成功率可能差很多;論文也指出,目標用戶本身的驗證困難程度及演算法特徵都可能影響結果。
這些觀察凸顯出一個關鍵事實:
在這批受測演算法中,較低的正常驗證 EER 並未保證較低的面具攻擊 SFAR。
特別是在 ISV 與 ICP 等高性能模型中,這種現象更為明顯。
作者以 ISV 為例推測:能容忍真實用戶跨場次外觀差異的模型,也可能接受與目標相似、但形狀不完全相同的面具。這是對本實驗結果的解釋。
因此評估這類系統時,除了正常驗證的 EER,也需要在相同操作門檻下檢查面具攻擊的 SFAR;本研究的面具與資料集範圍不足以代表所有部署情境。
結論
3DMAD 是較早系統性探討「3D 面具對人臉辨識系統構成威脅」的工作之一。
作者透過 Morpho 與 3DMAD 兩組資料集,設計了多種驗證與防偽實驗,並分析不同模態(2D / 2.5D / 3D)、特徵(LBP variants)與分類器(SVM, LDA, )的效能差異。
整體而言,該研究在資料建構、實驗設計與指標評估上皆具有完整性,對當時尚未普及的 3D spoofing 領域具有參考價值。特別是對於面具製作精度與模型穩定性之間關係的分析,具有啟發意義。
然而,從 2025 年的視角回顧,本研究也存在一些明顯的限制:
- 評估主要基於封閉式資料集,缺乏對跨資料與未知攻擊的泛化測試。
- 模型訓練依賴已知攻擊樣本,與實際應用中難以預知攻擊類型的情境有所落差。
- 在資料分布變動下,部分結果表現不穩,顯示模型對面具多樣性的適應性仍有限。
儘管如此,該研究在方法設計與分析觀點上仍具參考價值,為後續 3D 面具攻擊防禦研究奠定了初步基礎。隨著深度學習與感測技術的持續發展,這類議題仍值得進一步探索與拓展。