Retour à la bibliothèque

3DMAD

Un vrai faux visage

Article original

Spoofing Face Recognition with 3D Masks

Auteurs de l’article

Nesli Erdogmus · Sebastien Marcel

Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@article{faceantispoofingthreedmad2014,
  title = {{Spoofing Face Recognition with 3D Masks}},
  author = {Nesli Erdogmus and Sebastien Marcel},
  year = {2014},
  journal = {IEEE Transactions on Information Forensics and Security},
  url = {https://doi.org/10.1109/tifs.2014.2322255},
  doi = {10.1109/tifs.2014.2322255}
}
Sur cette page

Vous souvenez-vous des attaques que nous avons déjà rencontrées ?

  • Print Attack : imprimer une photographie de la personne visée pour tenter de tromper un système de reconnaissance faciale.
  • Replay Attack : enregistrer une vidéo de cette personne puis la rejouer devant le système.

La définition de l'image est trop faible ? Très bien, passons-la sur un écran 4K !

Définir le problème

Pendant que nous regardions ces attaques en 2D, les attaques en 3D sont apparues.

Les auteurs soulignent que les progrès de la reconstruction et de l'impression 3D rendent insuffisantes les études qui ne considèrent que les attaques bidimensionnelles.

Quelques photographies du visage sous plusieurs angles peuvent servir à reconstruire un modèle approximatif et à fabriquer un masque sans scanner précisément la personne ciblée. La ressemblance, la qualité et le coût de fabrication restent toutefois des contraintes importantes.

Deux propriétés méritent toutefois d'être distinguées :

  1. Un relief réel : une défense qui ne cherche qu'une photographie plane peut échouer.
  2. Une expression figée : les masques rigides étudiés ici ne reproduisent pas les expressions naturelles.

Ce n'est ni une photographie imprimée ni une vidéo rejouée. La question est de savoir si un système évalué uniquement sur des attaques en 2D résiste aussi aux masques 3D.

Aïe, voilà un nouveau problème !

Résoudre le problème

Face aux attaques par masque 3D, les auteurs adoptent une démarche directe :

  • Créer d'abord un jeu de données représentatif de ces attaques, puis s'en servir pour étudier et entraîner des systèmes de défense.

Partir des données permet de décrire les attaques concrètes et de repérer les faiblesses des modèles de reconnaissance.

Le jeu Morpho

Morpho est un jeu privé recueilli par l'entreprise MORPHO dans le projet TABULA RASA. Il n'est pas accessible publiquement, mais compte parmi les premiers jeux contenant des attaques par masques 3D de haute précision et a joué un rôle important dans les premières études sur la détection des attaques faciales.

Il comprend :

  • 207 échantillons d'accès authentiques ;
  • 199 échantillons d'attaques par masque 3D ;
  • des images de texture en niveaux de gris et des modèles faciaux 3D.

Les masques ont été fabriqués pour 16 personnes ciblées. Un scanner 3D à lumière structurée a d'abord construit les modèles faciaux ; l'impression 3D a ensuite produit des masques gris ressemblants. Vingt personnes participent aux enregistrements, à raison de 9 à 15 captures par personne. Les coordonnées de deux coins des yeux et de la pointe du nez sont annotées dans chaque image.

Quelques caractéristiques et limites :

  • la forme des masques reproduit très fidèlement le visage ciblé ;
  • tous les échantillons ont été recueillis lors d'une seule séance, ce qui limite la variation des conditions ;
  • les personnes scannées doivent coopérer et rester immobiles, ce qui complique la collecte de leurs données par un attaquant ;
  • le jeu est privé et ne peut servir de référence publique librement accessible.

La figure suivante montre des exemples Morpho : la rangée supérieure représente les personnes réelles, et la rangée inférieure les attaquants portant leurs masques. De gauche à droite figurent une texture en niveaux de gris, une carte de profondeur et un modèle 3D.

3D Mask Attack Database (3DMAD)

La fabrication traditionnelle d'un masque exigeait un scanner 3D, la proximité et la coopération de la personne visée. Sans autorisation, obtenir un modèle facial 3D précis restait difficile ; le coût et l'acquisition des données limitaient donc ce type d'attaque dans les premières études.

À l'époque de cet article, les services commerciaux de modélisation et d'impression 3D abaissaient ces obstacles. Des photographies publiques ou prises à distance pouvaient fournir les entrées d'une reconstruction, sans scanner la cible de près. La menace devenait plus plausible, même si la précision du masque restait variable.

Pour étudier cette attaque à partir de photographies plus faciles à obtenir, les auteurs ont commandé leurs masques auprès de ThatsMyFace.com.

Voici les étapes :

  • Collecte des images : chaque sujet fournit une photographie de face et deux photographies de profil, gauche et droite. Ces trois images faciales en 2D de bonne qualité servent à la reconstruction.

  • Reconstruction et impression : le service reconstruit un modèle facial 3D à partir des trois photographies. Le client peut le prévisualiser, puis commander son masque.

    Les auteurs font fabriquer deux types de masques pour chaque personne :

    • Un masque rigide porté à taille réelle : en résine dure, avec des ouvertures pour les yeux et les narines, destiné à simuler une attaque.

    • Un masque en papier à assembler : moins coûteux, fourni pour la présentation et d'éventuelles études futures.

Le jeu conserve aussi les photographies de face et de profil transmises pour chaque personne, ainsi que les fichiers des masques en papier. L'article ne mentionne pas de fichier STL distinct prêt à imprimer.


Une fois les masques fabriqués, les auteurs organisent les enregistrements de façon à comparer les accès authentiques aux attaques et à collecter des images couleur et de profondeur pour l'étude.

Ils utilisent un Microsoft Kinect pour Xbox 360, qui acquiert simultanément les images RGB et les données de profondeur. Ces deux modalités permettent d'analyser les masques sous des angles complémentaires.

Caractéristiques du Kinect :

  • 30 images par seconde pour les flux couleur et profondeur ;
  • Résolution des images :
    • couleur : 640 × 480 pixels, 24 bits (3 × 8 bits) ;
    • profondeur : 640 × 480 pixels, 11 bits (1 × 11 bits) ;
  • Annotations manuelles : les positions des yeux peuvent être marquées sur les images couleur.

Les chercheurs peuvent ainsi comparer les textures et la profondeur des attaques, puis évaluer sur ces données la reconnaissance faciale et la détection des attaques en 2D, 2,5D et 3D.


Le protocole 3DMAD comporte trois séances de capture distinctes. Il tient compte du temps, du rôle de la personne filmée et du type d'accès, afin d'introduire une diversité contrôlée dans le jeu.

Pour chaque personne :

  • Séances 1 et 2 (accès authentiques) :

    • elles sont espacées de deux semaines, afin de représenter une variation temporelle ;
    • chacune contient cinq vidéos de dix secondes ;
    • la personne regarde la caméra de face et interagit normalement.
  • Séance 3 (attaque par masque) :

    • un seul attaquant porte les masques fabriqués auparavant ;
    • chaque masque est filmé dans cinq vidéos, avec des mouvements et des angles différents.
  • Taille totale :

    • 17 personnes × 3 séances × 5 vidéos = 255 vidéos ;
    • chaque vidéo dure dix secondes, soit environ 300 images ; l'ensemble représente près de 76 500 images RGB et de profondeur.

La figure suivante donne des exemples de ces trois séances, de gauche à droite :


Pour garder des données et des annotations cohérentes, les auteurs contrôlent aussi les conditions de prise de vue :

  • Annotation des yeux :

    • la position des yeux est annotée manuellement toutes les 60 images d'une vidéo ;
    • les positions intermédiaires sont obtenues par interpolation linéaire, afin que chaque image dispose de coordonnées.
  • Conditions de capture :

    • le sujet fait face à la caméra ;
    • le fond est uniforme, sans motif gênant ;
    • la lumière est suffisante pour éviter les ombres fortes et la surexposition.

Ces conditions réduisent les variations de fond et d'éclairage, afin de concentrer l'analyse sur les différences entre visage réel et masque.

Discussion

Pour mesurer la vulnérabilité des systèmes de reconnaissance faciale aux masques, les auteurs rapportent principalement le taux d'erreur égal (EER) et le taux de fausse acceptation des attaques (SFAR, Spoofing False Acceptance Rate) :

  • EER : taux d'erreur au seuil où les fausses acceptations et les faux rejets des vérifications ordinaires sont égaux. Plus il est faible, meilleure est la vérification dans les conditions évaluées.
  • SFAR : part des attaques par masque acceptées au seuil de vérification. Plus il est faible, moins ces attaques réussissent dans les conditions évaluées.

Vulnérabilité aux masques 3D

Ce tableau présente l'EER de vérification et le SFAR des attaques par masque pour LBP-2D, LBP-2,5D et TPS-3D. Les résultats sont répartis entre quatre conditions expérimentales :

  • (1) : résultats rapportés par la référence [22] pour Morpho uniquement ; aucun SFAR n'y est fourni ;
  • (2) : images prétraitées fournies par la référence [22], évaluées avec les algorithmes réimplémentés par les auteurs sur Morpho ;
  • (3) : prétraitement et algorithmes reconstruits par les auteurs sur Morpho ;
  • (4) : prétraitement et algorithmes des auteurs évalués sur 3DMAD, pour la vérification et les attaques.

En 2D et en 2,5D, les EER de (2) sont proches de ceux de (1), ce qui permet de comparer les réimplémentations à partir des données prétraitées fournies par la référence [22]. Le résultat 3D de (2) est absent : on ne peut donc pas le présenter comme une reproduction. Morpho n'a pas d'ensemble de développement indépendant ; son seuil est déterminé après coup à partir de tous les scores.

En 2D, le passage de (2) à (3) fait légèrement monter l'EER, de 6,16 % à 6,54 %, mais le SFAR grimpe de 51,27 % à 59,94 %. Selon les auteurs, les différences de recadrage peuvent modifier la visibilité des bords du masque et donc sa réussite.

En 2,5D et en 3D, l'omission du lissage et du remplissage des trous utilisés dans la référence [22] augmente l'EER. En 2,5D, le SFAR descend pourtant de 76,93 % à 41,98 %, parce que les masques deviennent eux aussi plus difficiles à reconnaître comme la cible. Il n'existe pas de SFAR 3D comparable pour (2).

La comparaison de (3) et (4) révèle que, pour les données en 2,5D et en 3D, les EER de vérification sont plus élevés sur 3DMAD, tandis que les SFAR des masques sont plus faibles. En 2D avec LBP, l'EER est au contraire plus faible. Les auteurs évoquent deux explications possibles :

  • la profondeur mesurée par Kinect est moins précise que celle du scanner laser utilisé pour Morpho ;
  • les masques 3DMAD, reconstruits à partir de photographies 2D, ont une forme moins exacte, ce qui peut aussi réduire la réussite de certaines attaques.

Les auteurs examinent ensuite chacun des 17 masques de 3DMAD. Ils comparent quatre algorithmes (LBP, TPS, ISV et ICP) en 2D, 2,5D et 3D, à l'aide de l'EER et du SFAR. La figure suivante présente ces résultats :

Le SFAR varie énormément d'un masque à l'autre, de 0 % à 98,4 %. Les auteurs relient ces écarts à la qualité de fabrication et à la ressemblance avec la personne ciblée, notamment :

  • la précision de la forme du masque ;
  • le réalisme et la fidélité de sa texture faciale.

Une moyenne unique cache donc les différences entre masques : il faut aussi examiner les résultats individuels.

Un même masque peut également produire des résultats très différents selon la modalité. Par exemple :

  • pour le masque nº 11, le SFAR atteint 96,68 % avec ISV-2D, mais seulement 7,52 % en 2,5D.

Le même masque peut donc paraître convaincant par sa texture 2D et beaucoup moins par sa profondeur. Les auteurs précisent toutefois que fidélité de la texture et exactitude de la forme ne vont pas nécessairement ensemble ; cet exemple ne permet pas d'isoler une seule cause.

De même, les algorithmes peuvent réagir très différemment au même masque dans une même modalité. Par exemple :

  • pour le masque nº 17 en 2D, le SFAR est de 76,32 % avec ISV, contre seulement 4,44 % avec LBP.

La réussite d'une attaque dépend donc aussi de l'algorithme de vérification. La difficulté propre à la personne ciblée et les caractéristiques utilisées par le modèle peuvent toutes deux peser sur le résultat.


Ces observations conduisent à une conclusion importante :

Parmi les algorithmes étudiés, l’EER de vérification et le SFAR face aux masques demandent des évaluations distinctes.

Cette tendance est particulièrement visible avec des modèles performants comme ISV et ICP.

Les auteurs proposent une interprétation pour ISV : un modèle qui tolère les variations d'apparence d'une même personne entre deux séances peut aussi accepter un masque ressemblant à cette personne, même si sa forme n'est pas parfaitement fidèle. Cela explique les résultats observés ici, sans démontrer que tous les modèles performants se comporteraient ainsi.

Il faut donc examiner, en plus de l'EER de vérification, le SFAR des masques au même seuil de fonctionnement.

Conclusion

3DMAD compte parmi les premières études systématiques de la menace que représentent les masques 3D pour la reconnaissance faciale.

À partir de Morpho et de 3DMAD, les auteurs construisent plusieurs expériences de vérification et de détection d'attaque. Ils comparent les modalités 2D, 2,5D et 3D, notamment avec LBP, TPS, ISV et ICP, ainsi que les mesures EER et SFAR.

La construction du jeu de données, le protocole et l'analyse des différences entre masques sont utiles pour replacer les attaques 3D dans le contexte de la recherche de l'époque. L'étude montre notamment que la précision du masque et la robustesse apparente d'un modèle ne suffisent pas à prédire, seules, la réussite de l'attaque.

Avec le recul, elle présente aussi des limites :

  • l'évaluation porte surtout sur des jeux fermés, sans mesure étendue de la généralisation à d'autres données ou à des attaques inconnues ;
  • les méthodes de détection étudiées sont entraînées sur des attaques connues, alors que celles d'un système déployé sont difficiles à prévoir ;
  • certaines performances varient fortement selon le masque et la modalité.

Ces limites n'enlèvent rien à l'intérêt du protocole et de l'analyse pour les recherches ultérieures sur les masques 3D. Les capteurs et les modèles ont évolué depuis ; les questions de généralisation et de résistance à de nouvelles attaques restent ouvertes.