A Personalized Benchmark for Face Anti-Spoofing
- Publication
- WACV Workshops 2022Atelier (workshop)
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@inproceedings{faceantispoofingpersonalizedfas2022,
title = {{A Personalized Benchmark for Face Anti-Spoofing}},
author = {Davide Belli and Debasmit Das and Bence Major and Fatih Porikli},
year = {2022},
booktitle = {WACV Workshops},
url = {https://openaccess.thecvf.com/content/WACV2022W/MAP-A/html/Belli_A_Personalized_Benchmark_for_Face_Anti-Spoofing_WACVW_2022_paper.html}
}
Cet article traite plutôt d'application et a reçu peu de citations.
Il propose néanmoins un benchmark personnalisé pour les modèles de détection des attaques par présentation du visage (FAS), avec une idée qui rejoint l'attention actuelle portée à la vie privée. Voyons cela de plus près.
Définition du problème
Nous avons déjà étudié plusieurs articles sur la FAS.
Le fonctionnement habituel consiste à fournir une nouvelle image à un modèle FAS entraîné, qui répond « visage réel » ou « attaque » en s'appuyant sur les caractéristiques de l'image.
Les auteurs de cet article s'intéressent plutôt aux images enregistrées lors de l'inscription de l'utilisateur.
En reconnaissance faciale, les systèmes pratiques disposent souvent d'une ou de plusieurs photos prises lors de l'inscription. Les vérifications ultérieures peuvent comparer une nouvelle capture à ces références.
Pourquoi ne pas utiliser ces photos inscrites comme références pour la FAS aussi ?
C'est l'idée que les auteurs mettent à l'épreuve dans leurs expériences.
Résolution du problème
Architecture du modèle
La méthode propose une architecture de FAS personnalisée, simple et extensible. Les images de l'ensemble d'inscription (enrollment set) servent de références de vrais visages propres à l'utilisateur. Leurs caractéristiques sont agrégées et comparées à celles de l'image soumise (query). Le schéma montre trois parties :
-
Deux voies d'extraction des caractéristiques
Deux encodeurs CNN indépendants traitent respectivement la requête et les images d'inscription. Les auteurs laissent ainsi chaque voie apprendre sa propre représentation ; une ablation vérifie si partager les poids serait préférable.
- L'image de requête est encodée par en un vecteur ;
- Les images d'inscription sont encodées par en .
-
Agrégation des caractéristiques d'inscription
Les caractéristiques des différentes images doivent former un seul vecteur , représentant la référence personnelle de l'utilisateur. Les auteurs examinent plusieurs stratégies :
-
Méthodes non paramétriques
-
Concatenation
- Concaténer les caractéristiques en un vecteur de dimension ;
- Conserver toutes les caractéristiques, au prix d'une sensibilité à l'ordre : il n'y a pas d'invariance par permutation.
-
Mean
- Calculer la moyenne des vecteurs :
- Obtenir un vecteur de taille fixe, invariant à l'ordre ;
- Employer un perceptron multicouche (MLP) pour modéliser le lien entre requête et inscription.
-
-
Modélisation séquentielle (GRU)
- Traiter les caractéristiques d'inscription comme une séquence, ce qui convient notamment aux images successives d'une vidéo SiW ;
- Les agréger récursivement par un GRU :
- Utiliser l'état caché final comme caractéristique agrégée : .
Cette approche peut tenir compte de l'ordre des images tirées d'une vidéo. Son intérêt par rapport aux méthodes non séquentielles reste à mesurer expérimentalement.
-
Apprentissage pondéré (Attention)
L'attention entre la requête et les images d'inscription suit le schéma requête, clé et valeur :
Plus précisément :
- ;
- et ;
- et sont des couches linéaires.
Cette méthode modélise la similarité entre la requête et les images d'inscription et peut renforcer leur mise en correspondance.
-
Réseau de neurones sur graphe (GNN)
La requête et les caractéristiques d'inscription deviennent les nœuds d'un graphe :
- nœuds : une requête et images d'inscription.
À chaque couche, le GNN :
- Calcule une matrice d'adjacence à partir d'une fonction de distance entre caractéristiques ;
- Met à jour les nœuds par convolution sur graphe :
La prédiction est obtenue directement à partir du nœud de requête.
Cette variante peut représenter les relations relatives entre images d'inscription, leurs ressemblances et leurs différences.
Dans les expériences, la simple moyenne offre souvent un résultat stable et compétitif, même sans mécanisme d'agrégation complexe. Elle ne domine toutefois pas chaque indicateur sur chaque jeu.
-
-
Fusion des caractéristiques et classification
Sauf dans la variante GNN, où le nœud de requête donne directement la prédiction, le modèle concatène à , puis transmet le résultat à un MLP. L'ensemble est entraîné de bout en bout par entropie croisée pour classer la requête comme visage réel ou attaque.
L'architecture peut être évaluée avec plusieurs réseaux de base, mais son coût et sa sécurité en déploiement restent à vérifier.
Les caractéristiques d'inscription ne dépendent pas de la requête du moment et peuvent être calculées à l'avance. Lors de chaque vérification, il faut quand même traiter la requête, agréger les caractéristiques et classer. L'étude porte sur des images RGB ; elle ne teste ni les garanties de confidentialité des représentations stockées ni un déploiement multimodal.
Construire les jeux de données
Pour évaluer la méthode, les auteurs transforment des jeux publics de FAS en benchmarks où chaque image de requête est associée aux images d'inscription de la même personne :
- CASp-Enroll, construit à partir de CelebA-Spoof ;
- SiW-Enroll, construit à partir de SiW.
Cette transformation convient aux jeux qui identifient les personnes et conservent assez d'exemples de vrais visages par personne. Le principe est le suivant :
- Dans le jeu initial, un exemple contient une requête et son étiquette « réel ou attaque » :
- Dans le jeu personnalisé, on ajoute un ensemble de vrais visages de la même personne :
- L'ensemble d'inscription propre à chaque personne est associé aux requêtes qui lui restent après la séparation.
CelebA-Spoof-Enroll (CASp-EnrollN)
CelebA-Spoof est un grand jeu de FAS, avec plus de 10 000 personnes et quelque 600 000 images. Pour construire CASp-Enroll, les auteurs appliquent ces règles :
- Fixer le nombre d'images d'inscription , par exemple , afin d'obtenir un ensemble de même taille pour chaque personne ;
- Exclure les personnes ayant au plus vrais visages, pour conserver au moins une requête réelle ;
- Retenir les premiers vrais visages pour l'inscription, et laisser les autres vrais visages et attaques comme requêtes ;
- Choisir ces images selon l'ordre des noms de fichiers, afin d'éviter une sélection aléatoire.
Cette séparation reproduit un parcours « inscription préalable → vérification ultérieure », tout en gardant une procédure déterministe.
SiW-Enroll (SiW-EnrollN)
SiW est un jeu de FAS composé de vidéos de bonne qualité : 4 478 courtes vidéos provenant de 165 personnes. Pour en créer la version personnalisée :
- Séparer d'abord entraînement et test selon le protocole 1, échantillonner une image toutes les dix trames, puis former deux partitions dont les types d'attaque diffèrent entre entraînement et test ;
- Choisir une vidéo représentative pour chaque combinaison personne × appareil, et y prélever régulièrement images d'inscription ;
- Exiger de cette vidéo :
- Un éclairage sans changement ;
- Des variations de pose pour diversifier les références ;
- Exclure toutes ses trames des requêtes, afin d'éviter une fuite d'information.
Chaque personne obtient ainsi un ensemble d'inscription distinct selon l'appareil de capture. Les images de sa vidéo d'inscription ne réapparaissent pas parmi les requêtes.
Discussion
La personnalisation aide-t-elle vraiment ?
Dans les deux benchmarks, CASp-Enroll5 et SiW-Enroll5, les modèles personnalisés avec agrégation par moyenne dépassent leurs baselines respectives sur les AUC, AUC10 et EER du tableau, pour les trois réseaux de base testés. La comparaison porte sur des modèles réentraînés.
- Sur CASp-Enroll5, le gain maximal d'AUC10 est de 2,3 points de pourcentage pour ResNet18, de 94,1 % à 96,4 %. VGG16 et FeatherNet progressent eux aussi.
- FeatherNet, modèle léger conçu pour la FAS, s'améliore également dans les tests présentés. Cela ne suffit pas à valider son coût ou sa sécurité dans un déploiement aux ressources contraintes.
Sur SiW-Enroll5, les gains sont plus modestes. Les auteurs suggèrent que les images d'inscription y sont moins variées et offrent donc moins d'information distinctive que celles de CASp-Enroll5.
Nous retrouvons notre première question :
Des références personnelles améliorent-elles réellement la décision de FAS ?
Pour les données et les modèles testés, oui.
Après ajout d'une voie d'inscription et réentraînement, les résultats s'améliorent. L'article ne teste pas l'effet de simplement fournir ces images à un modèle déjà entraîné.
La méthode la plus simple est-elle la meilleure ?
Les auteurs comparent cinq méthodes d'agrégation des caractéristiques d'inscription.
La figure suggère que :
La moyenne est stable sur les indicateurs testés, mais elle n'est pas partout la meilleure.
Regardons les chiffres :
- Sur CASp-Enroll5, la moyenne donne les meilleures AUC et AUC10 (98,6 / 94,1), avec l'EER le plus bas (5,9) : son bilan global est très bon.
- Sur SiW-Enroll5, la concaténation fait mieux que la moyenne sur les trois mesures : AUC 98,2 contre 98,1, AUC10 94,3 contre 93,3 et EER 6,0 contre 6,2. La moyenne reste parmi les trois meilleures méthodes.
- Attention déçoit : elle ne dépasse pas la baseline et, sur SiW, l'EER monte même à 7,1.
- Le GNN possède une certaine capacité de représentation, mais reste sur CASp derrière des méthodes non paramétriques ; sa complexité ne donne pas ici un gain correspondant.
Un mécanisme plus complexe n'est donc pas forcément plus efficace. Quand la taille et la qualité des références d'inscription sont limitées, une agrégation simple peut faciliter l'apprentissage de la correspondance.
Peut-on partager l'encodeur ?
Cette ablation pose une question : la requête et les images d'inscription peuvent-elles utiliser le même extracteur de caractéristiques ?
Les deux entrées étant des visages, partager un encodeur CNN paraît raisonnable. Mais les résultats de cette expérience indiquent :
Dans cette ablation avec VGG16, partager l'encodeur est moins efficace que garder deux encodeurs distincts.
Lorsque les images de requête et d'inscription passent par le même encodeur :
- Sur CASp-Enroll5, l'AUC10 tombe de 94,1 à 90,8 et l'EER monte à 13,7 %, moins bon que la baseline sans personnalisation ;
- Sur SiW-Enroll5, l'EER atteint 20,6 %, contre 6,2 % avec deux encodeurs et 6,8 % pour la baseline.
Deux encodeurs indépendants conservent au contraire les meilleurs résultats de cette comparaison.
Conclusion
Cette étude ouvre une piste pour la FAS personnalisée : prendre les images d'inscription d'un utilisateur comme références et associer leurs caractéristiques à celles de la requête. Entre la création des benchmarks, leur transformation, les méthodes d'agrégation et l'étude des encodeurs, elle fournit un point de départ clair pour des systèmes sensibles aux différences entre personnes. Les gains observés concernent les modèles et les protocoles évalués.