Retour à la bibliothèque
WACV Workshops 2022Détection des attaques de présentation facialeNotes de lecture

Personalized-FAS

Une tentative de personnalisation

Article original

A Personalized Benchmark for Face Anti-Spoofing

Auteurs de l’article

Davide Belli · Debasmit Das · Bence Major · Fatih Porikli

Publication
WACV Workshops 2022Atelier (workshop)
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@inproceedings{faceantispoofingpersonalizedfas2022,
  title = {{A Personalized Benchmark for Face Anti-Spoofing}},
  author = {Davide Belli and Debasmit Das and Bence Major and Fatih Porikli},
  year = {2022},
  booktitle = {WACV Workshops},
  url = {https://openaccess.thecvf.com/content/WACV2022W/MAP-A/html/Belli_A_Personalized_Benchmark_for_Face_Anti-Spoofing_WACVW_2022_paper.html}
}
Sur cette page

Cet article traite plutôt d'application et a reçu peu de citations.

Il propose néanmoins un benchmark personnalisé pour les modèles de détection des attaques par présentation du visage (FAS), avec une idée qui rejoint l'attention actuelle portée à la vie privée. Voyons cela de plus près.

Définition du problème

Nous avons déjà étudié plusieurs articles sur la FAS.

Le fonctionnement habituel consiste à fournir une nouvelle image à un modèle FAS entraîné, qui répond « visage réel » ou « attaque » en s'appuyant sur les caractéristiques de l'image.

Les auteurs de cet article s'intéressent plutôt aux images enregistrées lors de l'inscription de l'utilisateur.

En reconnaissance faciale, les systèmes pratiques disposent souvent d'une ou de plusieurs photos prises lors de l'inscription. Les vérifications ultérieures peuvent comparer une nouvelle capture à ces références.

Pourquoi ne pas utiliser ces photos inscrites comme références pour la FAS aussi ?

C'est l'idée que les auteurs mettent à l'épreuve dans leurs expériences.

Résolution du problème

Architecture du modèle

La méthode propose une architecture de FAS personnalisée, simple et extensible. Les images de l'ensemble d'inscription (enrollment set) servent de références de vrais visages propres à l'utilisateur. Leurs caractéristiques sont agrégées et comparées à celles de l'image soumise (query). Le schéma montre trois parties :

  1. Deux voies d'extraction des caractéristiques

    Deux encodeurs CNN indépendants traitent respectivement la requête et les images d'inscription. Les auteurs laissent ainsi chaque voie apprendre sa propre représentation ; une ablation vérifie si partager les poids serait préférable.

    • L'image de requête IqI_q est encodée par ϕq\phi_q en un vecteur fq∈RDf_q \in \mathbb{R}^D ;
    • Les images d'inscription {Iei}i=1N\{I^i_e\}_{i=1}^N sont encodées par ϕe\phi_e en {fei}i=1N\{f^i_e\}_{i=1}^N.
  2. Agrégation des caractéristiques d'inscription

    Les caractéristiques des différentes images doivent former un seul vecteur feaggf^{agg}_e, représentant la référence personnelle de l'utilisateur. Les auteurs examinent plusieurs stratégies :

    • Méthodes non paramétriques

      • Concatenation

        • Concaténer les NN caractéristiques en un vecteur de dimension N⋅DN \cdot D ;
        • Conserver toutes les caractéristiques, au prix d'une sensibilité à l'ordre : il n'y a pas d'invariance par permutation.
      • Mean

        • Calculer la moyenne des NN vecteurs : feagg=1N∑i=1Nfeif^{agg}_e = \frac{1}{N} \sum_{i=1}^N f^i_e
        • Obtenir un vecteur de taille fixe, invariant à l'ordre ;
        • Employer un perceptron multicouche (MLP) pour modéliser le lien entre requête et inscription.

    • Modélisation séquentielle (GRU)

      • Traiter les caractéristiques d'inscription comme une séquence, ce qui convient notamment aux images successives d'une vidéo SiW ;
      • Les agréger récursivement par un GRU : hli=GRU(fli,hli−1)h_l^i = \text{GRU}(f_l^i, h_l^{i-1})
      • Utiliser l'état caché final comme caractéristique agrégée : feagg=hLNf^{agg}_e = h_L^N.

      Cette approche peut tenir compte de l'ordre des images tirées d'une vidéo. Son intérêt par rapport aux méthodes non séquentielles reste à mesurer expérimentalement.


    • Apprentissage pondéré (Attention)

      L'attention entre la requête et les images d'inscription suit le schéma requête, clé et valeur :

      feagg=Softmax(QKTM)Vf^{agg}_e = \text{Softmax} \left( \frac{QK^T}{\sqrt{M}} \right)V

      Plus précisément :

      • Q=AQ(fq)Q = A_Q(f_q) ;
      • Ki=AK(fei)K_i = A_K(f^i_e) et Vi=AV(fei)V_i = A_V(f^i_e) ;
      • AQ,AKA_Q, A_K et AVA_V sont des couches linéaires.

      Cette méthode modélise la similarité entre la requête et les images d'inscription et peut renforcer leur mise en correspondance.


    • Réseau de neurones sur graphe (GNN)

      La requête et les caractéristiques d'inscription deviennent les nœuds d'un graphe :

      • N+1N + 1 nœuds : une requête et NN images d'inscription.

      À chaque couche, le GNN :

      1. Calcule une matrice d'adjacence AlA_l à partir d'une fonction de distance ψl(fli,flj)\psi_l(f^i_l, f^j_l) entre caractéristiques ;
      2. Met à jour les nœuds par convolution sur graphe : fl+1i=ρ(∑Al∈AlAlfliWl)f^{i}_{l+1} = \rho \left( \sum_{A_l \in \mathcal{A}_l} A_l f^i_l W_l \right)

      La prédiction est obtenue directement à partir du nœud de requête.

      Cette variante peut représenter les relations relatives entre images d'inscription, leurs ressemblances et leurs différences.


    Dans les expériences, la simple moyenne offre souvent un résultat stable et compétitif, même sans mécanisme d'agrégation complexe. Elle ne domine toutefois pas chaque indicateur sur chaque jeu.

  3. Fusion des caractéristiques et classification

    Sauf dans la variante GNN, où le nœud de requête donne directement la prédiction, le modèle concatène fqf_q à feaggf^{agg}_e, puis transmet le résultat à un MLP. L'ensemble est entraîné de bout en bout par entropie croisée pour classer la requête comme visage réel ou attaque.

L'architecture peut être évaluée avec plusieurs réseaux de base, mais son coût et sa sécurité en déploiement restent à vérifier.

Les caractéristiques d'inscription ne dépendent pas de la requête du moment et peuvent être calculées à l'avance. Lors de chaque vérification, il faut quand même traiter la requête, agréger les caractéristiques et classer. L'étude porte sur des images RGB ; elle ne teste ni les garanties de confidentialité des représentations stockées ni un déploiement multimodal.

Construire les jeux de données

Pour évaluer la méthode, les auteurs transforment des jeux publics de FAS en benchmarks où chaque image de requête est associée aux images d'inscription de la même personne :

  • CASp-Enroll, construit à partir de CelebA-Spoof ;
  • SiW-Enroll, construit à partir de SiW.

Cette transformation convient aux jeux qui identifient les personnes et conservent assez d'exemples de vrais visages par personne. Le principe est le suivant :

  • Dans le jeu initial, un exemple contient une requête et son étiquette « réel ou attaque » : di=(Iq(i),tq(i))d_i = (I_q^{(i)}, t_q^{(i)})
  • Dans le jeu personnalisé, on ajoute un ensemble de NN vrais visages de la même personne : di=(Iq(i),tq(i),e(i)),ouˋ e(i)=(Ie1,...,IeN)d_i = (I_q^{(i)}, t_q^{(i)}, \mathbf{e}^{(i)}), \quad \text{où } \mathbf{e}^{(i)} = (I^1_e, ..., I^N_e)
  • L'ensemble d'inscription propre à chaque personne est associé aux requêtes qui lui restent après la séparation.

CelebA-Spoof-Enroll (CASp-EnrollN)

CelebA-Spoof est un grand jeu de FAS, avec plus de 10 000 personnes et quelque 600 000 images. Pour construire CASp-Enroll, les auteurs appliquent ces règles :

  • Fixer le nombre d'images d'inscription NN, par exemple N=5N=5, afin d'obtenir un ensemble de même taille pour chaque personne ;
  • Exclure les personnes ayant au plus NN vrais visages, pour conserver au moins une requête réelle ;
  • Retenir les NN premiers vrais visages pour l'inscription, et laisser les autres vrais visages et attaques comme requêtes ;
  • Choisir ces images selon l'ordre des noms de fichiers, afin d'éviter une sélection aléatoire.

Cette séparation reproduit un parcours « inscription préalable → vérification ultérieure », tout en gardant une procédure déterministe.

SiW-Enroll (SiW-EnrollN)

SiW est un jeu de FAS composé de vidéos de bonne qualité : 4 478 courtes vidéos provenant de 165 personnes. Pour en créer la version personnalisée :

  • Séparer d'abord entraînement et test selon le protocole 1, échantillonner une image toutes les dix trames, puis former deux partitions dont les types d'attaque diffèrent entre entraînement et test ;
  • Choisir une vidéo représentative pour chaque combinaison personne × appareil, et y prélever régulièrement NN images d'inscription ;
  • Exiger de cette vidéo :
    • Un éclairage sans changement ;
    • Des variations de pose pour diversifier les références ;
  • Exclure toutes ses trames des requêtes, afin d'éviter une fuite d'information.

Chaque personne obtient ainsi un ensemble d'inscription distinct selon l'appareil de capture. Les images de sa vidéo d'inscription ne réapparaissent pas parmi les requêtes.

Discussion

La personnalisation aide-t-elle vraiment ?

Dans les deux benchmarks, CASp-Enroll5 et SiW-Enroll5, les modèles personnalisés avec agrégation par moyenne dépassent leurs baselines respectives sur les AUC, AUC10 et EER du tableau, pour les trois réseaux de base testés. La comparaison porte sur des modèles réentraînés.

  • Sur CASp-Enroll5, le gain maximal d'AUC10 est de 2,3 points de pourcentage pour ResNet18, de 94,1 % à 96,4 %. VGG16 et FeatherNet progressent eux aussi.
  • FeatherNet, modèle léger conçu pour la FAS, s'améliore également dans les tests présentés. Cela ne suffit pas à valider son coût ou sa sécurité dans un déploiement aux ressources contraintes.

Sur SiW-Enroll5, les gains sont plus modestes. Les auteurs suggèrent que les images d'inscription y sont moins variées et offrent donc moins d'information distinctive que celles de CASp-Enroll5.

Nous retrouvons notre première question :

Des références personnelles améliorent-elles réellement la décision de FAS ?

Pour les données et les modèles testés, oui.

Après ajout d'une voie d'inscription et réentraînement, les résultats s'améliorent. L'article ne teste pas l'effet de simplement fournir ces images à un modèle déjà entraîné.

La méthode la plus simple est-elle la meilleure ?

Les auteurs comparent cinq méthodes d'agrégation des caractéristiques d'inscription.

La figure suggère que :

La moyenne est stable sur les indicateurs testés, mais elle n'est pas partout la meilleure.

Regardons les chiffres :

  • Sur CASp-Enroll5, la moyenne donne les meilleures AUC et AUC10 (98,6 / 94,1), avec l'EER le plus bas (5,9) : son bilan global est très bon.
  • Sur SiW-Enroll5, la concaténation fait mieux que la moyenne sur les trois mesures : AUC 98,2 contre 98,1, AUC10 94,3 contre 93,3 et EER 6,0 contre 6,2. La moyenne reste parmi les trois meilleures méthodes.
  • Attention déçoit : elle ne dépasse pas la baseline et, sur SiW, l'EER monte même à 7,1.
  • Le GNN possède une certaine capacité de représentation, mais reste sur CASp derrière des méthodes non paramétriques ; sa complexité ne donne pas ici un gain correspondant.

Un mécanisme plus complexe n'est donc pas forcément plus efficace. Quand la taille et la qualité des références d'inscription sont limitées, une agrégation simple peut faciliter l'apprentissage de la correspondance.

Peut-on partager l'encodeur ?

Cette ablation pose une question : la requête et les images d'inscription peuvent-elles utiliser le même extracteur de caractéristiques ?

Les deux entrées étant des visages, partager un encodeur CNN paraît raisonnable. Mais les résultats de cette expérience indiquent :

Dans cette ablation avec VGG16, partager l'encodeur est moins efficace que garder deux encodeurs distincts.

Lorsque les images de requête et d'inscription passent par le même encodeur :

  • Sur CASp-Enroll5, l'AUC10 tombe de 94,1 à 90,8 et l'EER monte à 13,7 %, moins bon que la baseline sans personnalisation ;
  • Sur SiW-Enroll5, l'EER atteint 20,6 %, contre 6,2 % avec deux encodeurs et 6,8 % pour la baseline.

Deux encodeurs indépendants conservent au contraire les meilleurs résultats de cette comparaison.

Conclusion

Cette étude ouvre une piste pour la FAS personnalisée : prendre les images d'inscription d'un utilisateur comme références et associer leurs caractéristiques à celles de la requête. Entre la création des benchmarks, leur transformation, les méthodes d'agrégation et l'étude des encodeurs, elle fournit un point de départ clair pour des systèmes sensibles aux différences entre personnes. Les gains observés concernent les modèles et les protocoles évalués.