Rethinking Generalizable Face Anti-spoofing via Hierarchical Prototype-guided Distribution Refinement in Hyperbolic Space
- Publication
- CVPR 2024Conférence
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@inproceedings{faceantispoofinghpdr2024,
title = {{Rethinking Generalizable Face Anti-spoofing via Hierarchical Prototype-guided Distribution Refinement in Hyperbolic Space}},
author = {Chengyang Hu and Ke-Yue Zhang and Taiping Yao and Shouhong Ding and Lizhuang Ma},
year = {2024},
booktitle = {CVPR},
url = {https://openaccess.thecvf.com/content/CVPR2024/html/Hu_Rethinking_Generalizable_Face_Anti-spoofing_via_Hierarchical_Prototype-guided_Distribution_Refinement_in_CVPR_2024_paper.html}
}
Regardons un article de CVPR.
Ses auteurs abordent le problème de la détection des attaques faciales sous un angle particulièrement original.
Définir le problème
La protection d'un système de reconnaissance faciale repose notamment sur la détection de vitalité du visage (FAS).
Avec les progrès de l'apprentissage profond, la recherche a beaucoup avancé : des premières caractéristiques conçues à la main aux classificateurs binaires profonds, puis aux techniques récentes d'apprentissage interdomaines, la FAS apprend peu à peu à reconnaître les risques dans le désordre des données.
Mais il suffit de changer de jeu de données ou de situation pour que les capacités du modèle chutent brutalement. Le constat revient sans cesse.
Les chercheurs ont alors tenté de lui apprendre à « généraliser », grâce à l'entraînement adversarial, au démêlage des facteurs, à l'apprentissage contrastif ou au méta-apprentissage. Toutes ces stratégies cherchent une certaine cohérence des représentations entre situations.
Au fil de ce travail, pourtant, quelque chose a été sacrifié sans bruit : la structure sémantique.
Cette structure ne désigne pas celle du réseau, mais les « distances sémantiques » et les « rapports hiérarchiques » entre échantillons :
- Une photo issue d'une imprimante couleur et une vidéo rediffusée sur un téléphone peuvent se ressembler dans leurs pixels, alors que les types d'attaques et les mécanismes qu'elles représentent sont très différents.
- Les conditions de production d'une attaque, telles que la lumière, l'arrière-plan ou la matière, distinguent des propriétés sémantiques des échantillons ; elles ne sont pas simplement du bruit.
Or beaucoup de méthodes forcent tous les échantillons à entrer dans un même espace de caractéristiques « euclidien » et privilégient la réduction de l'écart entre domaines. D'où le risque de sur-alignement (over-alignment).
Nous rapprochons des caractéristiques qui devraient rester distinctes et comprimons la structure que le modèle aurait pu comprendre sur une surface sans relief.
C'est tout de même étrange, non ?
Les auteurs de cet article proposent donc une autre question :
Si la difficulté de généraliser vient d'un déséquilibre de la sémantique, ne pourrions-nous pas changer d'espace et laisser la hiérarchie s'exprimer ?
Résoudre le problème
Pour réparer la perte de structure sémantique, l'article propose une nouvelle approche :
- Hierarchical Prototype-guided Distribution Refinement (HPDR).
Dans les grandes lignes, HPDR repose sur trois piliers :
- Plonger les caractéristiques dans un espace hyperbolique, afin de saisir leur hiérarchie intrinsèque ;
- Faire de l'apprentissage de prototypes (Prototype Learning) un système de coordonnées sémantiques reliant les échantillons à des points de regroupement ;
- Aligner et optimiser à plusieurs niveaux pour approcher progressivement une distribution sémantique capable de généraliser.
Commençons par l'espace lui-même.
L'espace hyperbolique
Si la sémantique prend la forme d'un arbre, la géométrie hyperbolique est un choix naturel.
Imaginons un arbre sémantique dont les premières branches séparent « attaque » et « authentique », puis se divisent selon la matière, le mode de présentation ou l'appareil d'origine. Si nous forçons cet arbre à tenir sur une carte euclidienne plane, ses branches se déforment, se superposent et manquent de place. Dans un espace hyperbolique, elles peuvent au contraire s'étendre, s'éviter et se multiplier sans fin vers le bord.
HPDR emploie précisément ce modèle d'espace : la boule de Poincaré.
La boule de Poincaré est définie par :
Ainsi, pour un paramètre de courbure , tous les points se trouvent dans une boule ouverte de rayon ; ce rayon vaut 1 seulement lorsque .
On croirait voir une enceinte fermée, mais le bord de cette boule n'est pas une fin : il se situe à l'infini dans cette géométrie.
On peut donc s'en approcher sans jamais l'atteindre.
Cette construction possède une propriété décisive : plus les points se rapprochent du bord, plus leurs distances augmentent de façon non linéaire. La distance elle-même peut ainsi exprimer la tension entre niveaux sémantiques.
Pour calculer dans cet espace, la mesure euclidienne habituelle ne suffit plus. On introduit un tenseur métrique riemannien (Riemannian metric) contrôlé par la courbure :
- : notre règle familière du plan euclidien.
- : un facteur d'échelle qui varie selon la position (conformal factor).
Près du centre, tend vers une constante et la géométrie ressemble à celle du plan. Près du bord, en revanche, , diverge : un faible déplacement peut alors agrandir énormément les distances.
Voilà l'idée de l'espace hyperbolique : donner à la hiérarchie la place de se déployer.
Pour représenter les déplacements dans cette géométrie, nous avons besoin de l'addition de Möbius :
Ce n'est pas la simple somme de vecteurs que nous connaissons : elle compose des déplacements dans la boule hyperbolique, et son résultat dépend de la position et de la courbure.
La distance entre deux points est donnée par la distance hyperbolique :
Cette formule donne une lecture géométrique de la « divergence sémantique ». Elle s'intéresse moins à la distance ordinaire qu'à la manière dont les chemins se courbent et se séparent dans la hiérarchie.
Une fois cet espace défini, une autre question se pose :
- Comment y placer la sortie d'un réseau de neurones ?
Les caractéristiques produites par le réseau restent des vecteurs euclidiens. Il nous faut donc les envoyer dans l'espace hyperbolique de manière cohérente.
C'est le rôle de l'application exponentielle (Exponential Map) :
Elle a deux effets :
- Un vecteur court est projeté près du centre de la boule ;
- Un vecteur long est projeté plus près de son bord.
Reste à apprendre si ces positions correspondent à des niveaux sémantiques : ce sont les prototypes et les fonctions de perte qui doivent y parvenir. L'application seule ne leur donne aucune signification.
Les ancrages sémantiques
L'espace hyperbolique est prêt. Mais où la sémantique va-t-elle prendre racine ?
Dans HPDR, les auteurs ne classent pas directement les vecteurs de caractéristiques. Avant la décision finale, ils introduisent des relations avec des prototypes apprenables.
Un prototype est plus qu'un point : il porte un regroupement sémantique.
- Sa position détermine la manière dont les échantillons lui sont associés ;
- Ses distances aux autres prototypes façonnent la distribution de l'espace sémantique.
Le premier groupe est celui des prototypes feuilles (Leaf Prototypes). Ils servent de points de regroupement pour les échantillons et portent une étiquette de classe explicite.
Leur définition mathématique est la suivante :
- est l'indice de la classe binaire, fake ou live ;
- désigne le -ième prototype de cette classe, parmi ;
- Il y a donc prototypes feuilles au total, associés à des sous-groupes sémantiques des deux classes.
Le principe est que les échantillons d'une même classe peuvent former plusieurs sous-groupes de caractéristiques, auxquels correspondent différentes feuilles. L'article ne fournit pas d'étiquettes supplémentaires pour ces sous-groupes.
En théorie, nous voudrions initialiser les prototypes directement dans l'espace hyperbolique. En pratique, une initialisation dans peut rendre les gradients instables ou explosifs. Les auteurs procèdent donc autrement :
- Initialiser aléatoirement les vecteurs dans l'espace euclidien ;
- Les envoyer dans l'espace hyperbolique avec l'application exponentielle précédente :
Cette procédure évite les difficultés d'optimisation liées à l'initialisation directe dans la boule.
Vient ensuite la partie la plus intrigante de la structure : les None-leaf Prototypes, ou prototypes non feuilles.
Ils ne représentent aucun échantillon particulier. Ils jouent le rôle d'ancêtres communs possibles aux prototypes feuilles et de nœuds reliant leurs significations.
Ils sont définis par :
- Ces prototypes sont aussi plongés dans , mais ne portent aucune étiquette ;
- Ils servent de nœuds internes à l'arbre sémantique et figurent les transitions ou les regroupements entre niveaux.
Autrement dit :
- Les prototypes feuilles rassemblent les échantillons et établissent les correspondances sémantiques ;
- Les prototypes non feuilles rassemblent les prototypes et construisent la hiérarchie.
La beauté de cette conception est qu'elle apprend des relations entre prototypes sans étiquettes hiérarchiques supplémentaires, au sein d'un classificateur qui connaît pourtant les étiquettes authentique/faux.
Nul besoin d'indiquer explicitement quel sous-groupe appartient à quel autre. Le modèle doit découvrir les prototypes proches, leurs ancêtres possibles, et la place que ces derniers occupent près du centre ou du bord.
Trois niveaux d'alignement sémantique
Avec l'espace hyperbolique et les prototypes en place, il faut construire un système que l'on puisse entraîner.
Cette partie s'appelle Hyperbolic Prototype Learning (HPL). Elle apprend trois types de relations sémantiques :
- Prototype ↔ Instance : aligner l'échantillon et son prototype ;
- Instance ↔ Instance : maintenir une cohérence entre versions d'un échantillon ;
- Prototype ↔ Prototype : construire une structure hiérarchique entre prototypes.
Voyons-les dans cet ordre.
-
Prototype-based Feature Alignment
Première étape : faire trouver à chaque échantillon son ancrage sémantique.
Pour un vecteur de caractéristiques portant l'étiquette , nous cherchons parmi les prototypes feuilles de cette classe celui dont la distance à l'échantillon est minimale :
Chaque échantillon reçoit ainsi un prototype correspondant positif.
Nous voulons ensuite rapprocher les caractéristiques apprises de ce prototype et les éloigner des autres. C'est l'apprentissage contrastif appliqué à l'espace hyperbolique :
Cette perte guide le modèle vers les rapprochements et les séparations souhaités dans l'espace sémantique.
Pour éviter que tous les échantillons soient assignés au même prototype, l'article propose aussi une assignation équilibrée au sein d'un mini-batch. Il faut toutefois distinguer ses réglages contradictoires : « 20 prototypes par classe » donnerait 40 feuilles pour seulement 30 échantillons par lot, alors que le code publié en configure 20 au total. Ces deux choix ne sont pas interchangeables pour reproduire la méthode.
-
Instance-based Consistency
Les échantillons réels changent d'apparence avec la lumière, l'angle de vue ou les occultations. Nous aimerions que le modèle retienne ce qui compte pour leur signification. HPL ajoute donc un apprentissage de cohérence entre l'original et sa version augmentée.
Pour une paire de caractéristiques et , la première exigence porte sur les caractéristiques : réduire leur distance dans l'espace sémantique.
L'opération coupe le gradient du côté de : seule la représentation augmentée est ajustée par cette perte, ce qui stabilise l'ancre.
La seconde exigence porte sur la distribution : les deux versions devraient avoir des distances semblables à l'ensemble des prototypes.
La perte totale devient :
Même lorsque l'apparence change, cet objectif tente de limiter le déplacement de l'échantillon dans la structure sémantique.
-
Hierarchical Structure Modeling
Entre prototypes, il ne suffit pas d'obtenir une « répartition moyenne ». Il leur faut des proximités, des rangs et des relations d'ascendance.
C'est l'étape la plus emblématique de HPDR : laisser pousser l'arbre sémantique.
Les auteurs s'inspirent du coût de Dasgupta, issu du regroupement hiérarchique :
est le plus bas ancêtre commun (LCA) de et , et compte les feuilles sous cet ancêtre. Ce coût pose au fond une question : des prototypes sémantiquement proches peuvent-ils converger dès un niveau plus bas de l'arbre ?
Comme cette forme du coût est discrète et qu'aucune vérité terrain ne donne ici les poids de similarité des nœuds, les auteurs optent pour une optimisation par triplets :
- Paire positive : et sont des voisins KNN réciproques ;
- Exemple négatif : n'entretient pas cette relation de voisinage réciproque avec .
Pour chaque triplet , ils choisissent parmi les prototypes non feuilles un LCA candidat de et :
est un bruit de Gumbel destiné à perturber le choix de l'ancêtre. Un argmax pris isolément n'est pas différentiable.
En notant l'ancêtre commun de et de , les auteurs définissent la perte par triplets suivante :
Deux autres contraintes structurent la distribution des prototypes feuilles :
- Encourager tous les prototypes à s'éloigner de l'origine, pour éviter leur effondrement :
- Encourager les différents prototypes à se disperser :
La perte de modélisation structurale est donc :
Le véritable défi de l'alignement sémantique consiste à faire apparaître un arbre dans les relations entre les points.
Dans son espace non linéaire, l'Hyperbolic Prototype Learning de HPDR fait presque de la classification une analyse grammaticale, plutôt qu'une simple attribution d'étiquette.
Le Prototype-oriented Classifier montré dans la figure produit la prédiction authentique/faux à partir des distances hyperboliques entre l'échantillon et les prototypes feuilles. La décision finale tient donc compte des prototypes, et non seulement du vecteur de caractéristiques. L'équation (19) de l'article présente une forme avec sigmoïde ; le code public utilise, lui, une couche linéaire donnant deux logits, entraînée par entropie croisée.
Procédure d'entraînement
L'entraînement comporte trois étapes :
-
Étape 1 : Prototype Initialization
Tous les prototypes sont d'abord initialisés aléatoirement dans l'espace euclidien, puis projetés dans l'espace hyperbolique :
- Les Leaf Prototypes, qui servent à aligner les échantillons ;
- Les None-leaf Prototypes, qui servent à construire la hiérarchie.
À ce stade, les prototypes sont dispersés dans l'espace. Ils ne forment pas encore une structure ni ne correspondent clairement à des échantillons. Ils attendent, en quelque sorte, d'être reconnus par ces derniers et de voir naître une signification à partir de leurs distances.
-
Étape 2 : Prototype Assignment
Les échantillons entrent dans l'espace hyperbolique et cherchent leur ancrage sémantique.
Selon l'étiquette d'un échantillon, les auteurs assignent sa caractéristique au prototype feuille le plus proche de la même classe.
-
Étape 3 : Prototype Optimization
Une fois établies les relations entre échantillons et prototypes, tout le système est ajusté et aligné conjointement. L'objectif total est :
Ces quatre termes correspondent respectivement :
- À la stabilité de la décision sémantique () ;
- À l'alignement des échantillons et des prototypes () ;
- À la cohérence d'un échantillon malgré l'augmentation () ;
- Aux relations de niveau et de structure entre prototypes ().
Après cette optimisation, les positions des prototypes et les représentations des échantillons ont changé ; les embeddings se resserrent et les tensions sémantiques se redistribuent.
On revient alors à l'étape 2 : nouvelle assignation, puis nouveau cycle de convergence.
Configuration des expériences
Les auteurs éprouvent la généralisation de HPDR sur le benchmark OCIM.
Pour comprendre et reproduire le système, voici les principaux réglages de leur mise en œuvre :
- Images en entrée : recadrages couleur du visage en 256 × 256 pixels ;
- Nombre de prototypes feuilles : le corps de l'article écrit , soit 20 par classe ; son tableau 5 indique au total, valeur également configurée par le code public, à raison de 10 par classe ;
- Prototypes non feuilles : nœuds servant à construire la hiérarchie sémantique ;
- Dimension des caractéristiques : 256 dimensions dans l'espace hyperbolique ;
- Courbure : règle la courbure de l'espace ;
- Échantillonnage : cinq échantillons par classe et par domaine, soit un batch de 30 ;
- Paires positives de prototypes pour les triplets : les trois plus proches voisins KNN ;
- Marge structurale dans la fonction de perte.
L'entraînement est réalisé avec PyTorch et un réseau principal DepthNet sur une NVIDIA 4090. Les auteurs utilisent Adam avec un taux d'apprentissage de 0.001.
Discussion
Benchmark OCIM
C'est presque devenu un passage obligé dans les articles récents : choisir trois jeux de données pour l'entraînement et laisser le quatrième, jamais vu, pour le test.
L'expérience cherche à imiter les difficultés d'un « nouvel appareil, nouvel éclairage, nouvel environnement ».
Le tableau ci-dessus montre que :
- Les méthodes de généralisation de domaine (DG) obtiennent globalement de meilleurs résultats que les méthodes traditionnelles, sans que chacune surpasse toutes ces dernières dans chaque test ;
- HPDR obtient le plus faible HTER dans les quatre configurations. Son AUC est la meilleure lorsque C ou O est le jeu de test, mais pas lorsque I ou M l'est.
Fait notable : sur ces quatre tests, les valeurs HTER et AUC de HPDR surpassent aussi celles des méthodes à prototypes ou embeddings hyperboliques répertoriées. Pour les auteurs, l'explication possible est que HPDR ne se contente pas d'aligner les échantillons : il construit un arbre sémantique à plusieurs niveaux.
Son avantage viendrait donc de la structure quasi grammaticale intégrée au modèle. D'autres méthodes alignent des points entre eux ; HPDR s'intéresse aux positions et aux niveaux des significations qu'ils portent.
Domaines sources limités
Ici, seuls deux jeux de données, MSU et Idiap Replay-Attack, servent à l'entraînement ; les tests portent ensuite sur OULU et CASIA. On évalue ainsi la généralisation lorsque les domaines sources sont peu nombreux.
D'après le tableau, face à AMEL dans la configuration M&I→C, HPDR gagne 3.42 points de pourcentage d'AUC et réduit le HTER de 2.30 points. Dans M&I→O, son AUC est supérieure, mais son HTER de 21.07% reste au-dessus des 19.68% d'AMEL. HPDR devance néanmoins les méthodes hyperboliques et à prototypes listées dans les deux configurations.
Ces résultats montrent que sur ces deux tests à sources limitées, HPDR obtient une erreur plus faible face à des jeux de données non vus, avec l'exception de HTER face à AMEL indiquée ci-dessus.
HPDR ressemble ici à un lecteur de cartes qui connaît le relief : il peut s'orienter sans connaître la route qui se trouve devant lui.
Cross-Attack
Enfin, les auteurs testent la généralisation d'un type d'attaque à un autre sur HQ-WMCA.
La difficulté tient au protocole : un type d'attaque est exclu de l'entraînement, puis utilisé seul au test. On mesure ainsi la solidité du transfert sémantique.
Sur huit types d'attaques, HPDR obtient le plus faible ACER pour quatre. Sa moyenne et son écart-type, 14.6 ± 8.5%, sont les plus faibles du tableau. Mais sur Replay, ses 19.0% dépassent les résultats de tous les comparateurs. La méthode aide donc sur certaines « nouvelles attaques » sans effacer toutes les exceptions.
On peut se représenter le modèle demandant : « La signification globale de ce visage a-t-elle une place plausible dans la structure sémantique connue ? » Mais ces seules mesures ne permettent pas de savoir exactement quels indices il utilise.
Qu'est-ce qui compte dans l'espace sémantique ?
L'ablation fait apparaître plusieurs points :
- Sans les trois pertes HPL, le modèle conserve la perte de classification , mais obtient le plus mauvais résultat (HTER 17.78%) : placer les caractéristiques dans un espace hyperbolique ne suffit pas ; il faut des signaux de supervision structuraux.
- Avec seul (alignement prototype-instance), le résultat s'améliore nettement : relier les échantillons à leurs prototypes sémantiques semble être le premier pas vers un espace d'embedding stable.
- En ajoutant à , le HTER descend de 15.56% à 12.78% : dans cette expérience, les contraintes entre prototypes apportent un gain.
- Avec toutes les pertes, le résultat est le meilleur : leur coopération évoque un puzzle sémantique en volume, plutôt qu'une simple addition de modules.
Dans cette ablation, alignement, cohérence et contraintes hiérarchiques fonctionnent le mieux ensemble.
Combien de feuilles pour l'arbre sémantique ?
Les auteurs font varier le nombre de prototypes feuilles de 4 à 20. Le HTER diminue progressivement, alors que l'AUC ne monte pas de façon monotone. Au-delà de 20, HTER et AUC se dégradent dans cet essai.
Les auteurs évoquent le risque d'une assignation déséquilibrée au sein des mini-batches lorsque les prototypes sont trop nombreux. Dans cette configuration, le tableau 5 indique que 20 prototypes au total donnent le meilleur résultat, ce qui ne concorde pas avec les 20 par classe annoncés dans le texte.
Quelle courbure pour l'espace sémantique ?
Le tableau suggère plusieurs observations :
- L'espace euclidien () donne le moins bon résultat : la hiérarchie sémantique se déploie moins bien ;
- Augmenter la courbure jusqu'à 0.01 améliore la performance : les niveaux commencent à mieux se distinguer ;
- Lorsque augmente encore, la performance baisse. Les auteurs pensent que cela pourrait être lié à l'approximation de l'application exponentielle avec comme point de base.
L'espace hyperbolique n'est donc pas meilleur à mesure qu'il se courbe : il lui faut juste assez de courbure pour laisser pousser ses branches sans perdre sa direction.
Résultats de visualisation
Les auteurs visualisent enfin la distribution de caractéristiques apprises par HPDR dans des tâches Leave-One-Out et Cross-Attack.
La figure présente plusieurs configurations de test. Dans chacune :
- La couleur des échantillons distingue à la fois leur classe authentique/faux et leur domaine source ou cible ;
- Leur position correspond à leur embedding dans l'espace hyperbolique ;
- Les prototypes feuilles et non feuilles apparaissent sous forme de points ou de nœuds hiérarchiques.
Voici ce que l'on peut en retenir :
- Dans les panneaux (a) et (c) à (h), les échantillons authentiques et faux se séparent globalement dans les configurations choisies de transfert entre jeux de données ou types d'attaques, et se regroupent autour de prototypes ;
- Les prototypes non feuilles relient plusieurs prototypes feuilles dans ces panneaux et rendent visible la hiérarchie recherchée par les auteurs ;
- Ces images donnent des indications sur la distribution.
Dans le panneau (b), les auteurs regroupent les images correspondant à chaque prototype feuille. On y remarque que :
- Les échantillons associés à un même prototype se ressemblent dans les exemples sélectionnés ;
- Plus le LCA partagé par des prototypes est bas, plus leurs échantillons présentent une cohérence sémantique. Dans cette lecture, la hiérarchie reflète géométriquement cette cohérence plutôt qu'elle ne sert seulement de commentaire après la classification.
Ces visualisations illustrent les relations entre prototypes apprises sans étiquettes hiérarchiques supplémentaires ; les étiquettes authentique/faux et la perte hiérarchique participent toujours à l'entraînement.
Conclusion
L'idée centrale de cette étude n'est pas de mémoriser davantage d'échantillons, mais de construire un espace capable d'accueillir des niveaux de signification.
Les auteurs appuient l'efficacité de HPDR par de nombreuses expériences et visualisations. Dans les situations inconnues, à sources limitées et avec de nouveaux types d'attaques qui ont été testées, la méthode présente globalement une bonne généralisation, avec les exceptions signalées plus haut. Ces résultats montrent l'intérêt d'une modélisation structurale pour la reconnaissance entre situations.
Ces dernières années, il est devenu courant d'intégrer les capacités du langage naturel à la FAS. Si nous réunissions un jour un arbre sémantique et le langage, nous verrions peut-être pousser une tout autre forme d'arbre.