Instance-Aware Domain Generalization for Face Anti-Spoofing
- Publication
- CVPR 2023Conférence
- Premier dépôt sur arXiv
- arXiv:2304.05640
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{faceantispoofingiadg2023,
title = {{Instance-Aware Domain Generalization for Face Anti-Spoofing}},
author = {Qianyu Zhou and Ke-Yue Zhang and Taiping Yao and Xuequan Lu and Ran Yi and Shouhong Ding and Lizhuang Ma},
year = {2023},
eprint = {2304.05640},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2304.05640}
}
Depuis dix ans, les chercheurs ont essayé toutes sortes de moyens pour tracer la frontière entre le vrai et le faux :
- reconnaître la texture avec des caractéristiques conçues à la main, comme LBP, SIFT et HOG ;
- chercher des anomalies dans l'espace colorimétrique YCrCb et le spectre de Fourier ;
- analyser les différences subtiles dans le temps, à la recherche de signes de vie dans le clignement des yeux, les micromouvements et la circulation sanguine.
Puis le domaine a passé le relais aux CNN, avec des classifieurs, des cartes de profondeur, des cartes de réflexion et le rPPG comme supervision auxiliaire.
Mais il suffit souvent de changer de scène, d'appareil ou de mode d'attaque pour que leurs performances chutent. Leur déploiement devient alors difficile.
Définir le problème
Pour aider les modèles à affronter des environnements inconnus, les chercheurs ont introduit l'adaptation de domaine (DA) et la généralisation de domaine (DG).
Dans la DG, l'apprentissage adversarial et le méta-apprentissage sont devenus des choix courants. L'idée : apprendre une représentation capable de dire « peu importe d'où tu viens, je te démasquerai ».
Mais, à mesure que cette voie progressait, ses limites sont apparues :
- beaucoup de méthodes dépendent d'étiquettes de domaine explicites ;
- ces étiquettes ne sont souvent que des noms de jeux de données ou des modèles d'appareil,
voire des catégories définies par une personne, avec une grossièreté presque risible.
Vous dites « c'est Replay », mais Replay contient plusieurs éclairages et arrière-plans. Vous dites « c'est Oulu », sans pouvoir préciser combien de sous-groupes de style il renferme.
Même avec des étiquettes, ces méthodes ne font qu'aligner les caractéristiques au niveau des distributions. Certains canaux peuvent encore conserver discrètement des traces de style. Ces signaux apparemment inoffensifs deviennent des angles morts lorsque le modèle rencontre de nouveaux exemples.
Si nous ne pouvons plus nous appuyer sur les étiquettes de domaine, comment reconnaître ce qui ne correspond pas ? La supervision vrai/faux reste nécessaire.
Existe-t-il une autre frontière entre le vrai et le faux ?
Résoudre le problème
Pour répondre à cette question, les auteurs proposent une nouvelle architecture :
- Instance-Aware Domain Generalization (IADG).
Son objectif est d'apprendre des caractéristiques « au niveau de chaque exemple » sans étiquettes de domaine et de maintenir de bonnes performances dans des environnements inconnus.
Elle comporte trois éléments principaux :
- blanchiment asymétrique adaptatif par exemple (AIAW) ;
- assemblage catégoriel de styles (CSA) ;
- générateur de noyaux dynamiques (DKG).
Regardons chaque module dans l'ordre.
Dynamic Kernel Generator
Les exemples provenant de plusieurs domaines sources sont très divers. Un seul filtre statique peut difficilement répondre aux besoins de chacun. Les auteurs ont donc conçu DKG pour générer automatiquement des filtres dynamiques adaptés à chaque exemple. Ceux-ci travaillent avec les filtres statiques afin d'extraire des caractéristiques plus complètes et d'aider la généralisation entre domaines.
DKG possède deux branches :
- la branche de convolution statique utilise des paramètres partagés entre les exemples, mais mis à jour pendant l'entraînement ;
- la branche dynamique produit les paramètres de son noyau de convolution à partir des caractéristiques de chaque exemple.
Dans la figure ci-dessus, et désignent respectivement les caractéristiques en entrée et en sortie de DKG pour le -ème exemple.
Les deux branches sont entraînées ensemble. Voici le déroulement :
- Les canaux de sont divisés en deux groupes, notés et .
- Branche statique : le filtre de convolution transforme en .
- Branche dynamique : un pooling moyen global et un bloc de convolution génèrent un noyau propre à l'exemple à partir de . Ce noyau convolue ensuite pour produire .
Enfin, et sont concaténés sur l'axe des canaux, puis transmis au bloc pour obtenir . Les filtres statiques et dynamiques permettent ainsi d'extraire des caractéristiques plus souples pour chaque exemple.
Categorical Style Assembly
Pour simuler des variations de style propres à chaque exemple dans un espace de caractéristiques plus vaste, les auteurs proposent CSA. Nous avons déjà rencontré AdaIN dans la transformation de style ; ici, il faut aussi tenir compte de la diversité des styles sources et des différences entre les classes.
CSA apporte deux changements à la sélection et à l'assemblage des styles :
-
La diversité : le Farthest Point Sampling (FPS) choisit progressivement styles de base éloignés de ceux déjà retenus. Il encourage la diversité, y compris pour les styles moins courants. La sélection est actualisée à chaque époque d'entraînement pour suivre l'évolution de l'espace des styles.
-
La séparation du vrai et du faux : assembler librement les styles de visages réels et d'attaques risquerait de perturber la supervision. CSA assemble donc les styles uniquement au sein d'une même classe, afin de réduire le risque de modifier les indices qui distinguent les deux classes.
Suivons la figure : CSA sélectionne d'abord styles de base pour les vrais visages et autant pour les attaques. Une banque mémoire conserve leurs moyennes et écarts-types, notés et .
Pour une caractéristique d'une classe donnée, CSA tire des poids dans une loi de Dirichlet. Ces poids combinent les moyennes et les écarts-types des styles de base pour obtenir et . La caractéristique recomposée devient :
On élargit ainsi la diversité des styles tout en conservant la classe initiale comme cible d'entraînement. Ces paires de caractéristiques originales et augmentées aideront ensuite le blanchiment à repérer les corrélations sensibles au style.
Asymmetric Instance Adaptive Whitening
Pour aligner plus finement les caractéristiques de chaque exemple, les auteurs s'intéressent aux corrélations entre canaux.
Des travaux antérieurs montrent que la matrice de covariance des caractéristiques contient souvent des informations de style. En réduisant certaines de ces corrélations, on peut atténuer des styles propres au domaine.
Mais appliquer simplement un blanchiment par exemple risque d'effacer aussi des caractéristiques utiles à la discrimination, au détriment de la détection des attaques.
D'où l'« asymétrie » : les auteurs souhaitent resserrer davantage les caractéristiques des visages réels, tout en laissant plus de place à la diversité des attaques.
Concrètement, ils calculent les covariances entre canaux des caractéristiques originales et augmentées par CSA. Ils prennent la variation élément par élément entre les deux matrices, puis la moyennent sur le lot. Les positions où la variation est forte sont considérées comme sensibles au style. AIAW sélectionne, selon des proportions distinctes pour le vrai et le faux, certaines positions du triangle supérieur de la covariance. Le même masque s'applique aux caractéristiques originales et augmentées pour ramener les covariances sélectionnées vers zéro. Il ne blanchit pas toute la matrice.
Entraînement et optimisation
Pour rester fiable sur des domaines inconnus, le classifieur doit distinguer les visages réels des attaques malgré les perturbations de style.
Pour un même exemple , les auteurs supervisent donc les caractéristiques originales et augmentées au moyen d'une perte de classification binaire :
désigne l'étiquette binaire du -ème exemple issu du jeu de données . Cette écriture abrégée reprend celle de l'article ; pour une vraie entropie croisée binaire à sortie sigmoïde, il faut aussi le terme associé à la classe complémentaire.
Les auteurs ajoutent une supervision de profondeur : une carte de profondeur pour les vrais visages et une carte nulle pour les attaques.
La perte de profondeur s'écrit :
est la cible de profondeur : une pseudo-carte produite par PRNet pour les vrais visages, et zéro pour les attaques.
La perte totale est :
À l'inférence, seule la branche des caractéristiques originales est utilisée. L'augmentation et la perte AIAW interviennent uniquement pendant l'entraînement.
En combinant DKG, CSA et AIAW, IADG cherche à atténuer les perturbations de style à l'échelle de chaque exemple, sans étiquettes de domaine, afin d'améliorer la reconnaissance sur les domaines inconnus.
Discussion
Comme d'habitude, les expériences suivent le protocole Leave-One-Out (LOO), puis examinent la contribution des modules par ablation.
Comparaison avec les méthodes existantes
Le tableau ci-dessus montre les difficultés des méthodes FAS classiques dans les tâches entre domaines. Les auteurs soulignent que plusieurs méthodes DG-FAS du tableau utilisent des étiquettes de domaine définies manuellement pour aligner les distributions.
IADG n'a pas besoin de ces étiquettes. Dans les quatre scénarios entre jeux de données, il obtient le HTER le plus faible ; dans trois seulement, l'AUC la plus élevée. Pour O&C&M→I, son AUC de 94,50 % reste légèrement sous les 94,61 % de SSDG-M et les 94,58 % de SSAN.
Études d'ablation
Le tableau ci-dessus ajoute progressivement les modules dans la configuration I&C&M→O :
- le seul réseau de base atteint 19,75 % de HTER et 87,46 % d'AUC ;
- avec DKG, le résultat passe à 16,94 % / 90,14 % ;
- en ajoutant CSA, il atteint 12,50 % / 93,62 % ;
- avec AIAW, il arrive à 8,86 % / 97,14 %.
Dans cette ablation cumulative, le HTER baisse et l'AUC monte à chaque étape. Le tableau ne teste pas séparément toutes les combinaisons de modules.
Comparons maintenant plusieurs méthodes de blanchiment par exemple :
Les résultats montrent que IW et GIW traitent tous les éléments de covariance de la même façon, au risque de supprimer des caractéristiques discriminantes. ISW apporte une certaine amélioration, mais ne tient toujours pas compte des différences entre vrais visages et attaques.
AIAW applique des proportions de sélection asymétriques et contraint aussi bien les caractéristiques originales que les caractéristiques augmentées. D'après le tableau 5, le meilleur rapport testé pour I&C&M→O est ; les réglages sont et .
Analyse visuelle
Enfin, regardons la projection t-SNE pour mieux comprendre l'alignement des caractéristiques par IADG.
Dans la figure, une méthode classique d'alignement par domaine sépare les vrais visages et les attaques des domaines sources, mais les deux groupes du domaine cible se chevauchent davantage. La projection d'IADG montre des groupes cibles qui paraissent plus faciles à séparer. Aucune frontière de décision du classifieur n'est tracée.
Les caractéristiques des vrais visages semblent aussi plus concentrées, conformément à l'objectif de réduire l'effet du style propre à chaque exemple.
Conclusion
Le défi de la détection des attaques contre les visages ne se résume pas à « reconnaître » : il faut surtout affronter la variation.
Cette variation vient de nouvelles méthodes d'attaque, mais aussi de la fragmentation des données elles-mêmes :
Éclairage, appareil, arrière-plan, culture, instant de prise de vue : chaque exemple pourrait constituer son propre domaine.
Nous pensions pouvoir tout ordonner à l'aide d'étiquettes de domaine. Pourtant, de plus en plus de différences se cachent dans des détails impossibles à classer. Plutôt que chercher une étiquette commune, essayons d'extraire un signal invariant du bruit de style de chaque visage.
Passer de l'alignement global à la compréhension de l'individu ; de la classification des exemples à la décomposition du style. Nous ne comprenons peut-être pas encore tout à fait ce qu'est le style, mais IADG nous offre au moins une façon de « vivre avec ».