Retour à la bibliothèque
arXiv 2023CVPR 2023Détection des attaques de présentation facialeNotes de lecture

IADG

Le monologue des styles

Article original

Instance-Aware Domain Generalization for Face Anti-Spoofing

Auteurs de l’article

Qianyu Zhou · Ke-Yue Zhang · Taiping Yao …

Afficher les 7 auteurs

Qianyu Zhou · Ke-Yue Zhang · Taiping Yao · Xuequan Lu · Ran Yi · Shouhong Ding · Lizhuang Ma

Publication
CVPR 2023Conférence
Premier dépôt sur arXiv
arXiv:2304.05640
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{faceantispoofingiadg2023,
  title = {{Instance-Aware Domain Generalization for Face Anti-Spoofing}},
  author = {Qianyu Zhou and Ke-Yue Zhang and Taiping Yao and Xuequan Lu and Ran Yi and Shouhong Ding and Lizhuang Ma},
  year = {2023},
  eprint = {2304.05640},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2304.05640}
}
Sur cette page

Depuis dix ans, les chercheurs ont essayé toutes sortes de moyens pour tracer la frontière entre le vrai et le faux :

  • reconnaître la texture avec des caractéristiques conçues à la main, comme LBP, SIFT et HOG ;
  • chercher des anomalies dans l'espace colorimétrique YCrCb et le spectre de Fourier ;
  • analyser les différences subtiles dans le temps, à la recherche de signes de vie dans le clignement des yeux, les micromouvements et la circulation sanguine.

Puis le domaine a passé le relais aux CNN, avec des classifieurs, des cartes de profondeur, des cartes de réflexion et le rPPG comme supervision auxiliaire.

Mais il suffit souvent de changer de scène, d'appareil ou de mode d'attaque pour que leurs performances chutent. Leur déploiement devient alors difficile.

Définir le problème

Pour aider les modèles à affronter des environnements inconnus, les chercheurs ont introduit l'adaptation de domaine (DA) et la généralisation de domaine (DG).

Dans la DG, l'apprentissage adversarial et le méta-apprentissage sont devenus des choix courants. L'idée : apprendre une représentation capable de dire « peu importe d'où tu viens, je te démasquerai ».

Mais, à mesure que cette voie progressait, ses limites sont apparues :

  • beaucoup de méthodes dépendent d'étiquettes de domaine explicites ;
  • ces étiquettes ne sont souvent que des noms de jeux de données ou des modèles d'appareil,

voire des catégories définies par une personne, avec une grossièreté presque risible.

Vous dites « c'est Replay », mais Replay contient plusieurs éclairages et arrière-plans. Vous dites « c'est Oulu », sans pouvoir préciser combien de sous-groupes de style il renferme.

Même avec des étiquettes, ces méthodes ne font qu'aligner les caractéristiques au niveau des distributions. Certains canaux peuvent encore conserver discrètement des traces de style. Ces signaux apparemment inoffensifs deviennent des angles morts lorsque le modèle rencontre de nouveaux exemples.

Si nous ne pouvons plus nous appuyer sur les étiquettes de domaine, comment reconnaître ce qui ne correspond pas ? La supervision vrai/faux reste nécessaire.

Existe-t-il une autre frontière entre le vrai et le faux ?

Résoudre le problème

Pour répondre à cette question, les auteurs proposent une nouvelle architecture :

  • Instance-Aware Domain Generalization (IADG).

Son objectif est d'apprendre des caractéristiques « au niveau de chaque exemple » sans étiquettes de domaine et de maintenir de bonnes performances dans des environnements inconnus.

Elle comporte trois éléments principaux :

  • blanchiment asymétrique adaptatif par exemple (AIAW) ;
  • assemblage catégoriel de styles (CSA) ;
  • générateur de noyaux dynamiques (DKG).

Regardons chaque module dans l'ordre.

Dynamic Kernel Generator

Les exemples provenant de plusieurs domaines sources sont très divers. Un seul filtre statique peut difficilement répondre aux besoins de chacun. Les auteurs ont donc conçu DKG pour générer automatiquement des filtres dynamiques adaptés à chaque exemple. Ceux-ci travaillent avec les filtres statiques afin d'extraire des caractéristiques plus complètes et d'aider la généralisation entre domaines.

DKG possède deux branches :

  • la branche de convolution statique utilise des paramètres partagés entre les exemples, mais mis à jour pendant l'entraînement ;
  • la branche dynamique produit les paramètres de son noyau de convolution à partir des caractéristiques de chaque exemple.

Dans la figure ci-dessus, XiX_i et FiF_i désignent respectivement les caractéristiques en entrée et en sortie de DKG pour le ii-ème exemple.

Les deux branches sont entraînées ensemble. Voici le déroulement :

  1. Les canaux de XiX_i sont divisés en deux groupes, notés X^i\hat{X}_i et X~i\tilde{X}_i.
  2. Branche statique : le filtre de convolution fθsf_{\theta_s} transforme X~i\tilde{X}_i en Z~i\tilde{Z}_i.
  3. Branche dynamique : un pooling moyen global et un bloc de convolution fθ1f_{\theta_1} génèrent un noyau WiW_i propre à l'exemple à partir de X^i\hat{X}_i. Ce noyau convolue ensuite X^i\hat{X}_i pour produire Z^i\hat{Z}_i.

Enfin, Z~i\tilde{Z}_i et Z^i\hat{Z}_i sont concaténés sur l'axe des canaux, puis transmis au bloc fθ2f_{\theta_2} pour obtenir FiF_i. Les filtres statiques et dynamiques permettent ainsi d'extraire des caractéristiques plus souples pour chaque exemple.

Categorical Style Assembly

Pour simuler des variations de style propres à chaque exemple dans un espace de caractéristiques plus vaste, les auteurs proposent CSA. Nous avons déjà rencontré AdaIN dans la transformation de style ; ici, il faut aussi tenir compte de la diversité des styles sources et des différences entre les classes.

CSA apporte deux changements à la sélection et à l'assemblage des styles :

  1. La diversité : le Farthest Point Sampling (FPS) choisit progressivement LL styles de base éloignés de ceux déjà retenus. Il encourage la diversité, y compris pour les styles moins courants. La sélection est actualisée à chaque époque d'entraînement pour suivre l'évolution de l'espace des styles.

  2. La séparation du vrai et du faux : assembler librement les styles de visages réels et d'attaques risquerait de perturber la supervision. CSA assemble donc les styles uniquement au sein d'une même classe, afin de réduire le risque de modifier les indices qui distinguent les deux classes.

Suivons la figure : CSA sélectionne d'abord LL styles de base pour les vrais visages et autant pour les attaques. Une banque mémoire conserve leurs moyennes et écarts-types, notés μbaser,σbaser\mu^r_\mathrm{base}, \sigma^r_\mathrm{base} et μbases,σbases\mu^s_\mathrm{base}, \sigma^s_\mathrm{base}.

Pour une caractéristique d'une classe donnée, CSA tire des poids dans une loi de Dirichlet. Ces poids combinent les moyennes et les écarts-types des styles de base pour obtenir μaug\mu_{\mathrm{aug}} et σaug\sigma_{\mathrm{aug}}. La caractéristique recomposée devient :

Faug=σaug(Forg−μ(Forg)σ(Forg))+μaugF_{\mathrm{aug}} = \sigma_{\mathrm{aug}} \Bigl( \frac{F_{\mathrm{org}} - \mu(F_{\mathrm{org}})}{\sigma(F_{\mathrm{org}})} \Bigr) + \mu_{\mathrm{aug}}

On élargit ainsi la diversité des styles tout en conservant la classe initiale comme cible d'entraînement. Ces paires de caractéristiques originales et augmentées aideront ensuite le blanchiment à repérer les corrélations sensibles au style.

Asymmetric Instance Adaptive Whitening

Pour aligner plus finement les caractéristiques de chaque exemple, les auteurs s'intéressent aux corrélations entre canaux.

Des travaux antérieurs montrent que la matrice de covariance des caractéristiques contient souvent des informations de style. En réduisant certaines de ces corrélations, on peut atténuer des styles propres au domaine.

Mais appliquer simplement un blanchiment par exemple risque d'effacer aussi des caractéristiques utiles à la discrimination, au détriment de la détection des attaques.

D'où l'« asymétrie » : les auteurs souhaitent resserrer davantage les caractéristiques des visages réels, tout en laissant plus de place à la diversité des attaques.

Concrètement, ils calculent les covariances entre canaux des caractéristiques originales et augmentées par CSA. Ils prennent la variation élément par élément entre les deux matrices, puis la moyennent sur le lot. Les positions où la variation est forte sont considérées comme sensibles au style. AIAW sélectionne, selon des proportions distinctes pour le vrai et le faux, certaines positions du triangle supérieur de la covariance. Le même masque s'applique aux caractéristiques originales et augmentées pour ramener les covariances sélectionnées vers zéro. Il ne blanchit pas toute la matrice.

Entraînement et optimisation

Pour rester fiable sur des domaines inconnus, le classifieur doit distinguer les visages réels des attaques malgré les perturbations de style.

Pour un même exemple XiX_i, les auteurs supervisent donc les caractéristiques originales ForgiF_{\mathrm{org}}^i et augmentées FaugiF_{\mathrm{aug}}^i au moyen d'une perte de classification binaire LCls\mathcal{L}_{\mathrm{Cls}} :

LCls=−∑DYclsi[log⁡(Cls(Forgi))+log⁡(Cls(Faugi))]\mathcal{L}_{\mathrm{Cls}} = - \sum_{D} Y_{\mathrm{cls}}^i \Bigl[ \log\bigl(\mathrm{Cls}(F_{\mathrm{org}}^i)\bigr) + \log\bigl(\mathrm{Cls}(F_{\mathrm{aug}}^i)\bigr) \Bigr]

YclsiY_{\mathrm{cls}}^i désigne l'étiquette binaire du ii-ème exemple issu du jeu de données DD. Cette écriture abrégée reprend celle de l'article ; pour une vraie entropie croisée binaire à sortie sigmoïde, il faut aussi le terme associé à la classe complémentaire.

Les auteurs ajoutent une supervision de profondeur : une carte de profondeur pour les vrais visages et une carte nulle pour les attaques.

La perte de profondeur LDep\mathcal{L}_{\mathrm{Dep}} s'écrit :

LDep=∑D∥Dep(Forgi)−Ydepi∥22+∥Dep(Faugi)−Ydepi∥22,\mathcal{L}_{\mathrm{Dep}} = \sum_{D} \Bigl\| \mathrm{Dep}(F_{\mathrm{org}}^i) - Y_{\mathrm{dep}}^i \Bigr\|_2^2 + \Bigl\| \mathrm{Dep}(F_{\mathrm{aug}}^i) - Y_{\mathrm{dep}}^i \Bigr\|_2^2,

YdepiY_{\mathrm{dep}}^i est la cible de profondeur : une pseudo-carte produite par PRNet pour les vrais visages, et zéro pour les attaques.

La perte totale Ltotal\mathcal{L}_{\mathrm{total}} est :

Ltotal=LCls+λLDep+LAIAW.\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{Cls}} + \lambda \mathcal{L}_{\mathrm{Dep}} + \mathcal{L}_{\mathrm{AIAW}}.

À l'inférence, seule la branche des caractéristiques originales est utilisée. L'augmentation et la perte AIAW interviennent uniquement pendant l'entraînement.

En combinant DKG, CSA et AIAW, IADG cherche à atténuer les perturbations de style à l'échelle de chaque exemple, sans étiquettes de domaine, afin d'améliorer la reconnaissance sur les domaines inconnus.

Discussion

Comme d'habitude, les expériences suivent le protocole Leave-One-Out (LOO), puis examinent la contribution des modules par ablation.

Comparaison avec les méthodes existantes

Le tableau ci-dessus montre les difficultés des méthodes FAS classiques dans les tâches entre domaines. Les auteurs soulignent que plusieurs méthodes DG-FAS du tableau utilisent des étiquettes de domaine définies manuellement pour aligner les distributions.

IADG n'a pas besoin de ces étiquettes. Dans les quatre scénarios entre jeux de données, il obtient le HTER le plus faible ; dans trois seulement, l'AUC la plus élevée. Pour O&C&M→I, son AUC de 94,50 % reste légèrement sous les 94,61 % de SSDG-M et les 94,58 % de SSAN.

Études d'ablation

Le tableau ci-dessus ajoute progressivement les modules dans la configuration I&C&M→O :

  • le seul réseau de base atteint 19,75 % de HTER et 87,46 % d'AUC ;
  • avec DKG, le résultat passe à 16,94 % / 90,14 % ;
  • en ajoutant CSA, il atteint 12,50 % / 93,62 % ;
  • avec AIAW, il arrive à 8,86 % / 97,14 %.

Dans cette ablation cumulative, le HTER baisse et l'AUC monte à chaque étape. Le tableau ne teste pas séparément toutes les combinaisons de modules.

Comparons maintenant plusieurs méthodes de blanchiment par exemple :

Les résultats montrent que IW et GIW traitent tous les éléments de covariance de la même façon, au risque de supprimer des caractéristiques discriminantes. ISW apporte une certaine amélioration, mais ne tient toujours pas compte des différences entre vrais visages et attaques.

AIAW applique des proportions de sélection asymétriques et contraint aussi bien les caractéristiques originales que les caractéristiques augmentées. D'après le tableau 5, le meilleur rapport testé pour I&C&M→O est kr:ks=1:0.2k_r : k_s = 1 : 0.2 ; les réglages sont kr=0.3%k_r=0.3\% et ks=0.06%k_s=0.06\%.

Analyse visuelle

Enfin, regardons la projection t-SNE pour mieux comprendre l'alignement des caractéristiques par IADG.

Dans la figure, une méthode classique d'alignement par domaine sépare les vrais visages et les attaques des domaines sources, mais les deux groupes du domaine cible se chevauchent davantage. La projection d'IADG montre des groupes cibles qui paraissent plus faciles à séparer. Aucune frontière de décision du classifieur n'est tracée.

Les caractéristiques des vrais visages semblent aussi plus concentrées, conformément à l'objectif de réduire l'effet du style propre à chaque exemple.

Conclusion

Le défi de la détection des attaques contre les visages ne se résume pas à « reconnaître » : il faut surtout affronter la variation.

Cette variation vient de nouvelles méthodes d'attaque, mais aussi de la fragmentation des données elles-mêmes :

Éclairage, appareil, arrière-plan, culture, instant de prise de vue : chaque exemple pourrait constituer son propre domaine.

Nous pensions pouvoir tout ordonner à l'aide d'étiquettes de domaine. Pourtant, de plus en plus de différences se cachent dans des détails impossibles à classer. Plutôt que chercher une étiquette commune, essayons d'extraire un signal invariant du bruit de style de chaque visage.

Passer de l'alignement global à la compréhension de l'individu ; de la classification des exemples à la décomposition du style. Nous ne comprenons peut-être pas encore tout à fait ce qu'est le style, mais IADG nous offre au moins une façon de « vivre avec ».