Domain Generalization via Shuffled Style Assembly for Face Anti-Spoofing
- Publication
- CVPR 2022Conférence
- Premier dépôt sur arXiv
- arXiv:2203.05340
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{faceantispoofingssan2022,
title = {{Domain Generalization via Shuffled Style Assembly for Face Anti-Spoofing}},
author = {Zhuo Wang and Zezheng Wang and Zitong Yu and Weihong Deng and Jiahong Li and Tingting Gao and Zhongyuan Wang},
year = {2022},
eprint = {2203.05340},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2203.05340}
}
Voyons cette fois un article bien connu.
Il introduit la notion de « style » et utilise l'apprentissage contrastif pour souligner les indices liés à la présence réelle. C'est une étape marquante dans la conception de méthodes de généralisation entre domaines attentives au style.
Définition du problème
La détection des attaques par présentation du visage, ou Face Anti-Spoofing (FAS), se déroule dans une guerre presque invisible.
Les premières méthodes reposaient sur des caractéristiques conçues à la main, comme LBP et SIFT, pour relever les détails de texture. Avec l'apprentissage profond, les CNN ont servi à entraîner des classificateurs « visage réel ou attaque », parfois enrichis de cartes de profondeur, de réflexion ou de signaux de pouls à distance (rPPG).
Même quand ces méthodes fonctionnent bien, leurs résultats sont souvent obtenus dans des conditions contrôlées.
Hors des données d'entraînement, leurs performances peuvent baisser nettement. Un changement d'appareil, d'éclairage ou de méthode d'attaque suffit parfois à faire hésiter le modèle et à provoquer des erreurs.
C'est le problème de la généralisation entre domaines. Trois difficultés y contribuent :
- Des données biaisées : l'entraînement ne couvre qu'une partie des variations possibles ;
- Un surapprentissage des caractéristiques : le modèle retient l'apparence d'un domaine plutôt que les indices pertinents pour la détection ;
- Des architectures de généralisation limitées : beaucoup de méthodes prolongent un pipeline CNN classique sans traiter certaines différences fines entre échantillons.
Pour mieux généraliser, les chercheurs travaillent sur l'adaptation de domaine (DA) et la généralisation de domaine (DG) :
- La DA cherche un espace de représentation commun entre distributions différentes, par exemple avec MMD, l'alignement adversarial ou plusieurs discriminateurs ;
- La DG cherche des représentations utilisables sans échantillons du domaine cible, par exemple par découplage des caractéristiques ou méta-apprentissage.
Ces approches améliorent certains protocoles, mais laissent une question plus profonde :
Nous ne comprenons pas encore complètement quelles caractéristiques comptent vraiment.
La FAS ne se réduit pas à classer des images selon leur contenu global. Elle s'appuie aussi sur des détails : continuité de la texture cutanée, diffusion des reflets, rythme de faibles pulsations. Le style et les statistiques des caractéristiques peuvent porter de tels indices.
Les couches de normalisation offrent ici un point d'observation :
- La Batch Normalization (BN) s'appuie sur des statistiques calculées à travers les échantillons et peut stabiliser une représentation commune ;
- L'Instance Normalization (IN) normalise chaque échantillon séparément et touche davantage à ses variations d'apparence et de style.
Leurs effets sur la représentation diffèrent : l'une tend vers la stabilité, l'autre met en jeu les variations. En FAS, cet équilibre mérite d'être étudié.
Jusqu'ici, la transformation de style servait souvent surtout à augmenter les données avant l'entraînement. L'intégrer au processus d'apprentissage et l'employer dans des conditions réelles reste plus difficile.
Autrement dit, sans cadre unifié ni vérification sur plusieurs domaines, nous cherchons encore comment apprendre au modèle à ignorer certains styles tout en conservant les indices utiles à la détection.
Les auteurs s'attaquent à cette question :
Si le style peut tromper un modèle, pourrait-il aussi nous aider à démasquer une imitation ?
Le problème des domaines n'était pas réglé que celui du style se présentait déjà.
Une vague suit l'autre.
Résolution du problème
Les auteurs entraînent le modèle sur plusieurs domaines sources étiquetés afin de reconnaître les attaques dans un domaine non vu. Ils réassemblent le style au niveau des caractéristiques.
Le Shuffled Style Assembly Network (SSAN) combine un apprentissage adversarial du contenu, l'assemblage des styles et un apprentissage contrastif.
Le schéma ci-dessus se lit en trois temps :
- Séparer les caractéristiques en contenu et style ;
- Réassembler le style avec AdaIN, à partir du même échantillon ou d'un autre choisi par permutation ;
- Former l'espace obtenu par contraste en tenant compte des étiquettes « réel ou attaque ».
Deux voies pour le contenu et le style
L'image entre d'abord dans un générateur de caractéristiques qui extrait des informations de bas niveau sur l'apparence et la texture. Deux voies les traitent ensuite :
-
La voie de contenu (Content Stream) emploie la Batch Normalization (BN) pour obtenir une représentation plus commune entre domaines. Une couche d'inversion du gradient, ou GRL, sert à l'apprentissage adversarial pour réduire l'information de domaine dans cette représentation.
L'objectif s'écrit :
- est le générateur des caractéristiques de contenu ;
- est le discriminateur de domaine ;
- contient les étiquettes des domaines ;
- La GRL inverse le gradient afin que apprenne une représentation moins sensible au domaine source.
-
La voie de style (Style Stream) s'appuie sur l'Instance Normalization (IN). Elle extrait, à plusieurs niveaux, des statistiques d'apparence allant du grossier au fin : luminosité, matière et texture notamment. Ces informations serviront au réassemblage.
Réassemblage et permutation des styles
Après extraction des caractéristiques de contenu et de style , la Style Assembly Layer (SAL) les réunit.
Son opération centrale dérive de l'Adaptive Instance Normalization (AdaIN) :
et sont les statistiques par canal. Les paramètres et proviennent d'un MLP appliqué au style .
SAL fonctionne ainsi :
et sont des noyaux convolutifs 3 × 3. La sortie est additionnée au contenu initial par une connexion résiduelle, pour conserver sa structure tout en y introduisant un autre style.
SSAN forme alors deux combinaisons :
-
Auto-assemblage (Self-Assembly) :
Le contenu et le style viennent du même échantillon ; ce résultat sert de référence (anchor).
-
Assemblage après permutation (Shuffle-Assembly) :
Le contenu de est associé au style d'un autre échantillon. Cela crée des représentations mélangées qui exposent le modèle à davantage de variations de style. L'indice tiré aléatoirement est .
Apprentissage contrastif dans l'espace du style
Comme le montre la figure, SSAN emploie un apprentissage contrastif dans l'espace des caractéristiques assemblées. Il doit aider à distinguer :
- Les variations de style sans lien avec le statut réel ou falsifié, à ignorer ;
- Les différences de style qui portent des indices d'attaque, à retenir.
Plus précisément :
- La caractéristique auto-assemblée sert de référence (anchor) ; l'opération stop-gradient fixe sa position pendant cette mise à jour ;
- La caractéristique assemblée après permutation sert d'exemple comparé. La perte dépend du fait que les deux échantillons portent ou non la même étiquette, et utilise une similarité cosinus négative :
La perte contrastive est ensuite :
avec :
Les assemblages de même classe sont rapprochés de la référence ; ceux de classes différentes en sont éloignés. La perte utilise les étiquettes « réel ou attaque » des échantillons issus des domaines sources.
Perte totale
L'objectif d'entraînement de SSAN réunit :
Ces trois termes concernent :
- La classification réel ou attaque ;
- L'alignement adversarial du contenu entre domaines ;
- La structuration contrastive des caractéristiques assemblées.
Chaque terme contraint une partie différente du modèle. Les ablations restent nécessaires pour juger leur contribution propre.
À l'inférence, le modèle classe l'auto-assemblage du contenu et du style de l'image d'entrée. SSAN-M prend la moyenne de la carte de profondeur prédite comme score, tandis que SSAN-R utilise la sortie sigmoïde de la classe « visage réel ».
Discussion
Comparaison avec les autres méthodes
Comme souvent, l'article utilise une évaluation OCIM pour tester la généralisation entre domaines.
Quatre jeux y participent : OULU-NPU (O), CASIA-MFSD (C), Replay-Attack (I) et MSU-MFSD (M). À chaque essai, trois servent à l'entraînement et le quatrième, non vu, au test. On obtient ainsi quatre configurations.
La figure permet d'observer que :
- Les HTER de SSAN-M sont de 10,42 %, 16,47 % et 14,00 % dans les trois premières configurations. Pour I&C&M → O, son 19,51 % est moins bon que les 13,80 % de NAS-FAS ;
- Dans certains protocoles, SSAN-M dépasse nettement des méthodes antérieures comme SSDG et CDCN ;
- Son rang varie selon la configuration.
Les auteurs indiquent aussi que SSAN-R, doté d'un ResNet-18, dépasse SSDG-R en HTER et en AUC dans les quatre configurations. La comparaison s'effectue sur des réseaux de base proches, sans mesure du coût de déploiement.
Évaluation à grande échelle
Les auteurs réunissent douze jeux publics pour construire des ensembles d'entraînement et de test plus vastes. Ils mêlent images, vidéos et types d'attaques variés. Le tableau ci-dessous détaille les jeux :
Le benchmark prévoit deux cadres :
-
Protocole 1 : évaluation au sein des jeux de données
- Chacun des douze jeux fournit des données d'entraînement et de test, selon sa propre séparation ;
- Le protocole examine l'apprentissage quand des données du même jeu sont disponibles.
-
Protocole 2 : évaluation entre jeux de données
- Les jeux sont répartis en deux groupes :
- P1 : {D3, D4, D5, D10, D11, D12} ;
- P2 : {D1, D2, D6, D7, D8, D9}.
- Deux sous-protocoles en découlent :
- Protocole 2-1 : entraînement sur P1, test sur P2 ;
- Protocole 2-2 : entraînement sur P2, test sur P1.
Par rapport au premier protocole, les attaques et scènes inédites sont plus nombreuses. L'évaluation devient plus difficile et se rapproche de certains risques rencontrés en pratique.
- Les jeux sont répartis en deux groupes :
Sur cette base, les auteurs présentent les résultats suivants :
Les méthodes comparées sont entraînées avec les réglages indiqués par leurs auteurs. Pour l'évaluation, tous les vrais visages des données de test servent d'exemples négatifs ; une partie des attaques du jeu testé sert d'exemples positifs. On mesure alors le taux de vrais positifs (TPR) pour un taux de faux positifs (FPR) fixé. Le tableau rapporte les moyennes et les variations des résultats entre jeux.
Il montre que :
- SSAN-R a le TPR moyen le plus élevé du tableau pour les trois protocoles et chacun des trois seuils FPR ; il n'indique ni taille des modèles ni latence ;
- Certaines méthodes très performantes sur les benchmarks académiques perdent nettement du terrain dans ce test plus vaste ;
- Le classement varie avec le protocole et les données. Il s'agit toujours d'une évaluation hors ligne.
Les auteurs rappellent que la fiabilité dans le monde réel exige une validation au-delà des résultats académiques.
Les expériences appuient les TPR moyens élevés de SSAN-R dans ces protocoles ; leurs écarts-types parfois importants empêchent d'en déduire une stabilité en production.
Visualisation des caractéristiques
Pour observer la structure des caractéristiques apprises, les auteurs projettent avec t-SNE trois types de représentations. Les trois graphiques de la figure correspondent à :
-
Content Features : cohérence du contenu entre domaines
Les points issus de jeux différents, qu'ils représentent des vrais visages ou des attaques, sont davantage regroupés et mêlés dans cette projection. C'est cohérent avec l'objectif de l'apprentissage adversarial du contenu.
L’influence de l’origine des données sur les caractéristiques demande une analyse distincte.
-
Style Features : frontières entre classes dans le style
Les caractéristiques de style montrent une séparation approximative entre visages réels et attaques. Cette voie n'a pas de perte de classification propre, mais reçoit néanmoins des signaux liés aux étiquettes par l'entraînement du réseau complet. La figure ne permet pas de savoir si la frontière vient de la matière, de l'éclairage ou des reflets.
Elle va dans le sens de l'objectif contrastif, sans isoler l'effet de cette seule perte.
-
Stylized Features : espace de classification après assemblage
Une fois contenu et style assemblés, la projection montre une séparation partielle des deux classes, avec encore des recouvrements. Elle contient des exemples du domaine cible non vu, mais ne quantifie pas à elle seule la généralisation.
Pour juger celle-ci, il faut aussi regarder les HTER, AUC et TPR à FPR fixé présentés plus haut. Ces points projetés n'expliquent pas chaque décision individuelle.
Ces visualisations aident à lire la différence entre contenu, style et caractéristiques assemblées dans un protocole donné.
Conclusion
SSAN n'est pas qu'un nom d'architecture. Il propose une idée de conception nette : traiter le « style » comme une source d'information que l'on peut manipuler, apprendre et transformer.
À l'époque, cette approche restait peu courante en FAS. Beaucoup de modèles cherchaient surtout à aligner les domaines et à effacer les variations, sans examiner ce que le style pouvait apporter à la détection.
SSAN prend une autre voie :
- Il distingue explicitement contenu et style, puis donne à cette distinction une forme architecturale ;
- Il s'appuie sur l'Instance Normalization (IN) pour extraire le style, en regard de la stabilité visée par la Batch Normalization (BN) ;
- Il associe réassemblage des styles et apprentissage contrastif pour utiliser certaines différences d'apparence comme signaux ;
- Il fixe la référence avec stop-gradient pendant l'apprentissage contrastif, afin de guider la mise à jour des caractéristiques assemblées.
Ces choix peuvent ressembler à un empilement de techniques. Ils suivent pourtant une même logique : ne pas effacer tout style, mais apprendre à en retenir les indices utiles.
D'autres méthodes, plus complexes, ont depuis exploré le contrôle du style et les décalages entre distributions. L'idée portée par cet article mérite néanmoins encore d'être relue.