Disentangled Representation with Dual-stage Feature Learning for Face Anti-spoofing
- Publication
- WACV 2022Conférence
- Premier dépôt sur arXiv
- arXiv:2110.09157
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{faceantispoofingdualstage2021,
title = {{Disentangled Representation with Dual-stage Feature Learning for Face Anti-spoofing}},
author = {Yu-Chun Wang and Chien-Yi Wang and Shang-Hong Lai},
year = {2021},
eprint = {2110.09157},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2110.09157}
}
Le découplage des représentations attire de plus en plus de chercheurs.
Sur l'idée générale, on s'entend assez bien : il faut isoler les caractéristiques des attaques.
Mais que fait-on de tout le reste ?
Définition du problème
Dans la plupart des systèmes de détection des attaques par présentation du visage, le modèle tente de répondre à une question à partir d'une image : est-ce une personne réelle ou une imitation ?
Sa réponse se fonde pourtant sur un mélange de signaux : matière du visage, traces laissées par l'éclairage, artefacts de compression.
Presque toute information susceptible de se glisser dans l'image s'y glisse effectivement.
Le découplage des représentations cherche précisément à traiter ce problème :
Il ne suffit pas de répondre « vrai » ou « faux » ; encore faut-il comprendre ce que l'on a vu.
Ces dernières années, plusieurs travaux ont proposé des stratégies de découplage, et nous en avons déjà étudié quelques-uns.
Certains partagent l'espace latent entre caractéristiques de vivacité et de contenu. D'autres décomposent les traces d'attaque en résidus à plusieurs échelles. La plupart supposent cependant que :
Séparation et reconstruction peuvent être apprises au cours d'une seule étape.
Les auteurs contestent cette hypothèse. Les deux opérations ne s'apprennent pas toujours aussi nettement lorsqu'on les mène de front :
- Si les objectifs de découplage et de classification se confondent, le modèle peut emprunter des raccourcis ;
- L'entraînement adversarial peut aider à séparer l'espace latent, mais aussi provoquer des oscillations des gradients et rendre l'apprentissage instable ;
- La supervision auxiliaire, par exemple avec la profondeur ou le rPPG, n'assure pas que ces indices conviennent à toutes les attaques.
Autrement dit, nous demandons au modèle de reconnaître une imitation sans lui donner une façon stable d'en apprendre la « grammaire ».
Il sait souvent classer les exemples observés, sans pour autant prévoir la forme de la prochaine attaque. Dans la pratique, le découplage reste confronté à l'instabilité de l'architecture, à la dépendance aux signaux auxiliaires et à l'incertitude devant les attaques inédites.
Les auteurs suggèrent alors :
Et si nous apprenions par étapes ?
Prendre son temps peut parfois faire gagner du temps.
Résolution du problème
Une simple classification binaire ne suffit pas toujours face aux attaques inédites.
Les auteurs entraînent leur modèle en deux étapes : apprendre d'abord à reconstruire de vrais visages, puis extraire des caractéristiques liées aux attaques à partir des vrais visages et des imitations. Voyons le schéma de plus près.
Apprendre d'abord l'information de vivacité
Les auteurs construisent un Live-info Network fondé sur un autoencodeur.
- Entrée : uniquement des exemples de vrais visages ;
- Encodeur : extrait les caractéristiques ;
- Décodeur : tente de reconstruire l'entrée et produit .
La perte suivante réduit l'erreur de reconstruction des vrais visages :
À ce stade, le modèle ne voit aucune image d'attaque. apprend donc des caractéristiques utiles à la reconstruction des vrais visages d'entraînement.
Cet encodeur deviendra, à l'étape suivante, un extracteur de caractéristiques de vivacité à poids fixes.
Reconstruction parallèle sur deux branches
L'entraînement introduit ensuite les exemples d'attaque et forme un module de découplage avec deux branches :
-
Live-encoder
- Il reprend les poids appris à la première étape pour extraire ;
- Ses poids restent gelés pendant la deuxième étape.
-
Spoof-encoder
- Il extrait les caractéristiques d'attaque , c'est-à-dire les signaux absents ou peu visibles sur les vrais visages.
-
Reconstructeur
- À partir de la fusion de et , il tente de reconstruire l'image d'entrée .
Pour guider la reconstruction et aider à isoler les différences liées aux attaques, les auteurs utilisent une perte de reconstruction et des pertes adversariales :
-
Perte de reconstruction
-
Perte du générateur
-
Perte du discriminateur
désigne le discriminateur, distinct du décodeur de reconstruction . Il cherche à distinguer les images générées des images réelles.
La contrainte adversariale pousse le modèle à reconstruire des images plus vraisemblables. Avec les autres pertes, elle favorise la séparation de et .
Extraire les indices d'attaque
Les auteurs relient à un décodeur proche d'un U-Net. Celui-ci produit une carte d'attaque, ou spoof map. Trois pertes aident cette carte à différencier vrais visages et imitations :
-
Triplet Loss
Elle rapproche les exemples de vrais visages et éloigne les vrais visages des attaques.
Un vrai visage sert d'ancre ; un autre de positif et une attaque de négatif . Les pertes triplet normale et difficile sont additionnées pour former .
-
Perte de résidu minimal sur les vrais visages ()
Une carte issue d'un vrai visage ne devrait pas présenter de motif d'attaque marqué. On la pousse donc vers zéro :
-
Perte du classificateur auxiliaire ()
Les auteurs superposent la carte à l'image et transmettent le résultat au classificateur auxiliaire , chargé de distinguer les deux classes.
La perte complète s'écrit :
L'article fixe . La perte ci-dessus suit l'entropie croisée binaire ; le deuxième terme de l'équation (9) imprimée dans l'article présente une erreur de signe.
Entraînement et inférence
-
Entraînement
Première étape : entraîner et uniquement avec de vrais visages.
Deuxième étape : geler , puis entraîner les nouveaux modules , , et le discriminateur, avec les pertes adversariales, de reconstruction et de supervision de la carte d'attaque.
-
Inférence
Seuls et servent à produire la carte d'attaque. La moyenne de cette carte donne le score d'attaque ; au-dessus d'un seuil, l'image est classée comme attaque. Sur une GeForce GTX 1080, les auteurs annoncent 121,48 ± 1,4 images par seconde.
La méthode partage ainsi l'apprentissage entre reconstruction du vivant et extraction de signaux d'attaque, sans supervision auxiliaire par carte de profondeur ni rPPG. Sa performance face aux attaques inédites dépend encore du type d'attaque testé.
Discussion
Résultats entre types d'attaques
Le tableau ci-dessus présente le test « laisser un type d'attaque de côté » sur SiW-M. DualStage obtient un ACER moyen de 9,65 % ± 7,15 % et un EER moyen de 8,63 % ± 5,18 %, inférieurs à ceux des méthodes comparées. Les attaques Funnyeye et Paperglasses restent difficiles, avec des ACER de 24,37 % et 20,64 %.
Sur MSU-MFSD, CASIA-MFSD et Replay-Attack, les auteurs évaluent également le transfert vers un type d'attaque laissé de côté. L'AUC moyenne sur neuf tests atteint 98,0 % ± 4,26 %, la plus élevée du tableau. Pour les attaques imprimées de MSU-MFSD, l'AUC de 86,78 % dépasse celles des méthodes répertoriées, mais reste la plus faible des neuf valeurs de DualStage.
Ces résultats indiquent une efficacité sur plusieurs attaques testées, tout en laissant apparaître des écarts entre types.
Résultats dans les protocoles SiW
Pour étudier les changements de pose, d'expression, d'éclairage ou de dispositif de capture, les auteurs évaluent trois sous-protocoles de SiW :
- Protocoles 1 et 2 : DualStage atteint 0 % d'ACER dans les deux cas, à égalité avec DST dans le premier et avec DST ainsi que LGC dans le second.
- Protocole 3 : l'entraînement n'emploie qu'un type d'attaque. L'ACER de DualStage est de 3,58 % ± 3,93 %, supérieur aux 1,19 % ± 1,39 % de LGC. Les auteurs avancent que le manque de diversité des attaques pourrait limiter l'apprentissage des caractéristiques.
Les deux premiers protocoles donnent de bons résultats, mais le troisième laisse voir une marge de progression.
Visualisation des caractéristiques découplées
Pour montrer les caractéristiques après découplage, les auteurs réalisent une expérience d'« échange de visages ».
Chaque image conserve sa propre caractéristique de vivacité ; seules les caractéristiques d'attaque des deux images sont échangées. Le décodeur synthétise ensuite les images correspondantes.
Après l'échange, le vrai visage présente des textures d'attaque, comme des rayures ou des déséquilibres de gris ; le visage d'attaque retrouve partiellement une couleur de peau naturelle.
Ces exemples indiquent que les caractéristiques d'attaque peuvent contrôler certaines textures de l'image synthétisée.
Analyse de la carte d'attaque
Pour examiner la représentation extraite, les auteurs font passer les caractéristiques d'attaque par le décodeur , de type U-Net, et obtiennent une carte de détection.
Sur les vrais visages illustrés, la carte est presque nulle. Sur les attaques imprimées, des régions lumineuses apparaissent autour du front, des yeux, du nez et de la bouche.
DualStage fournit ainsi des indices visualisables dans l'image. Il faudrait cependant d'autres vérifications pour savoir si chaque région correspond bien au mécanisme physique de l'attaque.
Étude d'ablation
DualStage combine de nombreuses pertes. Les auteurs retirent certains éléments pour mesurer leur effet et comparer les résultats.
Supprimer la première étape ou la perte adversariale fait passer l'AUC moyenne des neuf tests de 98,0 % à, respectivement, 95,01 % et 94,0 %. Sans la perte triplet, elle tombe à 95,01 % ; avec la seule variante triplet normale, elle vaut 97,25 %.
Dans les configurations testées, ces résultats soutiennent la contribution du pré-entraînement sur les vrais visages, de la perte adversariale et des deux variantes triplet. Sans classificateur auxiliaire, l'AUC moyenne tombe également à 93,3 %.
Conclusion
DualStage propose une conception assez sobre :
Apprendre le découplage en deux temps : d'abord reconstruire les vrais visages pour obtenir une représentation, puis en extraire les signaux d'attaque.
Sans carte de profondeur supplémentaire ni supervision rPPG, il produit à partir des seules images une carte d'attaque utile à la classification. Il obtient de bons résultats sur plusieurs tests publics entre types d'attaques, sans recourir à une supervision multimodale supplémentaire.
Il a pourtant ses limites. Lorsque l'entraînement ne montre qu'un type d'attaque, comme dans le protocole 3 de SiW, le résultat est moins convaincant. Pour aller plus loin, il faudra peut-être mieux gérer les fragments de caractéristiques jugés « accessoires » qui influencent pourtant la décision.
Comme proposition méthodologique, l'article laisse une idée encore pertinente :
Le découplage n'a pas besoin de se faire d'un seul coup.
Le modèle peut apprendre progressivement, pourvu qu'on lui donne le bon ordre.