Single-Side Domain Generalization for Face Anti-Spoofing
- Publication
- CVPR 2020Conférence
- Premier dépôt sur arXiv
- arXiv:2004.14043
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{faceantispoofingssdg2020,
title = {{Single-Side Domain Generalization for Face Anti-Spoofing}},
author = {Yunpei Jia and Jie Zhang and Shiguang Shan and Xilin Chen},
year = {2020},
eprint = {2004.14043},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2004.14043}
}
Les attaques contre les systèmes de reconnaissance faciale prennent toutes sortes de formes. Les réponses à ces attaques sont tout aussi variées.
À partir de cet article, regardons les travaux de détection des attaques de présentation faciale (FAS) fondés sur la généralisation de domaine, ou Domain Generalization (DG).
Définition du problème
Pour la FAS, les chercheurs ont développé deux grandes approches :
-
L'analyse des textures : distinguer les vrais visages des faux à partir des détails de l'image, comme les distorsions de couleur ou les anomalies de texture. On y trouve des descripteurs conçus à la main, tels que LBP, HOG et SIFT, ainsi que l'apprentissage de caractéristiques par CNN.
-
L'analyse temporelle : examiner les changements entre plusieurs images, tels que les clignements des yeux, les mouvements de la bouche ou le signal de pouls rPPG. Des architectures CNN-LSTM ou RNN servent alors à repérer des indices de vie.
Ces méthodes peuvent obtenir de bons résultats à l'intérieur d'un même jeu de données (intra-database). Mais lorsque le modèle passe à un autre jeu (cross-database), sa précision peut chuter nettement.
Prenons un exemple :
Regardons d'abord l'image de gauche.
Pour nous représenter la situation, imaginons que chaque couleur correspond à un modèle de téléphone. Il s'agit d'une analogie, pas des étiquettes réelles de la figure :
- Vert : iPhone XX
- Violet : Samsung OO
- Bleu : Pixel YY
Puis apparaît :
- Orange : un téléphone dont la qualité d'image diffère beaucoup des autres et qui ne figurait pas dans les données d'entraînement.
Après avoir entraîné un modèle de FAS sur les trois premiers jeux de données, nous découvrons que les utilisateurs du téléphone « orange » passent rarement le contrôle. Et voilà qu'ils sont nombreux : une fois le modèle déployé, les plaintes affluent.
Nous espérions plutôt la situation de droite : un modèle capable, dès l'entraînement, de bien se comporter face à différentes sources de données. La réalité nous ramène vite sur terre.
Ce défaut de généralisation à de nouvelles sources revient sans cesse, pour plusieurs raisons :
- Des distributions différentes : les jeux d'entraînement et de test varient par leur arrière-plan, leur résolution, leur éclairage, leur appareil de prise de vue ou la composition démographique des personnes filmées.
- Des attaques plus variées que les visages authentiques : les méthodes d'attaque et leur fabrication changent fortement. Il devient difficile de ramener les faux visages à un ensemble de caractéristiques commun, et la frontière de décision se brouille.
Les approches classiques s'appuient trop souvent sur des indices propres au jeu de données. Le modèle apprend ainsi des représentations marquées par un « biais de jeu de données ».
Pour les auteurs, la question centrale de la FAS devient donc :
Comment concevoir un modèle qui généralise bien sans utiliser la moindre donnée du domaine cible ?
Même en rassemblant davantage de jeux de données, nous ne pouvons pas prévoir toutes les origines ni tous les types d'attaques.
Résolution du problème
Pour traiter l'hétérogénéité des caractéristiques des faux visages et la relative cohérence de celles des vrais, les auteurs proposent une stratégie d'entraînement : Single-Side Domain Generalization (SSDG).
L'idée de l'architecture ci-dessus tient en une phrase :
Rapprocher les vrais visages entre domaines ; distinguer les faux selon leur origine.
SSDG ne cherche donc pas à construire un espace généralisé commun aux vrais et aux faux visages. Il adopte une stratégie asymétrique : un entraînement adversarial rapproche les distributions des vrais visages entre domaines, tandis que les différences entre les faux visages sont conservées et même accentuées selon leur source.
Cette asymétrie vise une frontière de décision plus apte à se généraliser à un domaine cible encore inconnu.
L'ensemble comprend les éléments suivants :
- un générateur de caractéristiques (Feature Generator, G) ;
- un discriminateur de domaine (Domain Discriminator, D) ;
- un classifieur de présentation faciale ;
- une perte de triplets asymétrique ;
- une normalisation des caractéristiques et des poids.
Regardons-les un par un.
Apprentissage adversarial unilatéral
En DG, une méthode courante pour surmonter le décalage entre domaines consiste à ajouter un entraînement adversarial. Le but est que le modèle ne puisse plus déterminer facilement de quel domaine provient un échantillon : il apprend ainsi des caractéristiques moins liées au domaine.
On ajoute pour cela un « classifieur de domaine », chargé de prédire, par exemple, si l'échantillon vient de la source A ou de la source B.
Le classifieur de domaine continue à minimiser sa perte de classification. Le générateur de caractéristiques reçoit, lui, un gradient inversé qui l'incite à augmenter cette perte et à rendre la source plus difficile à reconnaître.
Les auteurs proposent ici une variante :
- l'apprentissage adversarial unilatéral (Single-Side Adversarial Learning).
Voici comment ils le formulent.
Supposons jeux de données sources, notés , chacun contenant :
- des échantillons de vrais visages ;
- des échantillons de faux visages .
Le générateur les transforme en représentations :
Les paramètres de et de étant partagés, il s'agit en pratique du même modèle ; la notation distingue seulement les deux types d'entrée.
Les caractéristiques passent ensuite dans le discriminateur , qui tente de prédire le jeu de données dont elles proviennent. Pour rendre les vrais visages plus cohérents entre domaines, essaie de « tromper » ce discriminateur : les deux s'opposent pendant l'entraînement.
La perte adversariale est écrite ainsi :
représente les étiquettes de domaine, et indique si l'échantillon appartient au -ième jeu de données.
Les faux visages ne participent pas à cette perte adversariale de domaine. Ils restent toutefois utilisés par le classifieur vrai/faux et par l'apprentissage des triplets décrit ci-dessous.
Pour réaliser cette opposition pendant l'entraînement, les auteurs emploient une Gradient Reversal Layer (GRL), ou couche d'inversion du gradient. C'est une technique fréquente dans ces modèles ; nous y reviendrons plus loin.
Apprentissage asymétrique par triplets
Puisque nous ne cherchons pas à ramener tous les faux visages dans un espace commun, il faut les séparer les uns des autres et des vrais visages. C'est le rôle de la perte de triplets asymétrique.
Voici le principe.
Avec trois jeux de données sources, les échantillons sont regroupés en quatre catégories :
- tous les vrais visages → une seule catégorie (croix) ;
- les faux visages → une catégorie par source (cercle, carré et triangle).
Les objectifs sont simultanément de :
- séparer les faux de sources différentes, tout en rapprochant ceux d'une même source (inter-domain separation et intra-domain compactness) ;
- regrouper les vrais visages (intra-class compactness) ;
- éloigner les faux des vrais (inter-class separation).
La figure suivante l'illustre :
Pour chaque triplet ancre / positif / négatif , la perte est donnée dans l'article sous la forme :
est la marge qui fixe l'écart souhaité entre les distances du triplet. L'équation (3) de l'article n'écrit pas la troncature positive habituelle ; dans le code public des auteurs, HardTripletLoss applique ReLU et prend aussi en charge le choix des triplets et leur moyenne.
Cette construction pousse le modèle à séparer les vrais et les faux dans l'espace des caractéristiques, tout en gardant les vrais visages regroupés.
Normalisation des caractéristiques et des poids
Les auteurs ajoutent une double normalisation afin d'améliorer la cohérence des caractéristiques et la stabilité de la frontière de décision :
-
Normalisation des caractéristiques : une normalisation L2 place les caractéristiques produites sur la sphère unité et supprime les différences de norme. Elle ne fait pas disparaître à elle seule toutes les variations dues à l'éclairage ou à la caméra.
-
Normalisation des poids : les vecteurs de poids du classifieur sont ramenés à une norme unitaire et les biais sont fixés à zéro. La frontière de décision devient :
Le modèle se concentre alors davantage sur la direction des caractéristiques que sur leur amplitude.
Une fois les modules réunis, les auteurs présentent l'objectif d'entraînement de SSDG ainsi :
où :
- est la perte d'entropie croisée du classifieur vrai/faux ;
- et pondèrent respectivement les pertes adversariale et de triplets.
L'objectif adversarial doit se lire avec la GRL : le discriminateur minimise sa perte de domaine, tandis que le gradient envoyé au générateur est inversé. Les deux modules ne minimisent donc pas la même entropie croisée dans le même sens.
Contrairement à l'entraînement par étapes du MADDG auquel l'article le compare, SSDG optimise ces modules de bout en bout.
Complément technique
Qu'est-ce que la GRL, et pourquoi est-elle utile en DG ?
La Gradient Reversal Layer (GRL) est une technique classique d'apprentissage adversarial des caractéristiques en généralisation de domaine (DG) et en adaptation de domaine (DA). On la trouve dans la lignée de DANN, publiée d'abord sous forme de prépublication en 2014, puis en conférence en 2015.
En une phrase, la GRL :
laisse passer les données telles quelles lors du forward, puis multiplie le gradient par un coefficient négatif lors du backward.
Elle met ainsi deux objectifs en tension : l'extracteur de caractéristiques essaie de masquer la source des données, tandis que le classifieur de domaine essaie de la retrouver.
La DG cherche à généraliser à des domaines absents de l'entraînement. Apprendre des caractéristiques moins dépendantes de la source est une manière d'y parvenir, et l'entraînement adversarial fournit un signal dans ce sens :
- lorsque les données viennent de plusieurs domaines, l'extracteur essaie de rendre leur origine indiscernable pour le classifieur ;
- si ce dernier reconnaît facilement la source, l'extracteur reçoit le signal adversarial.
La GRL permet d'exprimer cette opposition avec la rétropropagation habituelle.
Voici une implémentation simplifiée de ses passes avant et arrière :
import torch
from torch.autograd import Function
class GradientReversalFunction(Function):
@staticmethod
def forward(ctx, x, lambd):
ctx.lambd = lambd
return x.view_as(x)
@staticmethod
def backward(ctx, grad_output):
return grad_output.neg() * ctx.lambd, None
def grad_reverse(x, lambd=1.0):
return GradientReversalFunction.apply(x, lambd)
On peut l'insérer dans la passe avant comme ci-dessous. Le masque real_mask réserve la branche de domaine aux vrais visages, conformément à SSDG. La perte de domaine doit utiliser leurs seules étiquettes de provenance, et le lot doit contenir de tels échantillons. Il s'agit d'un schéma de circulation des données, pas de l'entraînement SSDG complet :
class DomainAdversarialNetwork(torch.nn.Module):
def __init__(self, feature_extractor, classifier, domain_discriminator):
super().__init__()
self.feature_extractor = feature_extractor
self.classifier = classifier
self.domain_discriminator = domain_discriminator
def forward(self, x, real_mask, lambd=1.0):
feat = self.feature_extractor(x)
class_out = self.classifier(feat)
# Dans SSDG, seuls les vrais visages alimentent cette branche.
reversed_feat = grad_reverse(feat[real_mask], lambd)
domain_out = self.domain_discriminator(reversed_feat)
return class_out, domain_out
lambd contrôle l'intensité de l'inversion du gradient. L'article SSDG utilise un coefficient qui évolue au fil de l'entraînement :
Au début, le signal adversarial est faible ; il augmente progressivement au cours de l'entraînement.
Discussion
Configuration des tests
Les auteurs utilisent quatre jeux de données publics :
- O : OULU-NPU
- C : CASIA-FASD
- I : Replay-Attack
- M : MSU-MFSD
À chaque essai, un jeu est laissé de côté comme domaine cible inconnu et les trois autres servent à l'entraînement. Il y a donc quatre tâches inter-jeux de données :
- O & C & I → M
- O & M & I → C
- O & C & M → I
- I & C & M → O
Ce dispositif permet d'évaluer le comportement face à une source inconnue. Un déploiement réel peut toutefois rencontrer d'autres différences que celles couvertes par ces quatre jeux.
Comparaison avec d'autres méthodes
Les auteurs rassemblent dans le tableau les résultats de méthodes représentatives sur ces quatre tâches :
- les méthodes à CNN (Yang et al., Atoum et al.) ;
- les méthodes temporelles et physiologiques (le rPPG de Liu et al.) ;
- les descripteurs traditionnels (LBP, SURF) ;
- MADDG, la référence DG de cette comparaison.
Lorsque SSDG emploie une architecture issue de MADDG, les auteurs l'appellent SSDG-M ; avec une architecture issue de ResNet-18, SSDG-R.
Dans le tableau, SSDG-M et SSDG-R obtiennent tous deux de meilleurs HTER et AUC que MADDG dans les quatre tâches. SSDG-R présente aussi, parmi les méthodes listées, le HTER le plus bas et l'AUC la plus élevée pour chacune :
- le HTER diminue ;
- l'AUC augmente ;
- le classement reste cohérent sur ces quatre tâches, mais le tableau ne donne pas de variabilité sur plusieurs répétitions. Il ne permet donc pas d'estimer la stabilité de ces scores.
Les auteurs en tirent plusieurs observations :
-
La plupart des méthodes existantes ne traitent pas directement le décalage entre jeux de données :
- dans ce tableau, la plupart obtiennent un HTER supérieur à celui de SSDG ;
- les auteurs suggèrent que les caractéristiques propres à chaque jeu limitent la généralisation. Le tableau ne mesure toutefois pas directement ces caractéristiques.
-
MADDG fait partie des rares exceptions, mais sa stratégie a encore des limites :
- il cherche à construire un espace généralisé commun aux vrais et aux faux visages ;
- SSDG le dépasse sur les quatre tâches présentées, sans que ces résultats mesurent la difficulté éventuelle de convergence de MADDG.
La stratégie asymétrique de SSDG paraît alors plus adaptée à ce problème :
- pour les vrais visages : aligner les domaines et apprendre une représentation plus stable ;
- pour les faux : maintenir une séparation, au lieu de forcer leur alignement.
L'ablation permet d'examiner de plus près la contribution de cette asymétrie.
Étude d'ablation
Les auteurs retirent successivement trois composants de SSDG pour observer leur effet :
- ssad : apprentissage adversarial unilatéral (single-side adversarial) ;
- triplet : perte de triplets asymétrique ;
- norm : normalisation des caractéristiques et des poids.
Pour les deux architectures et les quatre tâches, retirer l'un de ces composants augmente le HTER par rapport au modèle complet. L'AUC baisse dans la plupart des cas, avec une exception : pour SSDG-R dans la tâche O & C & M → I, la version sans ssad atteint 96,63 %, légèrement au-dessus des 96,59 % du modèle complet. On ne peut donc pas dire que chaque AUC diminue.
Ces ablations appuient la contribution des trois composants au HTER, tout en laissant apparaître cette exception sur l'AUC.
Conclusion
Le cadre SSDG répond par sa stratégie d'apprentissage à une différence qu'il vaut la peine d'examiner :
Les vrais visages peuvent partager des indices relativement stables entre domaines ; les faux varient davantage selon l'origine de l'attaque. Il n'est pas nécessaire de les traiter de la même manière.
Sur les quatre tâches inter-jeux de données rapportées dans l'article, SSDG obtient de bons résultats. L'expérience à deux domaines sources fournit aussi un point de comparaison lorsque les données sont plus limitées. L'idée centrale consiste à rapprocher les vrais visages entre domaines sans imposer une seule grappe commune à tous les faux.
Avec le recul, cet objectif asymétrique fait de SSDG un repère utile dans cette lignée de travaux : quelles caractéristiques faut-il aligner, et quelles différences faut-il conserver ?