Retour à la bibliothèque
arXiv 2022AAAI 2023Détection des attaques de présentation facialeNotes de lecture

CDFTN

L'entrelacement des styles

Article original

Cyclically Disentangled Feature Translation for Face Anti-spoofing

Auteurs de l’article

Haixiao Yue · Keyao Wang · Guosheng Zhang …

Afficher les 7 auteurs

Haixiao Yue · Keyao Wang · Guosheng Zhang · Haocheng Feng · Junyu Han · Errui Ding · Jingdong Wang

Publication
AAAI 2023Conférence
Premier dépôt sur arXiv
arXiv:2212.03651
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{faceantispoofingcdftn2022,
  title = {{Cyclically Disentangled Feature Translation for Face Anti-spoofing}},
  author = {Haixiao Yue and Keyao Wang and Guosheng Zhang and Haocheng Feng and Junyu Han and Errui Ding and Jingdong Wang},
  year = {2022},
  eprint = {2212.03651},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2212.03651}
}
Sur cette page

Depuis que SSAN a introduit l'idée de « style » dans la FAS, beaucoup de chercheurs s'y intéressent.

Cette idée a inspiré plusieurs travaux ; poursuivons avec cet article.

Définir le problème

La détection des attaques contre la reconnaissance faciale, ou FAS, n'a jamais été un simple problème de classification : c'est un seuil décisif pour la détection du vivant.

D'un côté, un vrai visage, de chair et de souffle ; de l'autre, une photo haute résolution, une vidéo rejouée ou un masque en silicone.

Les premières méthodes s'appuyaient sur des caractéristiques conçues à la main. LBP, HOG et SIFT ont connu leur heure de gloire ; les CNN leur ont succédé, avec VGG et ResNet préentraînés sur ImageNet, puis des architectures toujours plus profondes et larges. Certains ont ajouté la dimension temporelle avec des LSTM ; d'autres ont abordé le problème sous l'angle des matériaux.

Malgré ces évolutions, une difficulté demeure :

Changez de jeu de données, et le modèle s'écroule.

Il suffit de modifier l'appareil de prise de vue, la lumière ou la région géographique : le modèle perd le nord.

La généralisation entre domaines (Domain Generalization, DG) cherche à lui faire apprendre une notion abstraite du vivant, plutôt que l'apparence d'un jeu de données. Mais les méthodes DG exigent souvent plusieurs domaines sources étiquetés, une ressource rare en pratique.

L'adaptation non supervisée entre domaines (Unsupervised Domain Adaptation, UDA) correspond davantage à certains déploiements : une source étiquetée et une cible non étiquetée.

Ses méthodes se rangent généralement en trois groupes :

  1. aligner les caractéristiques en réduisant l'écart entre source et cible ;
  2. entraîner un discriminateur de façon adversariale pour masquer leur provenance ;
  3. transformer les images de la source pour qu'elles ressemblent à celles de la cible.

Elles peuvent fonctionner, mais présentent une même faiblesse :

Elles ne « démêlent » pas complètement le sens et le style.

Alignement ou génération imposés risquent, à une étape ou une autre, d'altérer les informations sémantiques.

Si la distinction entre vrai et faux tient à la « sémantique », tandis que les écarts entre domaines relèvent du « style et du fond », peut-on construire un modèle qui sépare ces facteurs avant de passer d'un domaine à l'autre ?

Résoudre le problème

L'article propose un Cyclically Disentangled Feature Translation Network, ou CDFTN.

La figure donne une impression d'écrasante complexité. Et, il faut l'admettre, le modèle est complexe.

Les auteurs ne commencent pas par classer directement les visages. Ils « séparent » leurs caractéristiques latentes, puis les « recombinent » afin de produire une représentation capable de franchir les différences entre domaines.

L'ensemble suit deux étapes :

  1. Étape 1 : dissocier les caractéristiques, les traduire entre domaines et produire de nouvelles images.
  2. Étape 2 : utiliser ces images pour entraîner le classifieur final.

Chaque visage est représenté dans deux espaces :

  • Espace de vivacité (Liveness Space) : les caractéristiques liées à vrai visage contre attaque, que l'on espère stables entre domaines.
  • Espace de contenu (Content Space) : les informations propres au domaine, comme l'appareil, l'éclairage et le fond, susceptibles d'agir comme des facteurs parasites.

Il vous faudra maintenant quelques notions d'apprentissage adversarial. Supposons que vous maîtrisiez déjà les GAN et allons-y directement.

Première étape

Dissociation des caractéristiques et apprentissage adversarial

Chaque domaine, source ou cible, possède deux encodeurs :

  • EsL,EtLE_s^L, E_t^L extraient respectivement les caractéristiques de vivacité de la source et de la cible ;
  • EsC,EtCE_s^C, E_t^C extraient leur contenu ou style respectif.

Les auteurs veulent que les représentations de vivacité portent les indices utiles au classement sans révéler le domaine d'origine. Par apprentissage adversarial, ils poussent donc les deux encodeurs à produire un vecteur latent zLz^L dont on ne puisse plus facilement dire s'il vient de la source ou de la cible. La perte s'écrit :

min⁡EsL,EtLmax⁡DLLDL=Exs∼PS[log⁡DL(EsL(xs))]+Ext∼PT[log⁡(1−DL(EtL(xt)))]\min_{E_s^L,E_t^L} \max_{D_L} \mathcal{L}_{D_L} = \mathbb{E}_{x^s \sim P_S}[\log D_L(E_s^L(x^s))] + \mathbb{E}_{x^t \sim P_T}[\log(1 - D_L(E_t^L(x^t)))]

Ici, DLD_L est le discriminateur du domaine : il cherche à reconnaître l'origine du zLz^L reçu. Les encodeurs de vivacité tentent de le tromper.

Un classifieur pour conserver l'information de vivacité

Pour que les caractéristiques de EsLE_s^L permettent toujours de distinguer vrai et faux visages, les auteurs ajoutent un classifieur CC sur la source et l'entraînent avec une entropie croisée :

LclsL=−E(xs,ys)[yslog⁡C(EsL(xs))]\mathcal{L}_{cls}^L = -\mathbb{E}_{(x^s, y^s)} [y^s \log C(E_s^L(x^s))]

Le vecteur zLz^L extrait de la source doit donc masquer le domaine tout en gardant les éléments nécessaires à la classification.

Génération entre domaines et recomposition du style

Voici la pièce maîtresse de CDFTN.

La première étape extrait les caractéristiques, mais elle doit aussi produire des images pseudo-étiquetées en échangeant les caractéristiques de vivacité et de contenu entre domaines.

En situation réelle, source et cible peuvent différer fortement : marque de caméra, scène, éclairage. Un entraînement limité à la source risque alors de mal se transférer.

En recomposant les caractéristiques entre domaines, le modèle rencontre davantage de variations de style et élargit les données d'entraînement disponibles pour apprendre une décision plus stable.

On extrait d'abord, dans chaque domaine :

(zsL,zsC)=(EsL(xs),EsC(xs)),(ztL,ztC)=(EtL(xt),EtC(xt)).(z^L_s, z^C_s) = (E_s^L(x^s), E_s^C(x^s)), \quad (z^L_t, z^C_t) = (E_t^L(x^t), E_t^C(x^t)).

zLz^L porte les indices de vivacité les plus utiles pour distinguer vrai et faux ; zCz^C représente le contenu propre à chaque domaine, comme l'appareil, le fond ou la lumière.

On échange ensuite ces vecteurs latents pour produire :

x^t=Gt(zsL,ztC),x^s=Gs(ztL,zsC),\hat{x}^t = G_t(z^L_s, z^C_t), \quad \hat{x}^s = G_s(z^L_t, z^C_s),

où GG est le décodeur correspondant. Il associe zLz^L et zCz^C avant de revenir à l'espace des pixels. Ainsi, x^t\hat{x}^t réunit la vivacité de la source et le contenu de la cible ; x^s\hat{x}^s fait l'inverse.

L'intérêt est de conserver le sens vrai/faux porté par zLz^L, tout en donnant à l'image un style proche de la cible via zCz^C. Ces images ressemblant à la cible, mais munies des étiquettes de vivacité de la source, alimentent ensuite le classifieur.

Pour rapprocher x^s\hat{x}^s et x^t\hat{x}^t des vraies images de leurs domaines respectifs, les auteurs ajoutent des discriminateurs d'image DsD_s et DtD_t au niveau des pixels. Comme dans un GAN, ils distinguent les images réelles des images générées après échange des caractéristiques. La perte adversariale associée est :

Ladv=Exs[log⁡Ds(xs)+log⁡(1−Ds(x^s))]+Ext[log⁡Dt(xt)+log⁡(1−Dt(x^t))].\begin{aligned} \mathcal{L}_{adv} ={}& \mathbb{E}_{x^s}[\log D_s(x^s) + \log(1 - D_s(\hat{x}^s))] \\ &+ \mathbb{E}_{x^t}[\log D_t(x^t) + \log(1 - D_t(\hat{x}^t))]. \end{aligned}

Si les discriminateurs repèrent les images générées, GsG_s et GtG_t essaient de les rendre plus proches des images réelles pour les tromper. C'est un objectif d'entraînement ; les auteurs reconnaissent que la qualité visuelle des images générées reste médiocre.

Pertes de cohérence

Pour éviter que l'échange ne brouille ou n'efface la vivacité et le contenu initial, les auteurs ajoutent trois contraintes. Elles cherchent à préserver le sens vrai/faux et à limiter les transformations de style inutiles.

  1. Perte de reconstruction Lre\mathcal{L}_{re}

    Sans échange entre domaines, renvoyer zLz^L et zCz^C d'une même image au décodeur correspondant devrait permettre de reconstruire l'image initiale. Une erreur élevée révèle une mauvaise extraction ou reconstruction et est pénalisée.

  2. Perte cyclique Lcyc\mathcal{L}_{cyc}

    Dans l'esprit de CycleGAN, l'image échangée x^\hat{x} repasse dans les encodeurs ; les caractéristiques obtenues sont traduites en retour vers le domaine d'origine. La reconstruction finale doit rester proche de l'image initiale, afin de limiter la perte irréversible d'informations.

  3. Perte dans l'espace latent Llat\mathcal{L}_{lat}

    Elle impose surtout que les caractéristiques de vivacité extraites avant et après échange restent cohérentes. Une vraie présentation doit conserver cette signification malgré le changement de style.

On obtient ainsi un cycle de traduction : dissocier, échanger, puis corriger à l'aide de l'apprentissage adversarial et des pertes de cohérence. Il produit x^t\hat{x}^t, une image au contenu cible portant l'étiquette de vivacité de la source, qui sera utilisée à l'étape suivante.

Deuxième étape

Une fois la première étape terminée, les auteurs figent tout le réseau de génération. Les images pseudo-étiquetées x^t\hat{x}^t servent alors à entraîner le classifieur final MM. L'article compare deux choix :

  • LGSC (Feng et al., 2020) : une conception multitâche réunissant classification, régression L1L_1 des indices d'attaque et perte triplet ;
  • ResNet-18 : une classification binaire seule.

Avec LGSC, la perte finale s'écrit :

Lstage2=α1La+α2Lr+α3Ltri,\mathcal{L}_{stage2} = \alpha_1 \mathcal{L}_a + \alpha_2 \mathcal{L}_r + \alpha_3 \mathcal{L}_{tri},

Avec ResNet-18, seule la partie classification binaire subsiste.


C'est sans doute l'un des articles les plus complexes que nous ayons lus récemment. L'idée centrale de CDFTN tient pourtant en trois étapes :

  1. Dissocier le sens vrai/faux du contenu propre au domaine, avec un entraînement adversarial pour aligner les caractéristiques de vivacité.
  2. Échanger les caractéristiques entre domaines et générer de nouvelles images pseudo-étiquetées.
  3. Entraîner le classifieur final avec ces images en complément, afin de le rendre plus robuste.

La méthode est complexe, mais son point de départ est direct : une décision vrai/faux sur un visage ne devrait pas dépendre de la marque de caméra ou de l'éclairage. Séparer la vivacité du contenu lié au domaine permet d'essayer de mieux détecter les attaques dans de nouvelles scènes.

Discussion

Les auteurs évaluent CDFTN pour la FAS entre domaines avec une traduction vers une seule cible (SS2ST) et une traduction vers plusieurs cibles (SS2MT).

Ils utilisent quatre jeux de données courants :

  • CASIA-MFSD (C)
  • Replay-Attack (I)
  • MSU-MFSD (M)
  • Oulu-NPU (O)

Dans le réglage à cible unique, chaque expérience choisit une source avec toutes ses données et une cible avec son ensemble d'entraînement.

Il y a donc 12 scénarios :

  • C → I, C → M, C → O
  • I → C, I → M, I → O
  • M → C, M → I, M → O
  • O → C, O → I, O → M

Dans le réglage à cibles multiples, l'un des quatre jeux fournit la source et les trois autres sont des cibles non étiquetées.

Cela donne quatre scénarios :

  • C → I & M & O
  • I → C & M & O
  • M → C & I & O
  • O → C & I & M

Deux indicateurs servent à l'évaluation :

  1. HTER (Half Total Error Rate) :

    HTER=FRR+FAR2,\mathrm{HTER} = \frac{ \mathrm{FRR} + \mathrm{FAR} }{2},

    où FRR\mathrm{FRR} et FAR\mathrm{FAR} désignent respectivement les taux de faux rejets et de fausses acceptations.

  2. AUC (Area Under the Curve) : plus elle est élevée, mieux le classifieur sépare les vrais visages des attaques.

Comparaison avec les autres méthodes

La table ci-dessus compare CDFTN à d'autres approches de transfert entre domaines :

  • Elle ne donne que le HTER, sans AUC. Le HTER moyen de CDFTN-L sur les 12 scénarios est de 13,2 %, mais la méthode n'est pas la meilleure partout.
  • Ainsi, pour CASIA → Oulu, MDDR obtient 24,7 % et CDFTN-L 29,9 %. Les auteurs émettent deux hypothèses : Oulu utilise davantage de supports d'attaque (deux imprimantes et deux écrans), et la réduction d'images 1920 × 1080 pourrait les rendre floues.

Les auteurs y voient un intérêt de la traduction des caractéristiques pour exploiter le contenu de la cible.

Traduction vers plusieurs domaines cibles

Trois réglages sont comparés :

  1. SS2ST : une seule cible ;
  2. SS2BT : plusieurs domaines cibles réunis en un domaine « mélangé », traité comme SS2ST ;
  3. SS2MT : un encodeur et un décodeur propres à chaque cible, entraînés conjointement avant d'utiliser les images produites pour chacune.

Sur les quatre groupes d'expériences, SS2MT obtient de meilleurs HTER moyens (plus faibles) et de meilleures AUC moyennes (plus élevées) que SS2BT et SS2ST.

Traiter tous les domaines cibles comme un seul ensemble avec un seul encodeur peut donc nuire aux résultats lorsque leurs différences internes sont importantes.

En apprenant séparément chaque sous-domaine, SS2MT exploite davantage les indices de vivacité qu'il fournit et obtient de meilleures moyennes dans ces quatre expériences. Les auteurs indiquent aussi qu'un seul processus d'entraînement suffit pour plusieurs cibles ; l'article ne mesure pas séparément son efficacité d'entraînement.

Étude d'ablation

Les auteurs retirent tour à tour quatre pertes importantes. La table ci-dessus montre les résultats avec LGSC comme classifieur final.

On observe que :

  1. Sans LclsLL_{cls}^L, l'entropie croisée du classifieur de vivacité sur la source, les performances baissent : zsLz^L_s distingue moins bien les vrais visages des attaques.
  2. Sans LcycL_{cyc}, la contrainte de traduction cyclique disparaît et le HTER moyen passe de 8,1 % à 11,0 %.
  3. Sans LreL_{re}, le modèle perd sa contrainte de reconstruction précise de l'image initiale sur les encodeurs et décodeurs. L'effet sur les résultats est également marqué.
  4. Sans LlatL_{lat}, le HTER moyen monte à 11,7 %, ce qui étaye l'intérêt de garder les caractéristiques de vivacité cohérentes avant et après échange.

Retirer l'une de ces pertes augmente le HTER moyen des neuf scénarios de la table. La plus grande différence vient de LreL_{re} (8,1 % → 19,7 %), suivie de LclsLL_{cls}^L (→ 12,0 %), puis de LlatL_{lat} (→ 11,7 %).

Analyse visuelle

La figure visualise le scénario M → I : 500 exemples sont pris dans chaque domaine, puis leurs caractéristiques sont réduites à deux dimensions avec t-SNE. Bleu et orange distinguent source et cible ; cercles et croix, vrais visages et attaques.

La distribution avant traduction apparaît à gauche, et celle d'après à droite. Dans cet exemple, les échantillons d'une même classe mais de domaines différents se rapprochent et la frontière de décision paraît plus claire. La figure t-SNE ne quantifie toutefois pas les écarts entre domaines dans tous les scénarios.

Conclusion

Dans l'histoire de la FAS, le « style » a progressivement pris du poids.

D'abord considéré comme une gêne, il a servi ensuite à expliquer les échecs de généralisation, puis est devenu une dimension explicitement modélisée. La relation entre style et sémantique se trouve au cœur de plusieurs méthodes récentes.

CDFTN est l'un des jalons de cette voie.

Il ne se contente pas de séparer sémantique et style : il fait de cette séparation un mécanisme de génération, puis entraîne un classifieur sur les exemples pseudo-étiquetés produits entre domaines. Il cherche ainsi à reconstruire le style en restant guidé par la sémantique.

Au-delà de la question « comment combattre le décalage entre domaines ? », reconnaître l'existence du style et apprendre au modèle à composer avec lui est aussi un enjeu important.