Retour à la bibliothèque
arXiv 2021WACV 2022Détection des attaques de présentation facialeNotes de lecture

DualStage

L'art du découplage en deux temps

Article original

Disentangled Representation with Dual-stage Feature Learning for Face Anti-spoofing

Auteurs de l’article

Yu-Chun Wang · Chien-Yi Wang · Shang-Hong Lai

Publication
WACV 2022Conférence
Premier dépôt sur arXiv
arXiv:2110.09157
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{faceantispoofingdualstage2021,
  title = {{Disentangled Representation with Dual-stage Feature Learning for Face Anti-spoofing}},
  author = {Yu-Chun Wang and Chien-Yi Wang and Shang-Hong Lai},
  year = {2021},
  eprint = {2110.09157},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2110.09157}
}
Sur cette page

Le découplage des représentations attire de plus en plus de chercheurs.

Sur l'idée générale, on s'entend assez bien : il faut isoler les caractéristiques des attaques.

Mais que fait-on de tout le reste ?

Définition du problème

Dans la plupart des systèmes de détection des attaques par présentation du visage, le modèle tente de répondre à une question à partir d'une image : est-ce une personne réelle ou une imitation ?

Sa réponse se fonde pourtant sur un mélange de signaux : matière du visage, traces laissées par l'éclairage, artefacts de compression.

Presque toute information susceptible de se glisser dans l'image s'y glisse effectivement.

Le découplage des représentations cherche précisément à traiter ce problème :

Il ne suffit pas de répondre « vrai » ou « faux » ; encore faut-il comprendre ce que l'on a vu.

Ces dernières années, plusieurs travaux ont proposé des stratégies de découplage, et nous en avons déjà étudié quelques-uns.

Certains partagent l'espace latent entre caractéristiques de vivacité et de contenu. D'autres décomposent les traces d'attaque en résidus à plusieurs échelles. La plupart supposent cependant que :

Séparation et reconstruction peuvent être apprises au cours d'une seule étape.

Les auteurs contestent cette hypothèse. Les deux opérations ne s'apprennent pas toujours aussi nettement lorsqu'on les mène de front :

  • Si les objectifs de découplage et de classification se confondent, le modèle peut emprunter des raccourcis ;
  • L'entraînement adversarial peut aider à séparer l'espace latent, mais aussi provoquer des oscillations des gradients et rendre l'apprentissage instable ;
  • La supervision auxiliaire, par exemple avec la profondeur ou le rPPG, n'assure pas que ces indices conviennent à toutes les attaques.

Autrement dit, nous demandons au modèle de reconnaître une imitation sans lui donner une façon stable d'en apprendre la « grammaire ».

Il sait souvent classer les exemples observés, sans pour autant prévoir la forme de la prochaine attaque. Dans la pratique, le découplage reste confronté à l'instabilité de l'architecture, à la dépendance aux signaux auxiliaires et à l'incertitude devant les attaques inédites.

Les auteurs suggèrent alors :

Et si nous apprenions par étapes ?

Prendre son temps peut parfois faire gagner du temps.


Résolution du problème

Une simple classification binaire ne suffit pas toujours face aux attaques inédites.

Les auteurs entraînent leur modèle en deux étapes : apprendre d'abord à reconstruire de vrais visages, puis extraire des caractéristiques liées aux attaques à partir des vrais visages et des imitations. Voyons le schéma de plus près.

Apprendre d'abord l'information de vivacité

Les auteurs construisent un Live-info Network fondé sur un autoencodeur.

  • Entrée : uniquement des exemples de vrais visages x∗∈PXx^* \in P_X ;
  • Encodeur ELE_L : extrait les caractéristiques FLF_L ;
  • Décodeur DLD_L : tente de reconstruire l'entrée et produit x^syn∗\hat{x}^*_{syn}.

La perte suivante réduit l'erreur de reconstruction des vrais visages :

LLive=Ex∗∼PX[∥x∗−x^syn∗∥22]\mathcal{L}_{Live} = \mathbb{E}_{x^* \sim P_X} \Big[\big\|x^* - \hat{x}^*_{syn}\big\|_2^2\Big]

À ce stade, le modèle ne voit aucune image d'attaque. ELE_L apprend donc des caractéristiques utiles à la reconstruction des vrais visages d'entraînement.

Cet encodeur deviendra, à l'étape suivante, un extracteur de caractéristiques de vivacité à poids fixes.

Reconstruction parallèle sur deux branches

L'entraînement introduit ensuite les exemples d'attaque et forme un module de découplage avec deux branches :

  1. Live-encoder ELE_L

    • Il reprend les poids appris à la première étape pour extraire FLF_L ;
    • Ses poids restent gelés pendant la deuxième étape.
  2. Spoof-encoder ESE_S

    • Il extrait les caractéristiques d'attaque FSF_S, c'est-à-dire les signaux absents ou peu visibles sur les vrais visages.
  3. Reconstructeur DsynD_{syn}

    • À partir de la fusion de FLF_L et FSF_S, il tente de reconstruire l'image d'entrée x^syn\hat{x}_{syn}.

Pour guider la reconstruction et aider ESE_S à isoler les différences liées aux attaques, les auteurs utilisent une perte de reconstruction et des pertes adversariales :

  • Perte de reconstruction

    Lrecon=Ex∼PX[∥x−x^syn∥22]\mathcal{L}_{recon} = \mathbb{E}_{x \sim P_X} \Big[\big\|x - \hat{x}_{syn}\big\|_2^2\Big]
  • Perte du générateur

    LGen=Ex∼PX[(D(x^syn)−1)2]\mathcal{L}_{Gen} = \mathbb{E}_{x \sim P_X} \Big[(D(\hat{x}_{syn}) - 1)^2\Big]
  • Perte du discriminateur

    LDis=Ex∼PX[(D(x)−1)2+(D(x^syn))2]\mathcal{L}_{Dis} = \mathbb{E}_{x \sim P_X} \Big[(D(x) - 1)^2 + (D(\hat{x}_{syn}))^2\Big]

D(⋅)D(\cdot) désigne le discriminateur, distinct du décodeur de reconstruction DsynD_{syn}. Il cherche à distinguer les images générées des images réelles.

La contrainte adversariale pousse le modèle à reconstruire des images plus vraisemblables. Avec les autres pertes, elle favorise la séparation de FLF_L et FSF_S.

Extraire les indices d'attaque

Les auteurs relient FSF_S à un décodeur DmapD_{map} proche d'un U-Net. Celui-ci produit une carte d'attaque, ou spoof map. Trois pertes aident cette carte à différencier vrais visages et imitations :

  1. Triplet Loss

    Elle rapproche les exemples de vrais visages et éloigne les vrais visages des attaques.

    Un vrai visage sert d'ancre fiaf_i^a ; un autre de positif fipf_i^p et une attaque de négatif finf_i^n. Les pertes triplet normale Ltnormal\mathcal{L}_t^{normal} et difficile Lthard\mathcal{L}_t^{hard} sont additionnées pour former Lt\mathcal{L}_t.

  2. Perte de résidu minimal sur les vrais visages (Lr\mathcal{L}_r)

    Une carte issue d'un vrai visage ne devrait pas présenter de motif d'attaque marqué. On la pousse donc vers zéro :

    Lr=Ex∼Plive[∥y^map∥1]\mathcal{L}_r = \mathbb{E}_{x \sim P_{live}} \Big[\big\|\hat{y}_{map}\big\|_1\Big]
  3. Perte du classificateur auxiliaire (Lc\mathcal{L}_c)

    Les auteurs superposent la carte y^map\hat{y}_{map} à l'image xx et transmettent le résultat au classificateur auxiliaire CauxC_{aux}, chargé de distinguer les deux classes.

    Lc=−E(x,y)[y⋅log⁡(y^c)+(1−y)⋅log⁡(1−y^c)]\mathcal{L}_c = -\mathbb{E}_{(x,y)} \Big[ y \cdot \log(\hat{y}_c) + (1-y)\cdot \log(1-\hat{y}_c) \Big]

La perte complète s'écrit :

L=λ1Lrecon+λ2LGen+λ3Lt+λ4Lr+λ5Lc\mathcal{L} = \lambda_1 \mathcal{L}_{recon} + \lambda_2 \mathcal{L}_{Gen} + \lambda_3 \mathcal{L}_t + \lambda_4 \mathcal{L}_r + \lambda_5 \mathcal{L}_c

L'article fixe λ1=4, λ2=1, λ3=3, λ4=5, λ5=5\lambda_1=4,\ \lambda_2=1,\ \lambda_3=3,\ \lambda_4=5,\ \lambda_5=5. La perte Lc\mathcal{L}_c ci-dessus suit l'entropie croisée binaire ; le deuxième terme de l'équation (9) imprimée dans l'article présente une erreur de signe.

Entraînement et inférence

  1. Entraînement

    Première étape : entraîner ELE_L et DLD_L uniquement avec de vrais visages.

    Deuxième étape : geler ELE_L, puis entraîner les nouveaux modules ESE_S, DsynD_{syn}, DmapD_{map} et le discriminateur, avec les pertes adversariales, de reconstruction et de supervision de la carte d'attaque.

  2. Inférence

    Seuls ESE_S et DmapD_{map} servent à produire la carte d'attaque. La moyenne de cette carte donne le score d'attaque ; au-dessus d'un seuil, l'image est classée comme attaque. Sur une GeForce GTX 1080, les auteurs annoncent 121,48 ± 1,4 images par seconde.

La méthode partage ainsi l'apprentissage entre reconstruction du vivant et extraction de signaux d'attaque, sans supervision auxiliaire par carte de profondeur ni rPPG. Sa performance face aux attaques inédites dépend encore du type d'attaque testé.

Discussion

Résultats entre types d'attaques

Le tableau ci-dessus présente le test « laisser un type d'attaque de côté » sur SiW-M. DualStage obtient un ACER moyen de 9,65 % ± 7,15 % et un EER moyen de 8,63 % ± 5,18 %, inférieurs à ceux des méthodes comparées. Les attaques Funnyeye et Paperglasses restent difficiles, avec des ACER de 24,37 % et 20,64 %.

Sur MSU-MFSD, CASIA-MFSD et Replay-Attack, les auteurs évaluent également le transfert vers un type d'attaque laissé de côté. L'AUC moyenne sur neuf tests atteint 98,0 % ± 4,26 %, la plus élevée du tableau. Pour les attaques imprimées de MSU-MFSD, l'AUC de 86,78 % dépasse celles des méthodes répertoriées, mais reste la plus faible des neuf valeurs de DualStage.

Ces résultats indiquent une efficacité sur plusieurs attaques testées, tout en laissant apparaître des écarts entre types.

Résultats dans les protocoles SiW

Pour étudier les changements de pose, d'expression, d'éclairage ou de dispositif de capture, les auteurs évaluent trois sous-protocoles de SiW :

  1. Protocoles 1 et 2 : DualStage atteint 0 % d'ACER dans les deux cas, à égalité avec DST dans le premier et avec DST ainsi que LGC dans le second.
  2. Protocole 3 : l'entraînement n'emploie qu'un type d'attaque. L'ACER de DualStage est de 3,58 % ± 3,93 %, supérieur aux 1,19 % ± 1,39 % de LGC. Les auteurs avancent que le manque de diversité des attaques pourrait limiter l'apprentissage des caractéristiques.

Les deux premiers protocoles donnent de bons résultats, mais le troisième laisse voir une marge de progression.

Visualisation des caractéristiques découplées

Pour montrer les caractéristiques après découplage, les auteurs réalisent une expérience d'« échange de visages ».

Chaque image conserve sa propre caractéristique de vivacité ; seules les caractéristiques d'attaque des deux images sont échangées. Le décodeur synthétise ensuite les images correspondantes.

Après l'échange, le vrai visage présente des textures d'attaque, comme des rayures ou des déséquilibres de gris ; le visage d'attaque retrouve partiellement une couleur de peau naturelle.

Ces exemples indiquent que les caractéristiques d'attaque peuvent contrôler certaines textures de l'image synthétisée.

Analyse de la carte d'attaque

Pour examiner la représentation extraite, les auteurs font passer les caractéristiques d'attaque par le décodeur DmapD_{map}, de type U-Net, et obtiennent une carte de détection.

Sur les vrais visages illustrés, la carte est presque nulle. Sur les attaques imprimées, des régions lumineuses apparaissent autour du front, des yeux, du nez et de la bouche.

DualStage fournit ainsi des indices visualisables dans l'image. Il faudrait cependant d'autres vérifications pour savoir si chaque région correspond bien au mécanisme physique de l'attaque.

Étude d'ablation

DualStage combine de nombreuses pertes. Les auteurs retirent certains éléments pour mesurer leur effet et comparer les résultats.

Supprimer la première étape ou la perte adversariale fait passer l'AUC moyenne des neuf tests de 98,0 % à, respectivement, 95,01 % et 94,0 %. Sans la perte triplet, elle tombe à 95,01 % ; avec la seule variante triplet normale, elle vaut 97,25 %.

Dans les configurations testées, ces résultats soutiennent la contribution du pré-entraînement sur les vrais visages, de la perte adversariale et des deux variantes triplet. Sans classificateur auxiliaire, l'AUC moyenne tombe également à 93,3 %.

Conclusion

DualStage propose une conception assez sobre :

Apprendre le découplage en deux temps : d'abord reconstruire les vrais visages pour obtenir une représentation, puis en extraire les signaux d'attaque.

Sans carte de profondeur supplémentaire ni supervision rPPG, il produit à partir des seules images une carte d'attaque utile à la classification. Il obtient de bons résultats sur plusieurs tests publics entre types d'attaques, sans recourir à une supervision multimodale supplémentaire.

Il a pourtant ses limites. Lorsque l'entraînement ne montre qu'un type d'attaque, comme dans le protocole 3 de SiW, le résultat est moins convaincant. Pour aller plus loin, il faudra peut-être mieux gérer les fragments de caractéristiques jugés « accessoires » qui influencent pourtant la décision.

Comme proposition méthodologique, l'article laisse une idée encore pertinente :

Le découplage n'a pas besoin de se faire d'un seul coup.

Le modèle peut apprendre progressivement, pourvu qu'on lui donne le bon ordre.