Retour à la bibliothèque
arXiv 2021IEEE TCSVT 2022Détection des attaques de présentation facialeNotes de lecture

DSDG

À la veille de recomposer les illusions

Article original

Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning

Auteurs de l’article

Hangtong Wu · Dan Zen · Yibo Hu · Hailin Shi · Tao Mei

Premier dépôt sur arXiv
arXiv:2112.00568
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{faceantispoofingdsdg2021,
  title = {{Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning}},
  author = {Hangtong Wu and Dan Zen and Yibo Hu and Hailin Shi and Tao Mei},
  year = {2021},
  eprint = {2112.00568},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2112.00568}
}
Sur cette page

Certaines illusions n'ont jamais été vues.

Jusqu'au jour où il faut les démasquer.

Définition du problème

Quand la reconnaissance faciale doit vérifier des personnes dans le monde réel, la précision n'est plus qu'un chiffre de classement : elle marque aussi une limite de risque.

Chargée de garder cette limite, la détection des attaques par présentation du visage (FAS) est passée d'une simple classification binaire à un problème de généralisation face à de multiples variations.

La plupart des méthodes restent pourtant confrontées à une difficulté :

Des données limitées rendent les attaques et les identités inconnues plus difficiles à reconnaître.

Les jeux d'entraînement proviennent souvent d'environnements contrôlés, de quelques appareils, d'un nombre restreint d'identités et de types d'attaques.

Dans les séparations d'entraînement citées par l'article, OULU-NPU ne compte que 20 personnes et SiW 90. Cela couvre mal la variété des appareils, des populations, des éclairages et des attaques rencontrés dans d'autres conditions. Le modèle risque de s'ajuster aux exemples d'entraînement plutôt qu'aux indices transférables.

La réponse semble évidente : recueillir plus, toujours plus de données.

Les transformations d'images conservent toutefois souvent l'identité de départ. Recourir à des données externes entraîne aussi des coûts de droits, d'annotation, de travail et de traitement.

La génération d'images ajoute une autre difficulté :

La qualité inégale des exemples synthétiques peut perturber les signaux de supervision.

Avec une supervision par cartes de profondeur, les régions floues ou déformées des images générées peuvent rendre la cible moins fiable et gêner l'entraînement.

Nous avons donc deux questions liées :

  • Comment produire de nouvelles identités tout en conservant des types d'attaques appris, afin de diversifier les exemples ?
  • Comment éviter que les imperfections de ces exemples perturbent la supervision de la profondeur ?

Les auteurs répondent à la fois par la génération de données et par une modification de l'entraînement.

Avant de poursuivre, revenons à la question initiale :

Combien d'illusions un système FAS doit-il voir pour reconnaître celle qu'il n'a jamais rencontrée ?


Résolution du problème

Pour traiter le manque de diversité des données et les distorsions des images synthétiques, les auteurs associent deux modules :

  • DSDG, Dual Spoof Disentanglement Generation ;
  • DUL, Depth Uncertainty Learning.

Dual Spoof Disentanglement Generation (DSDG)

DSDG apprend son générateur sur les seules données d'entraînement d'origine, puis synthétise des paires de visages réels et d'attaques plus variées.

Un VAE à deux encodeurs sépare l'image en caractéristiques d'identité et d'attaque. Le décodeur les réassemble pour produire de nouvelles paires.

L'objectif est d'élargir à la fois les identités et les modes d'attaque représentés.

La partie (a) du schéma présente deux encodeurs, un décodeur et des contraintes destinées à différencier les deux représentations :

  1. Extraire les caractéristiques avec deux encodeurs

    • Encs\text{Enc}_s reçoit l'image d'attaque IspoofI_{\text{spoof}} et extrait une caractéristique d'attaque zstz^t_s ainsi qu'une caractéristique d'identité zsiz^i_s ;
    • Encl\text{Enc}_l reçoit le vrai visage IliveI_{\text{live}} et en extrait la caractéristique d'identité zliz^i_l.

    Avec l'astuce de reparamétrisation, les encodeurs produisent une moyenne μ\mu et un écart-type σ\sigma, puis échantillonnent :

    z=μ+ϵσ,ϵ∼N(0,I)z = \mu + \epsilon \sigma,\quad \epsilon \sim \mathcal{N}(0, I)
  1. Reconstruire et découpler

    Le décodeur Dec\text{Dec} utilise les trois caractéristiques (zst,zsi,zli)(z^t_s, z^i_s, z^i_l) pour reconstruire I^spoof\hat{I}_{\text{spoof}} et I^live\hat{I}_{\text{live}}.

    Un classificateur des types d'attaque est appliqué à zstz^t_s. Sa perte d'entropie croisée, LclsL_{\text{cls}}, encourage la reconnaissance du bon type.

    Une contrainte d'orthogonalité angulaire, LortL_{\text{ort}}, pousse les caractéristiques d'attaque zstz^t_s et d'identité zsiz^i_s à être perpendiculaires dans l'espace latent, afin de réduire leur confusion.

  2. Aligner les distributions et reconstruire

    La divergence de Kullback-Leibler, LklL_{\text{kl}}, rapproche les distributions encodées d'une loi normale standard, conformément au cadre VAE.

    La perte LrecL_{\text{rec}} utilise la distance L1 pour rapprocher les images reconstruites de leurs entrées.

    La perte MMD, LmmdL_{\text{mmd}}, aligne les distributions des deux représentations d'identité. LpairL_{\text{pair}} emploie un LightCNN pré-entraîné pour comparer les caractéristiques d'identité des images reconstruites par paire.

L'objectif complet est :

L  =  Lkl+Lrec  +  λ1Lmmd  +  λ2Lpair  +  λ3Lort  +  λ4Lcls\mathcal{L} \;=\; L_{\text{kl}} + L_{\text{rec}} \;+\; \lambda_1 L_{\text{mmd}} \;+\; \lambda_2 L_{\text{pair}} \;+\; \lambda_3 L_{\text{ort}} \;+\; \lambda_4 L_{\text{cls}}

Après l'entraînement de ce modèle proche d'un VAE, la partie (b) du schéma montre la génération. Des vecteurs (z^st,z^si)(\hat{z}^t_s, \hat{z}^i_s) sont tirés d'une loi normale standard. L'identité z^si\hat{z}^i_s est copiée pour former z^li\hat{z}^i_l, afin que les deux images partagent l'identité, puis le décodeur produit (I^spoof,I^live)(\hat{I}_{\text{spoof}}, \hat{I}_{\text{live}}).

Aucune donnée externe n'est nécessaire à cette génération. L'entraînement du classificateur d'attaques de DSDG exige cependant les étiquettes des types d'attaque présentes dans les données initiales. Les images synthétiques peuvent montrer de nouvelles identités et les modes d'attaque déjà appris.

Un VAE peut aussi produire du flou et des déformations locales. Si l'on ajoute ces images directement à l'entraînement, la supervision par profondeur risque d'être brouillée. D'où le second module.

Depth Uncertainty Learning (DUL)

Outre la diversité des exemples, les auteurs traitent l'incertitude de la supervision par profondeur. Ils représentent cette incertitude par une distribution gaussienne afin de limiter l'effet des défauts des images générées.

Une méthode classique prédit une valeur de profondeur fixe pour chaque région. Or cette cible devient moins fiable lorsque l'image synthétique est localement déformée.

Ici, la profondeur est représentée par N(μi,j, σi,j2)\mathcal{N}(\mu_{i,j},\,\sigma_{i,j}^2). La moyenne μi,j\mu_{i,j} est apprise, tandis que σi,j\sigma_{i,j} exprime l'incertitude prédite.

Pendant l'entraînement, la perte reçoit un échantillon di,j=μi,j+ϵσi,jd_{i,j} = \mu_{i,j} + \epsilon \sigma_{i,j}, où ϵ∼N(0,I)\epsilon \sim \mathcal{N}(0, I).

Cette reparamétrisation permet de propager les gradients à travers l'échantillonnage et d'apprendre la distribution.

Le modèle applique deux voies convolutives à la carte de caractéristiques de profondeur : l'une prédit μi,j\mu_{i,j}, l'autre σi,j\sigma_{i,j}. Une perte KL rapproche N(μi,j,σi,j2)\mathcal{N}(\mu_{i,j}, \sigma_{i,j}^2) d'une distribution centrée sur la profondeur supervisée N(μ^i,j,I)\mathcal{N}(\hat{\mu}_{i,j}, I). C'est une régularisation de distribution, pas une réduction explicite du poids de chaque pixel difficile.

Les auteurs ajoutent ce module à plusieurs réseaux supervisés par profondeur, dont ResNet, MobileNetV2, DepthNet et CDCN. Il produit des moyennes et écarts-types par pixel ; l'inférence utilise la carte de profondeur moyenne.

La perte principale de profondeur reste l'erreur quadratique moyenne LMSEL_{\text{MSE}}. Le terme pondéré λklLkl\lambda_{\text{kl}} L_{\text{kl}} règle la force de la régularisation de l'incertitude.

L'objectif réuni est :

Loverall  =  LMSE  +  λkl Lkl  +  λg(LMSE′+λklLkl′),L_{\text{overall}} \;=\; L_{\text{MSE}} \;+\; \lambda_{\text{kl}} \, L_{\text{kl}} \;+\; \lambda_g \Bigl(L_{\text{MSE}}' + \lambda_{\text{kl}} L_{\text{kl}}'\Bigr),

λg\lambda_g pondère la contribution des exemples générés à la perte et à la rétropropagation. La proportion d'exemples d'origine dans chaque lot est un autre paramètre, rr.

Les auteurs associent ainsi génération de données et apprentissage de l'incertitude sur la profondeur dans un même entraînement FAS.

Discussion

Par des ablations, des tests au sein d'un jeu et entre jeux, puis des visualisations, les auteurs évaluent la génération DSDG et le module d'incertitude de profondeur DUM. Chaque protocole doit être interprété selon ses propres conditions.

Études d'ablation

Les auteurs testent le nombre d'identités, la proportion rr d'images d'origine dans les lots d'entraînement et la contribution des pertes Lmmd,LpairL_{\text{mmd}}, L_{\text{pair}} et LortL_{\text{ort}}.

  1. Nombre d'identités et généralisation

    Dans le protocole 1 d'OULU-NPU, lorsque le nombre d'identités passe de 5 à 20, l'ACER de la méthode descend de 5,1 % à 0,3 %. Celui de la baseline CDCN descend aussi, de 8,3 % à 1,0 %. Les deux dépendent donc du nombre d'identités d'entraînement ; la méthode étudiée obtient ici une valeur plus basse à chaque taille.

  2. Proportion rr des images d'origine

    rr mesure la proportion d'exemples d'origine dans les lots. Sur OULU-NPU P1, r=0,75r=0,75 donne un ACER de 0,3 %, le plus faible du tableau.

    Le nombre de paires générées est ensuite augmenté de 10 000 à 30 000. À 20 000, 25 000 et 30 000 paires, l'ACER reste à 0,3 %. Les auteurs retiennent 20 000 pour la suite.

  3. Importance des pertes de découplage

    Sur OULU-NPU P1, l'ACER complet est de 0,3 %. Si l'on supprime respectivement LmmdL_{\text{mmd}}, LpairL_{\text{pair}} ou LortL_{\text{ort}}, il devient 1,0 %, 0,7 % et 0,7 %.

    Ces ablations appuient la contribution des trois pertes dans ce protocole.

  4. Hyperparamètres λkl\lambda_{\text{kl}} et λg\lambda_g

    Les auteurs examinent la sensibilité aux poids de KL et des exemples générés. La plupart des réglages testés font mieux que le 1,0 % d'ACER de CDCN ; avec λg=0,01\lambda_g=0,01, l'ACER monte néanmoins à 1,4 %. On ne peut donc pas qualifier la méthode d'insensible à ces paramètres en général.

Tests au sein d'un même jeu

Les auteurs évaluent les performances au sein d'OULU-NPU et de SiW.

  • OULU-NPU (Table X de l'article) : sur les quatre protocoles, les ACER sont de 0,3 %, 1,2 %, 1,4 % et 2,3 %, les plus faibles du tableau. Le protocole 4 comprend des variations d'environnement, d'attaque et d'appareil d'entrée.
  • SiW (Table XI) : les deux premiers protocoles donnent 0 % d'ACER, à égalité avec plusieurs méthodes comparées. Le protocole 3 donne 3,80 % ± 1,44 %, moins bon que les 1,71 % ± 0,11 % de CDCN.

Le bilan sur les quatre protocoles d'OULU-NPU est bon ; SiW P3 est une exception explicite.

Analyse et visualisations

Les auteurs montrent les images générées, les représentations d'attaque et l'incertitude de profondeur pour aider à comprendre DSDG et DUM.

  1. Images générées

    La figure compare les images d'origine à des paires synthétiques de visages réels et d'attaques, avec différentes identités et différents styles d'attaque. Elle montre une diversité visible, mais ne valide pas à elle seule la cohérence des identités.

    Sur SiW-M, les auteurs présentent aussi des exemples de relecture vidéo, d'impression, de masque 3D, de maquillage et d'attaque partielle. Ces images ne quantifient pas la déformation des exemples générés.

  2. Découplage des types d'attaques

    Cette image correspond à la Figure 7 de l'article original : une projection t-SNE. Sans classificateur du type d'attaque ni perte d'orthogonalité LortL_{\text{ort}}, les représentations des attaques sont davantage mêlées. Avec le DSDG complet, quatre groupes apparaissent plus distinctement. Les deux contraintes changent ensemble dans la comparaison ; on ne peut attribuer cet effet à une seule d'entre elles.

  3. Incertitude de profondeur

    La figure importée est la Figure 9 de l'article. Elle compare les cartes de profondeur de CDCN et celles obtenues avec DUM, puis montre les écarts-types prédits. Les reflets, le bord du visage et l'arrière-plan présentent parfois des écarts-types élevés. Ce sont quelques exemples qualitatifs.

Conclusion

DSDG répond à une question simple, mais durable :

Sans nouvelles annotations ni données externes, comment varier les identités et les attaques tout en limitant la perturbation de la supervision par profondeur causée par les images générées ?

L'article a été publié avant l'emploi généralisé des modèles de diffusion dans ce contexte, et alors que les deepfakes ne s'étaient pas encore imposés partout. Les auteurs comprennent déjà que « le problème des données ne se résout pas seulement en ajoutant des données ». Leur association de génération et d'apprentissage de l'incertitude cherche à pousser les limites de la généralisation de l'époque.

La méthode conserve toutefois des limites :

  • Le VAE peut restreindre la résolution et la finesse des images produites ;
  • Sa dépendance à la supervision par profondeur complique le transfert à des systèmes qui n'en utilisent pas ;
  • L'entraînement de son classificateur de types d'attaques exige toujours des étiquettes correspondantes.

Ces limites n'effacent pas sa place dans la chaîne des idées. DSDG nous rappelle que :

Diversité des données, fiabilité de la supervision et tolérance du modèle aux défauts doivent être considérées ensemble ; sinon, on risque surtout d'empiler du bruit.

Les modèles évoluent, les attaques changent et les algorithmes peuvent être oubliés. Ceux qui ont essayé de comprendre la structure du problème, au-delà d'un score, laissent pourtant des repères pour les suivants.