Retour à la bibliothèque
arXiv 2020WACV 2021Détection des attaques de présentation facialeNotes de lecture

CeFA

Quand le modèle discrimine

Article original

CASIA-SURF CeFA: A Benchmark for Multi-modal Cross-ethnicity Face Anti-spoofing

Auteurs de l’article

Ajian Li · Zichang Tan · Xuan Li …

Afficher les 7 auteurs

Ajian Li · Zichang Tan · Xuan Li · Jun Wan · Sergio Escalera · Guodong Guo · Stan Z. Li

Publication
WACV 2021Conférence
Premier dépôt sur arXiv
arXiv:2003.05136
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{faceantispoofingcefa2020,
  title = {{CASIA-SURF CeFA: A Benchmark for Multi-modal Cross-ethnicity Face Anti-spoofing}},
  author = {Ajian Li and Zichang Tan and Xuan Li and Jun Wan and Sergio Escalera and Guodong Guo and Stan Z. Li},
  year = {2020},
  eprint = {2003.05136},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2003.05136}
}
Sur cette page

Dans le titre, CASIA-SURF désigne un jeu de données pour la détection des attaques contre la reconnaissance faciale, constitué par l'Institut d'automatisation de l'Académie chinoise des sciences (CASIA) :

CASIA-SURF: A Large-Scale Multi-Modal Benchmark for Face Anti-Spoofing

Publié en 2019, il comptait alors parmi les jeux importants pour cette détection multimodale.

L'article que nous lisons présente CASIA-SURF CeFA, un jeu ultérieur destiné à étudier les écarts de performance entre groupes ethniques.

Définir le problème

En FAS, on cherche toujours des modèles « plus précis, plus rapides et capables de mieux généraliser ».

Mais une vieille question reçoit moins d'attention : les écarts de performance entre groupes ethniques.

L'aurait-on oubliée, ou n'avait-on pas encore pris le temps de la mesurer sérieusement ?


Si vous avez déjà travaillé sur la reconnaissance faciale, cette question vous est familière.

La composition démographique des jeux de visages peut être déséquilibrée, et les taux d'erreur peuvent varier selon les groupes. Il faut examiner chaque jeu, chaque tâche et les conditions d'évaluation : une étiquette ethnique ne suffit pas à établir la cause d'un écart.

Pour étudier la question, nous avons besoin de données couvrant les groupes concernés, de labels explicites et de protocoles adaptés. Le seul score global ne suffit pas.

La FAS rencontre le même problème.

Les auteurs évaluent deux modèles existants sur CeFA et constatent des écarts entre groupes. Selon leur Table 3 :

Pour ces deux modèles, l'ACER du groupe d'Asie centrale dépasse celui du groupe d'Asie de l'Est de 8,2 et 10,7 points de pourcentage, respectivement.

Imaginez un système qui se trompe plus souvent pour un groupe donné. Que penseraient les clients du système et de l'ingénieur chargé de son déploiement ?

Résoudre le problème

Jeu de données CeFA

Voici comment CeFA se situe par rapport à d'autres jeux :


CeFA utilise une caméra Intel RealSense pour enregistrer simultanément des vidéos RGB (couleur), Depth (profondeur) et IR (infrarouge). Chaque image mesure 1 280 × 720 pixels, à 30 images/s.

Pendant la capture, les participants tournent naturellement la tête, avec une déviation maximale d'environ 30 degrés par rapport à la vue frontale.

Le prétraitement suit ces étapes :

  • la détection du visage emploie 3DFFA à la place de PRNet ;

  • les régions faciales alignées sont découpées en conservant la correspondance entre les trois modalités ;

  • la figure ci-dessous montre les échantillons multimodaux :


CeFA comporte un sous-ensemble d'attaques 2D et un sous-ensemble d'attaques 3D. Il couvre trois groupes désignés comme africain, est-asiatique et centre-asiatique, ainsi que différents supports d'attaque et éclairages.

  • Sous-ensemble 2D (impression et relecture)

    • Participants par groupe :
      • 500 personnes dans chacun des trois groupes, soit 1 500 au total.
    • Présentations par personne :
      • une présentation réelle ;
      • deux attaques imprimées, l'une filmée à l'intérieur et l'autre à l'extérieur ;
      • une attaque par vidéo rejouée.
    • Modalités :
      • chaque présentation est enregistrée en RGB, profondeur et IR de façon synchronisée.
    • Nombre de flux vidéo :
      • 1 500 personnes × quatre présentations = 6 000 séquences × trois modalités = 18 000 flux vidéo.

    L'article donne aussi l'âge et le genre des participants de ce sous-ensemble, des données utiles pour de futures analyses d'équité.


  • Sous-ensemble 3D (masques imprimés en 3D et masques en silicone)

    Il rassemble deux familles d'attaques plus élaborées :

    • Masques imprimés en 3D

      • Participants : 99 ;
      • Présentations par personne :
        • trois apparences :
          • masque seul ;
          • perruque et lunettes ;
          • perruque sans lunettes ;
        • six éclairages :
          • soleil extérieur et ombre extérieure ;
          • lumière intérieure latérale, frontale, à contre-jour ou ordinaire ;
        • 18 séquences × trois modalités.
    • Nombre de flux vidéo : 99 × 18 × 3 = 5 346.

    • Masques en silicone

      • Participants : huit ;
      • Présentations par personne :
        • deux apparences :
          • perruque et lunettes ;
          • perruque sans lunettes ;
        • quatre éclairages :
          • lumière intérieure latérale, frontale, à contre-jour ou ordinaire ;
        • huit séquences × trois modalités.
    • Nombre de flux vidéo : 8 × 8 × 3 = 192. Le corps de l'article indique par erreur 196 ; la Table 1 et le total annoncé de 23 538 correspondent à 192.

    Le sous-ensemble 3D est plus petit, mais ses masques et ses conditions de capture variés en font un test intéressant de la généralisation.

Protocoles d'évaluation

Pour mesurer systématiquement la généralisation, CeFA propose quatre protocoles pour son sous-ensemble 2D : transfert entre groupes ethniques, entre types d'attaque, entre modalités, puis combinaison de deux transferts. Les attaques 3D sont aussi incluses dans les ensembles de test de ces protocoles.

Le tableau précise leurs configurations :

  • Protocol 1: Cross-ethnicity

    Beaucoup de jeux PAD ne disposent pas d'étiquettes ethniques explicites ou d'un protocole permettant de tester le transfert entre groupes. Ce protocole examine un groupe absent de l'entraînement.

    On entraîne et valide le modèle avec les personnes d'un groupe, puis on le teste avec les deux autres groupes. Les trois choix du groupe d'entraînement donnent trois configurations.

    Il reproduit une situation où un système développé sur un groupe est utilisé avec des personnes d'autres groupes, dans les conditions particulières du jeu CeFA.


  • Protocol 2: Cross-PAI

    Les instruments d'attaque par présentation (PAI) prennent des formes diverses et parfois imprévisibles. Ce protocole évalue la réaction du modèle à des types d'attaque qu'il n'a pas vus.

    L'entraînement et la validation utilisent seulement certaines attaques ; le test utilise d'autres types et vérifie si le modèle les détecte.


  • Protocol 3: Cross-modality

    Ce protocole étudie le transfert entre modalités. Une seule des modalités RGB, Depth et IR est utilisée pour entraîner et valider ; les deux autres servent au test.

    Il mesure directement ce changement entre modalité d'entraînement et modalités de test. Il ne s'agit pas d'une fusion multimodale dont une partie des entrées manquerait à l'inférence.


  • Protocol 4: Cross-ethnicity & Cross-PAI

    Ce protocole cumule les conditions des protocoles 1 et 2 : le test introduit à la fois des groupes et des types d'attaque absents de l'entraînement.

    La double différence est exigeante. Elle mesure les erreurs dans le cadre du jeu de données, sans donner directement le taux d'erreur qu'aurait un système déployé partout ailleurs.

Architecture du modèle

Pour CeFA, le modèle de l'article comporte deux parties :

  1. SD-Net : réseau statique et dynamique propre à une modalité, pour saisir l'information spatiale et temporelle ;
  2. PSMM-Net : réseau multimodal partiellement partagé, qui échange et fusionne les caractéristiques de plusieurs modalités.

SD-Net

SD-Net traite une seule modalité, RGB, Depth ou IR. Il associe une image statique aux informations d'une séquence résumées dans une image dynamique. Trois branches en extraient les caractéristiques :

  • Branche statique (flèche rouge) : extrait les caractéristiques spatiales d'une image ;
  • Branche dynamique (flèche bleue) : résume une séquence de KK images par rank pooling dans une image dynamique ;
  • Branche statique-dynamique (flèche verte) : fusionne les deux premières pour mettre en relation espace et temps.

Les branches reposent sur ResNet-18. Les branches statique et dynamique comptent chacune cinq blocs, conv puis res1 à res4, suivis d'une mise en commun moyenne globale (GAP). La branche de fusion reçoit la somme de leurs sorties res1 ; elle ne répète donc ni conv ni res1.

Chaque module est noté MtκM_t^\kappa, avec :

  • κ∈{color,depth,ir}\kappa \in \{color, depth, ir\} : la modalité ;
  • t=1∼4t = 1 \sim 4 : le niveau de caractéristiques.

À chaque niveau, les branches produisent des caractéristiques distinctes :

  • Xts,κX_t^{s,\kappa} pour la branche statique ;
  • Xtd,κX_t^{d,\kappa} pour la branche dynamique ;
  • Xtf,κX_t^{f,\kappa} pour la branche de fusion.

Chaque branche possède une perte binaire indépendante (BCE) pour encourager des informations complémentaires. Une quatrième perte porte sur la somme de leurs caractéristiques :

Lκ=Lκs+Lκd+Lκf+LκsdfL_\kappa = L_\kappa^s + L_\kappa^d + L_\kappa^f + L_\kappa^{sdf}

PSMM-Net

Passons maintenant à PSMM-Net.

Son but est de saisir les informations communes et complémentaires entre modalités. Il comporte :

  1. Des réseaux propres aux modalités : trois SD-Net, pour RGB, Depth et IR ;
  2. Une branche partagée : issue de ResNet-18, mais sans conv ni res1, qui apprend les informations communes.

Pour faire circuler ces informations, PSMM-Net échange les caractéristiques dans les deux sens :

  • Forward Feeding (vers la branche partagée)

    Aux niveaux t=1,2,3t=1,2,3, les caractéristiques statiques et dynamiques des trois modalités sont additionnées et transmises au bloc partagé suivant :

    S~t=∑κXts,κ+∑κXtd,κ+St\tilde{S}_t = \sum_{\kappa} X_t^{s,\kappa} + \sum_{\kappa} X_t^{d,\kappa} + S_t

    StS_t est la sortie du bloc partagé au niveau tt ; S1=0S_1 = 0 car le premier bloc résiduel y est absent.


  • Backward Feeding (de la branche partagée vers les autres)

    Aux niveaux t=2,3t=2,3, StS_t est ajouté aux caractéristiques de chaque modalité avant le bloc SD-Net suivant :

    X^ts,κ=Xts,κ+St,X^td,κ=Xtd,κ+St\hat{X}_t^{s,\kappa} = X_t^{s,\kappa} + S_t,\quad \hat{X}_t^{d,\kappa} = X_t^{d,\kappa} + S_t

    Seules les branches statique et dynamique reçoivent ce retour ; la branche de fusion n'est pas alimentée directement.


SD-Net sépare l'extraction statique et dynamique, puis PSMM-Net organise les échanges entre modalités.

La perte finale est :

L=Lwhole+Lcolor+Ldepth+LirL = L_{whole} + L_{color} + L_{depth} + L_{ir}

LwholeL_{whole} porte sur les caractéristiques additionnées de tous les SD-Net et de la branche partagée.

Discussion

Écarts de performance entre groupes

Les auteurs examinent les résultats de deux modèles existants sur les trois groupes de CeFA : est-asiatique, centre-asiatique et africain.

Ces modèles, entraînés sur deux autres jeux publics, représentent une méthode multimodale et une méthode RGB :

  • MS-SEF : multimodal, entraîné sur CASIA-SURF, dont les exemples sont surtout est-asiatiques ;
  • FAS-BAS : RGB seul, entraîné sur OULU-NPU, également majoritairement est-asiatique.

Les deux modèles sont ensuite testés sur les trois groupes de CeFA, avec l'ACER comme mesure principale.

Le groupe d'Asie centrale a l'ACER le plus élevé pour les deux modèles : 19,6 % pour MS-SEF, soit 8,2 points de plus que les 11,4 % du groupe d'Asie de l'Est ; 26,1 % pour FAS-BAS, soit 10,7 points de plus que ses 15,4 % pour l'Asie de l'Est. Le meilleur résultat de FAS-BAS est toutefois celui du groupe africain, à 14,2 %. La composition des données d'entraînement peut jouer un rôle, mais ce test ne suffit pas à établir la cause de l'écart.

Cette expérience montre qu'un score global cache des différences entre groupes et motive le protocole 1. Elle ne permet pas, à elle seule, d'attribuer toute la différence à la composition ethnique des données d'entraînement.

Résultats des modèles de référence

Les auteurs évaluent SD-Net et PSMM-Net selon les quatre protocoles de CeFA :

  • Protocol 1 : Cross-ethnicity

    • L'ACER des sous-protocoles 1-1, 1-2 et 1-3 est respectivement de 0,6 %, 4,4 % et 1,5 %.
    • Les trois combinaisons de groupes inédits donnent des résultats différents : il faut les rapporter séparément. Cette expérience ne compare pas l'entraînement sur un mélange de groupes et ne chiffre donc pas l'effet d'un tel mélange.

  • Protocol 2 : Cross-PAI (transfert entre instruments d'attaque)

    • Dans 2-1, le modèle s'entraîne sur des impressions et est testé sur des vidéos rejouées et des attaques 3D : l'ACER est de 0,4 %.

    • Dans 2-2, il s'entraîne sur des vidéos rejouées puis est testé sur des impressions et des attaques 3D : l'ACER atteint 7,5 %.

    • L'écart montre que le transfert dépend des combinaisons entraînement/test. Le tableau seul ne permet pas de l'attribuer uniquement aux écrans ou au support imprimé.


  • Protocol 3 : Cross-modality (transfert entre modalités)

    • Le meilleur résultat appartient au sous-protocole 3-1, avec 4,9 % d'ACER.

    • Les deux autres donnent 13,6 % et 11,7 %. La performance dépend donc du couple de modalités. Ce tableau ne suffit ni à identifier un défaut d'alignement sémantique comme cause, ni à mesurer le gain propre de la fusion multimodale.


  • Protocol 4 : Cross-ethnicity & Cross-PAI (double transfert)

    • Les sous-protocoles 4-1, 4-2 et 4-3 obtiennent 24,5 %, 43,2 % et 27,7 % d'ACER.
    • Le protocole 4 a la moyenne d'ACER la plus haute des quatre. Ce modèle de référence peine donc lorsque changent à la fois le groupe et le type d'attaque. Il s'agit de résultats du benchmark CeFA, pas d'une estimation directe des erreurs en déploiement.

Conclusion

À sa publication, les auteurs présentent CeFA comme le plus grand jeu multimodal de détection des attaques faciales doté de labels ethniques explicites. Avec RGB, profondeur et IR, il place la généralisation entre groupes au centre de l'évaluation.

Du côté du modèle, le partage partiel et les échanges bidirectionnels de PSMM-Net, associés aux branches statique et dynamique de SD-Net, forment une tentative assez systématique de fusion multimodale. D'autres architectures ont depuis exploré d'autres compromis ; la question de ce qu'il faut partager entre modalités demeure.

Avec le recul, CeFA a surtout défini clairement trois difficultés : le transfert entre modalités, entre groupes ethniques et entre types d'attaque. Il donne un point de départ raisonnable. Aujourd'hui encore, nous n'y voyons pas seulement un jeu de données, mais une question de recherche qui continue à s'étendre.