Retour à la bibliothèque

OULU-NPU

Quatre épreuves

Article original

OULU-NPU: A Mobile Face Presentation Attack Database with Real-World Variations

Auteurs de l’article

Zinelabinde Boulkenafet · Jukka Komulainen · Lei Li · Xiaoyi Feng · Abdenour Hadid

Publication
FG 2017Conférence
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@inproceedings{faceantispoofingoulunpu2017,
  title = {{OULU-NPU: A Mobile Face Presentation Attack Database with Real-World Variations}},
  author = {Zinelabinde Boulkenafet and Jukka Komulainen and Lei Li and Xiaoyi Feng and Abdenour Hadid},
  year = {2017},
  booktitle = {FG},
  url = {https://doi.org/10.1109/fg.2017.77},
  doi = {10.1109/fg.2017.77}
}
Sur cette page

La reconnaissance faciale fait partie des systèmes biométriques que les utilisateurs rencontrent directement.

Aujourd'hui, beaucoup de téléphones proposent une forme de déverrouillage par le visage.

Définir le problème

Ces systèmes peuvent être vulnérables aux attaques par présentation.

Des études antérieures ont montré qu'une simple photographie pouvait tromper certains anciens systèmes commerciaux. Des contrôles fondés sur le clignement des yeux ou le mouvement de la tête ont aussi été contournés dans certains scénarios par une vidéo. Ces observations concernent les systèmes testés, pas tous les appareils actuels.

Il existait déjà des jeux publics pour évaluer la détection des attaques par présentation (PAD). Mais leurs protocoles représentaient souvent trop peu les changements de lumière, d'appareil et de support d'attaque. Un bon résultat dans des conditions proches de l'entraînement ne prédit donc pas nécessairement les performances sur un téléphone dans d'autres conditions.

Les prises de vue n'étaient pas non plus toujours représentatives d'un usage mobile : beaucoup de jeux utilisaient des webcams fixes ou des appareils photo reflex, dont l'image diffère de celle d'une caméra frontale tenue à la main.

Les auteurs veulent un nouveau jeu capable de mesurer ces écarts de généralisation.

Résoudre le problème

L'article se concentre donc sur la conception du jeu de données.

Pour tester la généralisation de la PAD mobile, les auteurs distinguent trois sources de variation :

  1. les conditions environnementales inconnues, notamment lumière et arrière-plan ;
  2. l'appareil de capture ;
  3. l'instrument d'attaque par présentation (PAI), photographie imprimée ou vidéo rejouée.

Ils filment 55 personnes, dont 15 femmes et 40 hommes, dans trois environnements différents. Le jeu rassemble 5 940 vidéos.

La lumière et le décor changent d'une séance à l'autre pour représenter diverses situations d'utilisation d'un téléphone :

  • Session 1 : bureau ouvert, fenêtre derrière le sujet, éclairage artificiel et lumière du jour ;
  • Session 2 : salle de réunion, éclairage intérieur uniquement ;
  • Session 3 : petit bureau, fenêtre devant le sujet, éclairage intérieur et lumière naturelle.

La figure suivante montre ces trois lieux :

À chaque passage, une personne réalise deux courtes vidéos, l'une d'enrôlement et l'autre d'authentification, en se filmant avec un téléphone tenu à la main. Chaque capture dure moins de cinq secondes, comme lors d'un déverrouillage.

Six téléphones dotés de caméras frontales de qualité correcte sont employés :

  • Samsung Galaxy S6 edge (5 MP) ;
  • HTC Desire EYE (13 MP) ;
  • MEIZU X5 (5 MP) ;
  • ASUS Zenfone Selfie (13 MP) ;
  • Sony XPERIA C5 Ultra Dual (13 MP) ;
  • OPPO N3 (caméra orientable de 16 MP).

Les vidéos sont enregistrées en Full HD (1 920 × 1 080) avec la même version de l'application caméra. Plusieurs appareils annoncent 13 MP, mais leur rendu vidéo reste différent : les chiffres d'une fiche technique ne racontent pas toute l'histoire.

La figure ci-dessous compare les images de ces téléphones :


Pour produire des attaques exigeantes, les auteurs capturent des photographies et vidéos de bonne définition avec la caméra arrière des téléphones, puis les présentent sous deux formes :

  • Print : photographies sur papier A3 brillant, imprimées avec deux imprimantes (Canon C6011 et PIXMA iX6550) ;
  • Replay : vidéos affichées sur deux écrans (Dell UltraSharp de 19 pouces et MacBook Retina).

Voici ces formes d'attaque :

La capture des attaques est aussi contrôlée :

  • pour Print, une personne tient la photographie, tandis que l'appareil de capture reste fixe ; de petits mouvements demeurent possibles ;
  • pour Replay, l'écran est fixé et son cadre est autant que possible exclu de l'image, afin d'éviter un indice de classification trop facile.

Ces vidéos ne se laissent donc pas toutes distinguer par un simple bord d'écran ou un fond reconnaissable.


Enfin, quatre protocoles testent chacun une forme de généralisation :

  1. Protocole I, environnement : distinguer les accès réels des attaques sous un éclairage et un fond différents ;
  2. Protocole II, PAI : apprendre avec une imprimante et un écran, puis en rencontrer d'autres au test ;
  3. Protocole III, appareil (Leave-One-Camera-Out) : laisser un téléphone hors de l'entraînement et tester les vidéos qu'il produit ;
  4. Protocole IV, trois variations à la fois : changer ensemble environnement, PAI et téléphone.

Dans chaque protocole, les 55 personnes sont séparées entre entraînement, développement et test, à raison de 20, 15 et 20 personnes, sans chevauchement d'identité.

Le tableau suivant détaille les répartitions :

L'ancienne image du tableau donne un effectif erroné pour le test du protocole I. Le tableau II de la version publiée compte 240 vidéos réelles et 960 vidéos d'attaque, soit 1 200 vidéos au total. Nous conservons l'image importée et suivons les chiffres du PDF pour l'analyse.

Discussion

Les auteurs évaluent les quatre protocoles avec un modèle de référence, afin de voir comment une méthode PAD réagit aux variations proches d'un usage mobile.

Ils utilisent trois mesures du cadre ISO/IEC 30107-3 :

  • APCER : part des attaques classées à tort comme authentiques ; pour le résultat global, on retient le pire APCER parmi les différents instruments d'attaque ;

  • BPCER : part des accès authentiques classés à tort comme attaques ;

  • ACER : moyenne de l'APCER et du BPCER :

    ACER=APCER+BPCER2\text{ACER} = \frac{\text{APCER} + \text{BPCER}}{2}

Le seuil de décision appliqué au test est d'abord choisi au point EER de l'ensemble de développement.

Le modèle de référence repose sur LBP. Il ne calcule pas ses caractéristiques sur une image en niveaux de gris : il utilise les espaces couleur HSV et YCbCr.

Son traitement est le suivant :

  1. détecter le visage, le recadrer et le normaliser en 64 × 64 pixels ;
  2. extraire les caractéristiques de texture LBP(8,1)u2LBP^{u2}_{(8,1)} pour chaque canal couleur ;
  3. les classer avec un modèle Softmax entraîné sur ces caractéristiques.

Regardons maintenant ce qui arrive à cette référence dans chaque scénario.

Protocole I : changement de lumière

C'est le protocole le plus simple.

Lorsque le modèle est entraîné et testé avec des vidéos de la Session 3 :

L'ACER est de 2,7 %, un très bon résultat.

Si l'entraînement emploie les Sessions 1 et 2, alors que le test reste sur la Session 3 :

L'ACER passe de 2,7 % à 13,5 %.

Un changement des conditions de prise de vue suffit donc à réduire fortement la précision.

Dans cette comparaison, le BPCER monte de 2,4 % à 21,3 % : davantage de personnes réelles sont prises pour des attaques. L'article y voit un problème de généralisation des caractéristiques de texture.

Protocole II : changement d'instrument d'attaque

Au deuxième tour, le modèle apprend avec l'imprimante 1 et l'écran 1, puis il est testé sur l'imprimante 2 et l'écran 2. Le groupe de comparaison utilise l'imprimante 2 et l'écran 2 à l'entraînement, au développement et au test.

Résultat :

  • avec les mêmes instruments d'attaque à l'entraînement et au test, l'ACER est de 7,2 % ;
  • avec de nouveaux instruments, l'ACER passe à 14,2 %.

L'effet est plus fort pour les attaques Print : leur ACER passe de 6,1 % à 14,2 %. Pour Replay, il passe de 7,2 % à 9,2 %.

Protocole III : changement de téléphone

Cette fois, place au protocole LOCO (Leave-One-Camera-Out).

À chaque tour, le modèle est entraîné sur cinq téléphones et testé sur le sixième, qu'il n'a pas vu.

Sans ce changement de téléphone, l'ACER moyen est de 6,3 %. Dans le test LOCO, il atteint 12,1 %, avec de grandes différences entre les tours.

Autrement dit :

Changer de téléphone, c'est presque changer de monde.

Couleur, netteté et optique varient d'un appareil à l'autre. Pour un modèle fondé sur la texture couleur, c'est un vrai défi.

Protocole IV : les trois difficultés ensemble

Au quatrième tour, le plus difficile, éclairage, PAI et appareil de capture changent en même temps.

L'ACER moyen sur les six téléphones atteint 27,2 %, contre 12,1 % lorsque seul le téléphone change.

Les épreuves précédentes laissaient encore de l'espoir ; celle-ci ramène le modèle à la réalité. Pour le sixième téléphone, l'APCER des attaques Print atteint 100 % : dans cette condition de test, toutes ces vidéos d'attaque sont classées comme authentiques.

Un modèle qui se généralise à une seule variation ne se généralise donc pas nécessairement à toutes ensemble.

Conclusion

Les auteurs construisent quatre protocoles autour de trois variations — environnement, appareil et PAI — pour mesurer plus explicitement la robustesse de la PAD mobile à des conditions nouvelles.

OULU-NPU reste limité aux attaques Print et Replay, mais ses protocoles offrent un exemple concret d'évaluation du changement de domaine et des scénarios mobiles.

Les auteurs terminent par cette invitation :

We invite the research community to consider this new database.

Avec le recul, cette invitation reste utile : c'est un jeu à étudier pour comprendre comment les conditions du protocole influencent la généralisation.