Retour à la bibliothèque

rPPG

Des reflets de vie

Article original

Generalized face anti-spoofing by detecting pulse from face videos

Auteurs de l’article

Xiaobai Li · Jukka Komulainen · Guoying Zhao · Pong-Chi Yuen · Matti Pietikainen

Publication
ICPR 2016Conférence
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@inproceedings{faceantispoofingrppg2016,
  title = {{Generalized face anti-spoofing by detecting pulse from face videos}},
  author = {Xiaobai Li and Jukka Komulainen and Guoying Zhao and Pong-Chi Yuen and Matti Pietikainen},
  year = {2016},
  booktitle = {ICPR},
  url = {https://doi.org/10.1109/icpr.2016.7900300},
  doi = {10.1109/icpr.2016.7900300}
}
Sur cette page

Le signal du pouls avait déjà fait l'objet de nombreuses études avant cette publication, surtout pour le suivi physiologique.

Les auteurs présentent ce travail de 2016 comme l'une des premières études approfondies qui l'utilisent pour détecter les attaques contre la reconnaissance faciale.

Au lieu de se limiter à la texture ou à la surface d'un visage, ils cherchent un autre indice : un rythme cardiaque est-il réellement présent ?

Définir le problème

La photopléthysmographie (PPG), illustrée ci-dessus, mesure indirectement le pouls à partir des variations de lumière liées à la circulation sanguine. Dans sa forme classique, elle utilise souvent un capteur au contact de la peau ; sa variante à distance, la rPPG, exploite les variations visibles dans une vidéo du visage.

Quand la lumière éclaire la peau nue, comme celle du lobe de l'oreille, du poignet ou des joues, l'absorption par le sang varie avec le cycle cardiaque. Ces changements sont imperceptibles à l'œil nu, mais la lumière réfléchie conserve un signal faible qui peut révéler le pouls.

Les techniques optiques de suivi des signes vitaux existaient déjà. Des études plus récentes ont montré qu'une simple caméra RGB peut aussi récupérer un signal de pouls à partir d'une vidéo du visage, sans capteur en contact avec la personne : c'est la rPPG.

Chaque battement produit une variation infime de la couleur du visage. Si la région d'intérêt est bien choisie et si le bruit est suffisamment filtré, cette périodicité peut apparaître dans le spectre des fréquences.

La détection des attaques faciales s'appuyait longtemps sur des différences visibles : défauts de texture, déformations de couleur, manque de profondeur ou mouvements faciaux anormaux. Ces indices ont aidé face aux photographies et aux vidéos. Les masques 3D de plus en plus réalistes posent toutefois un nouveau problème :

  • Différences d'apparence moins fiables : un masque de bonne qualité peut ressembler à la peau ; des descripteurs de texture comme LBP, entraînés sur d'autres masques, peuvent échouer.
  • Variations des scènes et des appareils : caméra, éclairage et compression changent l'apparence des images, ce qui peut réduire la généralisation.
  • Évolution des attaques : de l'écran rejouant une vidéo au masque complet, chaque nouveau support exige une nouvelle vérification des défenses.

La question devient alors :

Si l'apparence d'un visage peut être imitée, peut-on encore trouver dans la vidéo un signe de vie ?

Les auteurs choisissent de suivre la pulsation plutôt qu'une texture particulière : ce visage porte-t-il un signal de pouls ?

Mais ce n'est pas simple.

Le signal rPPG est faible et fragile. Les variations de lumière, les mouvements de la tête et le bruit de compression peuvent le masquer.

Pour le retrouver, il faut écarter ces perturbations avant de voir émerger le rythme discret d'un visage vivant.

Résoudre le problème

Extraire un pouls d'une vidéo du visage ressemble à de la science-fiction. Pourtant, c'est une technique bien réelle.

Dans cette étude, elle prend la forme d'une chaîne explicite de traitement du signal.

Le procédé comporte trois étapes : délimiter une région d'intérêt (ROI), transformer son signal et classer le résultat.

Détection du visage et suivi de la ROI

L'entrée est une vidéo du visage contenant nn images.

Les auteurs n'utilisent ni tout le visage ni la zone des yeux. Ils retiennent plutôt le bas du visage — joues, nez, bouche et menton — en évitant le front et les yeux pour réduire les occlusions causées par les cheveux ou les lunettes.

Le traitement suit ces étapes :

  • détecter le rectangle du visage dans la première image avec Viola-Jones ;
  • repérer 66 points faciaux avec le modèle DRMF ;
  • choisir neuf de ces points pour définir la ROI sur une zone de peau relativement stable ;
  • suivre et mettre à jour la ROI dans les images suivantes avec le flot optique KLT ;
  • calculer à chaque image la moyenne RGB des pixels de la ROI, ce qui donne trois séries temporelles brutes rraw,graw,brawr_{\text{raw}}, g_{\text{raw}}, b_{\text{raw}}.

Pour le canal rouge, par exemple :

rraw=[r1,r2,…,rn]r_{\text{raw}} = [r_1, r_2, \dots, r_n]

Ces séries ne sont pas encore nettoyées : elles peuvent contenir le pouls, mais aussi beaucoup de bruit.

Filtrage et passage au domaine fréquentiel

Pour extraire le rythme, les auteurs appliquent trois traitements successifs :

  • suppression de la tendance (detrending) : les smoothness priors atténuent les dérives lentes et non stationnaires ;
  • moyenne mobile (moving average) : elle lisse les valeurs voisines et réduit les pics de bruit ;
  • filtre passe-bande (bandpass filtering) : un filtre FIR fondé sur une fenêtre de Hamming ne conserve que 0,7 à 4,0 Hz, soit 42 à 240 battements par minute.

Les trois signaux filtrés passent ensuite par une transformée de Fourier rapide (FFT) :

Sur cette figure, la densité spectrale de puissance (PSD) d'un vrai visage présente un pic principal associé au pouls, parfois accompagné d'une deuxième harmonique. Les échantillons d'attaque par masque ou photographie présentent généralement des pics de bruit plus dispersés et moins concentrés.

Caractéristiques retenues

Les auteurs résument chaque PSD avec deux caractéristiques :

  • EE : puissance maximale dans la bande de fréquences cardiaques, de 0,7 à 4,0 Hz ;
  • Γ\Gamma : rapport entre l'énergie du pic principal et l'énergie totale de cette bande, qui mesure la concentration du spectre :
Γ=E∑f∈[0.7,4]e(f)\Gamma = \frac{E}{\sum_{f \in [0.7, 4]} e(f)}

Avec EE et Γ\Gamma pour chacun des trois canaux, on obtient un vecteur de six dimensions :

[Er,Eg,Eb,Γr,Γg,Γb]\left[ E_r, E_g, E_b, \Gamma_r, \Gamma_g, \Gamma_b \right]

Classifieur

La décision finale utilise un SVM linéaire entraîné à distinguer vrais visages et attaques. La valeur C=1000C=1000 reste fixe pour tous les jeux de données évalués.

Les auteurs conservent ce réglage afin de comparer les effets des six caractéristiques de pouls selon les attaques.

Discussion

Jusqu'où six caractéristiques physiologiques peuvent-elles nous mener face à des attaques différentes ?

Les auteurs étudient trois catégories à l'aide de jeux de données publics ou constitués pour l'étude :

  • 3DMAD : attaques par masques 3D classiques ;
  • REAL-F : nouveaux masques de qualité supérieure achetés par les auteurs ;
  • MFSD : attaques par photographie ou relecture de vidéo sur appareil mobile.

Le jeu 3DMAD

3DMAD est l'un des premiers jeux publics d'attaques par masque 3D, et le seul jeu public de ce type disponible pour cette étude.

Il contient 255 vidéos de 17 personnes, réparties entre trois séances :

  • s1 et s2 : accès authentiques, avec cinq vidéos filmées à deux dates différentes ;
  • s3 : attaques où une autre personne porte le masque 3D de la cible, fabriqué par ThatsMyFace.

Pour séparer les identités, les auteurs emploient une validation leave-one-subject-out (LOOCV) : une personne est réservée au test à chaque tour ; les 16 autres sont divisées entre entraînement et développement, sans chevauchement d'identité. Ils répètent l'opération pour les 17 personnes.

Caractéristiques et classifieurs :

  • Caractéristiques Pulse : les dix premières secondes de chaque vidéo produisent un vecteur de six dimensions [Er,Eg,Eb,Γr,Γg,Γb][E_r, E_g, E_b, \Gamma_r, \Gamma_g, \Gamma_b] ;

  • Classifieur : SVM linéaire avec C=1000C = 1000, sans réglage supplémentaire ;

  • Références LBP : quatre configurations classiques :

    • LBP-blk : histogrammes en niveaux de gris par blocs, 531 dimensions ;
    • LBP-blk-color : histogrammes RGB par blocs, 1 593 dimensions ;
    • LBP-ms : histogrammes en niveaux de gris à plusieurs échelles, 479 dimensions ;
    • LBP-ms-color : histogrammes RGB à plusieurs échelles, 1 437 dimensions.

La mesure finale est le HTER (Half Total Error Rate) :

HTER=FPR(τ∗)+FNR(τ∗)2\text{HTER} = \frac{\text{FPR}(\tau^*) + \text{FNR}(\tau^*)}{2}

où τ∗\tau^* est le seuil choisi sur l'ensemble de développement au point EER, c'est-à-dire là où FPR et FNR coïncident. Le HTER est ensuite calculé sur le test.

Voici les résultats :

Pulse obtient 7,94 % de HTER sur le test 3DMAD. Ses six caractéristiques et son classifieur linéaire distinguent donc une partie de ces attaques par masque ; l'EER vaut 2,31 % sur le développement et 4,71 % sur le test.

Les quatre variantes LBP affichent toutefois 0 % d'erreur sur ce jeu. Ce résultat impressionnant a une limite expérimentale :

L'entraînement et le test utilisent des personnes et des masques distincts, mais issus du même type de fabrication et des mêmes conditions de capture ; les masques portent des défauts visibles d'impression 3D.

Ce zéro montre que LBP capte leurs différences de texture dans ces conditions.

Le jeu REAL-F

À gauche, un masque 3DMAD ; à droite, un masque REAL-F de meilleure qualité.

Si 3DMAD est le terrain d'entraînement, REAL-F ressemble davantage à l'épreuve difficile.

Les masques REAL-F imitent plus finement la peau, sa texture et sa couleur. Comme aucun autre jeu de masques de qualité comparable n'était disponible, les auteurs ont acheté deux masques REAL-F et constitué un petit jeu de test :

  • Composition :

    • 12 vidéos d'accès authentiques provenant de deux personnes ;
    • 12 vidéos d'attaque dans lesquelles une troisième personne porte les masques ;
    • vidéos de dix secondes, à 1 280 × 760 pixels et 30 images par seconde.
  • Données d'apprentissage :

    • huit sujets tirés au hasard de 3DMAD pour l'entraînement, huit autres pour le développement ;
    • les 24 vidéos REAL-F forment un test entièrement inédit, évalué sur 100 répartitions aléatoires des sujets de 3DMAD.
  • Mesures :

    • moyennes de l'EER, du HTER et du FPR lorsque le FNR est fixé à 0,1 ou à 0,01.

Le tableau suivant donne les résultats :

Toutes les variantes LBP chutent nettement sur REAL-F : leur EER augmente. Même LBP-blk-color, qui donne le meilleur EER parmi elles, accepte à tort 48,67 % des attaques lorsque le FNR est fixé à 0,01.

À l'inverse, Pulse atteint sur ces 24 vidéos REAL-F inédites un HTER de 4,29 % et un EER de 1,58 %. L'échantillon est trop petit pour promettre la même stabilité sur d'autres masques ou dans d'autres conditions de capture.

Ce résultat suggère donc :

Sur les masques REAL-F évalués, les caractéristiques de texture se généralisent moins bien, tandis que celles du pouls distinguent encore la plupart des vrais visages des masques.

Les méthodes fondées sur la texture comme LBP ont ici deux faiblesses :

  1. quand la fausse peau est réaliste, elles peinent à dégager une différence de texture discriminante ;
  2. entraînées sur un seul type de masque, elles se généralisent difficilement à un nouveau type.

Le signal de pouls, lui, possède une signification physiologique : il n'exige pas de supposer une texture de masque particulière. Sa détection reste pourtant sensible à la lumière, à la couleur de peau, aux mouvements et à la taille du visage dans l'image.

Les auteurs examinent ensuite les erreurs et visualisent la distribution de EgE_g pour les échantillons de 3DMAD et de REAL-F :

Distribution de (E_g) : les croix orange représentent les attaques par masque, souvent concentrées sur de faibles valeurs.

On remarque que :

  • la plupart des attaques, marquées par des croix orange, ont un EgE_g très faible, correspondant à un spectre sans pic cardiaque marqué ;
  • les accès authentiques ont en général un EgE_g plus élevé, mais très variable selon la peau, la taille du visage et l'éclairage ;
  • les principales erreurs concernent une personne à la peau plus foncée et au visage plus petit dans l'image, deux facteurs qui peuvent affaiblir le signal rPPG ou augmenter le bruit.

On voit ainsi une limite pratique : si le visage est trop sombre ou trop petit dans une image peu détaillée, le pouls peut disparaître sous le bruit et la classification se tromper.

Attaques par photographie et par vidéo

Dans la pratique, une photographie et un téléphone sont parmi les moyens d'attaque les plus faciles à obtenir.

Les auteurs utilisent MSU MFSD : 35 personnes et 280 vidéos couvrant deux types d'attaque :

  • Photographie imprimée (print attack) : présentation d'une photographie sur papier de bonne qualité ;
  • Relecture vidéo (video replay) : vidéo du visage diffusée sur un iPad ou un iPhone ;
  • pour chaque personne : deux vidéos authentiques, deux attaques par photographie et quatre par vidéo ;
  • captures avec les caméras frontales d'un MacBook Air et d'un Nexus 5, aux résolutions de 640 × 480 et 720 × 480 pixels.

Pour comparer les attaques, les auteurs forment trois groupes :

GroupeAccès authentiquesAttaquesDescription
MSU-photo7070Photographies imprimées
MSU-video70140Relecture de vidéos
MSU-all70210Tous les types d'attaques
  • quinze personnes servent à l'entraînement, vingt au test ;
  • les caractéristiques Pulse restent les mêmes, soit six dimensions par vidéo ;
  • LBP-ms-color, la variante de texture la plus régulière dans les essais précédents, sert de comparaison.

Les résultats sont présentés ici :

EER de Pulse et de LBP selon le type d'attaque.

  • Pour les photographies, Pulse atteint 5 % d'EER, contre 10 % pour LBP ;
  • Pour les vidéos, l'EER de Pulse monte à 35 % : si la relecture conserve un signal cardiaque exploitable, Pulse distingue difficilement l'enregistrement d'un visage présent ;
  • Sur ces mêmes vidéos, LBP obtient 5 % d'EER, contre 10 % sur les photographies.

Cela illustre une limite essentielle des caractéristiques Pulse :

Elles peuvent signaler un pouls, mais ne disent pas à elles seules s'il vient d'une personne devant la caméra ou d'une vidéo enregistrée.

La relecture peut conserver une pulsation détectable et tromper Pulse seul. Une photographie imprimée, elle, ne porte pas de variation physiologique temporelle propre. Les auteurs mettent donc en cascade un modèle Pulse entraîné sur les attaques photo et un modèle LBP couleur entraîné sur les relectures vidéo. Sur MSU-all, le système en cascade atteint 7,5 % d'EER, contre 36,67 % pour Pulse seul et 13,33 % pour LBP seul.

Conclusion

Cette étude ouvre une autre voie dans la détection des attaques faciales : rechercher le pouls dans la vidéo plutôt que s'appuyer uniquement sur l'apparence du visage.

À l'époque, la rPPG servait surtout au suivi physiologique. L'article lui donne ici un rôle précis contre les photographies et les masques : vérifier si la vidéo contient un signal compatible avec une pulsation réelle.

L'idée était audacieuse pour ce domaine.

La plupart des méthodes regardaient encore la texture, l'éclairage ou la profondeur. Les auteurs montrent qu'un vecteur de seulement six caractéristiques du pouls peut mieux se transférer, dans leur petit test REAL-F, que certains grands descripteurs de texture entraînés sur 3DMAD. Ce résultat reste limité aux jeux et conditions évalués.

La méthode présente aussi des faiblesses nettes :

  • seule, elle détecte mal les attaques par relecture vidéo ;
  • la lumière, la qualité des images, la couleur de peau et les mouvements peuvent perturber le signal.

Ces difficultés demandent des méthodes de traitement et des évaluations supplémentaires.

Mais c'est précisément ce qui rend son angle intéressant :

Quand une famille d'indices atteint ses limites, chercher une autre mesure peut éclairer ce qu'elle ne voit pas.

Après cette étude, d'autres travaux ont exploré la rPPG pour la détection des attaques, par exemple CFrPPG, MCCFrPPG ou MSTCT, en améliorant la stabilité du signal ou en combinant plusieurs indices. Ces pistes restent actives ; leur efficacité dépend des attaques et des conditions étudiées.

Ce classifieur date de 2016, et son idée — examiner des signes physiologiques dans la vidéo — garde une place importante parmi les moyens de tester la vivacité d'un visage.