Retour à la bibliothèque

CFrPPG

L'écho du pouls

Article original

Remote Photoplethysmography Correspondence Feature for 3D Mask Face Presentation Attack Detection

Auteurs de l’article

Si-Qi Liu · Xiangyuan Lan · Pong C. Yuen

Publication
ECCV 2018Conférence
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@inproceedings{faceantispoofingcfrppg2018,
  title = {{Remote Photoplethysmography Correspondence Feature for 3D Mask Face Presentation Attack Detection}},
  author = {Si-Qi Liu and Xiangyuan Lan and Pong C. Yuen},
  year = {2018},
  booktitle = {ECCV},
  url = {https://openaccess.thecvf.com/content_ECCV_2018/html/Siqi_Liu_Remote_Photoplethysmography_Correspondence_ECCV_2018_paper.html}
}
Sur cette page

La rPPG est une mesure optique du pouls à distance, issue de la photopléthysmographie (PPG).

Sans capteur fixé sur la peau, une caméra RGB peut enregistrer les infimes variations de couleur produites par la circulation sanguine et en extraire un signal physiologique, lorsque les conditions de capture le permettent.

Pour la détection des attaques faciales, cet indice permet d'étudier la vivacité sans dépendre seulement de la texture visible du visage.

Un signal rPPG stable peut aider à distinguer une personne réelle d'un masque 3D ou d'une photographie imprimée. Une vidéo rejouée peut toutefois conserver le pouls enregistré : cette méthode ne suffit donc pas, seule, contre toutes les attaques sur écran.

Définir le problème

Dans des conditions réelles, le signal rPPG est rarement aussi propre qu'on le voudrait.

La figure suivante illustre trois situations : un vrai visage dans de bonnes conditions, un vrai visage dont le signal est atténué et un masque accompagné d'un bruit périodique.

  • À gauche, la situation idéale. Le spectre d'un vrai visage présente un pic net à la fréquence du pouls ; le bruit de fond est faible. C'est le signe de vivacité que nous aimerions détecter.

  • Au milieu, le signal affaibli. Avec peu de lumière, un visage éloigné ou une région faciale trop petite, le pic d'une vraie personne devient flou ou disparaît dans le bruit. Le modèle risque alors de classer ce visage comme une attaque.

  • À droite, le bruit renforcé. Une vibration régulière du masque ou de la caméra, ou un éclairage qui scintille, peut produire un pic périodique semblable. Se fier à la seule puissance maximale du spectre peut donc conduire à une erreur.

Ces exemples montrent une réalité peu commode :

Le signal rPPG est fragile et le pic spectral le plus fort ne suffit pas, à lui seul, à prouver la vivacité.

Une méthode fondée sur un seul pic se concentre sur la composante dominante, mais perd la structure et la cohérence de l'ensemble du spectre. Le pouls peut se cacher dans de faibles variations de couleur ; le bruit peut aussi dominer la mesure.

De nombreuses méthodes de rPPG cherchent à faire apparaître la fréquence cardiaque dans le spectre. CHROM et POS, par exemple, sont des méthodes d'extraction du signal ; leur pic spectral n'est pas à lui seul un classifieur de vivacité.

Si la caméra bouge, si la lumière clignote ou si le visage se déplace, un masque peut aussi présenter une périodicité marquée. À faible résolution ou sous une faible lumière, le signal d'un vrai visage peut au contraire se perdre.

La corrélation entre régions peut renforcer les fréquences partagées, mais elle ne dit pas encore si elles proviennent du pouls ou d'un bruit commun.

D'où la question :

Quand le bruit et le signal résonnent à la même fréquence, lequel faut-il croire ?

Résoudre le problème

Une mesure fondée uniquement sur la hauteur du pic spectral fonctionne dans de bonnes conditions. Si un bruit périodique produit un pic semblable, cette force seule ne suffit plus.

CFrPPG (rPPG Correspondence Feature) cherche à dépasser cette faiblesse.

Apprendre un modèle spectral

Voici l'idée centrale des auteurs :

Sur un vrai visage, plusieurs régions de peau devraient présenter une pulsation cohérente à une fréquence commune.

Pour mesurer cette cohérence, ils apprennent un filtre spectral ww à partir des spectres rPPG de plusieurs régions du visage, au lieu de n'utiliser qu'une seule série.

Ils commencent par des régions faciales relativement grandes pour obtenir les signaux rPPG et leurs spectres {s1,s2,…,sN}\{s_1, s_2, \dots, s_N\} après le prétraitement par corrélation croisée. Les caractéristiques finales sont ensuite calculées sur des régions plus petites qui se chevauchent.

Chaque spectre contient des énergies à différentes fréquences, mêlées au bruit et à d'autres variations. Le filtre ww doit renforcer ce qui correspond à une pulsation commune, tout en limitant la diversité du bruit.

L'apprentissage s'écrit :

min⁡w∑i=1N∥Siw−y∥22+λ∥w∥22\min_w \sum_{i=1}^N \| S_i w - y \|_2^2 + \lambda \| w \|_2^2

où SiS_i est la matrice circulante construite à partir de sis_i et yy une cible gaussienne unidimensionnelle centrée sur la réponse de corrélation. Lorsque le spectre correspond au filtre, celui-ci doit produire une réponse étroite. Le centre de yy ne désigne pas directement une fréquence cardiaque.

Le filtre ww rassemble ainsi les composantes cohérentes entre régions.

Pour accélérer le calcul, les auteurs exploitent la diagonalisation des matrices circulantes dans le domaine de Fourier. L'optimisation devient une opération élément par élément :

w^=∑i=1Ns^i∗⊙y^∑i=1Ns^i∗⊙s^i+λ\hat{w} = \frac{\sum_{i=1}^N \hat{s}_i^{*} \odot \hat{y}}{\sum_{i=1}^N \hat{s}_i^{*} \odot \hat{s}_i + \lambda}

Ici, s^i\hat{s}_i est la transformée DFT du spectre de la région ii, ∗^* indique la conjugaison complexe et ⊙\odot le produit élément par élément. On évite ainsi une grande multiplication matricielle en apprenant le filtre au moyen de sommes et de divisions dans le domaine de Fourier.

En pratique, on peut voir cette étape comme la recherche d'une forme spectrale commune à plusieurs zones du même visage, que l'on utilisera ensuite pour examiner chacune d'elles.

Construire les caractéristiques de correspondance

Une fois ww appris, on demande :

Le signal rPPG de chaque région produit-il une réponse nette avec ce filtre ?

Le spectre sis_i de chaque région passe dans le domaine de Fourier et est multiplié élément par élément par w^\hat{w}, ce qui correspond à la convolution dans le domaine initial :

r^i=s^i⊙w^\hat{r}_i = \hat{s}_i \odot \hat{w}

On obtient la réponse fréquentielle r^i\hat{r}_i ; sa transformée de Fourier inverse donne rir_i. La netteté de son pic indique à quel point le spectre de cette région correspond au filtre. Ce pic appartient à la réponse de corrélation : il ne donne pas directement une fréquence cardiaque.

Pour quantifier cette netteté, les auteurs utilisent le rapport pic sur lobes secondaires (PSR, Peak-to-Sidelobe Ratio) :

PSRi=peakri−μriσri\text{PSR}_i = \frac{\text{peak}_{r_i} - \mu_{r_i}}{\sigma_{r_i}}

Dans cette formule :

  • peakri\text{peak}_{r_i} est le maximum de la réponse de corrélation ;
  • μri\mu_{r_i} et σri\sigma_{r_i} sont la moyenne et l'écart-type du reste de la réponse.

L'article imprimé multiplie par l'écart-type dans son expression du PSR. La division écrite ici suit la définition standard du rapport pic sur lobes secondaires ; le calcul réellement utilisé dans les expériences n'a pas été vérifié.

Un PSR élevé correspond à une réponse plus étroite et concentrée, compatible avec une meilleure correspondance au modèle. Un signal bruité ou peu cohérent produit plutôt une réponse plate ou plusieurs pics, donc un PSR plus faible.

Les PSR de toutes les régions sont concaténés dans un vecteur :

x=[PSR1,PSR2,…,PSRN]x = [\text{PSR}_1, \text{PSR}_2, \dots, \text{PSR}_N]

C'est la représentation CFrPPG finale. Elle ne repose plus sur la puissance d'une seule fréquence, mais sur la correspondance entre les régions du visage et le filtre appris.

Cette approche fondée sur plusieurs régions peut réduire l'effet de bruits locaux et de pics erronés.

Réduire le bruit de fond

Dans une capture réelle, le signal rPPG subit parfois une perturbation globale, comme le mouvement de la caméra tenue à la main. Si plusieurs régions du visage partagent ce bruit périodique, la corrélation croisée peut aussi l'amplifier et créer une fausse réponse.

Un masque dépourvu de pulsation peut alors sembler présenter un rythme, simplement parce que le bruit commun est régulier.

Pour y remédier, CFrPPG introduit, pendant l'apprentissage du filtre, des spectres de régions d'arrière-plan comme exemples négatifs. Ces régions situées hors du visage sont traitées de la même manière, mais ne devraient pas contenir de pulsation issue de la circulation sanguine du visage.

Le filtre apprend donc à ne pas répondre à ces spectres. L'objectif reçoit un terme de pénalité :

min⁡w∑i=1M∥Sitw−y∥22+λ∥w∥22+γ∑k=1K∥Sknw∥22\min_w \sum_{i=1}^M \| S_i^t w - y \|^2_2 + \lambda \|w\|^2_2 + \gamma \sum_{k=1}^K \| S_k^n w \|^2_2

où :

  • SitS_i^t désigne les spectres rPPG des régions faciales utilisés pour apprendre la cohérence du pouls ;
  • SknS_k^n désigne les spectres du fond utilisés pour réduire les perturbations globales ;
  • yy est la réponse de corrélation cible, une gaussienne unidimensionnelle centrée ;
  • γ\gamma règle la force de la pénalité et l'équilibre entre détection du signal et suppression du bruit de fond.

Le filtre appris est donc poussé à :

  • répondre fortement et de façon concentrée aux composantes cohérentes du visage ;
  • peu répondre aux composantes périodiques présentes dans l'arrière-plan.

Il ne s'agit pas d'effacer directement certaines fréquences du fond, mais d'apprendre à ignorer les motifs qui produisent aussi une réponse au mauvais endroit.

Autrement dit, on ne demande pas seulement au modèle « où vois-tu le pouls ? », mais aussi « où ne devrais-tu pas le voir ? ».

Dans les conditions perturbées évaluées par l'article, cette pénalité réduit l'effet des mouvements synchrones sur les caractéristiques de correspondance.

Discussion

Comparaison avec d'autres méthodes

Sur 3DMAD, la plupart des méthodes obtiennent de bons résultats. Le jeu a été filmé sous un éclairage contrôlé et ses masques ThatsMyFace présentent encore des différences de matière visibles par rapport à un vrai visage. Les méthodes fondées sur l'apparence, notamment MS-LBP, peuvent donc y être très efficaces.

Parmi les méthodes rPPG comparées, CFrPPG fait mieux que LrPPG et GrPPG sur certains indicateurs. Son HTER de test est de 6,82 %, contre 8,57 % pour LrPPG. Mais le CNN atteint 6,07 % : CFrPPG n'est pas le meilleur de tous les modèles sur ce jeu.

L'évaluation suit une validation leave-one-out : 20 répartitions aléatoires des indices des sujets, chacune comprenant 17 tours de test. Ces répétitions limitent la dépendance à un seul partage des données ; les résultats de CFrPPG restent relativement stables dans ce protocole.

Tests entre jeux de données

Les auteurs évaluent ensuite la généralisation lorsqu'entraînement et test proviennent de jeux différents.

Ils examinent deux directions :

  • 3DMAD → HKBU-MARsV2 : entraînement sur le jeu contrôlé, puis test dans des conditions plus variées ;
  • HKBU-MARsV2 → 3DMAD : entraînement sous un éclairage moins contrôlé, puis test sur le jeu standardisé.

Chaque direction comporte 20 répartitions aléatoires des sujets de l'ensemble d'entraînement et de développement, pour réduire l'effet d'un partage particulier.

Dans ces deux expériences, CFrPPG obtient les meilleurs résultats parmi les méthodes comparées dans le tableau, avec un avantage plus marqué que dans certains tests au sein d'un seul jeu. Cela suggère que :

CFrPPG conserve une capacité de distinction lors de ces transferts entre jeux, dans les conditions évaluées.

Les auteurs l'attribuent à la correspondance entre plusieurs spectres locaux et un filtre appris, plutôt qu'à la seule puissance du pic le plus fort. Les résultats entre jeux vont dans ce sens face aux méthodes comparées ici.

À l'inverse, les méthodes fondées sur l'apparence, comme MS-LBP et le CNN, perdent davantage de performance dans ces transferts. Elles paraissent plus sensibles aux textures et aux conditions visuelles propres à leur jeu d'entraînement.

Conclusion

La rPPG a suscité l'espoir d'une détection de vivacité sans contact, mais son signal reste difficile à mesurer de façon fiable dans toutes les conditions.

Chercher de minuscules variations lumineuses pour retrouver la circulation sanguine est séduisant. L'éclairage, les mouvements et le bruit rappellent vite combien la mesure est délicate :

La lumière change, le bruit persiste et une seule caractéristique fréquentielle peut être fragile.

Voilà le défi pratique de la rPPG, plutôt qu'une impossibilité de l'utiliser.

CFrPPG essaie de rendre cette mesure plus robuste. Il remplace le pic isolé par la correspondance entre plusieurs régions du visage, apprend un filtre spectral et pénalise les réponses présentes aussi dans le fond. Dans les jeux étudiés, cette combinaison améliore la résistance aux perturbations par rapport à plusieurs méthodes comparées. Pour la détection des attaques faciales, l'idée est claire : examiner la cohérence de plusieurs régions peut apporter plus d'informations que chercher uniquement la plus grande valeur.

La rPPG n'a pas disparu avec cet article. CFrPPG représente une étape dans la recherche de caractéristiques physiologiques plus fiables ; il ne clôt pas cette piste.

Nous continuons à chercher le pouls dans les vidéos lorsque cela peut aider à distinguer un visage vivant d'une présentation frauduleuse. L'écho de cette idée mérite encore d'être entendu, avec des tests adaptés aux conditions réelles.