Retour à la bibliothèque

SLRBD

Le reflet silencieux

Article original

Face Liveness Detection from A Single Image with Sparse Low Rank Bilinear Discriminative Model

Auteurs de l’article

Xiaoyang Tan · Yi Li · Jun Liu · Lin Jiang

Publication
ECCV 2010Conférence
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@inproceedings{faceantispoofingslrbd2010,
  title = {{Face Liveness Detection from A Single Image with Sparse Low Rank Bilinear Discriminative Model}},
  author = {Xiaoyang Tan and Yi Li and Jun Liu and Lin Jiang},
  year = {2010},
  booktitle = {ECCV},
  url = {https://doi.org/10.1007/978-3-642-15567-3_37},
  doi = {10.1007/978-3-642-15567-3_37}
}
Sur cette page

Cette fois, nous allons remonter aux débuts de la détection de vivacité du visage.

Pour commencer, nous avons choisi quelques articles marquants de cette période.

Définir le problème

La détection de vivacité faisait déjà l'objet de nombreux travaux avant 2010. Les méthodes de l'époque utilisaient les mouvements du visage, comme le clignement des yeux, mais aussi la texture de la peau ou la profondeur.

Si l'attaquant connaît le signal recherché, il peut cependant le reproduire. Une courte vidéo, une photo agitée devant la caméra, voire deux photographies peuvent tromper une méthode fondée sur les mouvements.

Et si l'on ajoutait une caméra 3D ou thermique ?

Ce ne serait pas très pratique non plus.

Nous emportons facilement un téléphone, mais rarement une caméra thermique juste pour prouver, au moment imprévu où on nous le demandera, que nous sommes vivants.

Les auteurs cherchent donc à détecter une attaque à partir d'une seule image, sans appareil supplémentaire.

Regardez l'illustration : quelles colonnes montrent un visage réel, et lesquelles montrent une photographie filmée par la caméra ?

Réponse : seule la colonne tout à droite montre un vrai visage ; toutes les autres sont des photographies reprises en image.

Vous n'y voyez aucune différence ?

Justement : voilà le problème.

Résoudre le problème

Une première analyse en composantes principales (PCA) montre que les images de vrais visages et de présentations frauduleuses se recouvrent largement dans l'espace étudié. On ne peut pas les séparer directement de façon fiable.

Les auteurs se tournent vers le modèle de réflexion lambertienne pour chercher dans l'interaction entre lumière et surface des indices discriminants. Ils formulent ensuite la décision comme une classification binaire : visage réel ou présentation frauduleuse.

Le modèle lambertien suppose une surface idéale à réflexion diffuse. La lumière est diffusée dans toutes les directions ; la luminance observée ne dépend pas de l'angle de vue.

La loi du cosinus de Lambert donne :

I(x,y)=fc(x,y) ρ(x,y) Alightcos⁡θI(x,y) = f_c(x,y) \, \rho(x,y) \, A_{\text{light}} \cos\theta

Où :

  • I(x,y)I(x,y) est la luminance au pixel (x,y)(x,y) ;
  • fc(x,y)f_c(x,y) est la réponse de la caméra, souvent supposée constante ;
  • ρ(x,y)\rho(x,y) est le coefficient de réflexion diffuse de la surface ;
  • AlightA_{\text{light}} est l'intensité de la source ;
  • cos⁡θ\cos\theta est le cosinus de l'angle entre la lumière et la normale à la surface, soit n⋅sn \cdot s.

Quand cet angle diminue, cos⁡θ\cos\theta approche 1 et l'intensité réfléchie augmente. Quand il grandit, l'intensité diminue. Cette approximation décrit notamment la peau et le papier lorsqu'on néglige leur réflexion spéculaire.

Les auteurs l'appliquent à deux images prises sous un même éclairage :

  • It(x,y)I_t(x,y), l'image d'un vrai visage ;
  • If(x,y)I_f(x,y), celle d'une présentation frauduleuse.

Toutes deux suivent la forme :

I(x,y)=fc(x,y)ρ(x,y)Alightcos⁡θI(x,y) = f_c(x,y) \rho(x,y) A_{\text{light}} \cos\theta

Si fc(x,y)f_c(x,y) est supposé constant :

It(x,y)=ρt(x,y)Alight(nt⋅s)I_t(x,y) = \rho_t(x,y) A_{\text{light}} (n_t \cdot s) If(x,y)=ρf(x,y)Alight(nf⋅s)I_f(x,y) = \rho_f(x,y) A_{\text{light}} (n_f \cdot s)

On peut réécrire ces termes :

It(x,y)=ρt(x,y)μt(x,y)I_t(x,y) = \rho_t(x,y) \mu_t(x,y) If(x,y)=ρf(x,y)μf(x,y)I_f(x,y) = \rho_f(x,y) \mu_f(x,y)

Avec μ(x,y)=Alight(n⋅s)\mu(x,y) = A_{\text{light}} (n \cdot s), l'image se décompose en une composante de réflexion ρ(x,y)\rho(x,y) et une composante d'éclairage μ(x,y)\mu(x,y). Chacune peut porter des indices permettant de différencier le vrai visage d'une photo.

Pour estimer μ\mu, les auteurs utilisent un lissage par variation totale logarithmique (Logarithmic Total Variation, LTV) :

μ=arg⁡min⁡μ∫Ω(∥∇μ∥1+λ∣I−μ∣) dx dy\mu = \arg \min_{\mu}\int_{\Omega} \left(\|\nabla\mu\|_1 + \lambda|I-\mu|\right)\,dx\,dy

Ils fixent λ\lambda à 0,5 par défaut.

La réflexion est ensuite calculée avec la formule de Retinex de Land :

log⁡(ρ(x,y))=log⁡(I(x,y)+1)−log⁡(μ(x,y)+1)\log(\rho(x,y)) = \log(I(x,y)+1) - \log(\mu(x,y)+1)

Dans les exemples de l'article, la composante μ\mu du vrai visage contient davantage de variations liées à la courbure de la surface. Celle d'une photo est plus lisse. Une image réimprimée puis reprise par caméra peut aussi perdre des détails au fil de ces étapes.

Pour rendre les différences plus visibles, les auteurs appliquent un filtre différence de gaussiennes (DoG), qui met en évidence certaines variations de fréquences moyennes à élevées :

  • l'écart-type de la gaussienne interne, σ0\sigma_0, vaut 0,5 ;
  • celui de la gaussienne externe, σ1\sigma_1, vaut 1,0.

Après filtrage, les composantes de fréquence élevée du vrai visage, notamment horizontales, sont plus marquées ; les fréquences moyennes de la photo paraissent plus déformées et floues.

Sous le même éclairage, le rapport μf/μt\mu_f/\mu_t dépend surtout des normales aux surfaces nfn_f et ntn_t. Cela laisse entrevoir l'utilisation d'une image de référence du vrai utilisateur pour repérer une attaque.

Les auteurs envisagent aussi une stratégie lorsque les éclairages diffèrent :

  • apprendre, par décomposition en valeurs singulières (SVD), KK directions lumineuses fréquentes dans les données, représentées par S∈R3×KS \in \mathbb{R}^{3\times K} ;
  • les associer à une matrice de normales estimées pour reconstruire l'image d'éclairage μ\mu, puis utiliser les coefficients vv comme caractéristiques du classifieur.

La décomposition LTV peut toutefois laisser passer des détails de texture dans μ\mu et rendre sa distribution non linéaire. Les expériences n'utilisent donc pas cette reconstruction par coefficients lumineux : elles apprennent directement un classifieur à partir des échantillons latents issus de la décomposition ou du filtrage.

Deux modèles de classification sont étudiés :

  • Régression logistique parcimonieuse : elle ajoute une régularisation ℓ1\ell_1 à la régression logistique pour limiter le surapprentissage avec des images de grande dimension et peu d'exemples.
  • Régression logistique bilinéaire parcimonieuse et de faible rang : elle conserve la structure bidimensionnelle de l'image en factorisant W=LRW = LR. La régularisation ℓ2,1\ell_{2,1} sur LL et RR favorise la parcimonie par groupes et un rang faible ; une descente alternée par blocs optimise les facteurs jusqu'à convergence.

Une autre extension applique une transformation par noyau ϕ\phi, définie à partir des exemples d'entraînement, puis une régression logistique parcimonieuse dans ce nouvel espace. Il s'agit d'une variante non linéaire distincte du modèle bilinéaire précédent.

Les auteurs décrivent cette variante à noyau comme un modèle probabiliste non paramétrique : la dimension des caractéristiques croît avec le nombre d'exemples, tandis que la régularisation ℓ1\ell_1 favorise une solution parcimonieuse. Ils comparent la complexité de leur solveur à pSVM, RVM et IVM.

Après toutes ces formules, les auteurs donnent heureusement une image pour expliquer les caractéristiques étudiées.

La rangée du haut montre un vrai visage, celle du bas une photo présentée à la caméra. Chaque colonne représente une image latente obtenue par décomposition ou filtrage.

Parcourons-les une à une :

  • Colonne 1 : les images originales, avec le vrai visage en haut et la photo réimprimée en bas.
  • Colonne 2 : les images d'éclairage μ\mu estimées par LTV. Celle du vrai visage montre davantage de variations liées à la surface ; celle de la photo est plus lisse.
  • Colonne 3 : les images de réflexion ρ\rho estimées par LTV. Elles isolent davantage la matière et la texture de la surface, qui diffèrent entre une peau et une impression.
  • Colonne 4 : le spectre de Fourier centré des images originales ; il montre la répartition globale des fréquences spatiales.
  • Colonne 5 : le spectre de Fourier centré après filtrage DoG. Par rapport à la colonne précédente, une partie du bruit de haute fréquence est atténuée ; les auteurs observent aussi des différences directionnelles aux fréquences moyennes.

Données d'entraînement et de validation

Les données ont été filmées avec des webcams ordinaires peu coûteuses pendant trois séances séparées d'environ deux semaines, dans des conditions de lumière et d'environnement différentes. Quinze personnes ont participé. Chaque séance comprend environ 500 images de visages réels, capturées à 20 images par seconde, et des attaques par photographie correspondantes.

Les photos utilisées pour l'attaque sont d'abord prises avec un appareil de haute qualité, puis imprimées à différentes tailles sur papier photo ou sur feuille A4 en couleur. Les deux premières séances fournissent l'entraînement, avec environ 1 743 images réelles et 1 748 attaques. La troisième fournit le test, avec 3 362 images réelles et 5 761 attaques ; certaines personnes n'apparaissent que dans ce jeu de test.

Les visages sont détectés, les yeux localisés, puis les images alignées, recadrées à 64 × 64 pixels et converties en niveaux de gris. Le tableau suivant donne les détails :

Discussion

Évaluation de la régression linéaire parcimonieuse

Les auteurs commencent par tester différentes caractéristiques avec une régression logistique linéaire parcimonieuse (SLR). À gauche, chaque courbe correspond à une entrée différente :

  • RAW, l'image grise d'origine : elle sépare mal les vrais visages des photos.
  • LTVu, l'image d'éclairage issue de LTV : elle obtient aussi de mauvais résultats avec ce classifieur linéaire, malgré les informations d'éclairage qu'elle contient.
  • LTVp, l'image de réflexion issue de LTV : son AUC monte à environ 0,78 ; la matière et la texture apportent donc des indices plus utiles.
  • DoG, l'image filtrée par différence de gaussiennes : elle atteint environ 0,75 d'AUC, ce qui suggère l'intérêt de certaines fréquences moyennes.
  • HF, une partie des hautes fréquences : l'AUC n'est que d'environ 0,69. Ces détails sont aussi sensibles au bruit et aux dégradations.

Avec SLR, LTVp et DoG surpassent RAW et LTVu. Les caractéristiques de réflexion et certaines fréquences intermédiaires semblent donc utiles dans cette tâche ; les hautes fréquences seules restent moins stables. Les expériences suivantes écartent l'image brute comme entrée.

À droite, les auteurs gardent la même entrée DoG et comparent plusieurs modèles linéaires parcimonieux :

  • SLR standard : environ 0,75 d'AUC, utilisée comme référence ;
  • SLRBLR, régression bilinéaire parcimonieuse de faible rang : environ 0,92 d'AUC grâce à la structure spatiale et à la contrainte de rang ;
  • SLRBLRr1, cas particulier de rang 1 : environ 0,95 d'AUC sur cette expérience DoG, au-dessus des deux précédents.

Sur cette entrée, les courbes ROC et leurs AUC favorisent les modèles bilinéaires ; le rang 1 arrive en tête. Le graphique ne permet pas d'attribuer le gain à une seule direction de variation.

Du côté des caractéristiques, LTVp et DoG sont meilleures que RAW et LTVu avec SLR. Du côté du classifieur, la structure bilinéaire de faible rang améliore encore l'AUC sur DoG.

Pour cette expérience, l'AUC de DoG passe ainsi d'environ 0,75 avec SLR à 0,95 avec le modèle bilinéaire de rang 1.

Évaluation des classifieurs

Les auteurs étendent également le modèle linéaire en régression logistique parcimonieuse non linéaire (SNLR). Les courbes de gauche montrent ses résultats avec plusieurs entrées ; une frontière non linéaire améliore fortement certaines d'entre elles.

Pour LTVu, l'AUC n'est que d'environ 0,22 avec le classifieur linéaire, contre 0,92 avec SNLR. La composante d'éclairage contient donc une information potentiellement utile, qu'un modèle linéaire exploite mal dans ce protocole.

La réunion de LTVp et LTVu atteint 0,94 d'AUC avec SNLR, ce qui suggère que les deux composantes apportent des informations complémentaires.

À faible taux de faux positifs, la courbe ROC de DoG monte plus rapidement. Les auteurs jugent cette entrée intéressante pour l'usage pratique ; sur l'ensemble de la courbe, la combinaison LTVp + LTVu reste elle aussi performante.


À droite, la figure compare la précision de classification globale de SLR, SNLR et d'une SVM probabiliste selon la caractéristique d'entrée. Les 9 123 images de test sont classées à l'aide d'un seuil approprié, puis on compte la proportion de bonnes réponses.

Avec DoG, SNLR et SVM font mieux que SLR. Mais LTVu et la combinaison LTVp + LTVu obtiennent une meilleure précision globale avec SNLR ou SVM : DoG n'est pas la meilleure entrée pour chaque modèle. HF est nettement moins bon avec SVM et proche de DoG avec SLR.

L'article rapporte aussi 76,7 % de précision pour une ancienne méthode fondée sur le spectre de Fourier, environ dix points de moins que DoG avec les classifieurs non linéaires. Ce résultat n'est pas tracé dans le graphique de droite. Les composantes LTVp et LTVu fonctionnent bien elles aussi avec les modèles non linéaires ; les réunir apporte un léger gain supplémentaire.

En résumé, DoG avec un classifieur parcimonieux non linéaire est intéressant à faible taux de faux positifs, tandis que la meilleure précision globale du graphique dépend du couple entrée-classifieur.

Conclusion

Cet article propose de décomposer une seule image selon un modèle physique de réflexion, puis d'apprendre sur ces composantes pour distinguer un vrai visage d'une photographie présentée à la caméra. Il donne ainsi une méthode de conception de caractéristiques que l'on peut tester.

L'approche est non intrusive, rapide et ne demande pas d'appareil supplémentaire dans les conditions de webcam et d'attaques photographiques étudiées. Son déploiement réel exige toutefois des essais adaptés aux appareils, aux environnements et aux attaques visés.

Les travaux ultérieurs ont exploré d'autres méthodes et d'autres données. Cette étude ancienne reste utile pour comprendre la décomposition d'image et la conception des caractéristiques.