Retour à la bibliothèque

LBP

La légèreté des microtextures

Article original

On the Effectiveness of Local Binary Patterns in Face Anti-spoofing

Auteurs de l’article

Ivana Chingovska · André Anjos · Sébastien Marcel

Publication
BIOSIG 2012Conférence
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@inproceedings{faceantispoofinglbp2012,
  title = {{On the Effectiveness of Local Binary Patterns in Face Anti-spoofing}},
  author = {Ivana Chingovska and André Anjos and Sébastien Marcel},
  year = {2012},
  booktitle = {BIOSIG},
  url = {https://publications.idiap.ch/publications/showlist/year/44}
}
Sur cette page

Commençons par définir quelques notions importantes :

  1. Détection active de la vivacité : l'utilisateur accomplit une action demandée par le système, comme cligner des yeux ou tourner la tête. Le système vérifie ensuite que cette réponse correspond à la consigne pour confirmer l'identité.
  2. Détection passive de la vivacité : l'utilisateur effectue ses gestes naturels, par exemple regarder la caméra ou sourire, sans suivre de consigne particulière. Le système cherche alors des indices de vivacité pour confirmer l'identité.

En bref, l'approche passive cherche à vérifier l'identité sans imposer d'action supplémentaire à l'utilisateur. Elle peut ainsi rendre l'expérience plus commode et réduire l'effort demandé pendant l'authentification.

Présenté ainsi, le gain de confort semble évident. Mais les consignes actives prévisibles peuvent aussi être imitées : un attaquant pourrait enregistrer les gestes d'une personne et tenter de rejouer la vidéo devant le système. La réussite dépend toutefois des vérifications réellement mises en place.

Définir le problème

Selon les auteurs, les études antérieures simplifient encore trop les scénarios d'attaque et les jeux de données. Elles ne reflètent donc pas entièrement la diversité et la complexité des usages réels. Les auteurs cherchent à proposer une amélioration plus utile en pratique.

L'article distingue plusieurs types d'attaque :

  1. Print Attack : tromper le système avec une photographie imprimée.
  2. Mobile Attack : afficher une photographie ou une vidéo sur l'écran d'un téléphone.
  3. Highdef Attack : afficher une photographie ou une vidéo sur un écran haute définition.

Dans la figure suivante, la première colonne montre un véritable utilisateur ; les trois autres montrent respectivement Print Attack, Mobile Attack et Highdef Attack.

Pour représenter ces scénarios plus fidèlement, les auteurs ont créé le jeu public REPLAY-ATTACK. Ils ont aussi repensé l'extraction des caractéristiques à partir de l'approche LBP à plusieurs échelles étudiée dans la littérature :

  • Ils retiennent une variante LBP (Local Binary Patterns) plus simple, concentrée sur les informations essentielles de texture, afin de réduire le coût de la détection.

Cette piste s'inspire principalement de l'étude suivante :

Pour faciliter la comparaison, nous l'appellerons ci-dessous la référence [7], comme dans l'article.

Les auteurs mettent en avant deux différences avec cette référence :

  • Des attaques et des données plus proches de l'usage réel : la référence [7] n'utilise que NUAA, qui ne contient que des attaques par photographie imprimée sur des images fixes. La diversité des attaques réelles y est donc peu représentée.
  • Des caractéristiques plus simples et moins coûteuses : les caractéristiques LBP à plusieurs échelles de la référence [7] classent bien les images, mais leur vecteur de 833 dimensions entraîne un coût de calcul non négligeable.

Résoudre le problème

La figure ci-dessus résume le fonctionnement de cet algorithme anti-usurpation fondé sur LBP.

Le système reçoit d'abord une image. Pour chaque image d'une vidéo, il détecte le visage, normalise la région faciale à 64 × 64 pixels, puis extrait ses caractéristiques. Si aucun visage n'est détecté dans une image, il reprend la dernière position détectée avec succès ; s'il n'en existe pas, il écarte cette image.

Deux stratégies d'extraction sont ensuite possibles :

  1. Option 1 : calculer LBP sur toute l'image et produire un histogramme de 59 dimensions, qui devient le vecteur de texture de cette image.
  2. Option 2 : diviser l'image en une grille de 3 × 3 blocs, calculer un histogramme LBP dans chaque bloc, puis concaténer les neuf histogrammes en un vecteur de 531 dimensions.

Ces vecteurs sont enfin soumis à un classifieur binaire qui décide si l'accès est authentique ou frauduleux.

Regardons chaque étape de plus près.

Local Binary Patterns

Pour chaque pixel d'une image en niveaux de gris I(x,y)I(x,y), l'opérateur LBP de base examine un voisinage de 3 × 3 pixels.

La valeur du pixel central est I(x,y)I(x,y) ; celles de ses huit voisins sont {I(xp,yp)}p=07\{I(x_p,y_p)\}_{p=0}^{7}.

On définit la fonction de comparaison suivante pour chaque voisin :

s(z)={1,if z≥0,0,if z<0.s(z)= \begin{cases} 1, & \text{if } z \geq 0, \\ 0, & \text{if } z < 0. \end{cases}

La valeur LBP du pixel central s'écrit alors :

LBP(x,y)=∑p=07s(I(xp,yp)−I(x,y))⋅2p.LBP(x,y) = \sum_{p=0}^{7} s\big(I(x_p,y_p) - I(x,y)\big) \cdot 2^p.

Les huit comparaisons, chacune égale à 0 ou 1, forment ainsi un nombre binaire de huit bits compris entre 00 et 28−1=2552^8-1 = 255.

Uniform LBP

L'article note les motifs LBP uniformes LBPu2LBP^{u2}.

Parmi les motifs binaires possibles sur huit bits, un motif est dit « uniforme » si, en parcourant les bits circulairement, il comporte au plus deux transitions de 0 à 1 ou de 1 à 0.

Formellement, pour une suite binaire b0b1…bP−1b_0b_1\ldots b_{P-1} (ici P=8P=8), le motif est uniforme lorsque le nombre de transitions UU vérifie :

U(b0,…,bP−1)≤2,U(b_0,\ldots,b_{P-1}) \leq 2,

Un motif qui satisfait cette condition est dit uniforme.

Tous les motifs non uniformes sont rassemblés dans une seule classe. Avec huit voisins, les 58 motifs uniformes et cette classe supplémentaire donnent un histogramme de 59 dimensions.

Construction du vecteur de caractéristiques

  • (1) Caractéristiques par image

    • Histogramme global : on calcule LBP3×3u2LBP^{u2}_{3\times3} pour les pixels de toute la région faciale, généralement après normalisation du rectangle du visage à 64 × 64 pixels. Les occurrences de chaque motif uniforme, ainsi que de la classe non uniforme, forment un histogramme de 59 dimensions. Une fois normalisé, il sert de vecteur de texture pour l'image.
  • (2) Caractéristiques par blocs

    • Histogrammes locaux : on divise le visage normalisé en 3×33\times3 blocs et on calcule un histogramme LBP de 59 dimensions dans chacun. Leur concaténation donne un vecteur de 59×9=53159\times9 = 531 dimensions, capable de décrire plus finement les différences locales de texture, par exemple sur le front ou les joues.

Variantes de LBP

Outre LBP3×3u2LBP^{u2}_{3\times3}, l'article évalue plusieurs variantes :

  • tLBP (Transitional LBP) : compare successivement deux voisins adjacents autour du pixel central, de manière circulaire, pour former un motif binaire. Il met en valeur les transitions entre voisins.
  • dLBP (Direction-coded LBP) : code sur deux bits les variations d'intensité dans chacune des quatre directions principales passant par le pixel central, afin de capturer des informations directionnelles.
  • mLBP (Modified LBP) : proche de la Modified Census Transform (MCT), il compare les voisins à l'intensité moyenne du voisinage 3 × 3 plutôt qu'au seul pixel central, et laisse de côté la comparaison entre le pixel central et cette moyenne. Cela limite l'effet du bruit présent sur le pixel central.

Classifieurs

Les caractéristiques LBP étant des histogrammes normalisés, le premier classifieur testé repose sur une comparaison d'histogrammes par distance χ2\chi^2 :

  • à l'entraînement, on calcule puis moyenne les histogrammes des accès authentiques pour obtenir un histogramme de référence ;
  • pour une image à examiner, on calcule son histogramme LBP, puis sa distance χ2\chi^2 à cette référence pour obtenir un score de classification.

L'article examine aussi l'analyse discriminante linéaire (LDA) et les machines à vecteurs de support (SVM). Sur REPLAY-ATTACK, ces deux classifieurs obtiennent un HTER de test inférieur à celui de la simple comparaison χ2\chi^2.

Présentation du jeu de données

L'article introduit le jeu de données public REPLAY-ATTACK, destiné à l'étude de la détection des attaques contre les systèmes de reconnaissance faciale. En voici les principales caractéristiques :

  • Nom : REPLAY-ATTACK.
  • Taille : 50 sujets et 1 200 vidéos, soit 24 vidéos par sujet.
  • Durée et format : 15 secondes par vidéo, résolution de 320 × 240 pixels (QVGA), 25 images par seconde. Les vidéos d'attaque durent environ 10 secondes dans le protocole décrit par l'article.
  • Conditions de prise de vue : deux environnements fixes :
    1. Controlled : fond uniforme et éclairage fluorescent ;
    2. Adverse : fond non uniforme et lumière du jour.
  • Appareil de capture : les séquences sont enregistrées avec un ordinateur portable Apple MacBook de 13 pouces, le sujet assis face à la caméra.
  • Types d'attaque :
    1. Print : photographie haute définition imprimée sur papier A4 avec une imprimante laser Triumph-Adler DCC 2520 ;
    2. Mobile : photographie ou vidéo enregistrée avec un iPhone 3GS, puis affichée sur son écran ;
    3. Highdef : contenu haute définition photographié avec un Canon PowerShot SX150 IS, puis affiché sur un iPad de 1 024 × 768 pixels.
  • Modes de présentation : chaque attaque est réalisée de deux façons :
    1. Hand-based : l'opérateur tient le support à la main, ce qui provoque de légers mouvements et peut parfois tromper un détecteur de clignements ;
    2. Fixed-support : le support reste immobile sur un dispositif fixe.
  • Répartition : les sujets sont distribués aléatoirement entre les ensembles d'entraînement, de développement et de test, sans chevauchement d'identité. Les vidéos d'attaque sont également distinguées selon le support tenu à la main ou fixé.
  • Protocole d'apprentissage : l'ensemble d'entraînement sert à apprendre le modèle, celui de développement au réglage des paramètres et du seuil ; le test est réservé à l'évaluation finale.
  • Données complémentaires : 100 vidéos d'enrôlement, capturées sous les mêmes conditions d'éclairage, permettent d'entraîner un système de reconnaissance faciale de base et d'évaluer l'efficacité des attaques.
  • Disponibilité : le jeu de données, son protocole et le code source ont été rendus publics.
  • Adresse du jeu de données : REPLAY-ATTACK.

Le tableau ci-dessus répartit les vidéos de REPLAY-ATTACK entre ses différents sous-ensembles.

Méthode d'évaluation

Un système de détection peut commettre deux types d'erreur :

  • False Rejection Rate (FRR) : proportion des accès authentiques rejetés à tort ;
  • False Acceptance Rate (FAR) : proportion des attaques acceptées à tort.

Leur moyenne est le Half Total Error Rate (HTER) :

HTER=FAR+FRR2\text{HTER} = \frac{\text{FAR} + \text{FRR}}{2}

Comme FAR et FRR dépendent du seuil de décision, on peut présenter les résultats au moyen d'une courbe ROC. L'EER, taux d'erreur égal obtenu lorsque FAR et FRR coïncident, sert à choisir le seuil sur l'ensemble de développement ; le HTER est ensuite mesuré sur l'ensemble de test.

  • Plus le HTER est faible, plus le système distingue correctement les vrais accès des attaques.

Les auteurs évaluent leur méthode sur REPLAY-ATTACK, NUAA et CASIA-FASD.

NUAA et CASIA-FASD n'ayant pas d'ensemble de développement indépendant, les auteurs découpent les données d'entraînement en cinq plis, utilisent tour à tour un pli pour le développement et rapportent la moyenne des HTER obtenus sur le test.

Discussion

Comparaison des caractéristiques LBP

Ce tableau donne le HTER obtenu sur REPLAY-ATTACK en comparant différentes variantes LBP avec le classifieur fondé sur la distance d'histogrammes χ2\chi^2.

  • LBP3×3u2^{u2}_{3\times3} : cette variante uniforme courante calcule un code LBP dans un voisinage 3 × 3 et regroupe les motifs comptant au plus deux transitions. Elle produit un histogramme de 59 dimensions.
  • mLBP (modified LBP) : la comparaison binaire utilise d'abord l'intensité moyenne du voisinage 3 × 3 ; les voisins sont comparés à cette moyenne, tandis que la comparaison du centre à la moyenne est écartée.

Le tableau évalue aussi tLBP et dLBP. Parmi les quatre variantes, mLBP obtient le HTER de test le plus faible (33,68 %), suivi de LBP3×3u2^{u2}_{3\times3} (34,01 %), de tLBP (35,35 %) et de dLBP (40,26 %).

Malgré le léger avantage de mLBP, les auteurs conservent LBP3×3u2^{u2}_{3\times3}, plus courant, pour les comparaisons suivantes. Cela facilite la comparaison entre méthodes ; mLBP nécessite en outre le calcul de la moyenne locale.

Comparaison entre jeux de données

  • ∗ (astérisque) : méthode de la référence [7] reproduite avec la boîte à outils Bob pour l'extraction et la classification.
  • ‡ (double obèle) : résultat original rapporté par la référence [7], avec des caractéristiques LBP générées sous Matlab et une classification par LibSVM.
  • § (signe paragraphe) : caractéristiques fournies par les auteurs de la référence [7], puis classées avec Bob.

Pour comparer les méthodes sur trois jeux publics, les auteurs mesurent le HTER de leurs caractéristiques LBP. REPLAY-ATTACK suit une répartition fixe entre entraînement, développement et test. Seuls NUAA et CASIA-FASD, qui n'ont pas d'ensemble de développement indépendant, utilisent cinq découpages des données d'entraînement ; le tableau rapporte la moyenne des HTER de test correspondants.

Les caractéristiques retenues diffèrent selon le jeu : REPLAY-ATTACK utilise l'histogramme global, tandis que NUAA et CASIA-FASD utilisent les histogrammes par blocs.

Les résultats montrent que ce choix influe sur la classification :

  • Sur REPLAY-ATTACK, les HTER des caractéristiques globales et des neuf blocs sont proches. Les auteurs retiennent l'histogramme global, moins coûteux en calcul et en mémoire.
  • Sur NUAA et CASIA-FASD, les caractéristiques par neuf blocs donnent de meilleurs résultats et sont donc utilisées dans le tableau. L'article n'attribue pas cette différence à la qualité des images.

Sur NUAA, le pli de développement provient des données d'entraînement : son HTER est très faible, alors que celui du test est nettement plus élevé. Les auteurs y voient un signe possible de surapprentissage et soulignent l'intérêt d'un ensemble de développement distinct.

Du point de vue du modèle, sur le test REPLAY-ATTACK, le vecteur de 833 dimensions de la référence [7] avec SVM atteint un HTER inférieur de 1,29 point de pourcentage à celui du vecteur de 59 dimensions étudié ici avec SVM (13,87 % contre 15,16 %). Le vecteur plus grand alourdit cependant le SVM. Même avec 59 dimensions, le modèle compte déjà 25 717 vecteurs de support : le coût de la classification à l'exécution doit être pris en compte.

Conclusion

À une époque où l'apprentissage profond n'était pas encore dominant, les auteurs rappelaient déjà qu'une bonne reconnaissance faciale ne suffit pas à elle seule à protéger un système contre une présentation frauduleuse. Ce constat garde son intérêt aujourd'hui, même si la place exacte d'un module de détection dépend du système et de ses menaces.

REPLAY-ATTACK comptait parmi les jeux publics de son époque qui étudiaient plusieurs attaques par vidéo. Il couvre Print, Mobile et Highdef, plusieurs supports et conditions de prise de vue, ainsi qu'un protocole complet d'entraînement, de développement et de test. Il a fourni un point de comparaison utile aux recherches ultérieures sur la détection des attaques.

Du point de vue actuel, les caractéristiques LBP restent simples à calculer et à reproduire. L'article montre toutefois des performances modérées et variables selon les attaques : il ne suffit donc pas de leur faible coût pour conclure qu'elles seraient adaptées à tout système contemporain.