Retour à la bibliothèque

VA-FAS

Un visage dans les ondes sonores

Article original

Multi-Modal Face Authentication using Deep Visual and Acoustic Features

Auteurs de l’article

Bing Zhou · Zongxing Xie · Fan Ye

Publication
ICC 2019Conférence
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@inproceedings{faceantispoofingvafas2019,
  title = {{Multi-Modal Face Authentication using Deep Visual and Acoustic Features}},
  author = {Bing Zhou and Zongxing Xie and Fan Ye},
  year = {2019},
  booktitle = {ICC},
  url = {https://doi.org/10.1109/icc.2019.8761776},
  doi = {10.1109/icc.2019.8761776}
}
Sur cette page

Les auteurs de cet article n'ont pas donné de nom concis à leur méthode. Nous allons donc reprendre ses deux composantes, Visual et Acoustic, et l'appeler VA-FAS.

Définir le problème

Sur smartphone, « montrer son visage » fait depuis longtemps partie du rituel de déverrouillage.

Pour empêcher une photo de tromper la caméra, certaines méthodes cherchent dans le flux vidéo des indices temporels, comme le clignement des yeux, le mouvement des lèvres ou de légers mouvements de tête. D'autres examinent les anomalies spatiales de l'image pour décider si la personne est réelle.

Cela paraît raisonnable. Mais une vidéo haute résolution peut reproduire certains de ces indices et mettre en échec une méthode qui ne repose que sur eux.

Quand les seuls indices RGB ne suffisent plus à assurer la sécurité, une deuxième voie consiste à placer d'autres capteurs près de la caméra.

Face ID, par exemple, utilise la lumière infrarouge structurée pour mesurer la géométrie 3D du visage et relever la difficulté d'une attaque. Certains smartphones Android haut de gamme ajoutent aussi un capteur ToF ou deux caméras.

Cette stratégie de « renforcement matériel » peut toutefois rencontrer trois obstacles :

  • Coût : les modules dédiés augmentent la nomenclature des composants et sont difficiles à intégrer aux appareils moins chers.
  • Espace : la zone autour de la caméra frontale est limitée ; chaque capteur supplémentaire prend de la place à l'écran.
  • Dépendance à un écosystème : capteurs et algorithmes sont étroitement liés, ce qui complique leur reprise sur d'autres plateformes.

Sur les téléphones dépourvus de capteur de profondeur dédié, il faut encore renforcer la détection de vivacité avec la caméra frontale, le haut-parleur et le microphone déjà présents.

Il nous faut donc une troisième voie : donner une dimension de profondeur à la reconnaissance faciale sans ajouter de matériel.

Les auteurs se tournent alors vers les ondes sonores :

Ces signaux réfléchis que le téléphone pouvait déjà mesurer, mais auxquels on prêtait peu d'attention.

Le son peut-il ajouter de la profondeur à une image 2D ? Associé à l'image, peut-il vraiment combler la faille exploitée par une attaque vidéo ?

Résoudre le problème

Les auteurs proposent un système d'authentification faciale associant acoustique et vision. Il cherche à renforcer la vérification de vivacité sur smartphone sans matériel supplémentaire.

Le système comporte trois modules :

  1. Extraction des caractéristiques acoustiques
  2. Extraction des caractéristiques visuelles
  3. Fusion multimodale et classification

Des CNN extraient les caractéristiques acoustiques et visuelles. Celles-ci sont concaténées en un vecteur commun, puis un SVM à une classe prend la décision.

L'architecture est assez simple. Voyons chaque module de plus près.

Extraction des caractéristiques acoustiques

Les auteurs utilisent le haut-parleur de l'écouteur et le microphone supérieur du téléphone comme paire émission-réception. Ces composants, présents sur de nombreux smartphones, se trouvent près de la caméra frontale, ce qui limite les écarts de position entre les mesures acoustiques et visuelles.

Le signal émis est un chirp linéaire montant de 16 à 22 kHz, presque inaudible pour la plupart des personnes, même si le bas de cette bande peut encore être entendu. C'est un signal de type FMCW (Frequency-Modulated Continuous Wave) : un écart de fréquence permet d'estimer la longueur du trajet réfléchi.

Pour améliorer la qualité du signal, le système :

  • émet de brèves impulsions afin de limiter l'auto-interférence du haut-parleur ;
  • applique une fenêtre de Hann, appelée « Hanning window » dans l'article, pour adoucir les bords du signal et stabiliser sa représentation temps-fréquence.

Voici le traitement du signal :

Le signal enregistré traverse d'abord un filtre passe-bande de Butterworth (16–22 kHz), qui atténue le bruit de fond.

Dans la forme d'onde obtenue, on distingue :

  • Le trajet direct : du haut-parleur au microphone, généralement avec l'amplitude la plus forte ;
  • L'écho du visage : le signal réfléchi notamment par le front, le nez et les joues ;
  • Le bruit et les autres réflexions : provenant par exemple d'une table ou d'un col de vêtement, qu'il faut écarter.

Le découpage se fait ainsi :

  • la détection des pics repère le trajet direct ;
  • une corrélation croisée, avec le gabarit du trajet direct enregistré lors de l'inscription dans un environnement calme, localise ensuite la portion de l'écho facial.

Si plusieurs pics semblables rendent cette localisation incertaine, une estimation de la distance au visage obtenue par la caméra frontale réduit la zone de recherche. Par exemple, si l'écartement apparent des yeux augmente dans l'image, le visage se rapproche et la position attendue de l'écho peut être ajustée.

La portion retenue est prolongée de 10 échantillons de chaque côté, afin de conserver une plage d'environ 7 cm en profondeur.

L'écho subit ensuite une conversion FMCW en distance, illustrée ci-dessous :

La FMCW relie le retard temporel à un décalage de fréquence. Pour l'approximation d'un émetteur et d'un récepteur proches, sans tenir compte d'un éventuel mouvement, la distance aller simple peut s'écrire :

d=c⋅Δf⋅T2Bd = \frac{c \cdot \Delta f \cdot T}{2B}

avec :

  • dd : la distance ;
  • cc : la vitesse du son ;
  • Δf\Delta f : l'écart de fréquence entre signaux reçu et émis ;
  • TT : la durée du chirp ;
  • BB : sa bande passante (6 kHz).

L'écart de fréquence obtenu par mélange des signaux est transformé en spectrogramme.

Nous transmettons ce spectrogramme à un CNN préentraîné, fondé sur l'architecture EchoPrint. Après retrait de la dernière couche de classification, il produit un vecteur de 128 dimensions. Ce vecteur décrit des échos influencés par la géométrie et la matière du visage ; il ne reconstruit pas explicitement un visage 3D.

Extraction des caractéristiques visuelles

Après l'acoustique vient le traitement de l'image, en quatre étapes :

  1. Détection du visage : un détecteur HOG préentraîné repère le visage et ses points caractéristiques ;
  2. Transformation affine : ces points sont alignés sur un gabarit ;
  3. Découpage et redimensionnement : on obtient une image d'entrée de taille fixe ;
  4. Extraction des caractéristiques : l'image du visage est transmise au CNN visuel.

L'extraction utilise une version simplifiée d'OpenFace, issue du modèle nn4 de FaceNet, entraînée avec une perte de classification et une perte triplet. Elle produit un vecteur visuel de 128 dimensions.

Concaténation des caractéristiques

Les deux vecteurs sont simplement concaténés en un vecteur commun de 256 dimensions :

z=[a ∥ v]∈R256\mathbf{z} = [\mathbf{a} \,\|\, \mathbf{v}] \in \mathbb{R}^{256}

Le classifieur est un SVM à une classe. À partir des seuls échantillons de l'utilisateur inscrit, il établit une frontière dans l'espace des caractéristiques et traite les autres personnes comme des anomalies. Il n'a donc pas besoin d'échantillons d'attaque pour son apprentissage. Le classifieur personnalisé est relativement léger, mais le prototype délègue encore l'extraction visuelle à un serveur : la chaîne complète ne fonctionne pas hors ligne.

Le système final est montré ci-dessous. Une fois le visage placé dans la zone valide, le prototype recueille le son et l'image. Comme l'extraction visuelle est confiée à un serveur, le délai réel dépend aussi du transfert réseau.

Discussion

Données et protocole expérimental

  • Participants : 10 volontaires, absents des données d'entraînement du modèle acoustique ;

  • Échantillons acoustiques : environ deux minutes d'enregistrement par personne, pour 13 806 échantillons au total ;

  • Images : 20 photos du visage par personne ; des images voisines sont interpolées pour faire correspondre les quantités ;

  • Supports d'attaque : cinq types de faux visages, notamment :

    • des photos imprimées, des écrans, des surfaces de carton, des affiches murales et des statues.

Les données proviennent d'environnements non contrôlés, avec divers éclairages et bruits de fond, afin d'éprouver l'utilité pratique du système.

Quatre indicateurs servent à mesurer ses performances :

Precision=TPTP+FP,Recall=TPTP+FN\text{Precision} = \frac{TP}{TP + FP}, \quad \text{Recall} = \frac{TP}{TP + FN} F1=2PRP+R,BAC=12(TPTP+FN+TNTN+FP)\text{F1} = \frac{2PR}{P + R}, \quad \text{BAC} = \frac{1}{2} \left( \frac{TP}{TP + FN} + \frac{TN}{TN + FP} \right)

Ici :

  • une précision élevée signifie qu'une forte proportion des échantillons acceptés appartient à l'utilisateur légitime, considéré comme la classe positive ; ce n'est pas le taux de fausses acceptations ;
  • un rappel élevé signifie que moins d'utilisateurs légitimes sont rejetés par erreur ;
  • F1 et BAC résument les résultats de deux façons différentes. Le BAC accorde le même poids au rappel des classes positive et négative.

Les données sont réparties à raison de 80 % pour l'entraînement et 20 % pour le test. Les images interpolées et les segments acoustiques proches ne constituent toutefois pas une évaluation indépendante entre sessions ou appareils. Le modèle est un SVM à une classe, entraîné pour chaque utilisateur uniquement sur ses propres échantillons. Dans l'expérience de vérification d'identité, les échantillons d'autres personnes servent de négatifs ; les attaques par photo et écran sont testées séparément. Le même protocole est appliqué aux modalités acoustique, visuelle et fusionnée pour permettre leur comparaison.

Résultats de la vérification bimodale

Le tableau ci-dessus présente les résultats : dans chaque case, la valeur de gauche est la moyenne et celle de droite la médiane.

Dans ce test d'identité, les caractéristiques fusionnées (acoustic + visual) atteignent en moyenne 94,07 % de score F et 94,42 % de BAC. Elles ne dominent pourtant pas tous les indicateurs.

La précision moyenne des seules caractéristiques visuelles est de 100 %, contre 99,96 % pour la fusion. Le rappel moyen acoustique est de 89,83 %, contre 88,84 % pour la fusion. Les auteurs ont aussi testé le prototype avec des photos et des visages affichés sur écran : aucune attaque réussie contre la fusion n'a été observée dans ces essais. Ils reconnaissent toutefois la nécessité d'expériences d'attaque plus vastes.

Dans un essai avec une seule paire de sœurs jumelles, le modèle fusionné parvient à distinguer les deux personnes. Ce résultat préliminaire ne suffit ni à établir sa performance générale sur les jumeaux, ni à déterminer quelle modalité a été décisive.

Effet du bruit de fond

L'intérêt pratique du module acoustique dépend de sa stabilité dans un environnement réel. Les auteurs répètent donc la collecte et la reconnaissance dans un laboratoire bruyant et dans une salle de classe où des personnes parlent.

Ils n'observent pas de baisse nette des performances dans ces deux situations. L'article ne fournit toutefois pas de chiffres distincts pour chaque environnement.

Conclusion

Cet article compte parmi les premières explorations pratiques du son comme indice de vivacité. Avec les contraintes matérielles de l'époque, il propose une piste réalisable.

Il n'exige pas de nouveau capteur et ne part pas de conditions de données idéales. Son prototype dépend néanmoins de l'alignement du visage, de modèles préentraînés et d'un serveur pour les caractéristiques visuelles ; l'essai sur dix personnes établit une faisabilité.

Il reste une question très concrète, posée avec les ressources dont on dispose :

Si le téléphone n'a qu'un microphone, un haut-parleur et une caméra frontale, quelle marge nous reste-t-il pour nous défendre ?

La réponse explorée ici : dans les essais de ce prototype, le visage dans les ondes sonores a bien apporté son aide.