Retour à la bibliothèque

Echo-FAS

L'écho de l'imitation

Article original

Beyond the Pixel World: A Novel Acoustic-Based Face Anti-Spoofing System for Smartphones

Auteurs de l’article

Chenqi Kong · Kexin Zheng · Shiqi Wang · Anderson Rocha · Haoliang Li

Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@article{faceantispoofingechofas2022,
  title = {{Beyond the Pixel World: A Novel Acoustic-Based Face Anti-Spoofing System for Smartphones}},
  author = {Chenqi Kong and Kexin Zheng and Shiqi Wang and Anderson Rocha and Haoliang Li},
  year = {2022},
  journal = {IEEE Transactions on Information Forensics and Security},
  url = {https://doi.org/10.1109/tifs.2022.3202115},
  doi = {10.1109/tifs.2022.3202115}
}
Sur cette page

On ne croise pas tant d'articles qui appliquent les ondes sonores à la détection des attaques par présentation du visage (FAS).

Dans nos lectures, il y en a peut-être un ou deux par an qui retiennent davantage l'attention.

Définition du problème

L'évolution de la FAS ressemble à une fouille toujours plus profonde des indices de reconnaissance.

Nous avons lu les superpositions de LBP, les gradients de HOG, les scintillements des cartes CNN à haute fréquence. Nous avons même cherché un rythme de vie dans les battements mesurés par rPPG. Chaque nouveau moyen de falsification nous pousse à redéfinir ce qui fait preuve de vie.

Une chose, pourtant, change peu :

  • Quels que soient les caractéristiques, les modalités et les fonctions de perte ajoutées, ces méthodes dépendent encore beaucoup de ce qu'elles « voient ».

Voir plus, voir plus finement, voir plus juste.

Mais dans la pratique ?

L'objectif peut porter des traces de doigts, la lumière peut surexposer le visage, et l'utilisateur ne se place pas toujours à l'angle rêvé par l'algorithme.

Les systèmes fondés sur le RGB rencontrent aussi des difficultés connues :

  • Le décalage de domaine entre un nouveau téléphone et un ancien modèle ;
  • La différence spectrale entre lumière intérieure et soleil extérieur ;
  • L'écart entre distribution d'entraînement et conditions d'inférence.

Certaines solutions ajoutent du matériel : infrarouge, capteur de profondeur, voire radar à ondes millimétriques.

Mais tout cela coûte cher !

Le matériel et son déploiement déplacent une partie du problème vers les coûts et les spécifications, sans résoudre à eux seuls la généralisation.

Les auteurs proposent donc de changer de sens :

Si nos yeux ne voient pas assez bien, pourquoi ne pas écouter ?

Haut-parleur et microphone sont déjà présents dans les smartphones.

Le son transporte de l'information, mais peut aussi servir de sonde. Son trajet aller-retour permet d'observer des indices de géométrie faciale :

  • Une feuille de papier peut renvoyer un écho sec et mince ;
  • Une vidéo rejouée sur écran peut donner une réflexion différente, moins stable.

Un vrai visage renvoie lui aussi une signature acoustique liée à ses contours et à sa matière. Ce sont des indices à apprendre.

Mais cette idée fonctionne-t-elle ?

Résolution du problème

Avant de construire le système, les auteurs créent un jeu de données acoustiques : Echo-Spoof.

Les jeux FAS traditionnels enregistrent surtout des photos et vidéos. Echo-Spoof recueille les signaux réfléchis par les ondes sonores.

Si l'on veut détecter les attaques avec les composants d'origine d'un smartphone, il faut éprouver cette mesure dans des conditions variables.

Les auteurs fixent trois objectifs :

  1. Acoustique

    Au lieu de stocker seulement des images faciales, Echo-Spoof enregistre les réflexions sonores et en tire des indices sur courbure, contour et matière. Le jeu acoustique ne requiert pas d'image RGB, ce qui évite de collecter ces images pour cette partie de l'étude ; les signaux acoustiques peuvent néanmoins porter des informations sur la personne ou son environnement. Une expérience ultérieure recueille séparément des images RGB synchronisées.

  2. Grande taille

    Trente volontaires, quinze femmes et quinze hommes, fournissent plus de 250 000 segments acoustiques. Cette taille permet de couvrir davantage de variations, sans épuiser celles du monde réel.

  3. Diversité

    Téléphones, distances, niveaux de bruit et inclinaisons du visage varient pendant la collecte.

    Les auteurs étudient notamment des distances de 25 à 45 cm, des niveaux sonores de 40, 60 et 70 dB, ainsi que des inclinaisons de −10°, 0° et +10°.

    Ces conditions sont précisées dans la procédure de collecte, afin que le jeu ne se limite pas à un seul scénario idéal.

La collecte est illustrée ci-dessous :

L'écouteur du smartphone émet le signal conçu par les auteurs ; le microphone situé en haut enregistre les réflexions. La figure oppose un vrai visage et un masque pour montrer leurs échos différents.

Les auteurs indiquent avoir obtenu une approbation éthique avant la collecte. Cela décrit leur étude, sans constituer une validation de chaque déploiement futur.

Variations prises en compte

  • Appareil : Quatre smartphones Android servent à la collecte : Samsung S9, Samsung S21, Samsung Edge Note et Xiaomi Redmi 7. Leurs haut-parleurs et microphones ne répondent pas exactement de la même façon, ce qui permet d'étudier l'effet du changement d'appareil.

  • Distance : Le téléphone est placé à 25, 35 ou 45 cm du visage, dans une plage plausible pour l'usage courant. Les auteurs observent notamment l'effet sur le rapport signal-bruit (SNR).

  • Bruit ambiant : Trois niveaux sont contrôlés : 40 dB pour une situation calme, 60 dB pour un environnement plus bruyant, 70 dB pour un bruit élevé. Une application de mesure sert à surveiller ces niveaux.

  • Inclinaison : Les angles de −10°, 0° et +10° représentent de légères variations entre le visage et le téléphone. En pratique, personne ne tient toujours l'appareil parfaitement droit.

La taille et la diversité d'Echo-Spoof permettent ainsi d'évaluer la méthode sous plusieurs conditions.

Conception du signal

Pour fonctionner dans des situations quotidiennes, le signal doit répondre à trois contraintes :

  1. Qualité de la mesure : Un balayage FMCW (Frequency-Modulated Continuous Wave) recueille les échos de plusieurs régions du visage pour renseigner sur sa géométrie.

  2. Bruit extérieur : Les balayages de 12 à 21 kHz se distinguent d'une grande partie du bruit ambiant inférieur à 8 kHz. Une tonalité pilote aide à synchroniser émission et enregistrement.

  3. Confort d'écoute : Il faut assez d'énergie pour mesurer, sans produire un son trop gênant. Une fenêtre de Hamming adoucit les débuts et fins de balayage ; le volume est ajusté pour les téléphones testés.

Le signal final est représenté ici :

La séquence dure environ 0,8 seconde et est échantillonnée à 44,1 kHz.

Elle commence par une tonalité pilote de 11,025 kHz sur 250 échantillons, séparée du premier balayage par 8 000 échantillons. Neuf balayages suivent : les trois bandes 12–17, 14–19 et 16–21 kHz sont chacune répétées trois fois.

Chaque balayage, ou chirp, comprend 60 échantillons. Un intervalle de 3 000 échantillons sépare deux balayages pour réduire leur chevauchement temporel.

Analyse du signal

Echo-FAS emploie le FMCW, un balayage de fréquence également utilisé en radar pour mesurer des distances. Ici, il devient une sonde acoustique de la géométrie du visage.

Le principe est accessible : nez, lèvres et front ne se trouvent pas à la même distance du haut-parleur. Les ondes réfléchies reviennent donc avec des retards et des phases différents. Une analyse assez fine de ces variations peut fournir des caractéristiques du contour facial.

Pour expliquer la résolution théorique en distance, les auteurs donnent :

Rd=v⋅δT2=v⋅δf2k=v2⋅BW=343m/s2×5000Hz=3.43cmR_d = \frac{v \cdot \delta T}{2} = \frac{v \cdot \delta f}{2k} = \frac{v}{2 \cdot BW} = \frac{343 \text{m/s}}{2 \times 5000 \text{Hz}} = 3.43 \text{cm}

vv est la vitesse du son, environ 343 m/s ; BWBW est la largeur de bande et kk la pente du balayage fréquentiel.

Les 5 kHz de chaque bande balayée donnent ainsi une résolution estimée de 3,43 cm pour la séparation des échos.

Les auteurs choisissent les fréquences de 12 à 21 kHz pour limiter l'effet de certains bruits courants.

Ces fréquences ne sont pourtant pas toujours inaudibles : une partie se situe sous 17 kHz, et la perception varie avec la personne et le volume. Leurs premiers essais montrent aussi que les téléphones répondent moins bien au-delà d'environ 20 kHz. La plage choisie est un compromis entre bruit, audition et matériel.

Au début du signal, une tonalité pilote à 11,025 kHz se distingue des balayages et d'une partie du bruit ambiant.

Une corrélation croisée entre cette tonalité et l'enregistrement localise le début de la séquence et estime le décalage temporel entre haut-parleur et microphone. Cette référence servira à isoler les échos.

Chaque balayage dure 60 échantillons, soit environ 1,4 milliseconde, et l'intervalle qui suit dure 3 000 échantillons.

Il s'agit d'un compromis physique et technique.

Un balayage plus long peut améliorer le rapport signal-bruit, mais chevaucher l'écho du visage. À 30 cm, l'aller-retour du son dure environ 1,7 milliseconde, soit 77 échantillons : au-delà, distinguer l'écho du trajet direct devient plus difficile.

À l'inverse, si deux balayages se succèdent trop vite, l'écho plus tardif d'un mur ou d'une table peut se mêler à l'écho facial du balayage suivant.

L'intervalle de 3 000 échantillons, environ 68 millisecondes, réduit ce risque. Avec la tonalité pilote et sa pause initiale, la séquence se termine en environ 0,8 seconde. Il s'agit de la durée du signal émis, et non de la latence totale d'un système déployé.

Même avec ces choix, certains utilisateurs peuvent entendre une partie du signal.

La fenêtre de Hamming rend l'enveloppe de chaque balayage plus douce pour limiter les sons secs. Les auteurs ajustent aussi le volume sur les téléphones étudiés pour éviter à la fois distorsion et niveau insuffisant.

Plus de 90 % des participants à leur enquête déclarent remarquer peu de gêne sonore. L’audibilité selon les personnes et les appareils demande une mesure distincte.

Traitement du signal

Si concevoir un son revient à créer un langage, le traiter revient à en reconnaître le sens.

L'enregistrement mêle le trajet direct du haut-parleur au microphone, l'écho principal du visage et les réflexions de l'environnement.

Le traitement cherche à isoler les composantes utiles pour que le modèle reçoive des indices sur la géométrie du visage.

Il comprend trois phases :

  • Découpage du signal (segmentation) ;
  • Suppression du trajet direct ;
  • Extraction de l'écho cible.

La figure les résume :

D'abord, le découpage.

Haut-parleur et microphone n'étant pas parfaitement synchronisés, le début de l'enregistrement varie. La tonalité pilote à 11,025 kHz fournit un repère. Une corrélation croisée permet de retrouver le début effectif du signal.

Après localisation et filtrage des composantes sous 12 kHz, l'enregistrement est divisé en neuf parties, correspondant aux neuf balayages. Chacune contient encore trajet direct et échos.

Vient ensuite la suppression du trajet direct.

Ce signal parvient au microphone sans réflexion, après un trajet court et peu atténué : il peut dominer l'enregistrement. Un filtre adapté au balayage d'origine localise sa position. Les échantillons proches de ce trajet sont écartés ; les suivants peuvent contenir les échos du visage et de l'arrière-plan.

Enfin, l'extraction de l'écho facial.

Les murs et les objets éloignés renvoient aussi des ondes, mais leurs échos arrivent généralement plus tard et sont plus dispersés. L'écho du visage a tendance à apparaître plus tôt et plus régulièrement dans les neuf parties :

Les auteurs emploient une localisation adaptative. Un filtre adapté détecte des pics dans chaque partie ; leurs positions sont comparées entre les neuf enregistrements. L'algorithme recherche de façon itérative une position moyenne dont l'écart-type est faible, plausible pour un écho facial stable. Il prélève ensuite 60 échantillons à partir de cette position dans chaque partie.

Chaque mesure fournit donc neuf blocs de 60 points au modèle de classification. Le dispositif utilise le haut-parleur et le microphone du téléphone, sans réseau de microphones supplémentaire.

Architecture du modèle

Une fois le son préparé, nous retrouvons un schéma de réseau plus familier.

L'ensemble du parcours se découpe en trois phases :

  • Prétraitement ;
  • Extraction sur deux branches ;
  • Fusion par attention croisée.

Regardons-les dans l'ordre.

Prétraitement

L'entrée est l'enregistrement brut du microphone.

Le système le synchronise, retire le trajet direct et extrait les neuf fragments d'écho décrits plus haut.

Deux branches complémentaires

Les neuf fragments alimentent deux branches parallèles, chacune lisant le signal sous un autre angle :

  • Global Frequency Branch, à droite : Transformer

    La transformée de Fourier rapide (FFT) convertit chaque fragment en représentation fréquentielle. Les neuf représentations deviennent autant de tokens pour le Transformer.

    Cette branche apprend les relations entre fréquences et entre fragments, afin de construire une vue globale des réflexions acoustiques.

  • Local Frequency Branch, à gauche : CNN

    La transformée de Fourier à court terme (STFT) produit un spectrogramme pour chaque fragment.

    Ces images temps-fréquence gardent des variations locales du signal. Le CNN y recherche des motifs fins de réflexion qui peuvent renseigner sur la géométrie du visage.


Les deux voies sont complémentaires : le Transformer examine l'ensemble des spectres ; le CNN se concentre sur les détails locaux.

Elles produisent une caractéristique globale f1f_1 et une caractéristique locale f2f_2.

Un module d'attention croisée bidirectionnelle les met en relation. f1f_1 porte attention à f2f_2, et inversement. Les deux sorties sont ensuite concaténées avant la couche de classification.

Choisir la profondeur des branches

Les auteurs font varier la taille de chaque branche.

Dans la figure, l'EER est le plus bas avec dix blocs Transformer à gauche et cinq couches CNN à droite. Ce sont les profondeurs retenues pour l'architecture évaluée.

Discussion

Généralisation à d'autres identités

Un système FAS ne connaît pas d'avance tous les utilisateurs. Le premier essai teste donc des identités absentes de l'entraînement.

Echo-FAS est entraîné avec 25 personnes, puis évalué sur cinq autres.

Le tableau rapporte 98,79 % d'AUC et 95,18 % d'ACC. Echo-FAS y mène aussi les modèles comparés, notamment MLP, CNN et Transformer, pour les AUC, ACC, HTER, ACER et EER.

Dans ce test, le signal acoustique porte des indices permettant de distinguer vrais visages et attaques, et la fusion des deux branches se révèle utile.

Autrement dit, Echo-FAS classe aussi les visages de personnes non vues pendant l'entraînement dans cette configuration précise.

La généralisation à un nouvel appareil ou à un autre type d'attaque demande des essais distincts.

Effet des habitudes de tenue du téléphone

Tout le monde ne tient pas son téléphone bien droit.

On peut regarder vers le bas, se présenter légèrement de côté ou incliner l'appareil. Ces gestes ordinaires sont parfois traités comme des poses « imparfaites » dans les tests de FAS.

Les auteurs mesurent donc l'effet d'une variation d'inclinaison :

  • Trois angles entre visage et téléphone, −10°, 0° et +10°, représentent trois positions de tenue.

Pour ces trois angles, l'AUC d'Echo-FAS va de 97,97 % à 98,40 % et son HTER de 5,71 % à 8,25 %. Les deux mesures surpassent les modèles de référence du tableau.

Dans la plage testée de ±10°, l'utilisateur n'a donc pas besoin de placer toujours le téléphone exactement face au visage.

L'expérience porte toutefois sur de petites variations. Elle ne mesure pas des poses beaucoup plus extrêmes.

Fusion de plusieurs modalités

Lors d'un usage réel, ni le téléphone ni l'éclairage ne sont toujours connus d'avance. Les modèles FAS fondés sur les images RGB peuvent alors subir un décalage entre appareils.

L'écho acoustique apporte des indices de réflexion différents de l'apparence visuelle. Il reste toutefois sensible aux différences de haut-parleur et de microphone.

Pour mesurer sa complémentarité avec l'image, les auteurs construisent une expérience multimodale :

Ils recueillent chez dix autres volontaires un signal acoustique et l'image faciale correspondante pour chaque exemple.

Le réseau Echo-FAS extrait les caractéristiques sonores fAf_A. Un ResNet18 pré-entraîné sur ImageNet extrait les caractéristiques visuelles fVf_V. Un module de fusion combine les deux pour classer l'exemple.

La collecte utilise quatre téléphones, Samsung S9, S21, Edge Note et Redmi 7. À chaque essai, trois appareils servent à l'entraînement et le quatrième au test, afin d'étudier le transfert entre appareils.

Les résultats apparaissent ici :

Dans les quatre transferts, la fusion dépasse le modèle RGB seul en AUC et obtient un HTER plus faible. L'AUC moyenne passe de 93,48 % à 99,08 %, et le HTER moyen descend de 18,26 % à 4,34 %.

Mais l'acoustique seule n'atteint qu'une AUC moyenne de 83,89 %, avec 68,11 % sur l'appareil Note. Elle connaît donc elle aussi un décalage entre appareils.

Dans cette expérience, les deux modalités se complètent.

Conclusion

Echo-FAS propose une autre façon d'aborder la FAS avec les capteurs déjà présents dans un smartphone.

Dans les téléphones et conditions étudiés, il obtient de bons résultats sans capteur ajouté. Les tests de petites variations de tenue suggèrent que l'utilisateur n'a pas à viser un angle unique et parfait. La fiabilité d'un déploiement courant demande encore d'autres validations.

En pratique, le système reste tributaire d'un haut-parleur, d'un microphone et d'une réponse fréquentielle compatibles.

Il a aussi des limites. L'article étudie surtout les attaques en deux dimensions : sa capacité face à de véritables masques 3D n'y est pas établie. Les différences de réponse acoustique entre appareils subsistent également, comme le montre l'expérience avec la seule branche sonore.

Echo-FAS ne remplace donc pas toutes les autres méthodes. Il apporte une modalité complémentaire, légère dans son principe, qui peut aider lorsque l'image seule est peu fiable.

Les traces d'une imitation ne se trouvent pas seulement dans les pixels. Elles peuvent aussi revenir sous la forme d'un écho.