AFace: Range-flexible Anti-spoofing Face Authentication via Smartphone Acoustic Sensing
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@article{faceantispoofingaface2024,
title = {{AFace: Range-flexible Anti-spoofing Face Authentication via Smartphone Acoustic Sensing}},
author = {Zhaopeng Xu and Tong Liu and Ruobing Jiang and Pengfei Hu and Zhongwen Guo and Chao Liu},
year = {2024},
journal = {Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies},
url = {https://doi.org/10.1145/3643510},
doi = {10.1145/3643510}
}
J'ouvre l'article : 33 pages !
Voilà qui donne mal à la tête.
Définir le problème
En dix ans, l'authentification sur smartphone est passée du code PIN à l'empreinte digitale, puis à l'iris et à la reconnaissance du visage.
Chaque étape promet davantage de confort et de sécurité : on quitte la mémoire pour les caractéristiques biologiques, puis le contact pour la détection à distance.
Cette évolution semble pourtant avoir atteint certaines limites.
- Le code PIN s'oublie et peut être observé.
- Une empreinte digitale, bien que propre à chacun, peut être copiée sous forme de moule en silicone.
- L'iris est précis, mais coûteux à généraliser.
- La reconnaissance faciale est répandue, mais vulnérable aux simples photos et vidéos.
Même les modules de détection 3D, tels que les projecteurs de points et la lumière structurée infrarouge, rencontrent encore trois obstacles :
- Coût et encombrement : ces composants peuvent augmenter la nomenclature matérielle (BOM) du téléphone de plus de 5 %.
- Calcul et latence : certains modèles puissants dépassent quatre secondes d'inférence.
- Usurpation et confidentialité : les images peuvent être copiées ou divulguées.
Malgré les progrès de la détection d'attaques, des textures aux réseaux profonds, un problème subsiste :
Face à un visage imprimé en 3D, un système visuel peut ne pas reconnaître la matière dont il est fait.
D'autres chercheurs se sont donc tournés vers les signaux.
Les ondes sonores, le Wi-Fi, la RFID et les radiofréquences servent à lire la démarche, la respiration, le rythme cardiaque ou les réflexions de l'utilisateur, au-delà de la seule forme visible. Ces approches ont néanmoins leurs limites :
- la démarche change avec les vêtements et la posture ;
- le Wi-Fi et la RFID exigent souvent des appareils ou des étiquettes supplémentaires ;
- la reconnaissance par le conduit auditif suppose un dispositif intra-auriculaire inconfortable.
Même les systèmes de reconnaissance faciale acoustique utilisant le microphone et le haut-parleur du téléphone visent surtout la forme. Une fausse tête en 3D peut donc produire un écho proche de celui du visage qu'elle imite.
La question devient :
Si l'écho lui-même peut être imité, existe-t-il un indice que l'attaquant ne peut pas reproduire facilement ?
Résoudre le problème
AFace est un système d'authentification fondé sur le son.
Il utilise deux composants déjà présents sur le smartphone : son haut-parleur et son microphone.
Son fonctionnement comprend quatre étapes :
- Émission : lors de l'inscription, le téléphone émet un signal et reçoit l'écho à deux distances différentes pour établir une relation entre énergie et distance.
- Prétraitement : l'écho est aligné, débruité et soumis à un filtrage adapté (matched filtering) afin de réduire la voie directe et les réflexions du fond, puis d'extraire l'information de distance.
- Compensation : un modèle RA (Range Adaptive) et une fonction ECF (Energy Compensation Function) calculés à partir des deux distances ramènent les échos suivants vers une distance de référence, en conservant les différences d'énergie dues au matériau.
- Caractéristiques et apprentissage : après compensation, le système extrait des caractéristiques et entraîne un classifieur profond pour l'authentification.
Émission acoustique
Le signal doit être transmis et reconnu, concentrer assez d'énergie et rester discret pour l'utilisateur.
Les auteurs font donc plusieurs choix :
-
Conception du signal : AFace utilise une onde continue modulée en fréquence, ou FMCW :
- Séparation spectrale : la bande 10–22 kHz évite la plupart des sons ambiants, situés sous 8 kHz, que l'on peut réduire par filtre passe-haut.
- Résolution : une largeur de bande de 12 kHz correspond à une résolution de distance d'environ 1,4 cm, utile pour les différences entre régions du visage.
- Compatibilité avec le téléphone : beaucoup de smartphones supportent les fréquences sous 24 kHz ; 22 kHz est une limite choisie en tenant compte de l'atténuation.
- Discrétion : une émission de 10 ms suivie d'un intervalle de 40 ms est presque imperceptible.
- Contrôle spectral : une fenêtre de Hanning concentre l'énergie autour de 16 kHz et limite les fuites spectrales.
Le signal s'écrit :
Il n'est pas nécessaire de déchiffrer la formule entière. Chaque terme a un rôle :
- limite le signal à 10 ms, soit ms ;
- est la fréquence porteuse, centrée sur 16 kHz ;
- est la vitesse de balayage en fréquence ;
- représente le temps rapide dans chaque fenêtre ;
- désigne le temps lent, c'est-à-dire l'instant de chaque émission, avec .
Le signal se propage, se réfléchit, puis revient sous une forme numérique que l'on peut comparer.
-
Modèle de profondeur égale (iso-depth) : le microphone reçoit un mélange d'ondes que les auteurs distinguent selon leur origine :
- bruit ambiant ;
- trajet direct entre haut-parleur et microphone ;
- réflexions du visage, qui nous intéressent ;
- réflexions des autres objets, qu'il faut éliminer.
Le signal reçu est modélisé par plusieurs trajets :
où est le retard du trajet . Chaque réflexion est ainsi une version retardée du signal émis.
Pour simplifier, les auteurs séparent le signal en :
- correspond aux réflexions recherchées, celles du visage ;
- correspond aux autres réflexions, à retirer ensuite.
Pour associer un écho à un visage, AFace utilise le filtrage adapté : le signal reçu subit une convolution conjuguée avec un signal de référence . Là où ils s'alignent dans le temps, l'énergie forme un pic :
- représente la convolution conjuguée du filtrage adapté ;
- la position du pic indique l'alignement de l'écho et de la référence, donc la répartition des distances de réflexion.
Lorsque plusieurs régions sont à des distances proches, leurs pics se superposent et leurs énergies s'additionnent. Cet effet fournit des indices sur les différentes parties du visage.
AFace répartit ainsi le visage en six zones de profondeur, comme dans la figure :
- La plus proche : la pointe du nez, petite surface réfléchissante et faible énergie.
- L'anneau frontal : orbites, front et lèvres, grande surface face au téléphone, énergie la plus forte.
- Les joues latérales, dont l'angle de réflexion limite l'énergie.
- La plus éloignée : les oreilles, lointaines et de structure complexe, avec l'énergie la plus faible.
Ces propriétés deviennent des pics dans le modèle énergétique, comme en (b). Plus loin, les auteurs masquent certaines zones et observent les changements d'énergie de l'écho pour étayer cette division.
Prétraitement du signal
Tout signal raconte une histoire. Mais il faut d'abord faire taire le bruit.
Le signal émis ne revient pas intact : le haut-parleur, le microphone, les trajets de propagation et l'environnement le déforment et le retardent. Il faut nettoyer et étalonner cet écho avant de l'exploiter.
AFace procède en quatre étapes :
-
Obtenir un véritable signal de référence
Le gain du haut-parleur et du microphone varie selon la fréquence. L'émission et la réception réelles diffèrent donc du signal idéal.
Les auteurs proposent un étalonnage pratique :
- enregistrer une fois le fond, sans personne ;
- placer ensuite un carré de carton de à 15 cm et enregistrer sa réflexion ;
- soustraire les deux enregistrements pour approcher l'écho du seul carton, qui sert de référence .
On ne suppose plus connaître parfaitement le son émis : on le reconstruit par mesure.
-
Synchroniser le début du signal
L'implémentation sur téléphone ne synchronise pas directement le départ du haut-parleur et du microphone. Le signal reçu n'indique donc pas immédiatement l'instant exact de l'émission.
Les auteurs utilisent le trajet direct à travers le téléphone :
- la distance entre haut-parleur et microphone n'est que de quelques centimètres, pour un retard d'environ 0,04 ms ;
- la propagation dans l'appareil perd peu d'énergie, d'où un signal fort ;
- une corrélation croisée repère son arrivée et fournit un repère temporel.
L'erreur reste d'environ un ou deux échantillons, soit 0,7 cm. Elle ne modifie pas les distances relatives entre parties du visage et peut ensuite être corrigée par RA.
-
Réduire le bruit
Les auteurs distinguent :
- le bruit ambiant, surtout sous 10 kHz, atténué par un filtre passe-haut ;
- le bruit dans le signal, par exemple la voie directe ou les réflexions multiples, soustrait au moyen d'une référence.
Une simple soustraction est insuffisante, car l'amplitude de l'écho décroît avec la distance même lorsque sa forme reste semblable.
Un coefficient est donc choisi pour minimiser :
- est le signal reçu ;
- est le signal de référence propre, enregistré auparavant ;
- est calculé par moindres carrés.
L'article illustre sa variation sur 200 trames, puis soustrait la référence préenregistrée après l'avoir mise à cette échelle.
-
Appliquer le filtrage adapté
Après synchronisation et réduction du bruit, nous disposons d'un écho approchant celui du visage, .
Sa convolution conjuguée avec la référence donne :
Cette forme proche d'une fonction sinc signifie que :
- les réflexions de différentes distances créent des pics à des instants distincts ;
- chaque pic correspond à un « écho de profondeur » d'une partie du visage ;
- une analyse de Fourier associe aussi une fréquence à chaque écho :
est l'écart de distance par rapport à la référence, et la vitesse du son.
Filtrage adapté et transformée de Fourier transforment ainsi un écho flou en un profil de distance ayant une certaine résolution, lié au relief du visage.
Compensation RA
Il reste à transformer les variations de distance en caractéristiques stables pour l'authentification.
L'écho dépend de la distance.
Or personne ne tient son téléphone exactement à 15 ou 20 cm lors de chaque vérification. Les petits mouvements du visage changent la phase et l'énergie reçues, et peuvent déstabiliser la reconnaissance.
AFace propose donc RA (Range Adaptive) pour ramener les échos à une référence commune de distance et d'énergie.
La méthode comporte :
- une compensation de portée, qui corrige la phase ;
- une compensation d'énergie, qui corrige la relation entre réflexion et distance.
À l'inscription, l'utilisateur présente son visage à deux distances, par exemple et . Le système retient les distances des premiers échos et , ainsi que leurs énergies maximales et .
À la vérification, si la distance est , la phase de l'écho vaut :
À la distance de référence , la phase idéale est :
Leur écart est :
Cet écart déplace aussi les pics après transformation de Fourier, ce qui change l'estimation de distance et les caractéristiques extraites.
AFace compense la phase par :
Tout se passe alors comme si les visages étaient comparés depuis la même distance.
L'énergie de l'écho varie elle aussi avec la distance et le matériau.
AFace en fait non seulement une source d'erreur à corriger, mais aussi un indice d'identité et d'attaque.
Les auteurs ont donc :
- rapproché du téléphone des plaques de carton, de bois et de métal à vitesse fixe ;
- émis à chaque fois un signal de dix secondes, en enregistrant l'énergie des pics selon la distance ;
- retiré bruit et réflexions du fond, puis appliqué le filtrage adapté ;
- conservé l'énergie maximale de chaque distance pour tracer son évolution ;
- ajusté une régression linéaire donnant et RMSE = 0.03198.
La figure suivante schématise la compensation de portée et d'énergie vers la référence. La courbe d'ajustement du test sur les matériaux se trouve, elle, dans la figure 8 de l'article original.
Dans la plage testée, énergie et distance présentent une forte relation linéaire ; les matériaux ne renvoient pas nécessairement la même énergie.
Les auteurs définissent la fonction ECF :
Elle donne l'énergie attendue à la distance . L'énergie effectivement reçue est corrigée en :
Cette opération ne force pas toute mesure à devenir : elle conserve les différences propres à la réflexion. Autrement dit :
Si le matériau placé devant le visage ne réfléchit pas comme la peau, l'énergie corrigée peut rester différente de celle de l'utilisateur même à distance égale.
La compensation réduit l'effet de la distance tout en laissant une partie des différences de matériau utilisables pour l'authentification.
Extraction des caractéristiques
Une fois l'écho aligné, compensé et filtré, AFace doit en tirer des indices qui distinguent deux personnes.
Les caractéristiques sont de deux types :
- distance ;
- énergie.
Commençons par la distance.
Dans le modèle iso-depth, le visage comporte six zones. Cinq servent aux mesures de profondeur :
- pointe du nez ;
- racine du nez ;
- lèvres et orbites ;
- joues et front ;
- côté du visage ;
- les oreilles sont les plus éloignées et leur profondeur de référence est fixée à zéro.
Les caractéristiques correspondantes sont :
-
Cinq distances absolues, estimées à partir des pics après filtrage adapté.
-
Dix écarts de distance relative entre deux zones ; l'écart entre pointe et racine du nez représente par exemple la hauteur de l'arête.
-
Cinq estimations de surface : lorsque les profondeurs de plusieurs régions sont voisines, les pics se chevauchent et leur largeur renseigne sur la taille réfléchissante.
- La largeur est mesurée à 50 % de l'énergie maximale, comme une mesure proche de la largeur à mi-hauteur.
- La largeur des pics de la racine du nez et de la zone lèvres-orbites, deux régions proches, est examinée en particulier.
Passons à l'énergie.
Des matériaux différents ne réfléchissent pas le son de la même façon. Les auteurs réalisent des expériences d'occlusion :
La figure compare l'écho sans occlusion avec ceux d'un visage partiellement couvert par un masque cosmétique ou un patch. Elle ne compare pas directement un visage nu à une copie imprimée en 3D.
Dans les matériaux et zones testés, l'énergie peut donc varier même lorsque les caractéristiques de profondeur sont proches.
Six caractéristiques d'énergie sont retenues :
- Énergie maximale : intensité globale de la réflexion, liée à la peau et à la surface.
- Énergie moyenne des pics : moyenne des réflexions du visage.
- Variance : répartition plus ou moins concentrée des profondeurs du visage.
- Facteur de crête : intensité des points très réfléchissants.
- Fréquence moyenne : fréquence dominante de l'écho.
- Densité d'énergie : concentration de l'énergie dans les régions.
Elles apportent des informations sur le matériau que la seule forme ne donne pas.
Au total, AFace retient 26 caractéristiques de forme, de matériau et de réflexion comme entrée centrale du classifieur.
Architecture du classifieur
Après l'extraction, le classifieur doit transformer ces indices en une décision : « je vous reconnais ».
Les auteurs l'organisent en deux parties :
- un BiLSTM pour les relations temporelles et les zones du visage ;
- iCaRL pour mettre à jour les utilisateurs et les classes sans tout oublier.
L'entrée ne se résume pas à un tableau : elle associe segments de signal, distances et profil énergétique. AFace utilise donc un BiLSTM à quatre couches, avec :
-
40 valeurs de signal dans le temps :
- prises dans l'écho débruité et compensé ;
- alignées sur la pointe du nez, sur 40 échantillons correspondant à environ 14 cm.
-
20 caractéristiques de distance :
- cinq profondeurs absolues : pointe et racine du nez, lèvres-orbites, joues-front et côté du visage ;
- dix écarts de profondeur ;
- cinq largeurs de pics après filtrage adapté.
-
6 caractéristiques d'énergie :
- liées au matériau, à la distribution et à l'intensité de la réflexion.
Le BiLSTM est configuré ainsi :
- quatre couches ;
- activation
tanh, avec états cachés dans ; - portes
sigmoidpour décider quelles informations conserver ; - initialisation des poids de Xavier adaptée à
tanh; - biais de la porte d'oubli initialisé près de 1 pour mieux garder l'information sur les longues séquences.
La tête de classification comprend :
- une couche dense de 128 unités avec
LeakyReLU; - un dropout de 0,5 contre le surapprentissage ;
- une sortie softmax à 40 classes donnant des probabilités d'identité ;
- le classifieur qui associe ces probabilités aux personnes enregistrées.
L'autre partie concerne l'apprentissage incrémental iCaRL.
Pour gérer l'arrivée de nouveaux utilisateurs et les changements durables d'un visage, AFace cherche à mettre le réseau à jour sans effacer les classes précédentes.
Deux cas sont distingués :
-
Ajout d'une classe :
- l'inscription d'une nouvelle personne produit des caractéristiques d'écho et des exemples d'entraînement ;
- une nouvelle sortie entièrement connectée est ajoutée au classifieur ;
- les couches de classification existantes sont gelées, puis la nouvelle couche est entraînée ;
- seul cet ajout est ajusté, afin d'accélérer l'opération et de stabiliser les anciennes sorties.
-
Ajout de données :
- des authentifications de secours réussies, par exemple au moyen d'un PIN, peuvent signaler un changement durable du visage ;
- après un échec acoustique suivi d'une réussite par la méthode de secours, le nouvel exemple est temporairement conservé ;
- à partir de cinq exemples, l'apprentissage incrémental des données se déclenche ;
- la structure du réseau reste identique et une mise au point à faible taux d'apprentissage actualise ses paramètres.
Cette stratégie vise à limiter l'oubli catastrophique et à éviter de réentraîner tout le réseau à chaque nouvelle donnée.
Les auteurs souhaitent ainsi que le système réajuste progressivement sa mémoire de l'utilisateur. Ce n'est plus seulement un classifieur fixe, mais une relation qui s'adapte.
Discussion
L'article contient de nombreux tableaux expérimentaux. Nous ne les reprendrons pas tous ; le lecteur intéressé pourra consulter l'original.
Examinons plutôt quelques aspects de la méthode.
Choix du haut-parleur et du microphone
Dans les essais, la meilleure configuration associe le haut-parleur supérieur au microphone supérieur.
Avec un composant inférieur, une part importante de l'écho vient de la poitrine et dépend des vêtements. Un simple changement de veste peut alors réduire nettement les performances.
Le choix de deux composants supérieurs limite ces réflexions étrangères au visage.
Attaques 2D et 3D
Dans l'essai à un seul utilisateur, les attaques par photo ou vidéo sont toutes repoussées. Pour les attaques 3D simulées avec des masques cosmétiques, les caractéristiques d'énergie sont nécessaires pour obtenir une forte défense : la forme seule peut ressembler à celle du vrai visage, tandis que la réflexion diffère.
Sur les trois types de masques portés par les participants, le taux de défense passe de 2,61 % sans caractéristiques d'énergie à 98,41 % avec elles. Cela montre l'utilité de l'énergie réfléchie pour ces matériaux testés.
Rôle de RA
Pour évaluer RA, les utilisateurs s'inscrivent à 25 et 50 cm, puis sont testés à 25, 30, 35, 40, 45 et 50 cm en mode mono-utilisateur.
Sans RA, l'exactitude reste supérieure à 96 % aux deux distances d'inscription, mais tourne autour de 90 % entre elles. Avec RA, elle dépasse 95 % aux six distances, pour une moyenne de 96,7 %. Cela soutient une meilleure tolérance aux distances dans la plage de 25 à 50 cm.
Usage prolongé et changements du visage
Les auteurs observent les effets de l'apprentissage incrémental pendant deux mois. Quarante participants sont répartis en deux groupes de vingt, l'un avec la mise à jour iCaRL et l'autre sans. Le texte de l'article indique des mesures aux jours 1, 10, 30 et 60, mais l'axe des figures indique 1, 7, 30 et 60 ; le deuxième moment reste incertain. Coiffure, lunettes et maquillage peuvent changer l'écho. La figure compare néanmoins les groupes dans leur ensemble : elle n'isole pas l'effet d'un changement précis.
Sans apprentissage incrémental, l'exactitude baisse avec le temps. Avec cet apprentissage, elle reste plus élevée aux quatre observations. Les groupes sont constitués de personnes différentes : l'expérience suggère l'intérêt d'une mise à jour, mais ne permet pas d'écarter un effet de groupe.
Conclusion
Depuis 2019, les ondes sonores ont ouvert à la FAS une voie différente de la vision.
Ces approches ont longtemps gardé une limite majeure :
Le son seul ne résout pas la question du masque 3D !
Un masque et un visage réel peuvent renvoyer des échos très proches lorsque l'on ne regarde que leur forme.
AFace ajoute l'information de matériau. L'écho devient ainsi une fonction composée de distance et de matériau, ce qui rend l'acoustique plus utile pour détecter les attaques dans les expériences présentées.
Outre la résistance améliorée aux masques testés, la compensation de portée RA et le modèle énergétique ECF rendent l'authentification plus souple dans la plage mesurée. Le système fonctionne sur des smartphones commerciaux et emploie aussi l'apprentissage incrémental pour les changements à long terme.
Le problème reste ouvert. Nous savons au moins que :
le son peut maintenant devenir un indice d'authentification à part entière.