Retour au blog
Articles

Carte des techniques de détection des fausses identités faciales

Suivons 44 notes de lecture, de la texture, du pouls et des ondes sonores jusqu'à la généralisation de domaine et aux grands modèles, avant de revenir sur l'endroit où le taux d'erreur est mesuré.

En 2012, Ivana Chingovska, André Anjos et Sébastien Marcel, de l'institut Idiap en Suisse, publient un jeu de données de visages appelé REPLAY-ATTACK. Le résumé de l'article précise qu'une simple photo de l'utilisateur suffit pour tromper un système de reconnaissance faciale. Résumé LBP

Ils recrutent 50 personnes, filment chacune devant la webcam d'un ordinateur portable, puis attaquent avec leurs photos et leurs vidéos : photos imprimées sur du papier A4, photos et vidéos lues sur l'écran d'un iPhone 3GS, versions haute résolution lues sur un iPad. Face à un système de reconnaissance faciale dont le seuil est fixé au taux d'erreur égal de l'ensemble de développement, un peu plus de 82 % des attaques sont acceptées comme la personne elle-même. LBP §V-B

Voyons d'abord à quoi ressemblent ces attaques. De gauche à droite, les colonnes montrent la personne réelle, la photo imprimée, la lecture sur téléphone et la lecture sur tablette ; la rangée du haut est filmée devant un fond simple sous néon, celle du bas devant un fond chargé en lumière naturelle.

Les images imprimées ou relues sur écran ressemblent de prime abord à la personne réelle ; la différence se cache dans la texture du papier et de l'écran, les reflets et les bords. On the Effectiveness of Local Binary Patterns in Face Anti-spoofing — Figure 1, Chingovska, Ivana et al..

La défense proposée dans le même article examine la texture locale de l'image du visage ; son taux d'erreur sur l'ensemble de test est d'environ 15 %. LBP Table V

En 2025, I-FAS, de Baidu et de l'Institut d'automatique de l'Académie chinoise des sciences, confie la même tâche à un grand modèle de langage multimodal. Sur un test inter-jeux de données, où le jeu de test n'apparaît jamais pendant l'entraînement, il annonce un taux d'erreur de 0.32 %. I-FAS Table 1

Les deux chiffres ne sont pas mesurés de la même façon et ne se comparent pas directement. À en juger par la tendance, le problème semble pourtant presque résolu.

Cet article suit les 44 notes de lecture du site consacrées à la détection d'usurpation faciale pour voir comment ce taux d'erreur a baissé. Une partie vient de nouveaux indices : la texture, le pouls, la profondeur, l'infrarouge, et même les ondes sonores. Une autre vient de meilleurs modèles et du préentraînement. Et une dernière partie tient à l'endroit où le taux d'erreur est mesuré.

Figure : le parcours de cet article, dans l'ordre de lecture ; les années couvrent la période de publication des articles de chaque étape. L'encadré à la fin de chaque étape liste les notes de lecture correspondantes du site.

Les sept étapes sont, dans l'ordre, la texture, le pouls, les capteurs, l'apprentissage profond, la généralisation de domaine, les grands modèles préentraînés, puis les attaques numériques et les modèles de langage.

La dernière section revient sur la façon dont ces taux d'erreur ont été mesurés.

Photos et écrans : regarder la texture

Deux ans avant REPLAY-ATTACK, Xiaoyang Tan et ses collègues de l'Université d'aéronautique et d'astronautique de Nankin traitent le cas le plus simple à ECCV 2010. On dispose d'une seule image prise par une webcam et il faut décider s'il s'agit d'une personne réelle ou d'une photo. SLRBD

Ils partent de la façon dont la lumière frappe un objet. Pour une surface diffuse idéale, la luminance s'écrit :

I(x,y)=fc ρ(x,y) Alightcos⁡θI(x,y)=f_c\,\rho(x,y)\,A_{\text{light}}\cos\theta

ρ\rho est la réflectance de la surface et θ\theta l'angle entre la normale à la surface et la lumière. Un vrai visage a un nez, des orbites et des joues, et la normale change d'un point à l'autre ; une photo est un plan, la normale y est presque partout la même, et les variations de luminance ne dépendent plus guère que de la direction de la source. Les auteurs séparent l'image en réflectance et en éclairement, puis confient la décision à une régression logistique bilinéaire creuse de faible rang. SLRBD §2

La rangée du haut montre une personne réelle, celle du bas une photo de la même personne. De gauche à droite : l'image d'origine, l'éclairement estimé μ\mu, la réflectance estimée ρ\rho, puis les spectres de l'image d'origine et de l'image filtrée.

Les auteurs ne classent pas directement l'image d'origine : ils la décomposent d'abord en éclairement et en réflectance, puis examinent la différence entre les deux. Face Liveness Detection from A Single Image with Sparse Low Rank Bilinear Discriminative Model — Figure 2, Tan, Xiaoyang et al..

La base NUAA qu'ils construisent pour l'occasion utilise des webcams bon marché achetées dans un centre commercial d'électronique : 15 personnes filmées en trois sessions espacées d'environ deux semaines, avec changement de lieu et d'éclairage. SLRBD §3.1

REPLAY-ATTACK prend une autre voie. Selon les auteurs, la peau humaine et le relief du visage absorbent, réfléchissent, diffusent et réfractent la lumière d'une manière que le papier, le papier photo et les écrans ne reproduisent pas ; la texture capturée devrait donc différer. LBP §IV Pour décrire la texture, ils utilisent le LBP (local binary pattern, motif binaire local).

Le LBP compare la luminosité de chaque pixel à celle de ses 8 voisins. Un voisin plus clair que le centre, ou aussi clair, vaut 1 ; plus sombre, il vaut 0. Un tour complet donne 8 bits qui, mis bout à bout, forment un code entre 0 et 255. Prenons le bloc 3×3 de la figure ci-dessous, dont le centre vaut 65. En tournant dans le sens horaire depuis le coin supérieur gauche, les quatre voisins du haut, du haut à droite, de droite et du bas à droite sont plus clairs ; ceux du haut à gauche, de gauche, du bas à gauche et du bas sont plus sombres. Les 8 bits forment 01111000, soit 120 en décimal.

Figure : le même bloc 3×3 donne le code LBP 120.

Les codes où 0 et 1 n'alternent pas plus de deux fois sur le tour s'appellent des uniform patterns ; il y en a 58, et le 120 de tout à l'heure en fait partie. Tous les autres codes sont regroupés dans une seule classe, si bien que l'histogramme compte 59 cases. REPLAY-ATTACK ramène chaque visage à 64×64, compte combien de fois chaque code apparaît pour obtenir un histogramme à 59 dimensions, puis le confie à une SVM. Le HTER sur l'ensemble de test est de 15.16 %. LBP §IV, Table V

L'article fait aussi une chose qui comptera beaucoup par la suite. Il répartit les 50 personnes en trois groupes disjoints, avec respectivement 360, 360 et 480 vidéos pour l'entraînement, le développement et le test, et précise l'usage de chacun : LBP §III

L'ensemble d'entraînement sert à entraîner le classifieur, l'ensemble de développement à estimer quand arrêter l'entraînement ; l'ensemble de test sert uniquement à rapporter les taux d'erreur et les courbes de performance.

Il en va de même pour le seuil : il est choisi sur l'ensemble de développement, et le HTER est calculé sur l'ensemble de test. Les auteurs l'ont appris à leurs dépens en appliquant leur méthode à NUAA. NUAA n'a qu'un ensemble d'entraînement et un ensemble de test ; les données de développement pour choisir le seuil ont dû être prélevées dans l'ensemble d'entraînement. Les performances étaient excellentes sur ces données de développement, et nettement moins bonnes sur le test. Ils en concluent qu'une base anti-usurpation a besoin d'un protocole qui sépare clairement entraînement, développement et test. LBP §V

Cette règle resservira dans la dernière section.

Masques : écouter le pouls

Les photos et les écrans ont un point commun : ils sont plats. Les méthodes précédentes, qu'elles regardent les reflets ou la texture, reposent plus ou moins sur ce fait. En 2013, Nesli Erdogmus et Sébastien Marcel, de l'Idiap, retirent cette hypothèse. 3DMAD

Ils demandent à 17 personnes une photo de face et deux de profil, puis les envoient à un site appelé ThatsMyFace. Le site reconstruit un modèle 3D du visage et l'imprime en masque de résine dure, en couleurs, qu'on peut porter, avec des trous pour les yeux et les narines. Les attaques au masque comme les présentations de vraies personnes sont enregistrées par une Kinect qui capture simultanément l'image couleur et la profondeur, soit 76 500 images au total : c'est le jeu de données 3DMAD. 3DMAD §III-B

À gauche, les données Morpho de travaux antérieurs, personne réelle en haut et masque en bas, chacune en niveaux de gris, en carte de profondeur et en modèle 3D ; au centre, des masques en papier découpé ; à droite, les 17 masques en résine dure de 3DMAD.

Les masques de 3DMAD sont reconstruits à partir de trois photos : la forme n'est pas toujours exacte, et la couleur est imprimée. Spoofing Face Recognition with 3D Masks — Figure 1, Erdogmus, Nesli et al..

Les masques trompent la reconnaissance faciale de façon très inégale. Le taux de réussite d'un masque donné va de 0 % à 98.4 %. Le même masque n° 11 réussit à 96.68 % contre un système qui lit l'image 2D, mais à 7.52 % seulement contre un système qui lit la carte de profondeur. 3DMAD §VI-A Avoir l'air ressemblant et avoir la bonne forme sont deux choses distinctes.

Ces masques n'échappent pourtant pas à la texture. Si l'on découpe le visage en blocs, calcule le LBP puis classe avec une LDA, le HTER sur l'image 2D n'est que de 0.12 %. 3DMAD §VI-B Une couleur imprimée sur de la résine reste loin de la texture de la peau.

Les masques finiront par devenir plus ressemblants. Il existe un indice qui ne dépend pas de l'apparence du masque, le pouls.

À chaque battement de cœur, le volume de sang sous la peau du visage varie un peu, et la couleur réfléchie par la peau ondule très légèrement, surtout dans le canal vert. Mesurer cette ondulation à distance avec une caméra ordinaire s'appelle la rPPG (remote photoplethysmography, photopléthysmographie à distance). Avec un masque, la caméra voit le masque : la peau est cachée.

En 2016, Xiaobai Li et ses collègues de l'Université d'Oulu, en Finlande, l'appliquent à la détection d'usurpation. Ils prennent la luminosité moyenne du canal vert au centre du visage comme signal temporel, passent dans le domaine fréquentiel, puis utilisent le maximum du spectre et le rapport signal sur bruit pour décider s'il y a un pouls. CFrPPG §2

Imaginons trois signaux de canal vert de 10 secondes. Le vrai visage a un pouls de 72 battements par minute ; le masque n'a que du bruit ; le troisième est aussi un masque, mais la main qui tient le téléphone tremble 1.5 fois par seconde. Dans le domaine fréquentiel, le vrai visage présente un pic net à 72 battements par minute, tandis que pour le masque qui n'a que du bruit, la fréquence la plus forte tombe n'importe où, avec un pic bien plus bas. Le troisième pose problème : une main qui tremble 1.5 fois par seconde, soit 90 fois par minute, tombe pile dans la plage du pouls, et le spectre fait apparaître un pic plus haut que celui du vrai visage. (Les signaux de la figure ci-dessous sont synthétiques ; amplitudes et niveaux de bruit servent uniquement à l'illustration.)

Figure : formes d'onde et spectres des trois signaux synthétiques ci-dessus.

En 2018, Si-Qi Liu, Xiangyuan Lan et Pong C. Yuen, de l'Université baptiste de Hong Kong, s'attaquent précisément à cette situation. Ils notent que le balancement périodique d'une caméra tenue à la main peut passer pour un pouls et laisser entrer une attaque ; les expressions et les mouvements d'une vraie personne peuvent aussi polluer le signal et la faire rejeter. Leur CFrPPG apprend d'abord un gabarit spectral du pouls à partir des signaux de quelques grandes régions du visage, en utilisant comme contre-exemple le spectre du bruit extrait de l'arrière-plan, de sorte que le gabarit réagisse au pouls et presque pas au mouvement global ; il mesure ensuite dans quelle mesure les signaux des différentes petites régions du visage correspondent à ce gabarit, et s'en sert comme caractéristique de vivant. CFrPPG §3–4

Voici trois signaux rPPG réellement mesurés dans l'article. Dans chaque groupe, le signal est à gauche et le spectre à droite ; la région verte du visage indique où le signal est prélevé.

Le vrai visage présente un pic net, le masque un spectre presque plat ; le troisième cas est le plus délicat : le bruit fait apparaître plusieurs pics et on ne sait plus lequel est le pouls. Remote Photoplethysmography Correspondence Feature for 3D Mask Face Presentation Attack Detection — Figure 2, Liu, Si-Qi et al..

Ils comparent texture et pouls sur deux jeux de données de masques. HKBU-MARsV2 compte 12 personnes ; la moitié des masques viennent de ThatsMyFace, l'autre moitié sont des masques haut de gamme de REAL-f. Les chiffres sont des HTER sur l'ensemble de test : CFrPPG Table 1–2

Méthode3DMADHKBU-MARsV2
LBP multi-échelle (texture)4.22 %24.0 %
rPPG globale (Li et al., 2016)13.3 %16.1 %
CFrPPG6.82 %4.42 %

Sur 3DMAD, c'est au contraire la texture qui l'emporte sur le pouls. Sur HKBU-MARsV2, dont les masques sont plus réalistes, le taux d'erreur de la texture monte à 24.0 %, contre 4.42 % pour CFrPPG.

Observer plus de signaux

Les indices visibles à l'œil nu deviennent de moins en moins fiables ; autant laisser la machine regarder plusieurs signaux que l'œil ne voit pas.

En 2019, Anjith George et ses collègues de l'Idiap publient le jeu de données WMCA. Il enregistre simultanément quatre canaux, couleur, profondeur, proche infrarouge et thermique, avec 72 personnes et 1 679 présentations ; outre l'impression et la relecture, les attaques comprennent des têtes de mannequin, des masques en papier, en silicone, rigides et transparents, ainsi que des lunettes de déguisement portées sur le visage. WMCA §I, §IV

En haut, une personne réelle ; en bas, une attaque avec un masque en silicone. Les quatre colonnes sont, dans l'ordre, la couleur, la profondeur, le proche infrarouge et le thermique. Comparez d'abord la colonne couleur, puis regardez vers la droite.

En couleur, le masque en silicone ressemble déjà beaucoup à une vraie personne ; sur la carte de profondeur, les deux ont un visage en relief. La différence est la plus nette dans la colonne thermique ; le vrai visage présente une répartition marquée des zones claires et sombres, le masque n'est plus qu'une silhouette floue, et les trous des yeux ressortent particulièrement clairs. Biometric Face Presentation Attack Detection with Multi-Channel Convolutional Neural Network — Figure 4, George, Anjith et al..

Leur MC-CNN fait entrer les quatre canaux ensemble dans un LightCNN préentraîné pour la reconnaissance faciale, et ne réentraîne que les couches basses. Quand tous les types d'attaques figurent dans l'ensemble d'entraînement, l'ACER sur l'ensemble de test est de 0.3 %. WMCA Table VI

Si l'on retire entièrement un type d'attaque des données d'entraînement pour ne le garder que dans le test, le résultat change. Quand on retire les têtes de mannequin ou les photos imprimées, le taux d'erreur est nul. Quand on retire les lunettes de déguisement, 84.27 % des attaques aux lunettes sont acceptées comme de vraies personnes, et l'ACER atteint 42.14 %. WMCA Table VII Les lunettes ne couvrent qu'une petite partie du visage ; tout le reste est une vraie personne, et c'est surtout une vraie personne que voient les quatre canaux. Dans ce tableau, le seuil est choisi sur l'ensemble de développement pour un BPCER de 1 %.

En 2020, CeFA, de l'Institut d'automatique de l'Académie chinoise des sciences, porte le nombre de personnes à 1 607. Il propose trois modalités, RGB, profondeur et infrarouge, couvre trois groupes ethniques et comprend des attaques 2D et 3D ; c'est le premier jeu de données anti-usurpation à annoter l'ethnie, avec des protocoles conçus pour tester les modèles d'un groupe ethnique à l'autre. Résumé CeFA

Pour un même visage, comparez horizontalement RGB, Depth et IR, puis descendez vers les attaques et les conditions de prise de vue.

La figure d'origine juxtapose groupes ethniques, modalités de capteur, matériaux d'attaque et répartition de la population, et donne des exemples concrets de « inter-ethnique et multimodal ». CASIA-SURF CeFA: A Benchmark for Multi-modal Cross-ethnicity Face Anti-spoofing — Figure 1, Li, Ajian et al..

La profondeur et l'infrarouge exigent des capteurs supplémentaires, que la caméra frontale d'un téléphone ordinaire n'a pas forcément. En revanche, tous les téléphones ont un haut-parleur et un micro.

En 2019, Bing Zhou et ses collègues de l'Université Stony Brook font émettre par l'écouteur du téléphone une onde sonore presque inaudible, qui « éclaire » le visage de l'utilisateur comme le ferait la lumière ; ils extraient des caractéristiques de l'écho et les combinent aux caractéristiques d'image de la reconnaissance faciale. L'écho dépend du relief et du matériau du visage, ce que photos et vidéos imitent difficilement. Résumé VA-FAS

En 2022, Chenqi Kong et ses collègues de la City University of Hong Kong développent cette approche à grande échelle. Leur jeu de données Echo-Spoof réunit 30 volontaires, quatre téléphones Android et trois distances entre téléphone et visage, 25, 35 et 45 centimètres, pour plus de 250 000 signaux sonores. Le signal émis est échantillonné à 44.1 kHz et se compose de neuf chirps répartis sur trois plages de balayage qui, ensemble, couvrent de 12 à 21 kHz ; chaque chirp a une largeur de bande de 5 kHz. Echo-FAS §III–IV

En haut, l'approche habituelle : la caméra frontale filme le visage et transmet l'image à un modèle visuel ; en bas, Echo-FAS : le haut-parleur émet une onde sonore et le micro enregistre l'écho. Dans les deux cas, l'attaquant se contente de placer une photo devant le téléphone.

Une photo trompe la caméra, mais son écho révèle qu'elle est plate. Beyond the Pixel World: A Novel Acoustic-Based Face Anti-Spoofing System for Smartphones — Figure 1, Kong, Chenqi et al..

Quand le téléphone est à 35 centimètres du visage, le son parcourt 70 centimètres aller-retour ; à 343 mètres par seconde, l'écho revient environ 2.04 ms plus tard, soit à peu près 90 échantillons à 44.1 kHz.

Les différentes parties du visage, le nez et la bouche par exemple, ne sont pas à la même distance du téléphone, et leurs échos n'arrivent pas au même moment. Le micro reçoit plusieurs échos superposés, avec des retards différents, et cet ensemble de retards enregistre la forme du visage. Une photo est plate : ses échos reviennent presque en même temps. Avec une largeur de bande de 5 kHz, deux surfaces réfléchissantes doivent être distantes d'au moins 3.43 centimètres pour être séparées. Echo-FAS §IV-B

Figure : schéma réalisé pour cet article. Les échos de la photo arrivent au même instant ; le visage en relief les étale en plusieurs segments.

Echo-FAS peut aussi s'utiliser avec un modèle visuel. Dans les expériences multimodales de l'article, ajouter le son fait passer l'AUC de 93.48 à 99.08. Echo-FAS §I

En 2024, AFace, de l'Université océanique de Chine et d'autres institutions, va un peu plus loin. Les auteurs relèvent que les méthodes acoustiques existantes ne fonctionnent bien qu'à distance fixe et ne bloquent pas les têtes imprimées en 3D. AFace relie l'écho à la structure du visage par un modèle iso-depth, tient compte de l'effet des matériaux biologiques sur l'énergie de l'écho, puis compense automatiquement selon la distance entre l'utilisateur et le téléphone. Dans une expérience avec 40 volontaires, la précision moyenne atteint 96.9 %. Résumé AFace

Laisser le réseau trouver les indices

Revenons au cas d'une seule caméra RGB. En 2017, OULU-NPU, de l'Université d'Oulu et de l'Université polytechnique du Nord-Ouest, transporte les données sur téléphone : 55 personnes, 6 téléphones de 250 à 600 euros, trois sessions avec des éclairages et des arrière-plans différents, soit 4 950 vidéos au total. Ses quatre protocoles testent respectivement le changement de session, le changement d'instrument d'attaque, un téléphone jamais vu, et les trois à la fois ; les sujets 1 à 20 forment l'ensemble d'entraînement, 21 à 35 le développement, 36 à 55 le test. Rapport de compétition OULU-NPU §2

Avec assez de données, on peut laisser un réseau convolutif apprendre lui-même les indices. Mais entraîné avec deux classes seulement, vrai et faux, le réseau apprend facilement ce qu'il ne devrait pas. En 2020, les auteurs de CDCN écrivent qu'un réseau entraîné à l'entropie croisée binaire a tendance à apprendre des motifs arbitraires comme le cadre de l'écran, plutôt que les caractéristiques de l'attaque elle-même. CDCN §1 Un remède courant est la supervision par pseudo-profondeur. Pour un vrai visage, la réponse attendue est une carte de profondeur estimée ; pour une attaque, une image entièrement noire. Le réseau doit dessiner le relief du visage pour distinguer le vrai du faux.

CDCN est un article de Zitong Yu et de ses collègues de l'Université d'Oulu. En plus de la supervision par profondeur, il remplace la convolution elle-même. Les auteurs disent s'être inspirés du LBP. Le LBP compare chaque voisin au centre ; la convolution à différence centrale (central difference convolution, CDC) soustrait le centre à chaque voisin, puis multiplie par des poids appris :

y(p0)=θ∑pn∈Rw(pn)(x(p0+pn)−x(p0))+(1−θ)∑pn∈Rw(pn) x(p0+pn)y(p_0)=\theta\sum_{p_n\in\mathcal R}w(p_n)\big(x(p_0+p_n)-x(p_0)\big)+(1-\theta)\sum_{p_n\in\mathcal R}w(p_n)\,x(p_0+p_n)

θ\theta, compris entre 0 et 1, règle le poids du terme de différence ; avec θ=0\theta=0, on retrouve la convolution ordinaire. CDCN équation 3

Le signe moins au centre transforme les valeurs du voisinage en écarts par rapport au centre, qui sont ensuite pondérés et agrégés par la convolution.

La figure d'origine montre l'échantillonnage et l'agrégation du terme de différence centrale ; la CDC complète mélange en outre, selon un poids, le terme de convolution ordinaire. Searching Central Difference Convolutional Networks for Face Anti-Spoofing — Figure 2, Yu, Zitong et al..

Reprenons le bloc 3×3 qui a servi au calcul du LBP, avec un jeu de poids 3×3 d'exemple, puis éclaircissons tout le bloc de 30, comme si on changeait de lampe ; CDC prend θ=0.7\theta=0.7.

Quand tout le bloc s'éclaircit, l'écart entre chaque voisin et le centre ne change pas : le code LBP reste 120, et le terme de différence centrale reste 0.7. La convolution ordinaire gagne 30 fois la somme des poids, 0.5, et passe de 33.2 à 48.2 ; la CDC ne contient que 30 % de convolution ordinaire et ne gagne que 4.5.

Figure : réaction des trois opérations quand tout le bloc s'éclaircit de 30. Les poids sont des valeurs d'exemple.

Ce petit calcul montre seulement que le terme de différence est insensible à un changement global de luminosité ; un vrai changement d'éclairage est bien plus complexe que l'ajout d'une constante. Dans l'étude d'ablation de l'article, sur le premier protocole d'OULU-NPU, l'ACER vaut 3.8 % avec θ=0\theta=0 et 1.0 % avec θ=0.7\theta=0.7 ; CDCN++, qui ajoute une recherche d'architecture neuronale, descend à 0.2 %. CDCN §4.3, Table 4

Une figure au début de l'article dit la même chose. Deux attaques imprimées viennent d'éclairages et de caméras différents ; le cadre rouge marque la zone examinée ; au centre, les caractéristiques de la convolution ordinaire, à droite celles de la CDC.

Selon les auteurs, quand l'éclairage et la caméra changent, les caractéristiques de la convolution ordinaire changent aussi ; la trame d'impression captée par la CDC est la même sur les deux images. Searching Central Difference Convolutional Networks for Face Anti-Spoofing — Figure 1, Yu, Zitong et al..

Il y a aussi des progrès inter-jeux de données, mais très différents selon le sens. Entraîné sur CASIA-MFSD et testé sur Replay-Attack, le LBP obtient un HTER de 47.0 %, CDCN++ de 6.5 % ; dans l'autre sens, entraîné sur Replay-Attack et testé sur CASIA-MFSD, le LBP obtient 39.6 %, CDCN++ 29.8 %. CDCN Table 7

En 2022, Zitong Yu et ses collègues signent la première synthèse du domaine centrée sur l'apprentissage profond. Ils y relèvent que les méthodes à supervision au niveau du pixel comme CDCN excellent à l'intérieur d'un jeu de données, mais déçoivent dans les tests inter-jeux de données à sources multiples ; ResNet avec entropie croisée binaire montre le profil inverse. La synthèse rappelle aussi que, sur OULU-NPU, l'écart entre un ACER de 0.4 % et de 0.8 % compte déjà peu ; ce test approche de la saturation. FAS Survey §5

Les données grossissent elles aussi. En 2020, CelebA-Spoof, de SenseTime, de l'Université Jiaotong de Pékin et de l'Université chinoise de Hong Kong, réunit 10 177 personnes et 625 537 images, issues de 8 scènes et de plus de 10 capteurs, annotées avec 10 types d'attaques et les 40 attributs faciaux hérités de CelebA. Les auteurs constatent qu'utiliser ces annotations sémantiques comme tâches auxiliaires aide davantage le modèle à généraliser que la seule classification binaire vrai/faux ou que les cartes géométriques. Résumé CelebA-Spoof

Une autre piste consiste à extraire les traces laissées par l'attaque. STDN, de l'Université d'État du Michigan, décompose l'image d'attaque en « traces d'usurpation » à plusieurs échelles, comme les dominantes de couleur, les bords de masque et le moiré ; retirer les traces restitue le vrai visage correspondant, et coller les traces sur un autre visage synthétise de nouveaux échantillons d'attaque. Résumé STDN

Les quatre exemples sont une relecture, une impression, un maquillage et un masque 3D. Dans chaque groupe, de gauche à droite : l'image d'entrée, la trace d'usurpation extraite, et le vrai visage restitué une fois la trace retirée, avec des agrandissements locaux.

Parmi les traces citées par les auteurs : le moiré de la relecture, les faux sourcils et la cire du maquillage, la dominante de couleur de l'impression et les reflets spéculaires du masque 3D. On Disentangling Spoof Trace for Generic Face Anti-Spoofing — Figure 1, Liu, Yaojie et al..

À la même époque, Disentangle-FAS sépare l'image en caractéristiques de vivant et de contenu ; DualStage entraîne en deux étapes pour stabiliser cette séparation et détecter des types d'attaques jamais vus ; DSDG utilise un VAE pour séparer l'identité du type d'attaque et générer en masse de nouvelles combinaisons.

Changer de téléphone

Les deux sens du tableau de CDCN laissent déjà voir la plus grande difficulté du domaine. Un modèle apprend très bien sur un jeu de données ; passer à un autre jeu de données, c'est changer de caméra, d'éclairage, d'arrière-plan et d'instrument d'attaque, et le taux d'erreur s'envole.

Depuis 2019 environ, la recherche inter-domaines utilise souvent un test fondé sur quatre jeux de données : OULU-NPU (O), CASIA-MFSD (C), Replay-Attack (I) et MSU-MFSD (M). On en prend trois pour l'entraînement et le dernier pour le test, ce qu'on note O&C&I→M, O&M&I→C, etc. Ces quatre jeux de données datent de 2012 à 2017, et leurs attaques se limitent à l'impression et à la relecture.

Sur ce test, les méthodes classiques peinent. Le LBP multi-échelle obtient un HTER de 29.76 % sur O&C&I→M et de 54.28 % sur O&M&I→C ; IDA, une méthode qui analyse la distorsion de l'image, obtient 66.67 % sur O&C&I→M, pire qu'un tirage au hasard. SSDG Table 5

Quand on change de jeu de données, qu'est-ce qui casse, au juste ? Prenons un cas simplifié. Supposons que, sur les téléphones vus à l'entraînement, les scores des vraies personnes se concentrent autour de 0.75 et ceux des attaques autour de 0.35. Sur un nouveau téléphone, la qualité d'image diffère et les deux groupes de scores baissent ensemble : de 0.2 pour les vraies personnes, de 0.15 pour les attaques. L'ordre entre vraies personnes et attaques ne change pas ; seule leur position change.

Le même modèle, avec les mêmes scores sur le nouveau téléphone, donne deux HTER très différents.

Si l'on choisit le seuil sur l'ensemble de développement, comme le veut la règle, il vaut 0.55 et tombe en plein milieu des scores des vraies personnes sur le nouveau téléphone : la moitié des vraies personnes restent dehors, et le HTER est de 26.4 %. Si l'on choisit le seuil avec le corrigé du nouveau téléphone, il descend à 0.38 et le HTER n'est plus que de 4.6 %. L'AUC ne regarde que l'ordre entre vraies personnes et attaques ; elle ne dépend pas du seuil et vaut 0.993.

Figure : la distribution simulée des scores. Le trait plein est le seuil choisi sur l'ensemble de développement, le pointillé le seuil choisi avec le corrigé du nouveau téléphone.

En déploiement, le corrigé du nouveau téléphone est inaccessible ; le second chiffre ne peut se calculer que dans un article. Cette expérience resservira dans la dernière section.

À partir de 2020, la plupart des méthodes inter-domaines cherchent comment garder l'espace des caractéristiques séparable, et séparé au même endroit, sur des jeux de données jamais vus.

SSDG : les vraies personnes se regroupent, les attaques se dispersent

En 2020, Yunpei Jia et ses collègues de l'Institut de technologie informatique de l'Académie chinoise des sciences proposent SSDG. Ils remarquent que les vraies personnes se ressemblent d'un jeu de données à l'autre, alors que les attaques sont très variées : chaque jeu de données a ses propres instruments d'attaque et ses propres conditions de prise de vue. Forcer toutes les attaques à former un seul groupe est très difficile. Ils ne rapprochent donc que les caractéristiques des vraies personnes des différents jeux de données, et laissent les attaques se disperser entre jeux de données tout en se regroupant au sein de chacun : c'est le sens de « single-side », un seul côté. SSDG §3

Les couleurs indiquent la source des données ; les points et les croix distinguent faux et vrais visages. Comparez quels points sont regroupés de chaque côté.

À droite, seuls les vrais visages sont rapprochés d'un domaine à l'autre ; les faux visages restent séparés selon leur source. L'orange illustre le domaine cible jamais vu. Single-Side Domain Generalization for Face Anti-Spoofing — Figure 1, Jia, Yunpei et al..

Sur O&C&I→M, MADDG (2019) obtient 17.69 % ; SSDG obtient 16.67 % avec le même backbone, et 7.38 % avec ResNet-18. SSDG Table 5 Les auteurs notent eux-mêmes que le changement de backbone apporte un net progrès. Dans les tableaux qui suivent, le backbone change souvent en même temps que la méthode.

Sans étiquettes de jeu de données, ou en séparant le style

SSDG doit savoir de quel jeu de données vient chaque image. En 2021, D²AM estime que les données réellement collectées sont souvent mélangées, et que le « jeu de données » n'est pas forcément le meilleur découpage. Il regroupe automatiquement les données à partir de caractéristiques extraites par instance normalization, utilise ces groupes comme pseudo-étiquettes de jeu de données, puis entraîne par méta-apprentissage. Résumé D²AM

En 2022, SSAN, de l'Université des postes et télécommunications de Pékin et de Kuaishou, sépare les caractéristiques en contenu et en style. Il mélange et recombine le contenu et le style d'images différentes, puis, par apprentissage contrastif, conserve le style lié au vivant et atténue le style lié au jeu de données. Résumé SSAN En 2023, IADG juge l'alignement au niveau du jeu de données trop grossier et applique plutôt à chaque image un blanchiment asymétrique qui retire les corrélations de caractéristiques sensibles au style. Résumé IADG En 2024, HPDR place les caractéristiques dans un espace hyperbolique et remplace l'alignement direct par des relations hiérarchiques entre prototypes. Résumé HPDR

SA-FAS : une même droite qui fonctionne dans chaque domaine

En 2023, SA-FAS, de Google, de l'Université du Wisconsin à Madison et de l'Université d'État du Michigan, part d'une autre idée. La plupart des méthodes précédentes cherchent à fondre les jeux de données en un seul groupe ; les auteurs observent que, si bien fondus soient-ils sur les données d'entraînement, les caractéristiques se décalent quand même sur un jeu de données jamais vu, et la frontière de décision perd sa justesse. SA-FAS §1

Ils ne cherchent donc pas à mélanger les jeux de données ; au contraire, ils les laissent séparés, mais exigent que, dans chacun, la direction qui va des vraies personnes aux attaques soit la même. Si la direction est la même, une même frontière tracée sur chaque jeu de données tranche correctement. SA-FAS Figure 1 Dans la petite expérience de tout à l'heure, les scores du nouveau téléphone glissaient en bloc vers la gauche ; si ce déplacement ne se produit que dans une direction sans rapport avec le vrai et le faux, la droite choisie sur l'ensemble de développement ne se trompera pas.

En haut, l'approche courante, qui fond les différents jeux de données ensemble ; en bas, SA-FAS : les jeux de données restent séparés, mais dans chacun, la flèche qui va des vraies personnes aux attaques pointe dans la même direction. Les encadrés de droite listent les indices sur lesquels le classifieur s'appuie.

Dans (a), les différences entre jeux de données peuvent aussi servir d'indice au classifieur ; (b) les rend sans rapport avec la décision vrai/faux. Rethinking Domain Generalization for Face Anti-spoofing: Separability and Alignment — Figure 1, Sun, Yiyou et al..

Sur O&C&I→M, SA-FAS obtient 5.95 %, SSAN 6.67 %, IADG 5.41 % et HPDR 4.58 %. SA-FAS Table 1, IADG Table 1, HPDR Table 1

Partir des nouvelles données

D'autres méthodes ne se limitent pas à l'entraînement ; elles exploitent aussi les données de la nouvelle scène.

En 2022, CDFTN fait de l'adaptation de domaine : on dispose d'images non annotées de la nouvelle scène. Il sépare les caractéristiques de vivant et de contenu, associe les caractéristiques de vivant des données sources au contenu de la scène cible, et synthétise ainsi des échantillons étiquetés pour l'entraînement. Résumé CDFTN En 2023, UDG-FAS va plus loin et se passe complètement d'étiquettes : il apprend à partir d'un grand nombre d'images de visages non annotées, qu'il découpe en morceaux, fait pivoter et recompose pour éviter que le modèle ne mémorise seulement l'identité. Résumé UDG-FAS La même année, 3A-TTA ajuste le modèle après le déploiement, pendant l'inférence, en prenant les décisions du modèle lui-même comme pseudo-étiquettes, tout en l'empêchant d'oublier ce qu'il avait appris. Résumé 3A-TTA

Il existe aussi un angle très concret. À l'inscription, un système de reconnaissance faciale enregistre généralement quelques images du vrai visage de l'utilisateur. En 2022, Personalized-FAS utilise aussi ces images d'inscription comme entrée et construit, à partir de CelebA-Spoof et de SiW, deux tests, CelebA-Spoof-Enroll et SiW-Enroll, pour voir si le modèle peut prendre « l'apparence habituelle de cette personne » comme référence. Résumé Personalized-FAS

Passer aux grands modèles préentraînés

Avec l'arrivée du Vision Transformer, les chiffres inter-domaines baissent encore d'un cran.

En 2023, DiVT prend comme backbone le léger MobileViT et ajoute deux fonctions de perte : l'une regroupe les vrais visages de tous les jeux de données, l'autre regroupe un même type d'attaque d'un jeu de données à l'autre. Résumé DiVT Les auteurs viennent de l'Université nationale de Taïwan, de l'Université nationale Cheng Kung, de l'Université nationale Tsing Hua et d'autres établissements, et l'un d'eux travaille chez E.SUN Financial Holding ; la détection d'usurpation faciale intéresse depuis longtemps le secteur financier. Sur O&C&I→M, DiVT obtient 2.86 %. DiVT Table 1

La même année, S-Adapter gèle un ViT préentraîné et n'y insère que de petits modules d'adaptation. Ces modules transforment les tokens en histogrammes locaux ; selon les auteurs, cette conception reprend l'idée du LBP, qui extrait d'abord des caractéristiques locales puis les rassemble en histogramme, une démarche moins sensible aux changements d'éclairage. Une matrice de Gram atténue en outre les différences de style entre jeux de données. O&C&I→M : 3.43 %. S-Adapter §III, Table II

La même année encore, la MBZUAI, aux Émirats arabes unis, propose FLIP, qui adopte les poids de CLIP. CLIP est entraîné sur un grand nombre de paires image-texte, et encode images et textes dans le même espace vectoriel. Les auteurs constatent qu'il suffit de remplacer l'initialisation du ViT par l'encodeur d'images de CLIP et d'affiner directement pour obtenir le meilleur HTER inter-domaines moyen publié à ce moment-là. FLIP §4.2

Un pas plus loin, FLIP renonce à la tête de classification et se sert du texte comme classifieur. On prépare deux groupes de descriptions, par exemple « This is an example of a real face » pour les vraies personnes, « This is an example of a spoof face » et « A printout shown to be a spoof face » pour les attaques, et on les encode tous en vecteurs ; l'image est attribuée au groupe dont le vecteur est le plus proche du sien. FLIP Table 1, §3.3 Avec l'apprentissage contrastif multimodal, FLIP-MCL obtient 4.95 % sur O&C&I→M et 3.01 % en moyenne sur les quatre tests. FLIP Table 2

Avant d'aller plus loin, deux points du protocole expérimental de FLIP sont à examiner de près. D'abord, il reprend la pratique de ViTAF (2022) et ajoute CelebA-Spoof aux données d'entraînement ; par rapport à la génération de SSDG, qui n'utilisait que trois jeux de données, les données d'entraînement sont bien plus abondantes. Ensuite, les auteurs font tourner chaque expérience avec cinq graines aléatoires et en prennent la moyenne, en signalant que la plupart des travaux antérieurs ne rapportent que le meilleur résultat d'une seule exécution. FLIP §4.1, annexe B

En 2024, CFPL-FAS, de l'Institut d'automatique de l'Académie chinoise des sciences et d'autres institutions, s'inspire du Q-Former de BLIP-2 : deux Transformers légers apprennent à partir de l'image deux groupes de prompts, de contenu et de style, sans descriptions de classes écrites à la main. O&C&I→M : 3.09 % ; avec CelebA-Spoof ajouté de la même façon, 1.43 %. CFPL-FAS Table 1

Rassemblons les O&C&I→M rapportés par chaque article :

Figure : les HTER O&C&I→M tirés des tableaux de chaque article. Backbones, préentraînement et données d'entraînement diffèrent ; les chiffres sont repris des articles d'origine, sans réexécution.

En descendant, la couleur et l'année changent presque ensemble. Une grande partie de la baisse accompagne les changements de backbone et de préentraînement, de ResNet-18 à ViT, puis à CLIP et aux grands modèles de langage.

Les modalités autres que l'image passent elles aussi au Transformer. MA-ViT fait entrer plusieurs modalités ensemble dans un ViT par une seule branche, et peut décider au test à partir de n'importe laquelle ; M²A²E conçoit pour le RGB, l'infrarouge et la profondeur un préentraînement par autoencodeur masqué asymétrique, puis affine avec de petits modules d'adaptation ; MMDG traite deux problèmes du multimodal, certains capteurs peu fiables dans un nouvel environnement et une dépendance excessive à une seule modalité pendant l'entraînement ; FM-CLIP, enfin, transpose CLIP au cas où plusieurs modalités sont disponibles à l'entraînement mais pas forcément au test. Résumé MA-ViT, Résumé M²A²E, Résumé MMDG

Attaques numériques et modèles qui parlent

Toutes les attaques précédentes exigent de placer un objet devant la caméra. Les attaques numériques s'en passent : les deepfakes par échange de visage ou les exemples antagonistes modifient directement l'image. Les deux familles d'attaques sont souvent étudiées séparément, mais un système déployé peut rencontrer les deux à la fois.

L'article SHIELD propose un tableau d'échantillons qui montre d'un coup les deux familles. À gauche, une personne réelle ; en haut, six attaques physiques ; en bas, des visages générés ou modifiés par des modèles de diffusion et des GAN.

Les échantillons viennent de WMCA, FF++ et d'autres jeux de données. Les attaques numériques n'ont ni bord de papier ni reflet d'écran : la plupart des indices précédents ne servent plus. SHIELD: An Evaluation Benchmark for Face Spoofing and Forgery Detection with Multimodal Large Language Models — Figure 2, Shi, Yichen et al..

Le challenge anti-usurpation de CVPR 2024 réunit les deux familles d'attaques dans un même jeu de données, UniAttackData : 1 800 personnes, chacune avec 2 attaques physiques et 12 attaques numériques, soit 28 706 vidéos au total ; 136 équipes participent à la phase de développement, 13 atteignent la finale. FAS-Challenge §1, §3

La première place revient à PD-FAS, de Meituan et d'autres institutions. Sa méthode principale est l'augmentation de données : transformer des images de vraies personnes en échantillons d'attaque simulés. Côté physique, on superpose dominantes de couleur et moiré pour simuler l'impression et la reprise photo d'un écran ; côté numérique, on simule les traces laissées par l'échange de visage. Le modèle voit donc dès l'entraînement ces attaques « jamais vues ». Ses résultats finaux sont un APCER de 3.75 %, un BPCER de 0.93 % et un ACER de 2.34 %. Résumé PD-FAS La même année, La-SoftMoE estime que les caractéristiques des deux familles d'attaques sont trop dispersées pour tenir dans un espace commun ; il insère donc dans CLIP des couches de mélange d'experts, afin que différents groupes de paramètres prennent en charge différentes régions. Résumé La-SoftMoE

Au même moment, les grands modèles de langage multimodaux savent décrire ce qu'ils voient. Les chercheurs se demandent alors si des modèles comme GPT-4V reconnaissent une attaque.

En 2024, SHIELD soumet GPT-4V, Gemini et d'autres modèles à des questions vrai/faux et à choix multiples, couvrant les trois modalités RGB, infrarouge et profondeur, ainsi que les attaques physiques et les deepfakes. Les auteurs concluent que ces modèles possèdent déjà, en zero-shot, une certaine capacité de raisonnement pour distinguer le vrai du faux. SHIELD §1 Ils conçoivent aussi une chaîne de pensée multi-attributs qui demande au modèle de vérifier point par point. Pour la détection d'usurpation faciale, les attributs sont au nombre de cinq : SHIELD Table 2

  • la cohérence locale et la netteté des pixels
  • la cohérence de la forme globale des traits du visage
  • la profondeur et le relief
  • la brillance et les reflets
  • la présence d'un bord d'écran de téléphone ou de papier

Reflets, relief, bords d'écran et de papier : les éléments de cette liste sont presque les mêmes indices que ceux que les articles scrutaient depuis plus de dix ans.

En 2025, I-FAS reformule la détection d'usurpation comme une question-réponse sur image. Il génère d'abord, pour les images d'entraînement, des textes qui décrivent les indices d'attaque, puis entraîne le modèle à répondre d'abord vrai ou faux et ensuite à expliquer, avec une fonction de perte qui privilégie la première réponse. Résumé I-FAS C'est le 0.32 % du début, avec une moyenne de 1.33 % sur les quatre tests. I-FAS Table 1

I-FAS fait aussi un test plus difficile : entraîner uniquement sur CelebA-Spoof et tester sur 11 jeux de données, dont des attaques par masque 3D, par maquillage et avec de nouveaux matériaux. Sur ces 11 jeux de données, le HTER moyen est de 11.30 % pour I-FAS et de 18.73 % pour FLIP. I-FAS Table 2 La même méthode obtient 1.33 % en moyenne sur les tests leave-one-out des quatre anciens jeux de données, et 11.30 % en moyenne quand elle est entraînée uniquement sur CelebA-Spoof et testée sur 11 jeux de données.

La même année, FaceShield construit 10 000 exemples de préentraînement et 45 000 exemples d'affinage par instructions, pour que le modèle décide du vrai et du faux, nomme le type d'attaque, explique ses raisons, et indique aussi où se trouve l'attaque sur le visage. Résumé FaceShield

Voici les quatre types de réponses de FaceShield. En haut à gauche, la décision vrai/faux ; au milieu à gauche, le type d'attaque ; en bas, la localisation de l'attaque ; à droite, le raisonnement, qui cite point par point l'éclairage, la forme des traits du visage, le relief et le bord de l'écran.

Les attributs utilisés par le raisonnement de droite sont presque les mêmes que ceux de la chaîne de pensée de SHIELD ; le modèle conclut que ce visage est une image lue sur un écran. FaceShield: Explainable Face Anti-Spoofing with Multimodal Large Language Models — Figure 1, Wang, Hongyang et al..

InstructFLIP, de l'Université nationale de Taïwan, sépare les instructions en deux types, contenu et style : les instructions de contenu interrogent l'attaque elle-même, les instructions de style l'éclairage et la qualité de la caméra. Lui aussi est entraîné uniquement sur CelebA-Spoof ; son HTER moyen sur sept jeux de données est de 12.68 %, contre 18.82 % pour FLIP-MCL dans les mêmes conditions. InstructFLIP Table 2

Retour en arrière : où le taux d'erreur est-il mesuré ?

1.33 % sur les quatre anciens jeux de données, 11.30 % sur onze. Les deux tests diffèrent par les données d'entraînement comme par les données de test, et l'écart ne peut pas être attribué à une seule cause. Mais des chiffres comme O&C&I→M dépendent aussi de l'époque à laquelle le taux d'erreur est mesuré, et du seuil utilisé.

L'article SA-FAS contient un passage à ce sujet. Son tableau principal suit la convention de SSDG et rapporte « l'instantané d'entraînement à l'erreur de test la plus basse », par exemple la 16e époque. Les auteurs estiment que cela fluctue beaucoup sur l'ensemble de test et ne reflète pas la performance réelle quand on n'a pas accès à l'ensemble de test ; ils ajoutent donc un tableau qui prend la moyenne des 10 dernières époques après convergence. SA-FAS §4.2

Chaque case donne, dans l'ordre, HTER, AUC et TPR, avec l'écart-type en petits caractères en haut à droite ; pour comparer avec le tableau principal, regardez d'abord le HTER de la colonne OCI→M.

Table 2 de SA-FAS : quatre méthodes sur OCI→M, OMI→C, OCM→I et ICM→O, avec HTER, AUC et TPR95 en moyenne des 10 dernières époques après convergence. Rethinking Domain Generalization for Face Anti-spoofing: Separability and Alignment — Table 2, Sun, Yiyou et al..

Mettons côte à côte les HTER des deux tableaux :

Figure : les HTER des Table 1 et Table 2 de l'article SA-FAS.

Même méthode, mêmes données : en changeant seulement la façon de prendre le chiffre, SSDG-R passe de 7.38 % à 14.65 % sur O&C&I→M, et SSAN-R de 6.67 % à 21.79 %. SA-FAS lui-même passe de 5.95 % à 14.36 %, mais, avec cette mesure, reste le meilleur sur les quatre tests.

Pourquoi le choix de l'instantané fait-il un tel écart ? Même si le vrai taux d'erreur du modèle est le même à chaque époque, l'ensemble de test ne compte que quelques centaines de vidéos, et le chiffre mesuré fluctue. Supposons un modèle dont le vrai taux d'erreur vaut 10 % à chaque époque, et un ensemble de test de 40 vidéos de vraies personnes et 80 d'attaques, puis simulons les mesures sur 30 époques.

Le modèle n'a pas changé du tout ; il a suffi de retenir la plus basse de 30 mesures pour que le taux d'erreur passe d'environ 10 % à 6.2 %.

Figure : les 30 HTER de la simulation.

Cette convention est écrite dans le code officiel. Le script d'entraînement de SSDG évalue le modèle sur les données de test du jeu de données cible à la fin de chaque époque, cherche sur ces mêmes données le seuil du taux d'erreur égal, calcule le HTER avec ce seuil, et enregistre comme meilleur modèle celui dont le HTER est le plus bas. Code SSDG Le script d'entraînement de FLIP suit le même déroulement : chaque graine renvoie le HTER de test le plus bas obtenu pendant l'entraînement, puis on fait la moyenne des cinq graines. Code FLIP FLIP règle la question du « meilleur essai parmi plusieurs », mais l'époque et le seuil restent choisis sur l'ensemble de test.

Autrement dit, dans l'expérience sur le seuil, « choisir le seuil avec le corrigé du nouveau téléphone » correspond exactement à cette convention ; et dans l'expérience sur les époques, retenir le point le plus bas aussi.

En 2025, des chercheurs de l'Université fédérale du Paraná, au Brésil, et de l'entreprise de vérification d'identité unico abordent la question de front, à l'atelier des travaux en cours de la conférence SIBGRAPI. Ils ajoutent un autre jeu de données comme ensemble de validation, par exemple SiW, pour choisir l'époque et le seuil, et ne regardent l'ensemble de test qu'une fois l'entraînement entièrement terminé. Voici l'évolution du HTER pour SA-FAS et pour GAC-FAS, une autre méthode de 2024. À gauche de la flèche, le choix sur l'ensemble de test ; à droite, le choix sur SiW, en % ; les dégradations sont en rouge, les améliorations en vert : Almeida et al. Table III

Jeu de testSA-FASGAC-FAS
OULU-NPU12.13 → 13.8110.52 → 7.91
Replay-Attack9.00 → 21.505.00 → 8.55
CASIA-FASD14.00 → 26.6712.22 → 9.14
MSU-MFSD11.43 → 11.437.92 → 7.31

(Il s'agit de leurs propres réexécutions ; les chiffres à gauche de la flèche ne correspondent pas exactement aux articles d'origine.)

Le HTER de SA-FAS double à peu près sur Replay-Attack et CASIA-FASD ; GAC-FAS, au contraire, s'améliore sur trois tests. Avec un ensemble de validation, certaines méthodes reculent beaucoup, d'autres presque pas, et un seul tableau ne permet guère de savoir à l'avance dans quel cas on se trouve.

Ils testent aussi sur WFAS les modèles entraînés sur les quatre anciens jeux de données. WFAS est un jeu de données collecté sur Internet, avec 469 920 personnes et 17 types d'attaques. L'ACER de SA-FAS comme celui de GAC-FAS se situe entre 28 % et 33 %. Almeida et al. Table IV

L'avertissement ne date pourtant pas d'hier. En 2013, dans le manuscrit soumis de 3DMAD, Erdogmus et Marcel écrivaient que rapporter la meilleure performance ou la meilleure AUC sur l'ensemble de test peut être très trompeur, et que la généralisation doit être prise aussi au sérieux que le pouvoir discriminant. 3DMAD §VI-B

Retour en 2012

Au terme du parcours, la baisse du taux d'erreur vient en gros de quelques sources :

  1. De nouveaux indices : la texture arrête les photos et les premiers masques ; quand les masques deviennent ressemblants, on écoute le pouls ; quand le RGB ne suffit plus, on ajoute profondeur, infrarouge, thermique, ou l'on passe carrément aux ondes sonores.
  2. De nouvelles convolutions et supervisions : la CDC fait entrer dans la convolution la différence centrale du LBP, et la supervision par pseudo-profondeur force le réseau à regarder la forme du visage.
  3. Une conception inter-domaines : regrouper les vraies personnes, disperser les attaques, séparer le style, et aligner dans chaque jeu de données la direction qui va des vraies personnes aux attaques.
  4. Les grands modèles préentraînés : de ResNet-18 à ViT et CLIP, puis aux grands modèles de langage multimodaux, les chiffres O&C&I→M suivent le backbone vers le bas.
  5. La mesure : une partie de la baisse vient du choix du seuil et de l'époque sur l'ensemble de test.

Pour ce dernier point, l'article REPLAY-ATTACK de 2012 avait déjà écrit la réponse. L'ensemble d'entraînement sert à entraîner, l'ensemble de développement à décider quand s'arrêter, et l'ensemble de test uniquement à rapporter le taux d'erreur.

Ces 82 % d'attaques, on sait sans doute toutes les arrêter aujourd'hui. Quant à savoir si 0.32 % est juste, il faudra le mesurer sur un autre ensemble de test, que personne n'a encore regardé en douce.