Retour à la bibliothèque
arXiv 2023ICCV 2023Détection des attaques de présentation facialeNotes de lecture

FLIP

L'incantation de défense

Article original

FLIP: Cross-domain Face Anti-spoofing with Language Guidance

Auteurs de l’article

Koushik Srivatsan · Muzammal Naseer · Karthik Nandakumar

Publication
ICCV 2023Conférence
Premier dépôt sur arXiv
arXiv:2309.16649
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{faceantispoofingflip2023,
  title = {{FLIP: Cross-domain Face Anti-spoofing with Language Guidance}},
  author = {Koushik Srivatsan and Muzammal Naseer and Karthik Nandakumar},
  year = {2023},
  eprint = {2309.16649},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2309.16649}
}
Sur cette page

« C'est un vrai visage ! »

Le langage naturel m'en est le noble témoin, semble dire le modèle.

Définir le problème

Dans les aéroports, sur les téléphones, aux portes et à tous les points de contrôle, le visage est devenu un signe d'identité familier.

Pourtant, les modèles qui défendent ces systèmes contre les attaques de présentation (Face Anti-Spoofing, FAS) révèlent une fragilité inattendue lorsqu'on change d'appareil, de méthode d'attaque ou d'environnement :

  • le modèle réussit sur la distribution qu'il connaît, puis se dégrade fortement hors de son cadre d'entraînement ;
  • une autre résolution, un nouvel éclairage, voire une petite modification de l'attaque peuvent lui faire prendre le faux pour le vrai.

Enfin, bien des méthodes supposent qu'elles pourront obtenir des exemples du domaine cible. Dans la pratique, c'est souvent un luxe : personne ne sait d'où viendra la prochaine attaque ni quelle forme elle prendra.

Nous entendons la même chose depuis plus de dix ans, sans avoir résolu le problème.

Il faut donc revenir à une question fondamentale :

Face à un domaine cible sans étiquettes et à des attaques inconnues, le modèle peut-il conserver son sens du « vivant » ?

Les tentatives précédentes suivent surtout trois voies :

  • adaptation de domaine non supervisée (UDA) : utiliser des données cibles non étiquetées pour améliorer la frontière de décision ;
  • apprentissage avec peu d'exemples (few-shot learning) : adapter rapidement les représentations avec quelques exemples cibles étiquetés ;
  • généralisation de domaine (DG) : apprendre, à partir de plusieurs domaines sources, des caractéristiques discriminantes qui se transfèrent à d'autres attaques.

Ces approches supposent souvent un accès au domaine cible ou demandent des informations auxiliaires difficiles à obtenir, comme le type d'attaque ou une étiquette de style, voire des modules particuliers. Le transfert « zéro exemple cible » demeure donc une idée aussi séduisante que difficile.

Les auteurs proposent alors une réflexion plus radicale :

  • Si nous remplaçons un ViT préentraîné par le composant visuel d'un modèle multimodal comme CLIP, le passage entre domaines devient-il plus facile ?
  • Le langage peut-il servir de description relativement neutre face au style et guider le modèle vers des indices sémantiques de vie ?
  • Si l'image et le texte ne sont plus simplement appariés mais codent ensemble l'authenticité, le modèle comprend-il mieux ce qui est réel ?

Ces questions concernent la structure des données, mais aussi la profondeur sémantique de la représentation. Le modèle doit apprendre plus que des caractéristiques : il doit reconnaître, à travers une description, si un visage est authentique.

Tout commence par une phrase :

“This is not a spoof face.”


Résoudre le problème

Attendez, vous ne savez pas encore ce qu'est CLIP ?

Présentons-le rapidement :

Imaginons une paire image-texte : la photo d'un chien et la phrase « un adorable petit chien ».

Dans un lot d'entraînement, CLIP reçoit beaucoup de ces paires. Un encodeur d'images, fondé par exemple sur ResNet ou ViT, extrait des caractéristiques visuelles. Un encodeur de texte fondé sur Transformer extrait celles de la phrase.

Le modèle compare alors les représentations : il augmente la similarité cosinus des bonnes paires, comme le chien et sa description, et réduit celle des mauvaises, comme ce chien et la phrase « une pomme ».

CLIP a ainsi été entraîné avec quelque 400 millions de paires image-texte.

L'idée est simple, les résultats sont bons, et le succès de cette architecture a ouvert une nouvelle époque.

Architecture du modèle

La figure résume les trois variantes étudiées :

  • (a) FLIP-Vision : l'encodeur visuel de CLIP suivi d'un MLP, comme modèle de référence ;
  • (b) FLIP-IT : des descriptions textuelles pour chaque classe, avec la similarité cosinus comme score de classification ;
  • (c) FLIP-MCL : une version enrichie de régularisations multimodales, qui apprend une représentation plus cohérente entre domaines à partir de plusieurs vues.

Cette architecture part de CLIP. Voyons comment ses connaissances sont adaptées à notre problème.

FLIP-Vision

CLIP a été préentraîné sur un grand volume d'images et de textes du Web. Il transfère bien ses représentations à diverses tâches visuelles, comme la classification, la détection d'objets et la segmentation.

Mais la FAS repose souvent sur des écarts minuscules : reflet du papier, texture d'un écran ou artefacts de recapture. Il faut donc adapter les caractéristiques de CLIP.

Les auteurs proposent FLIP-Vision (FLIP-V) comme modèle de référence, avec une modification minimale :

  • conserver l'encodeur d'images de CLIP ;
  • écarter l'encodeur de texte pendant l'adaptation FAS et utiliser le ViT visuel ;
  • prendre la sortie du token de classe du dernier bloc Transformer et y ajouter une tête perceptron multicouche (MLP) pour classer vrai ou faux ;
  • entraîner le tout par entropie croisée sur les deux classes.

Il s'agit d'un ajustement de l'encodeur visuel initialisé par un préentraînement image-texte : le texte n'intervient plus pendant cet ajustement.

À l'entraînement, les auteurs utilisent des images équilibrées issues de plusieurs domaines sources, pour que le modèle rencontre différents styles, attaques et conditions de capture.

Ce processus reste entièrement supervisé et n'utilise pas encore d'indice linguistique.

FLIP-V illustre donc ceci :

Même sans langage pendant l'ajustement, le tronc visuel initialisé par CLIP obtient, dans le protocole étudié, un HTER moyen meilleur que le ViT comparable initialisé sur ImageNet.

FLIP-Image-Text

FLIP-Vision montre le potentiel de transfert de l'encodeur visuel de CLIP en FAS, mais reste un classifieur purement visuel.

Il demeure dans le cadre des caractéristiques visuelles et n'exploite pas l'idée initiale de CLIP : utiliser le langage pour guider et juger l'image.

Les auteurs introduisent donc FLIP-IT.

Des phrases en langage naturel deviennent des « ancres sémantiques » : pendant l'apprentissage, le modèle compare directement l'image aux descriptions, au lieu de ne retenir qu'une frontière apprise entre images.

Il n'utilise plus une tête MLP traditionnelle pour juger le visage ; chaque image « choisit la description qui lui ressemble davantage ».

Chaque classe, réel ou attaque, est représentée par des phrases. L'encodeur textuel de CLIP les convertit en vecteurs z⃗r\vec{z}_r et z⃗s\vec{z}_s. Leur similarité cosinus avec le vecteur image x⃗\vec{x} fournit les scores de décision.

Le modèle décide toujours de la classe de l'image, mais à partir de sa proximité avec deux familles de descriptions.

Une même classe peut être décrite par plusieurs phrases. Les auteurs espèrent ainsi guider la représentation visuelle vers des indices liés à l'authenticité.

Ils évaluent six paires de formulations pour les classes réelle et attaque :

Prompt No.Real PromptsSpoof Prompts
P1This is an example of a real faceThis is an example of a spoof face
P2This is a bonafide faceThis is an example of an attack face
P3This is a real faceThis is not a real face
P4This is how a real face looks likeThis is how a spoof face looks like
P5A photo of a real faceA photo of a spoof face
P6This is not a spoof faceA printout shown to be a spoof face

Ces phrases suivent plusieurs stratégies :

  • une affirmation positive, comme P2 : « This is a bonafide face » ;
  • une négation, comme P3 : « This is not a real face » ;
  • une formulation proche d'une légende d'image, comme P5 : « A photo of a real face » ;
  • une négation pour le vrai visage et une attaque précise pour le faux, comme P6.

Ces descriptions forment un ensemble de prompts contextuels. Les auteurs prennent la moyenne zˉ\bar{z} des représentations des six prompts de chaque classe (P=6P=6) pour l'aligner avec les caractéristiques des images. Les encodeurs d'images et de texte sont tous deux ajustés dans FLIP-IT.

Les scores intègrent ainsi plusieurs formulations d'une classe. Leur avantage éventuel sur une seule phrase doit être vérifié sur chaque domaine testé.

FLIP-Multimodal-Contrastive-Learning

Nous avons vu le langage passer d'une simple annotation à un élément du classifieur. FLIP-IT aligne les images sur des descriptions sémantiques pour reconnaître le vrai et le faux. Cet alignement reste toutefois sensible aux variations et à l'incertitude des exemples.

Les auteurs proposent alors FLIP-MCL (FLIP-Multimodal Contrastive Learning).

L'idée est d'introduire l'apprentissage contrastif dans cette architecture multimodale, afin que le modèle reconnaisse aussi ce qui reste constant d'une vue à l'autre.

L'objectif d'entraînement comporte trois termes :

  1. perte de classification LceL_{ce} : la similarité cosinus et l'entropie croisée de FLIP-IT ;
  2. perte contrastive entre images LsimCLRL_{simCLR} : rendre cohérentes différentes vues d'une même image ;
  3. perte de cohérence image-texte LmseL_{mse} : rapprocher les scores de similarité de deux paires image-texte.

Commençons par simCLR.

Pour chaque image II, les auteurs créent deux vues augmentées au hasard, par exemple en modifiant l'éclairage, le masque ou le recadrage : Iv1I^{v_1} et Iv2I^{v_2}.

L'encodeur visuel V\mathcal{V} de CLIP extrait leurs caractéristiques :

x⃗v1=V(Iv1),x⃗v2=V(Iv2)\vec{x}^{v_1} = \mathcal{V}(I^{v_1}), \quad \vec{x}^{v_2} = \mathcal{V}(I^{v_2})

Une tête de projection non linéaire H\mathcal{H} les transforme dans l'espace contrastif :

h⃗1=H(x⃗v1),h⃗2=H(x⃗v2)\vec{h}_1 = \mathcal{H}(\vec{x}^{v_1}), \quad \vec{h}_2 = \mathcal{H}(\vec{x}^{v_2})

Enfin, la perte LsimCLRL_{simCLR} encourage les caractéristiques de ces deux vues à se rapprocher : le modèle apprend une cohérence du contenu.


Passons au MSE.

Du côté du langage, FLIP-MCL cherche un signal stable malgré la diversité des formulations. Pour chaque image, les auteurs tirent au hasard deux phrases parmi les prompts de sa vraie classe, notées z⃗v1\vec{z}^{v_1} et z⃗v2\vec{z}^{v_2}, puis les associent aux deux vues visuelles.

Pour les paires (x⃗v1,z⃗v1)(\vec{x}^{v_1}, \vec{z}^{v_1}) et (x⃗v2,z⃗v2)(\vec{x}^{v_2}, \vec{z}^{v_2}), une perte MSE rapproche leurs similarités cosinus :

Lmse=(sim(x⃗v1,z⃗v1)−sim(x⃗v2,z⃗v2))2L_{mse} = \left(\text{sim}(\vec{x}^{v_1}, \vec{z}^{v_1}) - \text{sim}(\vec{x}^{v_2}, \vec{z}^{v_2})\right)^2

C'est comme dire au modèle :

Quel que soit l'angle de vue ou la phrase de cette même classe, les deux paires image-texte devraient recevoir des scores proches.


L'objectif total réunit les trois pertes :

Lmcl=Lce+LsimCLR+LmseL_{mcl} = L_{ce} + L_{simCLR} + L_{mse}

À l'inférence, comme pour FLIP-IT, le modèle compare par similarité cosinus l'image aux représentations textuelles des deux classes.

Discussion

L'étude emploie trois protocoles de test entre domaines :

  • Protocole 1 : MSU-MFSD, CASIA-MFSD, Idiap Replay Attack et OULU-NPU. À chaque essai, un jeu de données est réservé comme domaine cible et les trois autres servent à l'entraînement (leave-one-domain-out).
  • Protocole 2 : trois jeux de données FAS plus grands, WMCA, CASIA-CeFA et CASIA-SURF, avec la même logique de domaine laissé de côté pour évaluer des variations plus complexes de capteurs et d'environnement.
  • Protocole 3 : un domaine source et un domaine cible parmi les quatre jeux du premier protocole, soit douze paires. Il simule une situation où les données d'entraînement sont limitées à une seule source.

Les mesures sont :

  • le Half-Total Error Rate (HTER), à minimiser ;
  • l'aire sous la courbe ROC (AUC), à maximiser ;
  • le taux de vrais positifs (TPR) pour un taux de faux positifs FPR = 1 %, à maximiser.

Les expériences sont répétées cinq fois et leurs moyennes sont rapportées.

Protocole 1 : quatre domaines MCIO

Trois tendances ressortent du tableau.

D'abord, FLIP-V, l'ajustement visuel, obtient un HTER inférieur à celui du ViT zéro exemple cible pour les cibles C, I et O, mais supérieur pour M. Son HTER moyen vaut 3,48 %, contre 6,00 % pour le ViT. L'initialisation CLIP et l'ajustement complet sont donc compétitifs ici, sans l'emporter dans chaque domaine.

Ensuite, FLIP-IT améliore les résultats sur les cibles C, I et O par rapport à FLIP-V, notamment pour TPR@FPR=1 %. Les prompts linguistiques semblent aider à trouver des indices sémantiques avec peu de données.

Enfin, FLIP-MCL atteint le plus faible HTER moyen du tableau, 3,01 %. Domaine par domaine, il est le meilleur en HTER sur O ; FLIP-IT le devance sur C et I, et le ViT zéro exemple cible sur M. Sur C et O, son HTER est aussi inférieur à celui du ViTAF avec cinq exemples cibles, mais il ne domine pas toutes les colonnes AUC et TPR.

Sur M, l'écart avec le ViT zéro exemple cible est particulièrement net. Parmi les erreurs présentées dans l'article, de vrais visages sont pris pour des attaques ; les auteurs soupçonnent la résolution et l'éclairage.

Dans l'ensemble, ce protocole appuie l'avantage moyen de FLIP-MCL en HTER sur ces quatre domaines, avec des exceptions selon le domaine et la mesure.

Protocole 2 : trois domaines WCS

Le deuxième protocole étend le test à WMCA (W), CASIA-CeFA (C) et CASIA-SURF (S), des jeux plus grands et plus variés. Ils réunissent plus de mille personnes et différents types d'attaques et capteurs ; cette diversité rapproche les tests de certaines conditions pratiques, sans valider à elle seule un déploiement réel.

Pour les cibles W, C et S, FLIP-V abaisse le HTER du ViT zéro exemple cible de 1,85, 0,24 et 0,87 point de pourcentage. La moyenne passe de 10,82 % à 9,83 %.

Par rapport à FLIP-V, FLIP-IT augmente TPR@FPR=1 % de 8,88 points sur W et 5,47 points sur C. En revanche, sur CW → S, ses trois mesures HTER, AUC et TPR sont moins bonnes. Le tableau n'identifie pas la cause précise de cet écart.

FLIP-MCL obtient un HTER et une AUC meilleurs que les autres méthodes zéro exemple cible du tableau sur les trois cibles. Son TPR est maximal sur W et S, mais reste légèrement sous FLIP-IT sur C (59,00 % contre 59,40 %). Par rapport au ViT zéro exemple cible, ses TPR gagnent respectivement 10,25, 11,41 et 8,01 points de pourcentage.

Ces jeux comportent plus de personnes et de variations environnementales que ceux du protocole 1. FLIP-MCL y réduit le HTER moyen, sans que les effets des personnes, des appareils et des autres décalages soient mesurés séparément.

Protocole 3 : une source → une cible

Ce protocole simule un cas extrême mais courant : le modèle n'est entraîné que sur un domaine source, puis doit prédire directement sur un domaine cible inconnu.

Les quatre jeux MSU-MFSD (M), CASIA-MFSD (C), Idiap Replay (I) et OULU-NPU (O) fournissent douze paires source-cible. Le modèle subit à la fois la rareté des sources et un décalage de domaine.

Les résultats indiquent d'abord que FLIP-V, pourtant la variante la plus simple, atteint 7,12 % de HTER moyen sur les douze paires, moins que les méthodes antérieures dont le tableau donne les douze résultats complets. Certaines paires restent mieux résolues par d'autres méthodes.

FLIP-MCL réduit cette moyenne à 4,84 %, soit 8,36 points de pourcentage sous les 13,20 % de CDFTN-L. Entre ces deux méthodes, par exemple :

  • sur C → O, le HTER passe de 29,90 % à 3,91 %, soit 25,99 points de moins ;
  • sur I → O, il passe de 29,90 % à 4,22 %, soit 25,68 points de moins ; sur M → C, de 8,80 % à 0,19 %, soit 8,61 points de moins ;
  • sur C → I, M → I et O → M, CDFTN-L obtient toutefois le HTER le plus faible. FLIP-MCL garde la meilleure moyenne des douze paires du tableau.

Ces tests donnent à FLIP-MCL un HTER moyen plus bas dans les douze transferts entre une source et une cible. Le tableau ne sépare pas la contribution de simCLR, de la moyenne des prompts et du MSE.

En somme, le protocole 3 montre un avantage moyen sans exemples d'entraînement du domaine cible. La fiabilité d'un déploiement réel demanderait d'autres vérifications.

Stratégies de préentraînement

Pour étudier le rôle de l'initialisation, les auteurs comparent plusieurs ViT : entraînement sans préentraînement, préentraînement autosupervisé comme BeIT, préentraînement de classification ImageNet et poids multimodaux de CLIP.

L'initialisation CLIP obtient le plus faible HTER moyen et le plus faible HTER sur les cibles C, I et O. Sur M, ImageNet fait mieux (1,58 % contre 3,79 %). CLIP est donc un point de départ efficace pour cette méthode.

Conception des prompts

Dans FLIP-IT et FLIP-MCL, la formulation des prompts influence nettement la classification.

Le tableau compare plusieurs phrases dans différentes situations entre domaines. Aucune phrase ne gagne partout : les domaines réagissent différemment aux formulations.

Les auteurs comparent aussi une seule phrase à la moyenne de plusieurs. L'ensemble de prompts atteint 3,06 % de HTER moyen : mieux que la plupart des phrases seules, mais moins bien que P6 et ses 2,94 %. Sur C, I et O, certaines phrases seules obtiennent aussi un HTER plus bas.

Le choix des prompts compte ; ce tableau ne suffit pas à établir que leur moyenne est toujours plus stable.

Pondération des pertes

FLIP-MCL réunit trois pertes : l'entropie croisée supervisée, la perte autosupervisée simCLR et une cohérence de similarité image-texte (MSE) dont les prompts sont tirés de la vraie classe. Pour tester leur apport, les auteurs font varier leurs poids.

Mettre le poids de simCLR ou du MSE à zéro dégrade les résultats du tableau, ce qui appuie leur utilité dans ce réglage. Mais augmenter les deux poids jusqu'au rapport 1:5:5 dégrade également les performances.

La combinaison des trois pertes demande donc un équilibre. Comme le choix des prompts pour MSE dépend de la vraie classe, il ne s'agit pas d'un entraînement entièrement dépourvu d'étiquettes.

Conclusion

Alors que beaucoup de méthodes continuaient à empiler les caractéristiques visuelles et à alterner les jeux de données, les auteurs ont tenté une autre voie :

Partir d'un modèle fondamental multimodal comme CLIP et faire du langage une ancre sémantique pour la décision.

Ils y ajoutent l'apprentissage contrastif visuel et une contrainte de cohérence image-texte pour construire une stratégie FAS guidée par l'alignement sémantique.

Ce choix suggère plusieurs pistes :

  1. Les représentations multimodales préentraînées ont montré un potentiel de transfert entre domaines dans ces tests.

    Même l'ajustement du seul encodeur d'images améliore certains indicateurs moyens dans les protocoles étudiés. Cette comparaison ne permet toutefois pas d'attribuer tout l'avantage à la seule structure sémantique des représentations, plutôt qu'à d'autres différences du préentraînement.

  2. Le langage n'est plus seulement une annotation auxiliaire : il fournit un critère de classification apprenable.

    Grâce au contexte de classe défini par les phrases, le modèle peut apprendre « de quelle sorte de réalité s'agit-il ? » au lieu de seulement demander aux pixels « cela semble-t-il vrai ? ».

  3. Le contraste multimodal offre une autre forme de régularisation.

    Sans étiquettes dans le domaine cible et avec une diversité limitée des exemples sources, il peut rapprocher plusieurs contextes visuels et descriptions sémantiques. L'échantillonnage des prompts du MSE utilise néanmoins les étiquettes vrai/faux des exemples sources.

FLIP-MCL a besoin de l'encodeur de texte pendant l'entraînement, ce qui ajoute du calcul. Les résultats moyens des protocoles étudiés suggèrent un bénéfice pour les tests entre domaines ; la fiabilité en déploiement réel reste à vérifier.

Pour des tâches futures mêlant davantage de sources et de types de données, le langage pourrait devenir un médiateur précieux de la généralisation.