Retour à la bibliothèque
arXiv 2024IJCB 2024Détection des attaques de présentation facialeNotes de lecture

La-SoftMoE

Une faille dans l'espace clairsemé

Article original

La-SoftMoE CLIP for Unified Physical-Digital Face Attack Detection

Auteurs de l’article

Hang Zou · Chenxi Du · Hui Zhang …

Afficher les 7 auteurs

Hang Zou · Chenxi Du · Hui Zhang · Yuan Zhang · Ajian Liu · Jun Wan · Zhen Lei

Publication
IJCB 2024Conférence
Premier dépôt sur arXiv
arXiv:2408.12793
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{faceantispoofinglasoftmoe2024,
  title = {{La-SoftMoE CLIP for Unified Physical-Digital Face Attack Detection}},
  author = {Hang Zou and Chenxi Du and Hui Zhang and Yuan Zhang and Ajian Liu and Jun Wan and Zhen Lei},
  year = {2024},
  eprint = {2408.12793},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2408.12793}
}
Sur cette page

Les attaques physiques vont de la photo couleur sortie d'une imprimante aux orbites profondes d'un masque réaliste.

Les attaques numériques vont des apparitions produites par un algorithme aux images dont le contenu même a été falsifié.

La frontière des systèmes de reconnaissance faciale n'a jamais semblé si floue.

Définir le problème

La recherche a longtemps traité ces deux catégories comme des tâches distinctes :

  • PAD (Physical Attack Detection) :

    elle privilégie la captation multimodale et les caractéristiques physiologiques, donc ce qui peut être mesuré dans le monde physique ;

  • DAD (Digital Attack Detection) :

    elle se concentre sur les détails des caractéristiques, les anomalies fréquentielles et les motifs de tromperie visuelle.

Chaque domaine a progressé, mais cette séparation conduit aussi à déployer plusieurs modèles et complique le transfert entre tâches.

Dans la pratique, aucun système ne choisit de ne subir qu'un seul type d'attaque. D'où l'intérêt pressant d'une détection unifiée des attaques (Unified Attack Detection, UAD).

Après l’unification des entrées, la fusion des caractéristiques reste à traiter.

Sur UniAttackData, les deux types d'attaques se répartissent très différemment dans l'espace des embeddings. Avec les identités cohérentes (ID consistency), des attaques construites à partir du même visage tendent même à former des groupes séparés.

Cet espace de caractéristiques à la fois clairsemé et fragmenté reste un angle mort des méthodes actuelles.

Certains chercheurs ont tenté d'aborder les deux types d'attaques avec plusieurs branches, comme CA-MoEiT, avec un apprentissage multitâche ou avec des informations physiologiques. Mais ces choix soulèvent souvent de nouvelles difficultés :

  • La complexité architecturale accroît la consommation de calcul et peut alourdir le déploiement ;
  • Sans données qui maintiennent la même identité entre types d'attaques, un modèle risque d'apprendre le fond ou d'autres indices sans rapport avec la sémantique recherchée ;
  • Même avec un grand modèle généraliste comme CLIP, la dispersion des dimensions de caractéristiques peut affaiblir la stabilité de la classification.

Dans cet espace épars, même un modèle vision-langage tel que CLIP a du mal à discerner une grammaire commune des « faux visages ».

On en vient à se demander si le problème tient seulement au manque de données, ou plutôt à la fragmentation des caractéristiques sémantiques. Peut-être que la capacité du modèle n'est pas en cause ; il lui manque une façon claire d'organiser ses ressources.

Il serait alors temps de lui apprendre à répartir lui-même le travail et à faire collaborer ses composantes.

C'est l'idée derrière les mélanges d'experts (Mixture-of-Experts, MoE).

Résoudre le problème

Les auteurs proposent une architecture qui combine le principe du Mixture-of-Experts (MoE) et une attention linéaire. Ils l'appellent La-SoftMoE CLIP.

Elle modifie CLIP pour améliorer sa classification lorsque les distributions sémantiques sont clairsemées.

Le module SoftMoE

Pour aider CLIP à reconnaître les attaques dans cet espace, les auteurs ajoutent un Soft Mixture-of-Experts (SoftMoE) dans le bloc résiduel de chaque couche ViT, comme le montre la figure.

Par rapport au MoE traditionnel, SoftMoE présente plusieurs avantages possibles :

  • Répartition souple (Soft Dispatch) : des poids Softmax dirigent tous les tokens vers des slots, ce qui réduit le risque de perdre des tokens lors d'une assignation rigide top-kk. L'article ne mesure toutefois pas séparément l'équilibrage de charge des experts.
  • Différentiabilité : la procédure est différentiable dans son ensemble et peut être entraînée avec le réseau principal.
  • Possibilité d'extension : il n'y a pas à trier et sélectionner les top-kk experts. Les auteurs estiment que cela facilite l'ajout d'experts, sans tester une échelle de plusieurs milliers.

Voici le calcul plus en détail :

  1. Dispatch Weights

    Soft-MoE abandonne la répartition top-kk classique au profit d'une répartition souple (soft dispatch).

    Une représentation intermédiaire, le slot, reçoit une moyenne pondérée des tokens d'entrée. Un slot ne correspond donc pas à un token unique : c'est l'agrégat pondéré de plusieurs tokens, que l'on peut voir comme un vecteur représentant un sous-espace sémantique.

    Chaque expert traite plusieurs slots, ce qui permet de répartir les calculs selon les données.

    Notons XX la matrice des tokens. Des paramètres appris Φ\Phi la projettent en logits de répartition. Pour chacun des m=e⋅sm = e \cdot s slots, on applique un softmax sur la colonne :

    Dij=exp⁡[(XΦ)ij]∑i′=1nexp⁡[(XΦ)i′j],X~=D ⁣⊤XD_{ij}= \frac{\exp\bigl[(X\Phi)_{ij}\bigr]} {\sum_{i'=1}^{n}\exp\bigl[(X\Phi)_{i'j}\bigr]} ,\qquad \tilde X = D^{\!\top}X
    • D∈Rn×mD \in \mathbb{R}^{n \times m} est la matrice des poids de répartition : elle quantifie la contribution du token ii au slot jj.
    • X~\tilde X contient les entrées des slots ; sa ligne jj est le vecteur sémantique pondéré reçu par le slot jj.

    Chaque slot rassemble ainsi de l'information provenant de tous les tokens, avec des intensités différentes. Le modèle passe des caractéristiques discrètes des tokens à des représentations de slots plus globales et partageables.

    Cette répartition souple limite le risque de token-dropping du MoE classique et fournit une base de caractéristiques différentiable pour le traitement par les experts et les poids de recombinaison.


  1. Traitement des experts et Combine Weights

    On regroupe les slots de X~\tilde X pour les envoyer aux ee experts, chacun traitant ss slots. Leur sortie est Y~\tilde Y.

    On calcule ensuite les Combine Weights C\mathbf C : cette fois, un softmax sur chaque ligne décide comment chaque token récupère l'information des slots.

    Cij=exp⁡[(XΦ)ij]∑j′=1e⋅sexp⁡[(XΦ)ij′],Y=C Y~  C_{ij}= \frac{\exp\bigl[(X\Phi)_{ij}\bigr]} {\displaystyle \sum_{j'=1}^{e\cdot s}\exp\bigl[(X\Phi)_{ij'}\bigr]} ,\qquad Y = C\,\tilde Y\;
    • YY est la liste des tokens de sortie de Soft-MoE. Dans cet article, le module est placé après l'attention du ViT, en parallèle du MLP.

La-SoftMoE

Soft-MoE sait répartir et recombiner les tokens de façon différentiable. Il peut toutefois rester une limite dans la recombinaison.

Dans la conception d'origine, les poids qu'un token de sortie accorde aux slots proviennent des mêmes logits que ceux utilisés pour la répartition, après un softmax sur la ligne. Les slots reçoivent bien des poids différents, mais les auteurs jugent cette forme de pondération insuffisamment adaptée aux différences entre sorties d'experts.

Ils proposent donc La-SoftMoE, avec deux modifications :

  1. Remplacer le softmax sur la ligne par une attention linéaire

    Une transformation de caractéristiques ϕ(⋅)\phi(\cdot) intervient dans le calcul de l'attention, de sorte que les poids de recombinaison puissent tenir compte des représentations des slots. Cette classe d'attention cherche à diminuer le coût de calcul lorsque la séquence s'allonge. L'article ne mesure pas ici le déploiement pour différentes longueurs de séquence.

  2. Ajouter une normalisation par instance au calcul des poids

    La-SoftMoE applique une Instance Normalization après la sortie de l'attention linéaire et avant l'utilisation des poids de recombinaison. L'article ne retire pas cette étape dans une ablation distincte ; on ne peut donc pas isoler sa contribution à la stabilité ni à la généralisation.

Détails de mise en œuvre

  • Emplacement : La-SoftMoE est inséré dans les 12 blocs résiduels du ViT et placé en parallèle des sous-modules MLP Feed-Forward existants.
  • Experts : chaque couche comporte e=4e = 4 experts, avec s=49s = 49 slots par expert, soit m=196m = 196 slots. L'article ne mesure ni la mémoire ni la latence pour des configurations plus grandes.
  • Coût : l'article compare des mesures de reconnaissance, mais ne donne pas la latence d'inférence face au ViT d'origine ni un gain de F1-score.
  • Calcul : le pseudo-code utilise einsum pour les opérations matricielles entre tokens et slots ; l'Instance Normalization suit l'attention linéaire.

Avec ces ajustements, La-SoftMoE CLIP fait participer plusieurs experts à la modélisation des caractéristiques des attaques physiques (PAs) et numériques (DAs). L'article ne quantifie pas les paramètres supplémentaires ni le coût total de l'inférence.

La méthode améliore l'ACER du CLIP d'origine sur les deux benchmarks testés. Une généralisation vers un domaine cible jamais vu demanderait néanmoins un protocole distinct, où ce domaine serait tenu à l'écart de l'entraînement.

Discussion

Les expériences portent surtout sur UniAttackData, premier benchmark de détection unifiée des attaques avec des identités cohérentes (ID consistency). Il comprend :

  • 1 800 sujets, deux types d'attaques physiques (PAs) et douze types d'attaques numériques (DAs) ;
  • Un premier protocole d'évaluation qui utilise les exemples authentiques/faux correspondants pour l'entraînement et le test.

Une expérience complémentaire utilise JFSFDB, qui rassemble neuf sous-jeux de données FAS, avec des cas de PAD classique et de DAD par DeepFake.

Elle suit principalement un protocole d'entraînement conjoint (Joint Training) pour examiner les résultats sur des données mélangées.

Le réseau principal est un ViT-B/16 augmenté de La-SoftMoE, avec quatre experts et 49 slots par expert dans chaque couche. L'entraînement utilise Adam, un taux d'apprentissage de 10−610^{-6} et un GPU A100.

Résultats sur UniAttackData

Le tableau compare La-SoftMoE CLIP aux méthodes existantes. Il obtient les meilleures valeurs pour les deux principaux indicateurs cités :

  • ACER : 0.32%, contre 0.52% pour le précédent meilleur résultat ;
  • ACC : 99.54%, contre 99.45% auparavant.

Son AUC et son EER restent légèrement derrière les meilleures valeurs du tableau, tout en étant élevés : 99.72% et 0.56%.

La méthode commet donc moins d'erreurs sur ce jeu de données. Pour juger si l'espace de caractéristiques est devenu plus compact, il faut encore regarder les visualisations.

Essai sur le jeu mixte JFSFDB

Les auteurs testent aussi leur modèle sur JFSFDB, un autre benchmark mêlant attaques physiques et numériques, selon un protocole d'entraînement conjoint. Aucun jeu entier n'est écarté comme domaine cible inédit : il ne s'agit donc pas d'un test de transfert vers un domaine non vu. Les chiffres des deux benchmarks ne sont pas directement comparables à conditions égales. La-SoftMoE CLIP obtient sur JFSFDB :

  • ACER : 4.21% ;
  • ACC : 95.85% ;
  • AUC : 99.11% ;
  • EER : 4.19%.

Les auteurs visualisent également les distributions des deux jeux de données avec t-SNE :

Les points d'UniAttackData paraissent plus resserrés et reliés le long d'une courbe, ceux de JFSFDB plus dispersés. Les auteurs soupçonnent que la cohérence des identités puisse expliquer une partie de cette différence ; la projection t-SNE ne permet pas, à elle seule, d'établir la cause des écarts de performance.

Robustesse aux prompts

Comme les modèles de type CLIP peuvent être sensibles à la formulation des textes, les auteurs testent huit prompts sémantiquement équivalents mais structurés différemment (T-1 à T-8).

Il en ressort que :

  • T-8 (This is an image of a <fake/live> face) obtient le plus faible ACER et partage le meilleur ACC avec T-3 ;
  • T-3 (A photo of a <fake/live> face) obtient le meilleur AUC et le plus faible EER.

La figure suivante compare les différences de performance entre prompts :

L'ACER des huit formulations va de 0.32% à 0.63% : la différence est visible. Le modèle fonctionne avec plusieurs formulations.

Étude d'ablation

Le tableau 6 compare successivement :

  • Vanilla CLIP ;
  • CLIP + SoftMoE ;
  • CLIP + La-SoftMoE.

Dans cet essai, SoftMoE puis La-SoftMoE abaissent l'ACER et l'EER, et relèvent l'ACC. Mais leur AUC reste inférieure à celle de Vanilla CLIP, qui atteint 99.76%. La dernière configuration modifie à la fois l'attention et la normalisation par instance : l'amélioration ne peut donc pas être attribuée uniquement à la première.

Enfin, les auteurs affichent la distribution des caractéristiques de quatre modèles :

  • ResNet-50 (en haut à gauche) ;
  • CLIP (en haut à droite) ;
  • CLIP + SoftMoE (en bas à gauche) ;
  • CLIP + La-SoftMoE (en bas à droite).

Sur cette projection t-SNE, certains vrais et faux visages se mêlent avec CLIP. Les échantillons choisis sont plus séparés avec SoftMoE ; les deux classes le restent globalement avec La-SoftMoE. Une projection en deux dimensions ne suffit toutefois pas à démontrer la forme de la frontière de décision ni la stabilité du modèle.

Dans l'ensemble, les mesures de reconnaissance listées pour les deux benchmarks mixtes sont favorables à La-SoftMoE. La structure des caractéristiques et le coût de calcul nécessitent encore des mesures plus directes.

Conclusion

Dans cet article, les auteurs ajoutent Soft Mixture-of-Experts (SoftMoE) à l'encodeur d'images de CLIP. Ils modifient ensuite le calcul des poids au moyen d'une attention linéaire et d'une normalisation, afin de mieux adapter le modèle aux caractéristiques hétérogènes des attaques physiques et numériques. Le coût total de l'inférence n'a pas été mesuré.

L'idée qui nous reste est la suivante : si la distribution sémantique présente naturellement des ruptures, plutôt que de tout forcer dans un seul moule, on peut apprendre au modèle à répartir le travail entre experts et à réorganiser ses caractéristiques.

On pourrait ensuite explorer un routage guidé par la sémantique, des prompts générés conditionnellement, ou un alignement token-slot généralisant entre modalités, afin d'étendre ce type de structure aux tâches de reconnaissance multimodale.