Unified Physical-Digital Attack Detection Challenge
- Publication
- CVPR Workshops 2024Conférence
- Premier dépôt sur arXiv
- arXiv:2404.06211
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{faceantispoofingfaschallenge2024,
title = {{Unified Physical-Digital Attack Detection Challenge}},
author = {Haocheng Yuan and Ajian Liu and Junze Zheng and Jun Wan and Jiankang Deng and Sergio Escalera and Hugo Jair Escalante and Isabelle Guyon and Zhen Lei},
year = {2024},
eprint = {2404.06211},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2404.06211}
}
Voici une compétition de FAS organisée à CVPR 2024. Son nom complet est :
5th Chalearn Face Anti-spoofing Workshop and Challenge@CVPR2024
Il y a du monde : les personnes qui travaillent sur la FAS peuvent venir y jeter un œil.
Définir le problème
La tâche de Face Anti-Spoofing consiste, au fond, à trouver dans une image les indices d'un visage vivant.
Dans la pratique, deux familles d'attaque ont évolué en parallèle :
- Attaques physiques (PA) : l'usurpateur présente un visage sur un support matériel, comme du papier, un écran ou un masque en silicone. L'interférence se produit devant le capteur, dans le monde réel.
- Attaques numériques (DA) : deepfakes, échanges de visages et exemples adversariaux manipulent l'image à sa source ou dans ses caractéristiques. Le résultat paraît réel, mais est fabriqué.
Les méthodes classiques se concentrent souvent sur une seule famille. Leur performance reste liée à la distribution d'entraînement et se transfère mal à l'autre.
Au moment de la classification finale, les deux sortes d'attaque sont « fausses ». Pourtant, leurs statistiques visuelles et leurs variations diffèrent fortement. La distance entre les exemples de cette même classe peut ainsi être beaucoup plus grande que prévu, ce qui limite la généralisation.
Deux obstacles empêchent surtout de construire un modèle unifié :
- L'absence d'un grand jeu de données commun : les ressources antérieures rassemblaient souvent des jeux PA et DA collectés séparément, sans couvrir tous les types d'attaque pour une même identité.
- L'absence d'une référence publique commune : mesures et protocoles différaient entre attaques physiques et numériques, rendant difficile une comparaison cohérente.
C'est dans ce contexte qu'est né le Unified Physical-Digital Attack Detection Challenge. Son nouveau jeu de données, ses protocoles et sa compétition publique posent la question :
Un seul modèle peut-il faire face aux deux sortes d'illusion et encore distinguer le vrai du faux dans des domaines inconnus ?
Jeu de données unifié : UniAttackData
Lors de la publication, UniAttackData était le plus grand jeu de données public unifiant attaques physiques et numériques : 1 800 personnes et 28 706 vidéos de visages. La figure montre les partitions des protocoles de la compétition. Trois groupes composent les données :
- Live : 1 800 vidéos authentiques.
- Physical Attacks (PA) : 5 400 vidéos d'attaques par impression ou rejeu sur écran.
- Digital Attacks (DA) : 21 506 vidéos, dont deepfakes, échanges de visages et exemples adversariaux.
Chaque identité couvre tous les types d'attaque prévus. Cela réduit le risque de confondre identité et type d'attaque ; les classes vrai/faux restent néanmoins déséquilibrées dans les protocoles.
Pour la compétition, les organisateurs ont découpé le visage dans les vidéos et retenu une image par vidéo. Ils ont aussi renuméroté les fichiers pour que le nom original ne révèle pas le type d'attaque.
Protocoles d'évaluation et généralisation
Deux grands protocoles reproduisent des besoins de déploiement différents :
-
Protocol 1 : Unified Attack Detection. Le modèle doit distinguer ensemble les attaques PA et DA dans une tâche mixte.
-
Protocol 2 : Generalization to Unseen Attacks. Une grande famille d'attaques est absente de l'entraînement et apparaît au test :
- Protocol 2.1 : Unseen Physical Attacks : aucune PA à l'entraînement, PA au test ;
- Protocol 2.2 : Unseen Digital Attacks : aucune DA à l'entraînement, DA au test.
Il s'agit de laisser de côté une famille physique ou numérique, et non de répéter une expérience séparée pour chaque sous-type d'attaque.
Déroulement et règles
La compétition se tient en deux phases sur CodaLab :
- Développement (du 1er au 22 février) : les participants reçoivent un ensemble d'entraînement étiqueté et un ensemble de développement sans étiquettes. Ils peuvent soumettre plusieurs prédictions au classement pour ajuster leur modèle.
- Finale (du 23 février au 3 mars) : les étiquettes du développement sont publiées, ainsi qu'un test non étiqueté. Les équipes soumettent leurs prédictions sans connaître les véritables étiquettes du test. Leur dernière soumission constitue le score officiel ; le code et une fiche technique sont nécessaires pour prétendre à un prix.
Mesures
Le défi emploie des mesures issues de la norme ISO/IEC 30107-3 :
- APCER (Attack Presentation Classification Error Rate) ;
- BPCER (Bona Fide Presentation Classification Error Rate) ;
- ACER (Average Classification Error Rate) ;
- AUC (Area Under the ROC Curve).
L'ACER détermine le classement principal, l'AUC sert de mesure complémentaire. Pour garder le même protocole d'évaluation, le seuil de l'ACER final est calibré au taux d'erreur égal (EER) sur l'ensemble de développement.
Le catalogue des armes
Voici maintenant les treize équipes finalistes, dans l'ordre du classement. Regardons ce qu'elles ont fait.
1. MTFace
Dans ce défi mêlant attaques numériques et physiques, MTFace a proposé la solution gagnante.
Son approche porte un nom long :
Optimized Data Augmentation for Comprehensive Face Attack Detection Across Physical and Digital Domains
Mais l'idée centrale est simple : montrer au modèle, pendant l'entraînement, des faux visages assez divers et crédibles.
L'architecture associe donc augmentation des données et équilibrage de la perte.
Le prétraitement se fait en deux étapes :
- Détection et recadrage du visage : la région détectée est agrandie de 20 pixels pour conserver du contexte.
- Extraction du masque facial : les masques des exemples live sont préparés pour les augmentations ultérieures.
Deux augmentations répondent ensuite aux besoins des protocoles :
- Moiré simulé (Protocol 1 et 2.1) : un rejeu sur écran peut produire ce motif. MTFace l'injecte dans des images d'entraînement pour exposer le modèle à cette trace physique.
- Fusion de l'image avec elle-même (Protocol 1 et 2.2) : des images live reçoivent des traces d'attaque numérique à l'aide de distorsions de couleur et d'espace et de pliages de masque. On crée ainsi des faux hybrides pour préparer le modèle aux deepfakes.
La proportion d'exemples réels et attaqués varie beaucoup selon le protocole. Sans correction, le modèle pourrait favoriser la classe la plus abondante.
MTFace ajuste donc les poids de l'entropie croisée :
- Protocol 1 : live : fake = 1 : 1, pour équilibrer les deux classes ;
- Protocol 2.1 (PA inconnues) : 5 : 1, donnant davantage de poids aux vrais visages avant de tester les attaques physiques inédites ;
- Protocol 2.2 (DA inconnues) : 2 : 1, pour adapter l'influence des deux classes à ce protocole.
Ces poids et les augmentations font partie de la stratégie de l'équipe. L'article ne présente pas d'ablation isolant la contribution de chaque choix de poids.
Le modèle emploie finalement un ResNet-50 préentraîné sur ImageNet comme colonne vertébrale.
Pas de ViT ni de grand modèle sur mesure : c'est avec le travail sur les données et l'entraînement que MTFace remporte la première place.
2. SeaRecluse
SeaRecluse bâtit sa défense autour des proportions de données et du recadrage.
La solution s'appelle :
Cross-domain Face Anti-spoofing in Unified Physical-Digital Attack Dataset
Plutôt que de pousser les déformations ou les transferts de style, l'équipe ajuste l'usage des données et la taille de la zone faciale, avec l'objectif de stabiliser le modèle entre domaines.
Elle utilise SCRFD pour détecter et recadrer les visages des images d'entraînement non recadrées. Elle ajoute des versions à cadrage large (loose crop) et serré (tight crop) comme forme d'augmentation.
Les proportions et traitements changent selon le protocole :
- Protocol 1 : pas d'augmentation supplémentaire ; l'équipe entraîne le modèle sur un mélange de 80 % des données d'entraînement et des données de validation.
- Protocol 2.1 (PA inconnues) : sous-échantillonnage et remplissage des bords sur les exemples live, de manière à produire trois fois plus d'images réelles.
- Protocol 2.2 (DA inconnues) : sous-échantillonnage des exemples fake à des échelles ×4 et ×8, pour atteindre sept fois leur quantité initiale.
L'équipe corrige aussi le rapport largeur/hauteur de certaines images atypiques. Les opérations habituelles, comme retournement et recadrage aléatoire, sont appliquées aux tâches ; P2.1 ajoute un flou gaussien.
La colonne vertébrale est ConvNeXt V2, choisie aussi en fonction des ressources d'entraînement disponibles.
Deux autres techniques complètent l'entraînement :
- CutMix mélange deux images et leurs étiquettes, pour varier les frontières visuelles.
- Label smoothing adoucit les étiquettes pour limiter le surapprentissage.
L'article ne mesure pas séparément la contribution de CutMix ou du label smoothing au traitement du déséquilibre.
SeaRecluse n'emploie pas les grands gestes. À la manière d'une équipe qui bâtit un mur, elle travaille patiemment les proportions des données et les échelles de recadrage pour entourer l'illusion.
C'est une solution fondée sur l'attention portée au jeu de données.
3. duileduile
duileduile propose un apprentissage modulaire en deux phases pour construire des représentations visuelles capables de distinguer vrais visages et attaques :
Swin Transformer + Masked Image Modeling + augmentations adaptées aux attaques physiques et numériques
La colonne vertébrale est un Swin-Large Transformer, produisant un vecteur de 1 536 dimensions.
Pendant le préentraînement, l'équipe utilise simMIM (Simple Masked Image Modeling) : l'image est divisée en blocs sans chevauchement, certains sont masqués aléatoirement et le modèle apprend à reconstituer l'ensemble.
Cette étape autosupervisée utilise les images non étiquetées d'entraînement et de développement pour apprendre une représentation. L'article ne mesure pas séparément son apport contre les attaques par masquage ou dans Protocol 2.
Vient ensuite la mise au point (fine-tuning), avec des augmentations choisies selon les attaques :
- Bruit gaussien pour les perturbations au niveau des pixels et les traces de compression d'attaques numériques.
- ColorJitter, moiré et correction gamma pour les variations de lumière et d'affichage propres aux attaques physiques.
Ces transformations sont appliquées avec une certaine probabilité selon l'exemple et le protocole, plutôt qu'à toutes les images.
Contrairement aux deux premières équipes, duileduile garde la même colonne vertébrale et le même schéma d'entraînement en deux phases pour tous les protocoles. C'est un choix d'implémentation dans cette compétition.
4. BSP-Idiap
BSP-Idiap prend une voie différente : revenir au rythme des textures du signal et examiner les attaques dans le domaine fréquentiel.
Sa méthode s'appelle DBPixBiS (Dual-Branch Pixel-wise Binary Supervision). Elle prolonge un travail antérieur de l'équipe avec deux branches :
- Branche RGB : la Central Difference Convolution (CDC) remplace la convolution classique pour souligner les variations locales de texture, les contours anormaux et les petits changements.
- Branche Fourier : une transformée de Fourier alimente un autre chemin de caractéristiques pour saisir les motifs répétitifs, interférences et traces de compression dans le domaine fréquentiel.
Le modèle regarde ainsi à la fois ce que représente l'image et les irrégularités de son signal.
Deux choix d'entraînement complètent l'architecture :
- Supervision binaire par pixel : la classification s'applique à chaque position de la carte de caractéristiques plutôt qu'à l'image entière.
- Attentional Angular Margin Loss : une marge angulaire cherche à éloigner les représentations live et spoof pour renforcer la frontière de décision.
Au test, la moyenne spatiale des activations de la carte produit le score final de probabilité d'usurpation.
5. VAI-Face
Dans cette bataille pour distinguer le vrai du faux, certaines équipes construisent de nouveaux mécanismes, d'autres examinent le signal. VAI-Face choisit une troisième voie : fabriquer des anomalies pour mieux les reconnaître.
La solution repose sur DINOv2 avec un Vision Transformer ViT-Large. L'idée est de rendre les déformations visibles à l'attention du modèle.
La particularité est de traiter différemment les images live et fake pendant l'augmentation :
- Live : uniquement
RandomResizedCropetHorizontalFlip, pour conserver une apparence assez naturelle. - Fake : flou, déformations et occlusions personnalisées (Custom Cutout) simulent des artefacts et des ruptures de structure.
Ces traitements visent à apprendre au ViT les anomalies de forme et de texture.
L'entraînement emploie aussi :
- OneCycleLR pour faire monter puis descendre le taux d'apprentissage ;
- label smoothing pour réduire la confiance excessive ;
- mixup pour mêler images et étiquettes ;
- l'optimiseur ADAN, combinant adaptation des gradients et momentum.
ViT-Large peut relier des régions éloignées de l'image et saisir de légères incohérences. L'équipe ne rajoute pas de branche de génération : elle concentre l'effort sur les perturbations des données et le réglage de l'entraînement pour tirer davantage du modèle visuel principal.
6. L&L&W
Alors que la plupart des modèles jugent l'image entière, L&L&W part des détails : comme si l'on découpait le visage en fragments pour y retrouver les indices du faux.
Sa stratégie associe :
apprentissage par patchs + échantillonnage fréquentiel + attention locale
Le visage est divisé en petites régions, puis leurs caractéristiques sont étudiées. Le module Centre Difference Attention (CDA) renforce l'attention portée aux variations fines : halos aux contours, raccords déplacés, fusion imparfaite de basses fréquences.
L'équipe exploite aussi les hautes fréquences avec le High-Frequency Wavelet Sampler (HFWS), pour rechercher résidus de compression, défauts de fusion et transitions de texture anormales.
Ces deux modules mêlent indices locaux et fréquentiels. L'article ne mesure pas leur contribution séparément.
En validation et au test, 36 recadrages sont produits pour chaque image et leurs scores sont moyennés pour obtenir la prédiction finale.
7. SARM
SARM ne mise ni sur une architecture compliquée ni sur des déformations extrêmes. Son idée ressemble davantage à « entraîner celui qui entraînera ».
La méthode s'appelle :
Multi-Attention Training (MAT) + Label Flip Augmentation
Elle comporte deux phases : un modèle apprend d'abord la tâche, puis cette représentation sert à l'ajustement pour les attaques visées.
- Première phase : un détecteur est préentraîné pour chacun des protocoles P1, P2.1 et P2.2. Un apprentissage contrastif supervisé éloigne les représentations live et fake.
- Deuxième phase : les poids obtenus servent d'initialisation pour la mise au point du modèle de FAS.
Cette préparation propre à chaque protocole peut réduire certaines erreurs d'un apprentissage direct. Les auteurs la jugent notamment utile aux deux tests de généralisation ; le rapport ne fournit pas de courbes de convergence par phase.
L'augmentation la plus particulière consiste à transformer une image de vrai visage en exemple étiqueté faux.
Pour P2.1 et P2.2, l'équipe applique aux images live des transformations de style fondées sur OpenCV, puis les réétiquette spoof. L'article ne détaille pas séparément les réglages de teinte, d'éclairage, de gamma ou de filtre.
Ces images forment les exemples de label flip augmentation. Selon l'équipe, elles réduisent l'écart entre entraînement et test ; elles ne constituent pas une nouvelle catégorie d'attaque définie indépendamment.
L'entraînement combine Adam, entropie croisée et perte contrastive supervisée. P1 suit la procédure ordinaire ; P2.1 et P2.2 ajoutent le label flip.
La solution cherche donc surtout à préparer le modèle à l'intention de chaque tâche.
8. M2-Purdue
M2-Purdue propose une autre combinaison.
Plutôt que d'inventer une architecture complexe, l'équipe emprunte les représentations de CLIP et entraîne le détecteur avec une perte attentive aux cas les plus risqués :
Robust Face Attack Detection with CLIP + MLP + CVAR–AUC Loss Fusion
Les images sont ramenées à 224×224. L'encodeur d'images de CLIP en extrait des caractéristiques, puis un MLP à trois couches prend la décision propre à la tâche. Le rapport indique que le MLP est affiné ; il ne démontre pas que ce soit la seule partie mise à jour et ne mesure pas le coût sur mobile.
Deux objectifs sont fusionnés :
- CVAR (Conditional Value at Risk) se concentre sur la queue des cas difficiles, où le risque d'erreur est le plus grand.
- AUC cherche une bonne séparation globale entre vrais et faux exemples.
La perte totale est :
règle le compromis entre risque des cas extrêmes et discrimination d'ensemble.
L'idée est de réduire les erreurs là où elles coûtent le plus, sans prétendre que chaque cas deviendra correct.
Le texte du rapport cite Adam, tandis que la figure indique SAM optimizer. La contradiction ne permet pas de déduire le réglage réellement utilisé. Aucune mesure isolée de la stabilité de convergence ou du déploiement n'est fournie.
9. Cloud Recesses
Si reconnaître un faux visage consiste à y trouver des anomalies, Cloud Recesses choisit une idée étonnante : cacher les parties les plus faciles à voir pour obliger le modèle à chercher ailleurs.
La méthode porte le nom de :
Random Masking for Face Anti-Spoofing Detection
Il s'agit d'une augmentation des données : certaines parties du visage sont masquées pour que le modèle doive encore juger si la personne est réelle.
Trois étapes composent le traitement :
- Détecter le visage avec RetinaFace et le recadrer à 256×256.
- Repérer 68 points faciaux avec dlib, notamment autour des yeux, du nez et des lèvres.
- Masquer aléatoirement trois à cinq régions clés de chaque exemple d'entraînement.
Cela limite le recours aux traits les plus évidents. L'article n'utilise pas de flou temporel de vidéo comme caractéristique de cette méthode.
La colonne vertébrale est EfficientNet, choisi comme compromis entre précision et coût.
Le masquage aléatoire est la principale augmentation ; aucune ablation isolée de ce choix n'est rapportée.
Pas de branche supplémentaire, pas de fusion sophistiquée : l'équipe retire les repères visuels principaux pour voir si le modèle reconnaît encore le faux dans la pénombre.
10. Image Lab
En détection d'attaque, nous cherchons d'ordinaire à faire « bien voir » le modèle. Image Lab préfère lui faire regarder l'image à plusieurs niveaux. Son réseau se nomme :
Multiattention-Net : un réseau visuel profond à plusieurs couches d'attention
Il combine l'information spatiale de plusieurs étages avec de multiples branches d'attention pour chercher les anomalies possibles.
Une convolution 7×7 saisit d'abord les textures locales. Dix blocs résiduels comprimés modifiés suivent. Le max pooling se place entre les groupes de blocs, réduisant peu à peu la résolution et produisant des caractéristiques plus abstraites.
Les quatre derniers groupes alimentent chacun un Dual Attention Block. Chaque branche est ensuite résumée par Global Average Pooling (GAP) ; leurs sorties sont concaténées avant la couche de classification.
L'équipe entraîne le réseau avec une Binary Focal Cross Entropy Loss, destinée notamment à donner davantage de poids aux erreurs confiantes et aux classes moins représentées. Le rapport affiche :
où est la probabilité prédite, l'étiquette vraie, lorsque l'équilibrage est activé et .
L'équation (2) imprimée dans l'article donne les deux termes de probabilité sans sélectionner la classe selon . Elle ne suffit donc pas à reconstruire exactement la perte binaire utilisée. Image Lab obtient un ACER de 34,9434 % ; le rapport ne mesure pas séparément la vitesse de convergence.
11. BOVIFOCR-UFPR
BOVIFOCR-UFPR est l'une des rares équipes à quitter le plan de l'image. Elle veut reconstruire la géométrie 3D du visage pour trouver les incohérences spatiales que la falsification ne reproduit pas.
Sa solution associe :
3D Reconstruction + ArcFace + Chamfer Loss
Inspiré de 3DPC-Net, le système suit une structure encodeur–décodeur :
- Prétraitement : détecter, aligner et recadrer le visage ; obtenir aussi un nuage de points 3D de référence avec une méthode de reconstruction existante pour l'entraînement.
- Encodeur : un ResNet-50 extrait les caractéristiques de haut niveau.
- Décodeur : ces caractéristiques deviennent un nuage de points 3D représentant la forme spatiale du visage.
Il ne suffit plus de demander « cela ressemble-t-il à un visage ? » ; le modèle doit aussi examiner si la forme tient debout dans l'espace.
Deux pertes guident l'entraînement :
- ArcFace Loss ajoute une marge angulaire aux caractéristiques de classification. La figure aboutit ici à une décision vrai/faux ; elle n'établit pas une tâche de reconnaissance d'identité.
- Chamfer Distance Loss rapproche le nuage prédit du nuage de référence reconstruit.
Le réseau apprend donc à classer live/fake et à produire une géométrie 3D cohérente avec sa référence.
Parmi les treize équipes présentées, celle-ci emploie la reconstruction 3D pour aider la classification. Son ACER final est de 35,3620 %. Ce classement seul ne permet pas de juger toutes les méthodes géométriques.
C'est une défense fondée sur la plausibilité spatiale, plutôt que sur les seuls pixels.
12. Inria-CENATAV-Tec
Inria-CENATAV-Tec revient à une question classique :
Peut-on maintenir une détection fiable quand les ressources de calcul sont limitées ?
Sa réponse est MobileNetV3-spoof with hyperparameter tuning.
Le traitement recherche un équilibre entre taille du modèle et précision :
- Repères du visage : un ResNet-50 détecte les points caractéristiques.
- Alignement ou repli : si les repères existent, le visage est aligné sur le modèle InsightFace ; sinon, l'image d'origine est simplement redimensionnée.
La procédure garde ainsi les images même lorsque l'alignement échoue.
L'extracteur principal est MobileNetV3-large1.25, adapté aux dispositifs à ressources limitées. Ses blocs d'attention SE et son activation h-swish offrent un compromis entre calcul et représentation.
L'entraînement utilise SGD et une évolution du taux d'apprentissage par paliers. Recadrage et retournement s'ajoutent à une normalisation utilisant, pour chaque protocole, les moyennes et écarts-types correspondants.
Cette adaptation du prétraitement fait partie de la soumission. Le rapport n'isole pas son effet sur la généralisation ; l'ACER final de l'équipe est 37,3436 %.
13. Vicognit
Vicognit compte parmi les équipes qui concentrent clairement leur solution sur un ViT.
Son projet se nomme :
FASTormer : Leveraging Vision Transformers for Face Anti-Spoofing
Le Transformer doit relier des régions de l'image et apprendre les indices de vrai ou de faux visage dans leurs rapports spatiaux.
Le rapport indique que l'équipe n'a pas réduit la dimension des données d'entrée. Il ne donne toutefois ni résolution d'entrée ni ablation permettant de dire exactement quels détails ont été préservés.
Cette idée n'est pas nouvelle, mais la FAS la met à l'épreuve : les différences entre visage réel et faux peuvent être de petits écarts de texture ou de matériau, plutôt qu'une géométrie manifestement erronée. L'attention globale du ViT pourrait aider à les saisir.
L'équipe ajuste le taux d'apprentissage et la décroissance des poids. Le rapport ne détaille pas d'autres augmentations, dont on ne peut donc pas juger l'effet.
Le résultat final, ACER 52,1031 % et AUC 46,7025 %, ne soutient pas une affirmation de bonne généralisation dans cette compétition.
La solution offre une comparaison pour un modèle centré sur le Transformer. La détection entre familles d’attaques exige une évaluation dédiée.
Discussion
Les statistiques finales officielles montrent plusieurs points parmi les cinq premières équipes :
- Les trois premières se détachent nettement en ACER : la troisième est à 5,5111 %, la quatrième à 16,2263 %.
- MTFace mène en ACER, AUC et BPCER, tandis que la cinquième équipe obtient le meilleur APCER. Chaque système peut donc privilégier un type d'erreur différent.
- L'industrie et les laboratoires de recherche sont présents dans le top cinq ; BSP-Idiap, quatrième, vient de l'Idiap Research Institute. La provenance de l'équipe ne suffit pas à expliquer le score.
- Les ACER s'étendent de 2,3396 % à 52,1031 %. Une seule compétition ne permet pas de déclarer une famille d'architectures universellement meilleure.
Au-delà du classement, le défi compare des stratégies de données et des modèles dans des protocoles communs.
Les organisateurs en tirent trois pistes qui demandent encore à être vérifiées :
- Étudier la relation entre capacité du modèle et score : une grande architecture peut aider, mais le vainqueur utilise ResNet-50 ; la taille seule ne décide pas.
- Améliorer prétraitement et équilibre des classes : recadrage, augmentation et poids de perte sont fréquents ; leur contribution doit encore être isolée.
- Apprendre malgré l'absence d'information locale : masquage et caractéristiques par régions ouvrent une piste, mais le rapport ne les compare pas par ablation commune.
Ces directions viennent de la synthèse des soumissions.
Conclusion
D'après cette compétition et sa synthèse, trois chantiers restent ouverts pour la détection unifiée des attaques :
-
Construire des jeux de données plus complets :
UniAttackData pose une base commune, mais les familles d'attaques, la diversité des personnes et la qualité des images peuvent encore progresser. Les attaques adversariales ou les faux visages obtenus par transfert de style demandent notamment davantage d'exemples pour évaluer la généralisation de manière systématique.
-
Explorer la généralisation guidée par de grands modèles préentraînés :
CLIP, modèle vision–langage, et DINOv2, modèle visuel, offrent différentes représentations sémantiques. Si l'on parvient à les adapter plus efficacement à la détection unifiée, la dépendance aux exemples spoof étiquetés pourrait diminuer.
-
Repenser les tâches et les standards :
Les protocoles actuels sont utiles, mais ne couvrent pas tous les mélanges d'attaques, les situations multimodales ou le déploiement mobile. Des tâches plus fines et des évaluations à plusieurs niveaux, distinguant par exemple erreurs à haut risque et erreurs tolérables, pourraient rendre les systèmes plus fiables.
Pour l'instant, nous avançons encore dans la brume des faux visages.
Chaque équipe a éclairé un chemin : l'une avec l'attention, l'autre avec le masquage, une troisième en reconstruisant la forme dans l'espace.
Reste la même question :
Savons-nous vraiment de quoi un faux visage est fait ?
La réponse n'est peut-être pas encore complète. Après cette épreuve publique, nous nous en sommes au moins rapprochés.