Retour à la bibliothèque

3A-TTA

Survivre en terrain inconnu

Article original

Test-Time Adaptation for Robust Face Anti-Spoofing

Auteurs de l’article

Pei-Kai Huang · Chen-Yu Lu · Shu-Jung Chang · Jun-Xiong Chong · Chiou-Ting Hsu

Publication
BMVC 2023Conférence
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@inproceedings{faceantispoofingthreeatta2023,
  title = {{Test-Time Adaptation for Robust Face Anti-Spoofing}},
  author = {Pei-Kai Huang and Chen-Yu Lu and Shu-Jung Chang and Jun-Xiong Chong and Chiou-Ting Hsu},
  year = {2023},
  booktitle = {BMVC},
  url = {https://proceedings.bmvc2023.org/379/}
}
Sur cette page

Vous ne vous rappelez probablement pas comment vous avez appris à distinguer une photo d'un vrai visage.

Peut-être grâce à la lumière, à un reflet, ou à quelque chose qui sonne faux sans que vous puissiez le nommer.

Pour un modèle, ce n'est jamais simple. Surtout lorsqu'il doit décider seul, sans personne pour le guider.

Définir le problème

La détection des attaques contre le visage (Face Anti-Spoofing, FAS) paraît simple, mais le problème est retors.

Il suffirait de décider si le visage est réel ou fabriqué. Pourtant, ce jugement peut s'effondrer face aux variations de l'environnement, aux types d'attaques et aux différences entre appareils.

Les chercheurs ont proposé plusieurs stratégies pour mieux traverser ces changements.

  • La généralisation de domaine (DG) dit : rendons l'apprentissage plus robuste.
  • L'adaptation de domaine (DA) dit : montrons d'abord au modèle les nouvelles données.
  • L'adaptation sans données sources (SFDA) ajoute : nous pouvons même l'ajuster sans revoir les anciennes données.

Lorsque le futur environnement est connu, ces approches peuvent préparer le modèle aux changements pendant l'entraînement.

Mais le monde ne suit pas le scénario prévu.

Une fois le modèle déployé, un attaquant peut inventer une méthode inédite et le contexte peut changer de façon imprévue. Le modèle que nous pensions achevé a-t-il encore une chance d'apprendre ?

L'article part de cette situation :

Quand la seule occasion d'apprendre arrive au moment de l'inférence, comment le modèle doit-il réagir ?

Ce n'est pas seulement une question technique : sa mémoire acquise entre aussi en jeu.

Nous ne pouvons pas prévoir le prochain geste de l'attaquant. Nous pouvons toutefois essayer, au dernier moment, de réapprendre au modèle à regarder.

Résoudre le problème

Les auteurs proposent 3A-TTA, une solution en trois parties. Au moment de l'inférence, le modèle exploite directement les données cibles non étiquetées pour s'adapter.

L'architecture comprend trois composants :

  1. Activation-based Pseudo-Labeling :

    Les données de test n'ont pas d'étiquettes. Comment apprendre à partir d'elles ? Une pseudo-étiquette fondée seulement sur le score risque de confondre visage réel et attaque, dont les apparences peuvent se ressembler.

    Les cartes Grad-CAM des classes « réel » et « attaque » sont comparées aux caractéristiques par similarité cosinus pour produire la pseudo-étiquette.


  2. Anti-Forgetting Feature Learning :

    Un nouveau lot peut contenir uniquement des attaques inédites. Le modèle pourrait les apprendre tout en oubliant ses connaissances antérieures.

    Les caractéristiques des exemples jugés fiables, avec leurs pseudo-étiquettes, sont donc placées dans une banque mémoire. Chaque mise à jour tient aussi compte de cette mémoire pour réduire le risque d'oubli.


  3. Asymmetric Prototype Contrastive Learning :

    Une attaque nouvelle peut recouvrir partiellement, dans l'espace des caractéristiques, une attaque connue ou un vrai visage. Comment séparer les classes sans avoir déjà vu ce type d'attaque ?

    L'apprentissage contrastif agrège localement les caractéristiques d'attaque, en choisissant les K voisins les plus proches de l'exemple, mais agrège globalement les caractéristiques de visages réels en un seul prototype. Il exploite ainsi les ressemblances locales entre attaques tout en les séparant des vrais visages.


Dans le protocole des auteurs, chaque nouveau lot de données cibles non étiquetées déclenche, avant sa prédiction :

(1) la création des pseudo-étiquettes → (2) la sélection des exemples fiables → (3) la mise à jour contrastive.

Tout cela se déroule pendant l'inférence, sans nouvelles annotations ni accès répété aux données sources.

3A-TTA met donc à jour ses paramètres avant de prédire chaque lot. Les résultats globaux progressent dans les expériences, sans garantie que chaque lot ultérieur sera mieux classé que le précédent.

Si le principe vous suffit, vous pouvez déjà passer à la conclusion.

Sinon, examinons le fonctionnement de chaque composant.

Activation-based Pseudo-Labeling

La figure illustre la première étape : apprendre sans étiquette.

Pour une image non étiquetée xj\mathbf{x}_j, un simple score de classification peut se tromper à cause d'une lumière ou d'une texture semblable.

Les auteurs obtiennent donc, avec Grad-CAM, les cartes d'activation du classifieur pour les classes « réel » et « attaque », puis les comparent aux caractéristiques.

Ils définissent la similarité cosinus sim(f,A)\text{sim}(\mathbf{f}, \mathbf{A}) :

sim(f,A)=f⋅A∥f∥∥A∥.\text{sim}(\mathbf{f}, \mathbf{A}) = \frac{\mathbf{f} \cdot \mathbf{A}}{\|\mathbf{f}\|\|\mathbf{A}\|}.

La comparaison des deux cartes donne la pseudo-étiquette yˉ\bar{y} :

yˉ={1,if sim(f,Al)≥sim(f,As),0,otherwise.\bar{y} = \begin{cases} 1, & \text{if } \text{sim}(\mathbf{f}, \mathbf{A}_l) \ge \text{sim}(\mathbf{f}, \mathbf{A}_s), \\ 0, & \text{otherwise}. \end{cases}

Chaque image reçoit ainsi une pseudo-étiquette ; les expériences suivantes doivent encore en vérifier l'utilité.

La perte de vivacité poursuit ensuite l'adaptation au test :

Ll=−∑[yˉlog⁡(CF(f))+(1−yˉ)log⁡(1−CF(f))].L_{l} = -\sum \Big[\bar{y}\log(CF(\mathbf{f})) + (1-\bar{y})\log\big(1 - CF(\mathbf{f})\big)\Big].

Anti-Forgetting Feature Learning

Les pseudo-étiquettes ne suffisent pas. Un lot peut ne contenir que des vrais visages ou que des attaques, voire de nouvelles attaques inconnues. En ne s'appuyant que sur ce lot, le modèle risque de retenir les nouveaux exemples et d'oublier ses connaissances passées.

À chaque mise à jour, les auteurs utilisent donc un seuil de confiance pour sélectionner les caractéristiques les plus fiables et les conserver dans une banque mémoire (Memory Bank, MB).

Le nouveau lot est appris conjointement avec les caractéristiques et pseudo-étiquettes de la MB au moyen de la perte anti-oubli LaflL_{afl}. La MB contient des exemples sélectionnés dans les lots cibles antérieurs, sans réutiliser les données sources.

Pour une caractéristique f\mathbf{f} et sa pseudo-étiquette yˉ\bar{y}, la sélection est définie par :

γ={1,if (CF(f)>α ∧ msim≥β)  or  (CF(f)<1−α ∧ msim≤−β),0,otherwise,\gamma = \begin{cases} 1, & \text{if } (CF(\mathbf{f}) > \alpha \,\wedge\, m_{\text{sim}} \ge \beta)\;\text{or}\;(CF(\mathbf{f}) < 1-\alpha \,\wedge\, m_{\text{sim}} \le -\beta), \\ 0, & \text{otherwise}, \end{cases}

où α=0.8,  β=0.2,  msim=sim(f,Al)−sim(f,As)\alpha = 0.8,\; \beta = 0.2,\; m_{\text{sim}} = \text{sim}(\mathbf{f}, \mathbf{A}_l) - \text{sim}(\mathbf{f}, \mathbf{A}_s).

Si γ=1\gamma=1, la caractéristique entre dans la MB, mise à jour selon la règle FIFO.

Les caractéristiques et pseudo-étiquettes conservées participent aux prochains mini-lots par la perte anti-oubli de vivacité LaflL_{afl} :

Lafl=−∑[y^log⁡(CF(f^))+(1−y^)log⁡(1−CF(f^))].L_{afl} = -\sum \Big[\hat{y}\log\big(CF(\hat{\mathbf{f}})\big) + (1-\hat{y})\log\big(1 - CF(\hat{\mathbf{f}})\big)\Big].

Cette perte cherche à utiliser à la fois le lot courant et les précédents lots cibles afin de limiter l'oubli dû au déséquilibre des classes.

Asymmetric Prototype Contrastive Learning

Quand les attaques se diversifient, même la banque mémoire ne peut pas représenter toutes leurs variantes.

Cette étape doit donc éloigner vrais visages et attaques dans le même espace, tout en regroupant avec mesure les attaques qui se ressemblent.

  • Agrégation locale : prototype d'attaque

    Supposons qu'une attaque fsa\mathbf{f}_{s}^{a} soit d'un type inédit.

    Certaines caractéristiques d'attaque issues de lots cibles antérieurs peuvent lui ressembler. Les auteurs choisissent les K plus proches selon la distance euclidienne et les agrègent en un prototype local positif pour cet exemple d'ancrage ; les caractéristiques de visages réels de la mémoire servent de négatifs.

  • Agrégation globale : prototype de visage réel

    À l'inverse, les auteurs supposent que les caractéristiques de vrais visages varient moins entre domaines. Ils moyennent celles de la mémoire pour obtenir un prototype global positif ; les négatifs sont les K caractéristiques d'attaque les plus proches de l'ancrage réel.

Ce contraste asymétrique vise à séparer les deux classes sans effacer les ressemblances locales utiles entre différentes attaques.

Les pseudo-étiquettes et la mémoire ne suffisent pas nécessairement à traiter une attaque inconnue. Avec ces ensembles positifs et négatifs, les auteurs définissent la perte contrastive à prototypes asymétriques LapcL_{apc} :

Lapc=−log⁡exp⁡(sim(fsa,  f^sp))∑f^j∈{f^sp}∪Nsexp⁡(sim(fsa,  f^j))−log⁡exp⁡(sim(fla,  f^lp))∑f^i∈{f^lp}∪Nlexp⁡(sim(fla,  f^i)).L_{apc} = -\log \frac{\exp\bigl(\text{sim}(\mathbf{f}_{s}^{a},\;\hat{\mathbf{f}}_{s}^{p})\bigr)} {\sum_{\hat{\mathbf{f}}_{j}\in \{\hat{\mathbf{f}}_{s}^{p}\}\cup \mathbf{N}_s}\exp\bigl(\text{sim}(\mathbf{f}_{s}^{a},\;\hat{\mathbf{f}}_{j})\bigr)} -\log \frac{\exp\bigl(\text{sim}(\mathbf{f}_{l}^{a},\;\hat{\mathbf{f}}_{l}^{p})\bigr)} {\sum_{\hat{\mathbf{f}}_{i}\in \{\hat{\mathbf{f}}_{l}^{p}\}\cup \mathbf{N}_l}\exp\bigl(\text{sim}(\mathbf{f}_{l}^{a},\;\hat{\mathbf{f}}_{i})\bigr)}.

Ns\mathbf{N}_s et Nl\mathbf{N}_l sont respectivement les ensembles négatifs associés aux ancrages attaque et réel.

Le modèle peut ainsi éloigner les deux classes tout en conservant certaines similarités entre attaques, ce qui vise une meilleure adaptation aux attaques inconnues.

Perte totale

Les trois pertes sont réunies :

LT=Ll+λ1Lafl+λ2Lapc,L_{T} = L_{l} + \lambda_{1}L_{afl} + \lambda_{2}L_{apc},

avec λ1=0.5\lambda_{1} = 0.5 et λ2=1.5\lambda_{2} = 1.5 dans les expériences.

En associant pseudo-étiquettes, mémoire anti-oubli et contraste à prototypes, le modèle peut s'ajuster avant de prédire chaque lot cible. L'article évalue des protocoles précis de transfert entre domaines et d'attaques inconnues.

Discussion

Comparaison avec les autres méthodes

Les auteurs comparent 3A-TTA au modèle sans adaptation, à Tent et à OAP privé de données sources. La colonne « Time » donne le temps total d'exécution sur chaque jeu cible.

Le tableau montre que :

  • Tent a un HTER moyen supérieur à celui de « No adaptation » dans les quatre protocoles : cette méthode TTA généraliste n'aide donc pas forcément dans ces tests FAS.
  • OAP progresse sur certains domaines cibles et recule sur d'autres ; le gain moyen est limité.
  • 3A-TTA obtient le plus faible HTER moyen dans les quatre protocoles. Cependant, sur [I,C,M]→[O,D,H], son AUC moyenne de 82,24 % est légèrement inférieure aux 82,54 % sans adaptation. Le corps de l'article annonce, face à OAP, une réduction relative du HTER moyen de 12,54 % et une hausse de l'AUC de 2,11 %. Recalculées directement à partir des quatre moyennes imprimées, ces différences sont d'environ 12,68 % de réduction relative du HTER et 1,80 point de pourcentage d'AUC. Le temps total de 3A-TTA dépasse aussi celui des comparateurs : la précision seule ne détermine pas son coût de déploiement.

Études d'ablation

Les auteurs dissocient les trois modules : pseudo-étiquettes, anti-oubli et contraste à prototypes asymétriques. Ils comparent les combinaisons de pertes.

Voici les observations principales :

  • Production des pseudo-étiquettes :

    • Les variantes fondées sur le score ou sur des prototypes de classe obtiennent, dans les deux tests aval du tableau 3, des HTER et AUC moins bons que la variante fondée sur les activations. Le tableau ne mesure pas directement l'exactitude des pseudo-étiquettes.
    • La figure 3 donne deux exemples où les activations corrigent une pseudo-étiquette fondée sur le score.
  • Apprentissage des caractéristiques anti-oubli :

    • Face à M3, qui n'utilise que LlL_l, M4 ajoute LaflL_{afl} et réduit le HTER dans les deux tests, mais l'AUC baisse légèrement dans les deux cas. En ajoutant la sélection des caractéristiques fiables, M5 améliore à la fois HTER et AUC face à M4.
    • Ces résultats appuient le rôle de la mémoire et de la sélection dans les protocoles testés.
  • Contraste à prototypes ou contraste général :

    • M6 emploie la perte contrastive supervisée générale LcL_c ; ses HTER et AUC sont moins bons que ceux de M5, sans cette perte, dans les deux tests. Les auteurs suggèrent qu'agréger toutes les attaques d'une même classe peut effacer les différences entre leurs types.
    • M7 utilise plutôt le contraste à prototypes asymétriques (LapcL_{apc}) et obtient les meilleurs HTER et AUC des deux directions : un résultat favorable à ce choix dans ces tests.

Analyse visuelle

Les auteurs visualisent ensuite les résultats de 3A-TTA face au modèle sans adaptation.

  1. Répartition t-SNE des caractéristiques :

    • Dans (a), les caractéristiques de vrais visages et d'attaques se chevauchent pour le modèle non adapté sur [O,M,I]→[C,D,H].
    • Dans (b), les caractéristiques de 3A-TTA sont mieux séparées dans cette projection t-SNE. Elle facilite l'interprétation, sans démontrer à elle seule la reconnaissance de toutes les attaques inconnues.
  2. Cartes d'activation :

    • Dans l'exemple de visage réel, la carte d'activation de la classe réelle en ② est davantage concentrée sur le visage avec 3A-TTA qu'en ① sans adaptation.
    • Dans l'exemple d'attaque, la réponse de cette carte en ④ est plus faible qu'en ③ sans adaptation. Ce sont des exemples.

Conclusion

La FAS n'est depuis longtemps plus une simple classification.

À mesure que les attaques génératives évoluent et que les sources se diversifient, un modèle FAS doit pouvoir :

réviser son jugement dans une situation qu'il n'avait pas prévue.

3A-TTA constitue, dans une certaine mesure, une tentative d'autocorrection.

Sur le benchmark TTA-FAS étudié, ses résultats dépassent globalement ceux des méthodes comparées. Ils montrent une voie possible pour adapter la FAS au moment du test, avec les exceptions de mesure et le coût d'exécution signalés plus haut.

La vie d'un modèle traditionnel semble s'arrêter lorsque l'entraînement se termine et que l'inférence commence. Pour un modèle TTA, une partie du travail commence précisément là. Cette idée nous ramène à une question :

Si le terrain devient le champ de bataille, comment le modèle peut-il y apprendre à répliquer ?

Peut-être qu'à l'avenir, un modèle d'IA ne devra pas seulement rendre sa copie : il devra aussi apprendre à la corriger après coup.