{"notes":[{"id":"face-antispoofing/ma-vit","category":"face-antispoofing","legacyPath":"face-antispoofing/2304-ma-vit","legacySlug":"2304-ma-vit","legacyPaths":[],"title":"MA-ViT","subtitle":"Toute apparence est illusoire","author":"Z. Yuan","paperDate":"2023-04-15","publishedOn":"2025-04-22","paperTitle":"MA-ViT: Modality-Agnostic Vision Transformers for Face Anti-Spoofing","paperUrl":"https://arxiv.org/abs/2304.07549","bibliography":{"title":"MA-ViT: Modality-Agnostic Vision Transformers for Face Anti-Spoofing","authors":["Ajian Liu","Yanyan Liang"],"url":"https://arxiv.org/abs/2304.07549","pdfUrl":"https://arxiv.org/pdf/2304.07549","codeUrl":null,"preprint":{"id":"2304.07549","submittedOn":"2023-04-15","url":"https://arxiv.org/abs/2304.07549"},"publication":{"venue":"IJCAI","year":2022,"kind":"conference","url":"https://doi.org/10.24963/ijcai.2022/165"},"citation":"@misc{faceantispoofingmavit2023,\n  title = {{MA-ViT: Modality-Agnostic Vision Transformers for Face Anti-Spoofing}},\n  author = {Ajian Liu and Yanyan Liang},\n  year = {2023},\n  eprint = {2304.07549},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2304.07549}\n}\n","citationPath":"/content/papers/citations/face-antispoofing/ma-vit.711c8467c8cf.bib"},"thumbnail":{"src":"/content/papers/assets/fa2c4fe1cdf1e8f7327fee30b6b425b11a82d76e65a57747acd14f16a9d3bead.jpg","width":1758,"height":460},"locale":"fr","path":"/content/papers/fr/face-antispoofing/ma-vit.a282f935ebff.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"conception-des-pertes","text":"Conception des pertes","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"modalités-fixes","text":"Modalités fixes","depth":3},{"id":"généralisation-entre-jeux-de-données","text":"Généralisation entre jeux de données","depth":3},{"id":"modalités-flexibles","text":"Modalités flexibles","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-antispoofing/wmca","relation":"comparison","topic":"Fusion multimodale contre l’usurpation faciale"},{"id":"face-antispoofing/cefa","relation":"comparison","topic":"Fusion multimodale contre l’usurpation faciale"},{"id":"face-antispoofing/m2a2e","relation":"comparison","topic":"Fusion multimodale contre l’usurpation faciale"}]},{"id":"face-antispoofing/wmca","category":"face-antispoofing","legacyPath":"face-antispoofing/1909-wmca","legacySlug":"1909-wmca","legacyPaths":[],"title":"WMCA","subtitle":"Le visage invisible","author":"Z. Yuan","paperDate":"2019-09-19","publishedOn":"2025-04-06","paperTitle":"Biometric Face Presentation Attack Detection with Multi-Channel Convolutional Neural Network","paperUrl":"https://arxiv.org/abs/1909.08848","bibliography":{"title":"Biometric Face Presentation Attack Detection with Multi-Channel Convolutional Neural Network","authors":["Anjith George","Zohreh Mostaani","David Geissenbuhler","Olegs Nikisins","Andre Anjos","Sebastien Marcel"],"url":"https://arxiv.org/abs/1909.08848","pdfUrl":"https://arxiv.org/pdf/1909.08848","codeUrl":null,"preprint":{"id":"1909.08848","submittedOn":"2019-09-19","url":"https://arxiv.org/abs/1909.08848"},"publication":{"venue":"IEEE Transactions on Information Forensics and Security","shortVenue":"IEEE TIFS","year":2020,"kind":"journal","url":"https://doi.org/10.1109/tifs.2019.2916652"},"citation":"@misc{faceantispoofingwmca2019,\n  title = {{Biometric Face Presentation Attack Detection with Multi-Channel Convolutional Neural Network}},\n  author = {Anjith George and Zohreh Mostaani and David Geissenbuhler and Olegs Nikisins and Andre Anjos and Sebastien Marcel},\n  year = {2019},\n  eprint = {1909.08848},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1909.08848}\n}\n","citationPath":"/content/papers/citations/face-antispoofing/wmca.2be5e48c6045.bib"},"thumbnail":{"src":"/content/papers/assets/6a22d2732a0bf90de9c8e061ea41bd85cca8ae536dc0d4469ffc4195721595ac.jpg","width":1546,"height":520},"locale":"fr","path":"/content/papers/fr/face-antispoofing/wmca.d9f886020c62.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"jeu-de-données-wmca","text":"Jeu de données WMCA","depth":3},{"id":"sept-types-dattaque","text":"Sept types d'attaque","depth":3},{"id":"protocoles-dévaluation-et-configuration-expérimentale","text":"Protocoles d'évaluation et configuration expérimentale","depth":3},{"id":"mesures-dévaluation","text":"Mesures d'évaluation","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"résultats-des-systèmes-de-référence-sur-grandtest","text":"Résultats des systèmes de référence sur Grandtest","depth":3},{"id":"mc-cnn-face-aux-meilleures-références-grandtest","text":"MC-CNN face aux meilleures références (Grandtest)","depth":3},{"id":"reconnaissance-des-attaques-inédites","text":"Reconnaissance des attaques inédites","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-antispoofing/cefa","relation":"comparison","topic":"Fusion multimodale contre l’usurpation faciale"},{"id":"face-antispoofing/m2a2e","relation":"comparison","topic":"Fusion multimodale contre l’usurpation faciale"},{"id":"face-antispoofing/ma-vit","relation":"comparison","topic":"Fusion multimodale contre l’usurpation faciale"}]},{"id":"face-antispoofing/cefa","category":"face-antispoofing","legacyPath":"face-antispoofing/2003-cefa","legacySlug":"2003-cefa","legacyPaths":[],"title":"CeFA","subtitle":"Quand le modèle discrimine","author":"Z. Yuan","paperDate":"2020-03-11","publishedOn":"2025-04-10","paperTitle":"CASIA-SURF CeFA: A Benchmark for Multi-modal Cross-ethnicity Face Anti-spoofing","paperUrl":"https://arxiv.org/abs/2003.05136","bibliography":{"title":"CASIA-SURF CeFA: A Benchmark for Multi-modal Cross-ethnicity Face Anti-spoofing","authors":["Ajian Li","Zichang Tan","Xuan Li","Jun Wan","Sergio Escalera","Guodong Guo","Stan Z. Li"],"url":"https://arxiv.org/abs/2003.05136","pdfUrl":"https://arxiv.org/pdf/2003.05136","codeUrl":null,"preprint":{"id":"2003.05136","submittedOn":"2020-03-11","url":"https://arxiv.org/abs/2003.05136"},"publication":{"venue":"WACV","year":2021,"kind":"conference","url":"https://doi.org/10.1109/wacv48630.2021.00122"},"citation":"@misc{faceantispoofingcefa2020,\n  title = {{CASIA-SURF CeFA: A Benchmark for Multi-modal Cross-ethnicity Face Anti-spoofing}},\n  author = {Ajian Li and Zichang Tan and Xuan Li and Jun Wan and Sergio Escalera and Guodong Guo and Stan Z. Li},\n  year = {2020},\n  eprint = {2003.05136},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2003.05136}\n}\n","citationPath":"/content/papers/citations/face-antispoofing/cefa.c9752b9da1c4.bib"},"thumbnail":{"src":"/content/papers/assets/eca0e1257dd94e04e17927066ccfe614257c81c922291a1caf4b16af71b00674.jpg","width":1610,"height":518},"locale":"fr","path":"/content/papers/fr/face-antispoofing/cefa.e89ece7f869a.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"jeu-de-données-cefa","text":"Jeu de données CeFA","depth":3},{"id":"protocoles-dévaluation","text":"Protocoles d'évaluation","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":2},{"id":"sd-net","text":"SD-Net","depth":3},{"id":"psmm-net","text":"PSMM-Net","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"écarts-de-performance-entre-groupes","text":"Écarts de performance entre groupes","depth":3},{"id":"résultats-des-modèles-de-référence","text":"Résultats des modèles de référence","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-antispoofing/wmca","relation":"comparison","topic":"Fusion multimodale contre l’usurpation faciale"},{"id":"face-antispoofing/m2a2e","relation":"comparison","topic":"Fusion multimodale contre l’usurpation faciale"},{"id":"face-antispoofing/ma-vit","relation":"comparison","topic":"Fusion multimodale contre l’usurpation faciale"}]},{"id":"face-antispoofing/m2a2e","category":"face-antispoofing","legacyPath":"face-antispoofing/2302-m2a2e","legacySlug":"2302-m2a2e","legacyPaths":[],"title":"M²A²E","subtitle":"Tirer une leçon de chaque exemple","author":"Z. Yuan","paperDate":"2023-02-11","publishedOn":"2025-04-21","paperTitle":"Rethinking Vision Transformer and Masked Autoencoder in Multimodal Face Anti-Spoofing","paperUrl":"https://arxiv.org/abs/2302.05744","bibliography":{"title":"Rethinking Vision Transformer and Masked Autoencoder in Multimodal Face Anti-Spoofing","authors":["Zitong Yu","Rizhao Cai","Yawen Cui","Xin Liu","Yongjian Hu","Alex Kot"],"url":"https://arxiv.org/abs/2302.05744","pdfUrl":"https://arxiv.org/pdf/2302.05744","codeUrl":null,"preprint":{"id":"2302.05744","submittedOn":"2023-02-11","url":"https://arxiv.org/abs/2302.05744"},"publication":{"venue":"International Journal of Computer Vision","shortVenue":"IJCV","year":2024,"kind":"journal","url":"https://doi.org/10.1007/s11263-024-02055-1"},"citation":"@misc{faceantispoofingm2a2e2023,\n  title = {{Rethinking Vision Transformer and Masked Autoencoder in Multimodal Face Anti-Spoofing}},\n  author = {Zitong Yu and Rizhao Cai and Yawen Cui and Xin Liu and Yongjian Hu and Alex Kot},\n  year = {2023},\n  eprint = {2302.05744},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2302.05744}\n}\n","citationPath":"/content/papers/citations/face-antispoofing/m2a2e.115f4e5c32cb.bib"},"thumbnail":{"src":"/content/papers/assets/9619d6d3a5bb29167c9c71454936585be4ea12d8a015d05bb251f8c48bbb1c80.jpg","width":1356,"height":618},"locale":"fr","path":"/content/papers/fr/face-antispoofing/m2a2e.2d135bcdee1d.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"données-dentrée","text":"Données d'entrée","depth":3},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"méthode-de-préentraînement","text":"Méthode de préentraînement","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"résultats-expérimentaux","text":"Résultats expérimentaux","depth":3},{"id":"les-descripteurs-locaux-sont-ils-utiles-","text":"Les descripteurs locaux sont-ils utiles ?","depth":3},{"id":"ama-profite-t-il-simplement-de-plus-de-paramètres-","text":"AMA profite-t-il simplement de plus de paramètres ?","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-antispoofing/wmca","relation":"comparison","topic":"Fusion multimodale contre l’usurpation faciale"},{"id":"face-antispoofing/cefa","relation":"comparison","topic":"Fusion multimodale contre l’usurpation faciale"},{"id":"face-antispoofing/ma-vit","relation":"comparison","topic":"Fusion multimodale contre l’usurpation faciale"}]}],"text":"La détection des attaques contre le visage (*Face Anti-Spoofing*, FAS) cherche d'abord à empêcher qu'une photo, une vidéo ou un masque en trois dimensions trompe un système de reconnaissance faciale.\n\nCes attaques de présentation (*Presentation Attacks*, PA) posent un problème de sécurité de plus en plus pressant à mesure que la reconnaissance faciale se diffuse dans le paiement, le déverrouillage des téléphones et les contrôles automatiques aux frontières.\n\n## Définir le problème\n\nLes premières méthodes FAS reposaient surtout sur les images RGB pour détecter les anomalies.\n\nMais la course entre l'attaque et la défense ne s'est jamais arrêtée. Les attaques sont devenues plus réalistes et les capteurs plus variés. Nous avons donc ajouté l'infrarouge, la profondeur et l'imagerie thermique, comme pour reconstituer une « vérité multispectrale ».\n\nLes architectures ont évolué elles aussi : de la fusion intermédiaire, qui concatène les caractéristiques, à la fusion tardive des décisions, chaque stratégie essaie de mieux retrouver la frontière entre le vrai et le faux.\n\nUn problème est pourtant apparu.\n\nLa fusion intermédiaire renforce les interactions entre modalités, mais suppose souvent que les mêmes capteurs sont disponibles à l'entraînement et au test. Si l'un manque, la prédiction peut s'effondrer.\n\nLa fusion tardive conserve une branche indépendante par modalité. Elle peut donc fonctionner lorsqu'une entrée manque, mais augmente le nombre de paramètres et le temps d'inférence, ce qui gêne son déploiement sur téléphone ou en périphérie.\n\nPlus fondamentalement, ces méthodes multimodales n'ont pas vraiment répondu à la question suivante :\n\n> **Comprenons-nous ce qui constitue une caractéristique de vie commune aux modalités ?**\n\nLe modèle apprend-il réellement à distinguer le vrai visage de l'attaque, ou se contente-t-il de mémoriser les différences entre modalités ?\n\nD'où une question plus radicale : pouvons-nous utiliser plusieurs modalités pendant l'entraînement, puis n'en demander qu'une seule au test ? Un tel système FAS pourrait-il rester souple, léger et rapide tout en détectant les attaques avec précision ?\n\nLes auteurs de cet article se penchent sur ces questions.\n\nCette fois, il ne s'agit pas simplement de raccorder les modalités. Il faut d'abord les séparer.\n\n## Résoudre le problème\n\nLa fusion intermédiaire peut échouer quand une modalité manque, et la fusion tardive multiplie les branches et le calcul. Les auteurs cherchent donc un modèle « indépendant de la modalité » :\n\n- apprendre à partir de plusieurs modalités pendant l'entraînement ;\n- prédire avec une seule des modalités apprises pendant le test.\n\n### Architecture du modèle\n\n\n\n![model_arch](/content/papers/assets/fa2c4fe1cdf1e8f7327fee30b6b425b11a82d76e65a57747acd14f16a9d3bead.jpg)\n\n\n\nL'architecture ci-dessus repose sur un unique tronc ViT et comprend trois modules :\n\n1. **Multi-Modal Tokenization Module** (à gauche) ;\n2. **Transformer Encoder** (flèches jaunes et noires au centre) ;\n3. **Modal Shared Classification Heads** (classifieurs à droite).\n\nÀ la différence d'une fusion à plusieurs branches, MA-ViT partage les mêmes paramètres ViT entre les modalités. Des blocs Transformer standard (*Standard Transformer Blocks*, STB) alternent avec de nouveaux blocs « indépendants de la modalité » (*Modality-Agnostic Transformer Blocks*, MATB) pour dégager une représentation moins liée au type d'entrée.\n\nLes flèches jaunes indiquent le passage indépendant de chaque modalité dans les STB ; les flèches noires et grises montrent ensuite son traitement par le MATB (MDA).\n\n---\n\nÀ l'entrée de MA-ViT, une image RGB ou de profondeur passe d'abord par le **Multi-Modal Tokenization Module**.\n\nÀ gauche de la figure, elle est découpée en *patches*, convertis en vecteurs (*tokens*) $x_\\text{pat}$. Deux tokens spéciaux sont ajoutés :\n\n- **$x_\\text{cls}$** : le token de classification, chargé de la prédiction vrai/faux ;\n- **$x_\\text{mod}$** : le token de modalité, qui aide le modèle à identifier le type d'entrée.\n\nLes plongements positionnels $x_\\text{pos}$ et propres à la modalité $x^i_\\text{spe}$ sont ajoutés à la séquence pour former l'entrée initiale :\n\n$$\nz^i_0 = [x_\\text{cls} \\| x^i_\\text{mod} \\| x^i_\\text{pat}] + (x_\\text{pos} + x^i_\\text{spe})\n$$\n\nCes tokens entrent ensuite dans l'encodeur Transformer.\n\n---\n\nChaque couche de l'encodeur combine deux parties :\n\n1.  **STB (Standard Transformer Block)**\n    Chaque modalité y est traitée indépendamment, comme le montrent les flèches jaunes et gris foncé, pour saisir ses caractéristiques et son contexte.\n\n2.  **MATB (Modality-Agnostic Transformer Block)**\n    Après le STB, le MATB comporte deux mécanismes d'attention. La figure suivante les détaille :\n\n\n\n     ![matb](/content/papers/assets/3c23176ba355ef733db08c1b1fa26f8ab2a0e269c250907c5b2a22c8d62b4c9f.jpg)\n\n\n\n    - **MDA : échapper à la modalité**\n\n      Le **Modal-Disentangle Attention (MDA)** cherche à moins tenir compte des patches fortement liés à la modalité et à concentrer la classification sur des indices utiles à la distinction vrai/faux.\n\n      À gauche de la figure, MDA calcule d'abord la relation entre le token de modalité (MOD) et chaque patch par un produit scalaire :\n\n      $$\n      \\text{map}_\\text{mod} = \\frac{q_\\text{mod} (k^\\text{pat}_\\text{mod})^T}{\\sqrt{D/h}}\n      $$\n\n      La fonction de seuil $\\Gamma_\\lambda(\\cdot)$ produit ensuite un masque $M$ des positions fortement liées à la modalité. Dans l'attention du token CLS, les scores correspondants deviennent très négatifs, ce qui coupe leur contribution :\n\n      $$\n      \\text{map}_\\text{cls}' = \\Gamma^0_M\\left(\\frac{q_\\text{cls} (k^\\text{pat}_\\text{cls})^T}{\\sqrt{D/h}}\\right)\n      $$\n\n      Le résultat accorde ainsi de l'attention aux patches non masqués :\n\n      $$\n      \\text{MDA}(z^i) = \\text{softmax}(\\text{map}_\\text{cls}') \\cdot v^\\text{pat}_\\text{cls}\n      $$\n\n      C'est une forme d'« oubli sélectif » : le modèle ne doit pas tout retenir, mais privilégier ce qui compte pour sa décision.\n\n      ***\n\n    - **CMA : éclairer les modalités les unes par les autres**\n\n      Le **Cross-Modal Attention (CMA)** crée, lorsque plusieurs modalités sont disponibles à l'entraînement, une séquence croisée supervisée avec la même étiquette vrai/faux. Ses paramètres de projection de l'attention sont partagés avec la voie unimodale.\n\n      À droite de la figure, pour RGB ($z^r$) et profondeur ($z^d$), les requêtes RGB ($q_r$) portent attention aux clés et valeurs de la profondeur :\n\n      $$\n      A_{rd} = \\text{softmax}\\left( \\frac{q_r k_d^T}{\\sqrt{D/h}} \\right), \\quad \\text{CMA}(z_r) = A_{rd} \\cdot v_d\n      $$\n\n      L'autre sens fonctionne de manière analogue. Les deux modalités peuvent ainsi s'« emprunter un regard » pendant l'entraînement ; au test unimodal, le modèle n'obtient pas les caractéristiques du capteur absent pour exécuter CMA.\n\n### Conception des pertes\n\nPour permettre une décision avec une seule modalité au test, MA-ViT emploie des classifieurs partagés. Le token CLS prédit vrai ou faux et le token MOD prédit la modalité ; leurs pertes sont optimisées ensemble :\n\n$$\n\\begin{aligned}\nL^i_\\text{cls} &= \\text{BCE}(\\text{MLP}_\\text{cls}(\\text{LN}(z^i_{K, \\text{cls}})), y_\\text{cls}) \\\\\nL^i_\\text{mod} &= \\text{BCE}(\\text{MLP}_\\text{mod}(\\text{LN}(z^i_{K, \\text{mod}})), y_\\text{mod}) \\\\\nL^i_\\text{total} &= L^i_\\text{cls} + L^{rd}_\\text{cls} + L^i_\\text{mod}\n\\end{aligned}\n$$\n\nAinsi, au test, il suffit d'activer la voie correspondant à la modalité fournie ; les autres entrées utilisées pendant l'entraînement ne sont pas nécessaires.\n\n## Discussion\n\nPour vérifier l'efficacité de MA-ViT, les auteurs examinent deux situations :\n\n1. **Test à modalité fixe** : les modalités disponibles au test correspondent à celles prévues à l'entraînement.\n2. **Test à modalité flexible** : chaque modalité entraînée peut être utilisée seule.\n\nIls ajoutent des tests entre jeux de données et des ablations pour examiner la façon dont MA-ViT sépare et exploite les informations des modalités.\n\n### Modalités fixes\n\nDans le cadre traditionnel, le modèle réalise l'inférence avec les modalités fixes. C'est aussi le principal cadre de comparaison des méthodes précédentes.\n\nSur MmFA, comparons le modèle de référence (ViT sans MATB) aux méthodes multimodales SEF et MS-SEF :\n\n\n\n![mmfa](/content/papers/assets/03e1358a4d85adea407bfc8e31c09641ed9bbe1bd315b78e0f0db6874e728b13.jpg)\n\n\n\n- Le ViT sans fusion obtient un résultat inférieur à SEF sur cette expérience.\n- Avec MATB, le TPR à FPR=$10^{-4}$ passe de 44,33 % à 82,83 % et l'ACER baisse de 6,51 % à 0,80 %. Le TPR et l'ACER surpassent ceux de MS-SEF, mais le BPCER de 0,83 % reste moins bon que ses 0,30 %.\n\nCette comparaison appuie l'amélioration obtenue par MATB dans cette configuration. Le tableau ne permet pas d'attribuer à une cause unique la faiblesse du ViT initial.\n\nRegardons ensuite les protocoles de CeFA :\n\n\n\n![cefa](/content/papers/assets/0aa066da1bc1551ba21eb90f1bdba7a613b6458193867109fa187d2c7d1183df.jpg)\n\n\n\nPour les protocoles 1, 2 et 4, MA-ViT atteint respectivement 1,10 %, 0,10 % et 1,64 % d'ACER. Il est le meilleur du tableau dans les deux premiers. Dans le protocole 4, il fait mieux que Hulking et Super, mais reste derrière BOBO et ses 1,02 %.\n\nCeFA couvre plusieurs modalités et populations. Ces résultats montrent le meilleur ACER dans deux protocoles ; dans le quatrième, une autre méthode demeure devant.\n\nEnfin, examinons WMCA :\n\n![wmca](/content/papers/assets/098ae2df6a8f57b414c48a7566f87f5510d61f58604f15326c8e7489ce6f3818.jpg)\n\nL'ACER de MA-ViT vaut 1,45 % sur les attaques déjà vues et 3,81 % en moyenne sur les types inconnus, sous les 1,70 % et 7,60 % de CMFL. Pour les attaques inconnues, les masques souples obtiennent 9,76 % et les lunettes 14,00 %, alors que les impressions et les masques en papier obtiennent chacun 0,00 %. Les auteurs pensent que les traces des masques souples et des lunettes sont plus locales, mais ce tableau ne permet pas d'isoler la contribution d'un mécanisme d'attention particulier.\n\n### Généralisation entre jeux de données\n\n\n\n![cross_dataset](/content/papers/assets/2b25f232385b9e365921876249f3f8053a866630c34ff7d8681c9b7dff51a87e.jpg)\n\n\n\nEn entraînant sur MmFA et en testant sur WMCA, le **HTER de MA-ViT est de 20,63 %, contre 24,54 % pour Aux.(Depth)**. Dans l'autre sens, il passe de 12,35 % à 10,41 %. Dans la comparaison des modules seuls, MDA-ViT bat CMA-ViT dans les deux sens : 24,84 % contre 27,97 %, puis 13,30 % contre 16,97 %. **MDA apporte donc davantage dans ces deux tests entre jeux de données.**\n\nCela rejoint l'intuition initiale : **avant de vouloir fusionner les modalités, traitons les biais qu'elles introduisent.**\n\n### Modalités flexibles\n\n\n\n![flexible](/content/papers/assets/98cc4e66f4443a2073a60883cc40c44fdef95c6d8525496ad81ff6b17d58cf73.jpg)\n\n\n\nC'est la partie la plus utile en pratique de MA-ViT.\n\nSans réentraîner le modèle, l'ACER sur MmFA pour chaque modalité utilisée seule est :\n\n- **RGB** : 11,43 % (9,57 points de pourcentage sous MS-SEF) ;\n- **profondeur** : 0,80 % (2,80 points de pourcentage sous MS-SEF) ;\n- **IR** : 1,50 % (17,90 points de pourcentage sous MS-SEF).\n\nCes valeurs MmFA montrent qu'un même MA-ViT entraîné avec RGB, profondeur et IR accepte chacun de ces types d'entrée séparément. Le test unimodal n'exige ni nouvel entraînement ni entrée issue d'un autre capteur à cet instant.\n\n## Conclusion\n\nMA-ViT est un système de détection des attaques contre le visage entièrement fondé sur Transformer. Il peut traiter séparément chacune des modalités apprises et continuer à prédire lorsqu'une entrée manque, même si la précision varie selon la modalité.\n\nCette capacité tient à une nouvelle façon d'attribuer un rôle aux modalités, grâce aux deux mécanismes d'attention du MATB :\n\n- **MDA** : atténuer le biais de modalité et conserver les indices discriminants de vie ;\n- **CMA** : compléter une modalité par une autre pendant l'entraînement pour mieux discerner des indices locaux faibles.\n\nL'apport de ce travail dépasse la modification d'une architecture. Il propose un autre principe de conception :\n\n> **« Au lieu de mémoriser la modalité, regardons l'essentiel. »**\n\nUn modèle ne devrait pas dépendre uniquement de ce qu'on lui donne. Il devrait comprendre ce qui compte dans chaque entrée qu'il sait traiter.\n","imageSizes":{"/content/papers/assets/fa2c4fe1cdf1e8f7327fee30b6b425b11a82d76e65a57747acd14f16a9d3bead.jpg":{"width":1758,"height":460},"/content/papers/assets/3c23176ba355ef733db08c1b1fa26f8ab2a0e269c250907c5b2a22c8d62b4c9f.jpg":{"width":908,"height":564},"/content/papers/assets/03e1358a4d85adea407bfc8e31c09641ed9bbe1bd315b78e0f0db6874e728b13.jpg":{"width":1216,"height":312},"/content/papers/assets/0aa066da1bc1551ba21eb90f1bdba7a613b6458193867109fa187d2c7d1183df.jpg":{"width":1208,"height":684},"/content/papers/assets/098ae2df6a8f57b414c48a7566f87f5510d61f58604f15326c8e7489ce6f3818.jpg":{"width":1224,"height":200},"/content/papers/assets/2b25f232385b9e365921876249f3f8053a866630c34ff7d8681c9b7dff51a87e.jpg":{"width":1200,"height":288},"/content/papers/assets/98cc4e66f4443a2073a60883cc40c44fdef95c6d8525496ad81ff6b17d58cf73.jpg":{"width":1224,"height":496}}}
