{"notes":[{"id":"face-recognition/frvt-distinguishing-twins","category":"face-recognition","legacyPath":"face-recognition/2209-frvt-distinguishing-twins","legacySlug":"2209-frvt-distinguishing-twins","legacyPaths":[],"title":"FRVT-Twins","subtitle":"Évaluer la reconnaissance des jumeaux","author":"Z. Yuan","paperDate":"2022","publishedOn":"2024-06-23","paperTitle":"FRVT: Face Recognition Verification Accuracy on Distinguishing Twins (NIST.IR.8439)","paperUrl":"https://doi.org/10.6028/NIST.IR.8439","bibliography":{"title":"FRVT: Face Recognition Verification Accuracy on Distinguishing Twins (NIST.IR.8439)","authors":["Kayee Hanaoka","Mei Ngan","Patrick Grother","Austin Hom"],"url":"https://doi.org/10.6028/NIST.IR.8439","pdfUrl":"https://nvlpubs.nist.gov/nistpubs/ir/2022/NIST.IR.8439.pdf","codeUrl":null,"preprint":null,"publication":{"venue":"NIST IR 8439","year":2022,"kind":"report","url":"https://doi.org/10.6028/NIST.IR.8439"},"citation":"@techreport{facerecognitionfrvtdistinguishingtwins2022,\n  title = {{FRVT: Face Recognition Verification Accuracy on Distinguishing Twins (NIST.IR.8439)}},\n  author = {Kayee Hanaoka and Mei Ngan and Patrick Grother and Austin Hom},\n  year = {2022},\n  institution = {NIST IR 8439},\n  url = {https://doi.org/10.6028/NIST.IR.8439},\n  doi = {10.6028/NIST.IR.8439}\n}\n","citationPath":"/content/papers/citations/face-recognition/frvt-distinguishing-twins.6830f1728bb8.bib"},"thumbnail":{"src":"/content/papers/assets/4a3f734b914c80250df62c1ecad7f4d2814af21d5bacd751fbd359e7ffb2f68c.jpg","width":1224,"height":404},"locale":"fr","path":"/content/papers/fr/face-recognition/frvt-distinguishing-twins.e03ebd7be077.md","headings":[{"id":"introduction","text":"Introduction","depth":2},{"id":"jeux-de-données","text":"Jeux de données","depth":2},{"id":"twins-days-20102018","text":"Twins Days, 2010–2018","depth":3},{"id":"images-liées-à-limmigration","text":"Images liées à l'immigration","depth":3},{"id":"limites-des-données","text":"Limites des données","depth":2},{"id":"taille-réduite-de-la-population","text":"Taille réduite de la population","depth":3},{"id":"changements-didentifiant","text":"Changements d'identifiant","depth":3},{"id":"métadonnées-erronées-ou-manquantes","text":"Métadonnées erronées ou manquantes","depth":3},{"id":"déséquilibre-des-données","text":"Déséquilibre des données","depth":3},{"id":"déséquilibre-ethnique","text":"Déséquilibre ethnique","depth":3},{"id":"analyse-des-algorithmes","text":"Analyse des algorithmes","depth":2},{"id":"indicateurs","text":"Indicateurs","depth":3},{"id":"jumeaux-monozygotes","text":"Jumeaux monozygotes","depth":3},{"id":"quelques-algorithmes-distinguent-mieux-les-jumeaux-identiques","text":"Quelques algorithmes distinguent mieux les jumeaux identiques","depth":3},{"id":"analyse-densemble","text":"Analyse d'ensemble","depth":2},{"id":"distribution-des-scores","text":"Distribution des scores","depth":3},{"id":"effets-de-lâge","text":"Effets de l'âge","depth":3},{"id":"évolution-dans-le-temps","text":"Évolution dans le temps","depth":3},{"id":"conclusion","text":"Conclusion","depth":2},{"id":"utiliser-des-images-de-plus-haute-résolution","text":"Utiliser des images de plus haute résolution","depth":3}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-recognition/tivc","relation":"comparison","topic":"Distinguer les jumeaux en reconnaissance faciale"}]},{"id":"face-recognition/tivc","category":"face-recognition","legacyPath":"face-recognition/2309-tivc","legacySlug":"2309-tivc","legacyPaths":[],"title":"TIVC-DCNNSH","subtitle":"Un regard sur l'identification des jumeaux","author":"Z. Yuan","paperDate":"2023","publishedOn":"2024-06-25","paperTitle":"Twin Identification over Viewpoint Change: A Deep Convolutional Neural Network Surpasses Humans","paperUrl":"https://doi.org/10.1145/3609224","bibliography":{"title":"Twin Identification over Viewpoint Change: A Deep Convolutional Neural Network Surpasses Humans","authors":["Connor J. Parde","Virginia E. Strehle","Vivekjyoti Banerjee","Ying Hu","Jacqueline G. Cavazos","Carlos D. Castillo","Alice J. O’Toole"],"url":"https://doi.org/10.1145/3609224","pdfUrl":null,"codeUrl":null,"preprint":null,"publication":{"venue":"ACM Transactions on Applied Perception","shortVenue":"ACM TAP","year":2023,"kind":"journal","url":"https://doi.org/10.1145/3609224"},"citation":"@article{facerecognitiontivc2023,\n  title = {{Twin Identification over Viewpoint Change: A Deep Convolutional Neural Network Surpasses Humans}},\n  author = {Connor J. Parde and Virginia E. Strehle and Vivekjyoti Banerjee and Ying Hu and Jacqueline G. Cavazos and Carlos D. Castillo and Alice J. O’Toole},\n  year = {2023},\n  journal = {ACM Transactions on Applied Perception},\n  url = {https://doi.org/10.1145/3609224},\n  doi = {10.1145/3609224}\n}\n","citationPath":"/content/papers/citations/face-recognition/tivc.35753c278ce5.bib"},"thumbnail":{"src":"/content/papers/assets/f9b274834342f8c4921b94ae904fcb2a43b02204f2f425c26f498b98aaab60c4.jpg","width":1224,"height":476},"locale":"fr","path":"/content/papers/fr/face-recognition/tivc.22c6798aa257.md","headings":[{"id":"retour-sur-un-autre-article","text":"Retour sur un autre article","depth":2},{"id":"les-algorithmes-davant-les-dcnn","text":"Les algorithmes d'avant les DCNN","depth":3},{"id":"méthodes-dapprentissage-profond","text":"Méthodes d'apprentissage profond","depth":3},{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"expérience-1--reconnaissance-des-jumeaux-par-les-humains","text":"Expérience 1 : reconnaissance des jumeaux par les humains","depth":3},{"id":"expérience-2--reconnaissance-des-jumeaux-par-le-dcnn","text":"Expérience 2 : reconnaissance des jumeaux par le DCNN","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"résultats-de-lexpérience","text":"Résultats de l'expérience","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-recognition/frvt-distinguishing-twins","relation":"comparison","topic":"Distinguer les jumeaux en reconnaissance faciale"}]}],"text":"Ce texte porte sur un rapport technique, et non sur un article de recherche classique.\n\nLe NIST y examine la capacité des algorithmes du FRVT (*Face Recognition Vendor Test*) à distinguer des jumeaux.\n\nC'est une question intéressante : leur forte ressemblance pourrait compliquer la reconnaissance faciale...\n\nNon, soyons plus francs.\n\n**Distinguer des jumeaux** est une tâche redoutable pour ces systèmes.\n\n## Introduction\n\nLa reconnaissance faciale est de plus en plus employée dans les secteurs public et privé pour vérifier l'identité, autoriser des transactions et contrôler les accès.\n\nLes fortes améliorations de précision mesurées par le FRVT durant la dernière décennie ont soutenu ces usages.\n\nDepuis la pandémie de COVID-19, certains algorithmes reconnaissent même des personnes portant un masque.\n\nMalgré ces progrès, la distinction des jumeaux reste difficile.\n\nCe rapport rassemble les résultats d'algorithmes récents sur cette question.\n\n## Jeux de données\n\n### Twins Days, 2010–2018\n\n- [**Téléchargement**](https://biic.wvu.edu/data-sets/twins-day-dataset-2010-1015)\n\nCes images ont été recueillies de 2010 à 2018 aux journées Twins Days par le centre de recherche biométrique de la West Virginia University (WVU).\n\nChaque collecte suivait un protocole approuvé et nécessitait le consentement éclairé des participants.\n\nLa taille des images varie selon l'année :\n\n- 2 848 × 4 288 en 2010 ;\n- 3 744 × 5 616 en 2011 ;\n- 3 300 × 4 400 ou 2 400 × 3 200 de 2012 à 2018.\n\nCe sont des portraits de face de haute qualité, conformes aux prescriptions NIST SAP50 pour la tête et les épaules et SAP51 pour la tête seule.\n\nLes deux exemples suivants sont légendés dans le rapport comme provenant de la base Twins Days de l'University of Notre Dame. Les images testées ici ont, elles, été collectées par WVU : les illustrations ne doivent pas être prises pour des exemples vérifiés de l'ensemble évalué.\n\n- **Exemple : deux personnes différentes**\n\n  ![different](/content/papers/assets/4a3f734b914c80250df62c1ecad7f4d2814af21d5bacd751fbd359e7ffb2f68c.jpg)\n\n- **Exemple : la même personne**\n\n  ![same](/content/papers/assets/fb816e45d7ca3955e7966825e869558fbd244c63aa1e826bf5192716cfb0867f.jpg)\n\n### Images liées à l'immigration\n\nCe jeu réunit des images prises en direct, surtout par webcam, ainsi que certaines photos de demande de visa.\n\nUn agent prend les images webcam sous contrainte de temps. Il en résulte des variations de roulis, de tangage et de lacet ; un fond trop lumineux peut sous-exposer le visage, la faible distance crée une distorsion de perspective et certains visages sont coupés. La distance moyenne entre les yeux n'est que de 38 pixels. Ces images ne satisfont pas pleinement au type « Full Frontal » de la norme ISO/IEC 19794-5.\n\nPour certains participants, des photos de visa sont également recueillies lors d'un entretien avec un équipement et un éclairage dédiés. Leur géométrie est conforme à la norme ISO/IEC 19794-5 ; elles mesurent 300 × 300 pixels et la pose est proche du face-à-face.\n\n- **Illustration**\n\n  ![img3](/content/papers/assets/e9150737cff35ca40d7ce01d85c95e1d3b81a927ea4334e74e7cb224f95737b9.jpg)\n\n## Limites des données\n\n### Taille réduite de la population\n\n- Les données Twins Days et celles liées à l'immigration réunissent un peu plus de 5 900 images et 698 paires de jumeaux : elles sont plus petites que les autres jeux FRVT 1:1 du NIST.\n- Des métadonnées absentes ou incohérentes ont conduit à exclure beaucoup d'images et de paires, par exemple lorsque A et B sont indiqués comme jumeaux mais B et C le sont aussi.\n- Le jeu lié à l'immigration conserve la plupart de ses images : 152 paires de jumeaux et 2 478 images.\n\n### Changements d'identifiant\n\n- Aux Twins Days, une personne conserve normalement le même identifiant d'une année à l'autre, mais il arrive qu'un nouvel identifiant lui soit attribué.\n- Une petite partie des comparaisons classées comme « personnes différentes » avec un score élevé sont alors en réalité des correspondances correctes entre photos de la même personne.\n\n### Métadonnées erronées ou manquantes\n\n- Certaines métadonnées manquent, parfois entièrement, pour 2011, 2014, 2015 et 2016 dans le jeu Twins Days.\n- Des erreurs sur le type de gémellité, la date de naissance ou d'autres champs ont entraîné l'exclusion de nombreuses images.\n- Le jeu lié à l'immigration ne distingue pas les jumeaux dizygotes des jumeaux monozygotes.\n\n### Déséquilibre des données\n\n- Aux Twins Days, 2,8 % des images concernent des jumeaux dizygotes de sexes différents, 6,7 % des dizygotes de même sexe et 90,5 % des monozygotes.\n- La plupart des images représentent des personnes de 20 à 39 ans ; les groupes de 40 à 59 ans et de 60 ans ou plus sont très peu représentés.\n\n### Déséquilibre ethnique\n\n- Parmi les participants Twins Days dont l'appartenance est indiquée, 85 % sont blancs, 10 % afro-américains et 5 % appartiennent aux autres groupes.\n- Ces effectifs sont trop déséquilibrés pour que le rapport procède à une analyse fiable par groupe ethnique.\n\n## Analyse des algorithmes\n\nLe FRVT est ouvert à des participants du monde entier et reçoit donc beaucoup d'algorithmes.\n\nLe rapport couvre 478 algorithmes soumis à l'évaluation FRVT 1:1 entre 2019 et la mi-février 2022.\n\n### Indicateurs\n\n- **Taux de fausses correspondances (*False Match Rate*, FMR)**\n\n  Le FMR est la proportion de comparaisons entre **personnes différentes** déclarées à tort comme une seule identité.\n\n  C'est un indicateur important dans les applications sensibles, comme l'accès bancaire ou aéroportuaire.\n\n  Le rapport fixe d'abord un seuil de similarité donnant un FMR de 0,0001 sur des paires de personnes non jumelles. Il applique ensuite ce seuil aux paires de jumeaux. Le contrôle est constitué de *mugshots* pour Twins Days et de paires Visa-Border pour les données d'immigration. **0,0001 n'est pas le FMR mesuré entre jumeaux.**\n\n- **Taux de fausses non-correspondances (*False Non-Match Rate*, FNMR)**\n\n  Le FNMR est la proportion de comparaisons entre **photos de la même personne** déclarées à tort comme deux identités.\n\n  Cet indicateur compte notamment pour la facilité d'usage du système.\n\n- **FNMR au seuil FMR = 0,0001**\n\n  La notation « FNMR @ FMR = 0,0001 » signifie que l'on calibre d'abord le seuil à FMR = 0,0001 sur les paires non jumelles, puis que l'on mesure le FNMR des paires de même personne à ce seuil. Les contrôles sont respectivement les *mugshots* et Visa-Border pour les deux jeux.\n\n  Cette mesure décrit les erreurs de rejet sur les portraits de contrôle ordinaires ; le FMR entre jumeaux est calculé séparément.\n\n### Jumeaux monozygotes\n\n- Dans les données Twins Days, le FMR des jumeaux monozygotes dépasse généralement 0,99 : presque toutes les paires de personnes distinctes sont alors considérées à tort comme une seule personne.\n- Les FMR inférieurs à 0,99 proviennent surtout de deux situations :\n\n  - **Défaillance du système** : un taux d'échec à l'enrôlement (FTE) élevé empêche d'extraire des caractéristiques de nombreuses images ;\n  - **Algorithme peu performant** : un FNMR élevé produit des scores faibles pour presque toutes les paires ; autrement dit, le système voit partout des personnes différentes.\n\n### Quelques algorithmes distinguent mieux les jumeaux identiques\n\nCertains algorithmes évitent de déclarer toutes les paires de jumeaux monozygotes comme une seule personne.\n\nIl s'agit notamment des algorithmes suivants :\n\n- **Noms** : aigen-001, aigen-002, beyneai-000, glory-004, mobai-000 et iqface-001 ;\n- **Critères** :\n  - **FNMR du contrôle *mugshot*** : ≤ 0,02 ;\n  - **FTE du contrôle *mugshot*** : ≤ 0,02 ;\n  - **FMR entre jumeaux monozygotes** : ≤ 0,7.\n\nAu seuil ainsi calibré, aigen-002 obtient un FMR de 0,475 entre jumeaux monozygotes : environ la moitié de ces paires de personnes différentes ne sont pas prises pour une seule personne. La valeur 0,0001 est le FMR cible des paires *mugshot* ordinaires utilisées pour calibrer le seuil ; 0,475 est le résultat sur les jumeaux. Les deux chiffres ne décrivent pas la même population.\n\n## Analyse d'ensemble\n\n![result](/content/papers/assets/dcd27fed3c20608283e7f02e46eee979765d15091657452f14df10003efeee39.jpg)\n\n### Distribution des scores\n\nLe graphique présente la distribution des scores de deux algorithmes précis et représentatifs, selon le type de paire comparée.\n\nLes scores les plus élevés viennent surtout du groupe « mated twins » : deux photos du même jumeau prises le même jour. Ici, *mated* signifie bien « même personne ».\n\nLe groupe « mated mugshot » rassemble ensuite des portraits ordinaires de la même personne et sert de contrôle.\n\nLes comparaisons entre deux jumeaux monozygotes distincts, « non-mated identical twins », donnent elles aussi des scores élevés.\n\nIl en va de même pour les jumeaux dizygotes de même sexe, « non-mated fraternal samesex twins ».\n\nLa plupart de ces distributions se trouvent à droite du seuil pointillé. Celui-ci a été calibré à FMR = 0,0001 sur des paires *mugshot* non jumelles et non correspondantes ; le FMR des groupes de jumeaux du graphique est beaucoup plus élevé.\n\n\n> [!TIP]\n> \n> Même si les scores entre jumeaux sont un peu plus bas que ceux de deux photos d'une même personne, ils restent souvent au-dessus du seuil. Les distinguer demeure donc difficile pour ces algorithmes.\n> \n> Le rapport note aussi qu'augmenter simplement le seuil pour réduire les fausses correspondances entre jumeaux ferait grimper les faux rejets d'une même personne à un niveau peu acceptable en pratique.\n\n\n### Effets de l'âge\n\nLe résumé du rapport observe des scores de similarité plus faibles entre jumeaux plus âgés, c'est-à-dire dans les paires « non-mated twins » de personnes distinctes, pour les deux jeux.\n\nDans **Twins Days**, les groupes d'âge sont 0–19, 20–39, 40–59 et 60 ans ou plus. Dans le groupe le plus âgé, les scores entre jumeaux de même sexe, monozygotes comme dizygotes, sont plus faibles que chez les plus jeunes.\n\nLe **jeu lié à l'immigration** ne contient que des jumeaux de même sexe, sans indication de zygosité. Il distingue les groupes 0–19, 20–39 et 40–59 ans. Le résumé indique que les scores du groupe 0–19 se rapprochent davantage de ceux d'une même personne et que ceux du groupe 40–59 sont plus bas. Les graphiques propres à chaque algorithme nuancent toutefois cette tendance : la plupart n'y montrent pas de baisse nette avec l'âge.\n\nMême lorsque le score diminue avec l'âge dans l'analyse globale, beaucoup de jumeaux restent au-dessus du seuil et sont pris pour une même personne. Le rapport étudie la distinction entre deux individus, et non la prédiction de leur type de gémellité.\n\n\n> [!TIP]\n> \n> Les jumeaux dizygotes de même sexe sont eux aussi souvent confondus, malgré une ressemblance généralement moindre que celle des monozygotes. Le rapport ne teste pas les frères et sœurs non jumeaux ; on ne peut pas leur attribuer le même taux de fausses correspondances.\n\n\n### Évolution dans le temps\n\nParmi les algorithmes testés, de meilleurs résultats de vérification sur les *mugshots* ordinaires ne s'accompagnent pas nécessairement d'une baisse du FMR entre jumeaux monozygotes ou dizygotes de même sexe dans Twins Days. Ce constat porte sur cette série d'algorithmes, sans prédire les performances des modèles ultérieurs.\n\n## Conclusion\n\nDans les évaluations FRVT rapportées par le NIST, distinguer des jumeaux monozygotes reste difficile pour les algorithmes de reconnaissance faciale, même lorsque leurs résultats de vérification générale sont bons.\n\nLes jumeaux dizygotes peuvent présenter davantage de différences visibles, mais certains sont encore confondus dans ces données. Pour les applications exigeant une vérification d'identité sûre, ce risque doit être mesuré directement.\n\nLe rapport avance une piste : des images plus détaillées pourraient rendre exploitables les motifs de la peau pour distinguer des visages très semblables.\n\n### Utiliser des images de plus haute résolution\n\nUne image plus détaillée peut révéler la texture et les pores de la peau, des indices individuels qui pourraient aider à différencier même des jumeaux monozygotes.\n\n\n> [!TIP]\n> \n> Le rapport cite un brevet américain de 2004, US7369685B2, décrivant la distinction de jumeaux à partir de la texture de peau visible en haute résolution.\n> \n> Cette référence suggère une piste, mais la présente évaluation FRVT ne teste pas directement cette méthode fondée sur la peau.\n\n\nLe rapport évoque notamment des portraits frontaux conformes à l'ISO avec au moins 120 pixels entre les yeux pour analyser la texture. Il recommande d'améliorer la capture des images. Beaucoup de réseaux réduisent ensuite la résolution de l'entrée pour accélérer le calcul, ce qui peut effacer les détails fins utiles à cette tâche.\n\nVoilà des directions pour de prochains travaux. Espérons que les futures évaluations FRVT montreront des progrès dans la distinction des jumeaux.\n","imageSizes":{"/content/papers/assets/4a3f734b914c80250df62c1ecad7f4d2814af21d5bacd751fbd359e7ffb2f68c.jpg":{"width":1224,"height":404},"/content/papers/assets/fb816e45d7ca3955e7966825e869558fbd244c63aa1e826bf5192716cfb0867f.jpg":{"width":1224,"height":484},"/content/papers/assets/e9150737cff35ca40d7ce01d85c95e1d3b81a927ea4334e74e7cb224f95737b9.jpg":{"width":1020,"height":402},"/content/papers/assets/dcd27fed3c20608283e7f02e46eee979765d15091657452f14df10003efeee39.jpg":{"width":1224,"height":628}}}
