{"notes":[{"id":"face-recognition/arcface","category":"face-recognition","legacyPath":"face-recognition/1801-arcface","legacySlug":"1801-arcface","legacyPaths":[],"title":"ArcFace","subtitle":"Une marge sur l'angle","author":"Z. Yuan","paperDate":"2018-01-23","publishedOn":"2024-08-31","paperTitle":"ArcFace: Additive Angular Margin Loss for Deep Face Recognition","paperUrl":"https://arxiv.org/abs/1801.07698","bibliography":{"title":"ArcFace: Additive Angular Margin Loss for Deep Face Recognition","authors":["Jiankang Deng","Jia Guo","Jing Yang","Niannan Xue","Irene Kotsia","Stefanos Zafeiriou"],"url":"https://arxiv.org/abs/1801.07698","pdfUrl":"https://arxiv.org/pdf/1801.07698","codeUrl":null,"preprint":{"id":"1801.07698","submittedOn":"2018-01-23","url":"https://arxiv.org/abs/1801.07698"},"publication":{"venue":"IEEE Transactions on Pattern Analysis and Machine Intelligence","shortVenue":"IEEE TPAMI","year":2022,"kind":"journal","url":"https://doi.org/10.1109/tpami.2021.3087709"},"citation":"@misc{facerecognitionarcface2018,\n  title = {{ArcFace: Additive Angular Margin Loss for Deep Face Recognition}},\n  author = {Jiankang Deng and Jia Guo and Jing Yang and Niannan Xue and Irene Kotsia and Stefanos Zafeiriou},\n  year = {2018},\n  eprint = {1801.07698},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1801.07698}\n}\n","citationPath":"/content/papers/citations/face-recognition/arcface.90d5c31479c4.bib"},"thumbnail":{"src":"/content/papers/assets/ff1f86abf662b782f06500e02831094dc915ac314887be62e23a9c3d51a89507.jpg","width":1224,"height":344},"locale":"fr","path":"/content/papers/fr/face-recognition/arcface.40bd231002e8.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"rappel-de-cosface","text":"Rappel de CosFace","depth":3},{"id":"pourquoi-ne-pas-agir-directement-sur-theta-","text":"Pourquoi ne pas agir directement sur \\theta ?","depth":3},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-de-la-perte","text":"Architecture de la perte","depth":3},{"id":"quelle-différence-","text":"Quelle différence ?","depth":3},{"id":"une-formule-commune","text":"Une formule commune","depth":3},{"id":"jeux-de-données-dentraînement-et-de-validation","text":"Jeux de données d'entraînement et de validation","depth":3},{"id":"configuration-de-lentraînement","text":"Configuration de l'entraînement","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"comparaison-des-fonctions-de-perte","text":"Comparaison des fonctions de perte","depth":3},{"id":"résultats-sur-les-jeux-de-validation","text":"Résultats sur les jeux de validation","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-recognition/cosface","relation":"comparison","topic":"Marges angulaires en reconnaissance faciale"}]},{"id":"face-recognition/cosface","category":"face-recognition","legacyPath":"face-recognition/1801-cosface","legacySlug":"1801-cosface","legacyPaths":[],"title":"CosFace","subtitle":"Une grande marge cosinus","author":"Z. Yuan","paperDate":"2018-01-29","publishedOn":"2024-07-13","paperTitle":"CosFace: Large Margin Cosine Loss for Deep Face Recognition","paperUrl":"https://arxiv.org/abs/1801.09414","bibliography":{"title":"CosFace: Large Margin Cosine Loss for Deep Face Recognition","authors":["Hao Wang","Yitong Wang","Zheng Zhou","Xing Ji","Dihong Gong","Jingchao Zhou","Zhifeng Li","Wei Liu"],"url":"https://arxiv.org/abs/1801.09414","pdfUrl":"https://arxiv.org/pdf/1801.09414","codeUrl":null,"preprint":{"id":"1801.09414","submittedOn":"2018-01-29","url":"https://arxiv.org/abs/1801.09414"},"publication":{"venue":"CVPR","year":2018,"kind":"conference","url":"https://arxiv.org/abs/1801.09414"},"citation":"@misc{facerecognitioncosface2018,\n  title = {{CosFace: Large Margin Cosine Loss for Deep Face Recognition}},\n  author = {Hao Wang and Yitong Wang and Zheng Zhou and Xing Ji and Dihong Gong and Jingchao Zhou and Zhifeng Li and Wei Liu},\n  year = {2018},\n  eprint = {1801.09414},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1801.09414}\n}\n","citationPath":"/content/papers/citations/face-recognition/cosface.33b7c5f9be27.bib"},"thumbnail":{"src":"/content/papers/assets/c8580ee07dc22f7bb0b603896838b75721137d6f6b9ece236bbc2ce82387ad67.jpg","width":1224,"height":964},"locale":"fr","path":"/content/papers/fr/face-recognition/cosface.95d797929561.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"un-système-de-reconnaissance-faciale","text":"Un système de reconnaissance faciale","depth":3},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"la-fonction-de-perte","text":"La fonction de perte","depth":3},{"id":"le-paramètre-s","text":"Le paramètre s","depth":3},{"id":"le-paramètre-m","text":"Le paramètre m","depth":3},{"id":"mise-en-œuvre","text":"Mise en œuvre","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"effet-de-m","text":"Effet de m","depth":3},{"id":"effet-de-la-normalisation-des-caractéristiques","text":"Effet de la normalisation des caractéristiques","depth":3},{"id":"comparaison-avec-dautres-pertes","text":"Comparaison avec d'autres pertes","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-recognition/arcface","relation":"comparison","topic":"Marges angulaires en reconnaissance faciale"}]}],"text":"C'est une période animée pour la reconnaissance faciale.\n\nLes pertes à marge retiennent alors beaucoup d'attention : A-Softmax, puis CosFace, puis ArcFace cherchent chacune à mieux séparer les identités.\n\n## Définir le problème\n\nAllons droit au but et commençons par la perte softmax.\n\n$$\nL_{\\text{Softmax}} = \\frac{1}{N}\\sum_{i=1}^{N}-\\log\\left(\\frac{e^{f_{y_i}}}{\\sum_{j=1}^{C}e^{f_j}}\\right)\n$$\n\nIci, $f_j$ est le logit de la classe $j$, $y_i$ la classe de la $i$-ième image, $C$ le nombre de classes et $N$ la taille du lot.\n\nEn général, ce logit provient d'une couche entièrement connectée : $f_j = W_j^Tx+B_j$, où $W_j$ est le poids de la classe et $B_j$ son biais.\n\nSi l'on fixe $B_j = 0$, alors $f_j = W_j^Tx$. Écrivons le produit scalaire sous une autre forme :\n\n$$\nf_j = \\|W_j\\|\\|x\\|\\cos\\theta_j\n$$\n\n$\\theta_j$ est l'angle entre $W_j$ et $x$.\n\nJusqu'ici, nous n'avons rien modifié : nous avons simplement décrit le calcul de la perte softmax.\n\n### Rappel de CosFace\n\n- [**[18.01] CosFace : une grande marge cosinus**](/blog/papers/face-recognition/cosface)\n\nNormalisons $W_j$ et $x$ en norme L2 pour leur donner une norme de 1. Il reste alors $f_j = \\cos\\theta_j$ avant la mise à l'échelle.\n\nCosFace soustrait une constante $m$ au logit de la **bonne classe** : $f_{y_i}=\\cos\\theta_{y_i}-m$. Les logits des autres classes restent $\\cos\\theta_j$.\n\nCette marge exige une similarité cosinus plus élevée pour classer correctement l'exemple. Les représentations des différentes identités doivent donc être mieux séparées.\n\nMais si notre objectif est d'augmenter la marge entre les classes, pourquoi l'ajouter dans l'espace du cosinus ?\n\n### Pourquoi ne pas agir directement sur $\\theta$ ?\n\nVoilà la question traitée par les auteurs :\n\n**Pour obtenir une marge angulaire, appliquons-la directement à l'angle $\\theta$ !**\n\n## Résoudre le problème\n\n### Architecture de la perte\n\n![arcface](/content/papers/assets/662f9ee504c03689244fbe094b6335f6e2a4c9dc22b3033db090a64a6a2e71e8.jpg)\n\nLe schéma ci-dessus représente la perte ArcFace avec **sous-centres** : chaque classe possède $K$ centres, on retient sa plus forte similarité cosinus, puis on ajoute la marge angulaire à la bonne classe. ArcFace classique correspond à $K=1$. Ce n'est pas un schéma de l'architecture du réseau extracteur de caractéristiques.\n\nCe dessin ne vous plaît peut-être pas ; regardons plutôt le code :\n\n```python\n# Implementation from ArcFace by InsightFace\n\nclass ArcFace(torch.nn.Module):\n\n    def __init__(self, s=64.0, margin=0.5):\n        super(ArcFace, self).__init__()\n        self.s = s\n        self.margin = margin\n        self.cos_m = math.cos(margin)\n        self.sin_m = math.sin(margin)\n        self.theta = math.cos(math.pi - margin)\n        self.sinmm = math.sin(math.pi - margin) * margin\n        self.easy_margin = False\n\n\n    def forward(self, logits: torch.Tensor, labels: torch.Tensor):\n        index = torch.where(labels != -1)[0]\n        target_logit = logits[index, labels[index].view(-1)]\n\n        with torch.no_grad():\n            target_logit.arccos_()\n            logits.arccos_()\n            final_target_logit = target_logit + self.margin\n            logits[index, labels[index].view(-1)] = final_target_logit\n            logits.cos_()\n        logits = logits * self.s\n        return logits\n```\n\nRegardons cette partie en détail :\n\n```python\nwith torch.no_grad():\n    target_logit.arccos_()\n    logits.arccos_()\n    final_target_logit = target_logit + self.margin\n    logits[index, labels[index].view(-1)] = final_target_logit\n    logits.cos_()\n```\n\nLes `logits` d'entrée sont les similarités cosinus entre les caractéristiques et les poids de classe normalisés. `arccos` les convertit en angles ; la marge est ajoutée uniquement à celui de la bonne classe ; `cos` ramène ensuite les angles en logits, multipliés par l'échelle $s$. La marge par défaut vaut 0,5 radian, soit environ 28,6 degrés. Un angle cible de 60 degrés devient ainsi environ 88,6 degrés. Les autres classes ne reçoivent aucune marge : pour que la bonne classe gagne, le modèle doit réduire son angle initial.\n\nDans cette implémentation InsightFace, les `logits` sont modifiés en place sous `torch.no_grad()`. Les valeurs de la passe avant suivent la marge angulaire ; à la rétropropagation, cette transformation emprunte le gradient direct des `logits` initiaux. Ce n'est pas la dérivée complète de $\\cos(\\arccos(x)+m)$ par la règle de chaîne.\n\n### Quelle différence ?\n\nL'article compare les effets de plusieurs marges sur la frontière de décision :\n\n![loss diff](/content/papers/assets/ff1f86abf662b782f06500e02831094dc915ac314887be62e23a9c3d51a89507.jpg)\n\nLes axes du graphique sont les angles $\\theta_1$ et $\\theta_2$ entre une caractéristique et les centres de deux classes. À gauche, le softmax normalisé sépare les classes sur $\\theta_1=\\theta_2$, sans marge angulaire supplémentaire.\n\nLe deuxième dessin montre la marge angulaire multiplicative de SphereFace, qui applique $\\cos(m\\theta_{y_i})$ à la bonne classe. La largeur de la marge varie avec l'angle ; les caractéristiques restent elles aussi sur une hypersphère normalisée, plutôt que sur une hypersphère différente pour chaque classe.\n\nCosFace ajoute sa marge à la valeur cosinus de la bonne classe : ramenée dans l'espace des angles, la frontière est courbe. ArcFace ajoute directement $m$ à l'angle cible ; la marge du schéma est représentée par deux droites parallèles, à largeur constante.\n\n### Une formule commune\n\nNous avons la marge cosinus additive de CosFace, la marge angulaire additive d'ArcFace et la marge angulaire multiplicative de SphereFace. On peut les regrouper dans une formule :\n\n$$\nf_j =\n\\begin{cases}\n\\cos(m_1\\theta_{y_i} + m_2) - m_3 & \\text{if } j = y_i, \\\\\n\\cos\\theta_j & \\text{if } j \\neq y_i.\n\\end{cases}\n$$\n\nLa perte correspondante s'écrit :\n\n$$\nL_{\\text{ArcFace}} = -\\frac{1}{N}\\sum_{i=1}^{N}\\log\\left(\\frac{e^{s(f_{y_i})}}{e^{s(f_{y_i})} + \\sum_{j\\neq y_i}e^{s(f_j)}}\\right)\n$$\n\nDans ce cadre :\n\n- CosFace utilise $m_1 = 1$, $m_2 = 0$ et $m_3 = 0.35$ ;\n- ArcFace utilise $m_1 = 1$, $m_2 = 0.5$ et $m_3 = 0$ ;\n- SphereFace utilise ici $m_1 = 1.35$, $m_2 = 0$ et $m_3 = 0$.\n\n\n> [!TIP]\n> \n> Une fois cette formule comprise, vous pouvez même proposer votre propre perte : par exemple $m_1 = 1.35$, $m_2 = 0.25$ et $m_3 = 0.15$ définissent une nouvelle combinaison.\n\n\n### Jeux de données d'entraînement et de validation\n\n![dataset](/content/papers/assets/68b53c83221c0af01b956ed8317283fa066e4f027aa11c86914ad2b2419d89a1.jpg)\n\n1. **Jeux d'entraînement** :\n\n   - **CASIA**\n   - **VGG2**\n   - **MS1MV0**\n\n     - Les images utilisent un recadrage assez large.\n     - La proportion estimée de bruit dans les données initiales est d'environ 47,1 % à 54,4 %.\n     - Un nettoyage semi-automatique produit **MS1MV3**.\n\n   - **Celeb500K**\n\n     - La collecte suit la méthode de **MS1MV0**.\n     - Une liste de célébrités sert à rechercher des identités sur Google et à télécharger les premiers résultats de visages.\n     - Le texte parle de 25 millions d'images pour 500 000 identités ; le tableau ci-dessus attribue pourtant 50 millions d'images à Celeb500K. Ces deux chiffres ne concordent pas dans l'article.\n     - RetinaFace détecte les visages de plus de 50 × 50 pixels.\n\n   - **Jeu IBUG-500K**\n\n     - Après avoir retiré les identités communes à l'aide de leurs chaînes d'identification, environ 50 000, les auteurs réunissent les versions nettoyées de MS1MV0 et de Celeb500K.\n     - Le jeu final contient 11,96 millions d'images correspondant à 493 000 identités et porte le nom **IBUG-500K**.\n     - Le graphique suivant montre la répartition par sexe, groupe ethnique, pose, âge et nombre d'images.\n\n       ![IBUG-500K](/content/papers/assets/e1246cd779681e990c33b43bb05cf5c060f8db4fc23c7767bfc0a4ae99285806.jpg)\n\n2. **Jeux de validation** :\n\n   - **LFW & CFP-FP & AgeDB**\n\n     - Ils permettent de suivre rapidement la convergence.\n\n   - **CPLFW & CALFW**\n\n     - Ces jeux récents présentent davantage de variations de pose et d'âge.\n\n   - **MegaFace & IJB-B & IJB-C**\n\n     - Ce sont des jeux d'images à grande échelle.\n\n   - **LFR2019**\n     - Il rassemble 10 000 identités issues d'émissions, de films et de séries, pour 200 000 vidéos. Chaque vidéo dure de 1 à 30 secondes.\n\n### Configuration de l'entraînement\n\n1. **Alignement et recadrage des visages :**\n\n   - Cinq points du visage prédits par RetinaFace servent à produire des visages alignés de 112 × 112 pixels.\n\n2. **Architecture du réseau :**\n\n   - ResNet50 et ResNet100, sans blocs *bottleneck*, servent à extraire les représentations.\n   - Après la dernière couche convolutive, une séquence BN-Dropout-FC-BN fournit le vecteur final à 512 dimensions.\n\n3. **Paramètres de l'entraînement :**\n\n   - L'échelle des caractéristiques `s` est fixée à 64 et la marge angulaire `m` d'ArcFace à 0,5.\n   - Toutes les expériences de reconnaissance sont implémentées avec MXNet.\n   - La taille du lot est 512, avec huit GPU NVIDIA Tesla P40 de 24 Go.\n   - La quantité de mouvement est 0,9 et la décroissance des poids 5e−4.\n\n## Discussion\n\n### Comparaison des fonctions de perte\n\n![loss compare](/content/papers/assets/bf3c2905911544088347d61f1ef9e2e892800a4cf38056c55f85307952510ffe.jpg)\n\n1. **Choix de la marge angulaire :**\n\n   - Avec ResNet50 entraîné sur CASIA, les auteurs comparent 0,4, 0,45, 0,5 et 0,55. La valeur 0,5 est la meilleure sur CFP-FP et AgeDB ; sur LFW, elle partage 99,53 % avec 0,4.\n   - Les meilleures marges de SphereFace et CosFace sont respectivement 1,35 et 0,35.\n\n2. **Résultats des modèles :**\n\n   - Dans la reproduction des auteurs, SphereFace avec $m=1.35$ converge sans la stratégie d'annealing de la version initiale. ArcFace avec $m=0.5$ est en tête sur CFP-FP et AgeDB ; sur LFW, il est à égalité avec ArcFace $m=0.4$.\n\n3. **Combinaison des marges :**\n\n   - CM1 (1, 0.3, 0.2) et CM2 (0.9, 0.4, 0.15) sont deux configurations combinées. Toutes deux restent derrière ArcFace $m=0.5$ sur CFP-FP et AgeDB.\n\n4. **Softmax normalisé et perte de triplets :**\n\n   - L'ajout d'une perte intra-classe au softmax normalisé améliore CFP-FP et AgeDB.\n   - L'ajout d'une perte inter-classe ne donne qu'un faible gain de précision.\n   - La ligne Triplet (0.35) obtient 91,90 % sur CFP-FP et 89,98 % sur AgeDB, contre 95,56 % et 95,15 % pour ArcFace $m=0.5$. Ce sont les résultats de cette configuration d'entraînement ; ils ne suffisent pas à établir une hiérarchie générale entre pertes locales et globales.\n\nAjouter les pertes *intra*, *inter* et *triplet* à ArcFace ne produit pas de gain net. Les auteurs en concluent qu'ArcFace renforce déjà la compacité intra-classe, la séparation inter-classes et la marge de classification.\n\n### Résultats sur les jeux de validation\n\n![dataset performance](/content/papers/assets/64e8814bfc3818b1e6a6830c837c67c30b28413209db0c77d22324f00b3f1c22.jpg)\n\nAvec ResNet100 entraîné sur MS1MV3 ou IBUG-500K, ArcFace obtient 99,83 % sur LFW dans les deux cas, et respectivement 98,02 % et 98,01 % sur YTF. La ligne CosFace indique 99,73 % et 97,6 %. Les méthodes ont été entraînées avec des nombres d'images différents : ce tableau n'isole pas l'apport de la seule marge angulaire.\n\nPlusieurs modèles approchent 99,8 % sur LFW et 98,0 % sur YTF : les écarts sont faibles. ArcFace s'approche des meilleures valeurs du tableau, sans être premier dans ces deux colonnes.\n\n---\n\n![cfp-fp](/content/papers/assets/163dc12dcd4cf8f067c6b3008903c96737b758048c46d4e6efeffe4e6dc6cf7e.jpg)\n\nArcFace est également évalué sur CFP-FP, CPLFW, AgeDB et CALFW. La ligne IBUG-500K/ResNet100 donne respectivement 98,87 %, 93,43 %, 98,38 % et 96,10 %. Sur CALFW, elle est à égalité avec MV-Softmax à 96,10 % ; sur les trois autres jeux, elle est en tête du tableau.\n\n---\n\n![ijbc](/content/papers/assets/0cc806434efdb404791d3574319eb4dba254e28e8037bf3c4d1d664abbdcf906.jpg)\n\nAvec IBUG-500K et ResNet100, ArcFace atteint sur IJB-B et IJB-C, en vérification 1:1 à TPR@$10^{-4}$ FPR, respectivement 96,02 % et 97,27 %. Les lignes softmax plus faibles emploient d'autres données d'entraînement ou d'autres *backbones* ; l'écart total ne mesure donc pas l'effet isolé de la perte ArcFace.\n\n\n> [!NOTE]\n> \n> \n> - **Jeu IJB-B**\n> \n>   Il comprend 1 845 personnes, 21,8 milliers d'images fixes et 55 milliers de trames tirées de 7 011 vidéos.\n> \n> - **Jeu IJB-C**\n> \n>   Extension d'IJB-B, il rassemble 3 531 personnes, 31,3 milliers d'images fixes et 117,5 milliers de trames tirées de 11 779 vidéos.\n> \n> - Deux protocoles d'évaluation sont utilisés sur IJB-B et IJB-C : la vérification 1:1 et l'identification 1:N.\n\n\n## Conclusion\n\nArcFace ajoute une marge fixe à l'angle de la bonne classe pour renforcer la compacité des exemples d'une même identité et séparer les identités. L'article rapporte de solides résultats sur plusieurs références de reconnaissance faciale.\n\n\n> [!TIP]\n> \n> ArcFace est sensible au bruit des étiquettes dans les données d'entraînement. Et quel jeu public est parfaitement propre ?\n> \n> Pour y répondre, les auteurs proposent aussi **Sub-center ArcFace** : chaque classe reçoit plusieurs centres, si bien que les exemples difficiles ou mal étiquetés peuvent rejoindre des sous-centres secondaires.\n> \n> ![sub-center](/content/papers/assets/589d71cecc991f0c3b79332b361dab8224b66b4b82d38e63282ac8e0ca808970.jpg)\n> \n> Cette variante peut améliorer la robustesse au bruit. Son effet dépend toutefois des données et du nombre de sous-centres ; il faut le vérifier pour le cas d'usage envisagé.\n","imageSizes":{"/content/papers/assets/662f9ee504c03689244fbe094b6335f6e2a4c9dc22b3033db090a64a6a2e71e8.jpg":{"width":1774,"height":506},"/content/papers/assets/ff1f86abf662b782f06500e02831094dc915ac314887be62e23a9c3d51a89507.jpg":{"width":1224,"height":344},"/content/papers/assets/68b53c83221c0af01b956ed8317283fa066e4f027aa11c86914ad2b2419d89a1.jpg":{"width":1180,"height":1080},"/content/papers/assets/e1246cd779681e990c33b43bb05cf5c060f8db4fc23c7767bfc0a4ae99285806.jpg":{"width":2008,"height":386},"/content/papers/assets/bf3c2905911544088347d61f1ef9e2e892800a4cf38056c55f85307952510ffe.jpg":{"width":984,"height":948},"/content/papers/assets/64e8814bfc3818b1e6a6830c837c67c30b28413209db0c77d22324f00b3f1c22.jpg":{"width":764,"height":1074},"/content/papers/assets/163dc12dcd4cf8f067c6b3008903c96737b758048c46d4e6efeffe4e6dc6cf7e.jpg":{"width":1224,"height":436},"/content/papers/assets/0cc806434efdb404791d3574319eb4dba254e28e8037bf3c4d1d664abbdcf906.jpg":{"width":996,"height":1064},"/content/papers/assets/589d71cecc991f0c3b79332b361dab8224b66b4b82d38e63282ac8e0ca808970.jpg":{"width":1224,"height":540}}}
