CosFace: Large Margin Cosine Loss for Deep Face Recognition
- Publication
- CVPR 2018Conférence
- Premier dépôt sur arXiv
- arXiv:1801.09414
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{facerecognitioncosface2018,
title = {{CosFace: Large Margin Cosine Loss for Deep Face Recognition}},
author = {Hao Wang and Yitong Wang and Zheng Zhou and Xing Ji and Dihong Gong and Jingchao Zhou and Zhifeng Li and Wei Liu},
year = {2018},
eprint = {1801.09414},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1801.09414}
}
La reconnaissance faciale intéressait les chercheurs bien avant que l'apprentissage profond ne devienne courant. Ses nombreuses applications concrètes en ont fait un sujet très étudié ces dernières années.
Définir le problème
Reconnaître un visage n'est pas tout à fait une classification ordinaire :
- Les visages se ressemblent beaucoup !
À la différence d'une classification sur ImageNet, deux photos de la même personne peuvent varier fortement avec la lumière, l'angle, l'expression ou même la caméra.
On décrit souvent le problème avec deux propriétés :
- Une grande variabilité intra-classe : les photos d'une même personne peuvent différer par la lumière, la pose, l'expression ou l'âge.
- Une faible variabilité inter-classes : tous les visages partagent une structure générale ; les différences entre personnes peuvent donc être fines.
Un système de reconnaissance faciale
Un système de reconnaissance faciale comprend généralement :
- Un extracteur de caractéristiques : souvent un réseau convolutif qui transforme le visage en un vecteur de longueur fixe.
- Un objectif discriminant à l'entraînement : la perte pousse les vecteurs d'identités différentes à se séparer. Au déploiement, on extrait les vecteurs et on calcule leur similarité.
Nous n'allons pas nous attarder sur l'extracteur de caractéristiques : il évolue avec les nouvelles architectures de réseau.
Il produit un vecteur , souvent à 512 dimensions dans les configurations étudiées ici.
C'est ce vecteur qui nous intéresse. Les modèles entraînés uniquement avec la perte softmax ordinaire peuvent manquer de pouvoir discriminant près des frontières entre identités.
C'est le problème auquel s'attaque cet article.
Résoudre le problème
La fonction de perte
Suivons les auteurs pour voir comment ils modifient progressivement la perte softmax.
-
Perte softmax :
est le logit de la classe , la classe de la -ième image, le nombre de classes et la taille du lot.
Le logit est la sortie d'une couche entièrement connectée : , avec un vecteur de poids et un biais .
Pour simplifier, les auteurs fixent , donc . Le produit scalaire peut alors s'écrire :
est l'angle entre et .
Jusqu'ici, nous n'avons rien changé : nous avons seulement décrit la perte softmax.
-
Softmax normalisé (Normalized Softmax Loss, NSL) :
Les auteurs prennent ensuite NSL comme point de comparaison.
Ils normalisent en norme L2 pour fixer , et donnent à la norme constante . On obtient .
En fixant ces normes, les variations radiales disparaissent du logit. La perte dépend alors de l'angle :
L'apprentissage se concentre ainsi sur l'espace angulaire et peut produire des caractéristiques plus discriminantes.
-
Perte cosinus à grande marge (Large Margin Cosine Loss, LMCL) :
NSL ne sépare cependant pas assez fortement les caractéristiques. Les auteurs ajoutent donc une marge dans la formulation cosinus de la perte softmax.
Prenons deux classes : est l'angle entre le vecteur de caractéristiques et le poids de la classe .
NSL distingue de en exigeant pour un exemple de .
Pour imposer une marge plus grande, on demande :
règle la marge cosinus. La première condition concerne un exemple dont la vraie classe est , la seconde un exemple de ; un même exemple ne doit pas satisfaire les deux à la fois.
La perte LMCL s'écrit alors :
Avec les contraintes de normalisation suivantes :
Ici, compte les exemples d'entraînement, est le vecteur du -ième exemple de vraie classe , le poids de la classe et leur angle.
Les formules en tête, regardons maintenant le dessin :
Le softmax initial ne fixe pas les normes des poids et des caractéristiques. Dans l'espace de similarité cosinus, les régions de décision des deux classes peuvent se chevaucher.
NSL normalise ces vecteurs et crée une frontière entre classes, mais sans intervalle de marge : les exemples proches de la frontière restent difficiles à distinguer.
LMCL impose un écart plus visible entre les régions de décision et incite le modèle à mieux séparer les caractéristiques dans l'espace angulaire.
A-Softmax est une autre méthode antérieure. Ses contraintes sont :
Sa marge dépend de : elle diminue avec l'angle et disparaît quand . Le modèle peut alors moins bien distinguer les exemples dont l'angle est très faible.
Le paramètre
Pour apprendre des caractéristiques discriminantes sur l'hypersphère, la marge cosinus joue un rôle important.
Pour LMCL, les auteurs dérivent une borne inférieure de l'échelle sous une condition de probabilité a posteriori minimale :
est le nombre de classes et la probabilité a posteriori minimale visée au centre d'une classe.
À fixé, augmenter le nombre de classes accroît la valeur nécessaire de .
Une valeur suffisante donne aux caractéristiques de norme fixe une échelle de logits adaptée à l'entraînement. La manière dont le nombre de classes et la dimension des caractéristiques bornent est le sujet suivant.
Le paramètre
Le graphique illustre huit identités dans un espace à deux dimensions, avec , et .
Dans cet exemple schématique, les classes semblent mieux séparées quand augmente. Ces points en deux dimensions ne mesurent pas directement la précision d'une vérification faciale réelle.
Considérons deux classes et un vecteur de caractéristiques normalisé .
est le poids normalisé de la classe , et l'angle entre et .
Avec NSL, la frontière est : elle coïncide avec la bissectrice de et . Les caractéristiques près de cette frontière sont difficiles à attribuer à une classe.
Avec LMCL, la frontière d'un exemple de la première classe satisfait . Il faut donc réduire davantage par rapport à . L'objectif augmente la séparation entre classes et réduit leur dispersion interne ; la marge angulaire possible dépend de l'angle entre et .
Dans le cas extrême où toutes les caractéristiques d'une classe coïncident exactement avec leur centre , la marge atteint sa limite théorique en espace cosinus.
Plus généralement, avec classes distinctes, la plage théorique de la marge est :
Dans une analyse idéalisée, écarter les poids de classes différentes aide à mieux séparer leurs caractéristiques.
Une répartition uniforme sur l'hypersphère unitaire constitue le cas idéal envisagé, et non un optimum garanti du softmax ordinaire.
Les bornes suivantes reposent sur cette hypothèse de centres aussi régulièrement répartis que possible :
est le nombre de classes et la dimension des caractéristiques apprises.
Ces inégalités reposent sur une dispersion idéale des centres. Lorsque , le texte original exige expressément que reste bien plus petit que , plutôt que de reprendre la borne du cas précédent.
En pratique, on ne peut généralement pas atteindre la borne théorique. Une marge trop grande rend la contrainte cosinus difficile à satisfaire, empêche la convergence et augmente la sensibilité aux étiquettes bruitées.
Mise en œuvre
La théorie sert à vérifier que l'idée tient debout.
En pratique, CosFace est assez simple à coder :
import torch
import torch.nn as nn
class CosFace(nn.Module):
def __init__(self, s=64.0, m=0.35):
super(CosFace, self).__init__()
self.s = s
self.m = m
def forward(self, logits: torch.Tensor, labels: torch.Tensor):
index = torch.where(labels != -1)[0]
target_logit = logits[index, labels[index].view(-1)]
final_target_logit = target_logit - self.m
logits[index, labels[index].view(-1)] = final_target_logit
logits = logits * self.s
return logits
Le code soustrait uniquement au logit cosinus de la bonne classe, puis multiplie tous les logits par . Il attend en entrée les cosinus calculés à partir des caractéristiques et des poids normalisés, avant tout softmax.
On peut ensuite appliquer une perte CrossEntropyLoss ordinaire aux logits modifiés.
Discussion
Effet de
-
Protocole :
- Les auteurs font varier de 0 à 0,45.
- Ils entraînent CosFace sur le petit jeu CASIA-WebFace.
- Ils l'évaluent sur LFW et YTF.
-
Résultats :
- Sans marge (), les performances sont les plus faibles.
- De à , la précision augmente sur les deux jeux ; à , elle redescend sous celle obtenue à 0,35.
- Dans ce protocole, donne les meilleurs scores sur LFW et YTF.
- Au-delà de 0,45, le modèle ne converge plus.
-
Conclusion :
- La marge améliore le pouvoir discriminant des caractéristiques apprises.
- Les expériences suivantes fixent à 0,35.
Effet de la normalisation des caractéristiques
-
Protocole :
- Les auteurs comparent CosFace avec et sans normalisation des caractéristiques.
- L'entraînement utilise CASIA-WebFace avec .
- Les évaluations portent sur LFW, YTF et MegaFace Challenge 1 (MF1).
-
Résultats :
- Le modèle sans normalisation est d'abord initialisé avec une perte softmax, puis entraîné sous LMCL.
- Le modèle avec normalisation obtient de meilleurs résultats sur les trois jeux.
-
Conclusion :
- Fixer la norme radiale concentre l'apprentissage sur les différences angulaires.
- L'expérience confirme l'intérêt de la normalisation dans ce protocole.
Comparaison avec d'autres pertes
-
Protocole :
- Les auteurs entraînent le modèle sur CASIA-WebFace.
- Ils utilisent le même CNN à 64 couches que SphereFace.
- Ils comparent LFW, YTF et MF1.
-
Conditions de comparaison :
- La structure du modèle et les détails du protocole suivent ceux de SphereFace.
- Les autres pertes sont évaluées dans ces mêmes conditions.
-
Résultats :
- LMCL obtient 99,33 % sur LFW, sous les 99,42 % d'A-Softmax et juste au-dessus des 99,32 % d'A-Softmax-NormFea.
- Sur YTF et MF1, LMCL atteint respectivement 96,1 %, 77,11 % en Rank-1 et 89,88 % en vérification. Ces valeurs dépassent les autres pertes du tableau, entraînées sur les mêmes données avec le CNN à 64 couches.
Conclusion
Les auteurs proposent CosFace, ou Large Margin Cosine Loss (LMCL), pour apprendre des caractéristiques plus discriminantes. Ils montrent comment la normalisation et une marge cosinus appliquée à la bonne classe modifient la perte softmax et améliorent les résultats dans les évaluations étudiées.
Dans les tâches de reconnaissance faciale testées par l'article, cette méthode offre une façon simple d'améliorer la séparation des identités. Son utilité dans d'autres domaines demande une évaluation propre à chaque contexte.