ArcFace: Additive Angular Margin Loss for Deep Face Recognition
- arXiv 首次提交
- arXiv:1801.07698
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{facerecognitionarcface2018,
title = {{ArcFace: Additive Angular Margin Loss for Deep Face Recognition}},
author = {Jiankang Deng and Jia Guo and Jing Yang and Niannan Xue and Irene Kotsia and Stefanos Zafeiriou},
year = {2018},
eprint = {1801.07698},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1801.07698}
}
这是个人脸识别的热闹年。
这一时期,人脸识别中的间隔损失受到关注:从 A-Softmax 到 CosFace,再到这篇 ArcFace,这些方法都在改进类别之间的判别间隔。
定义问题
我们不啰唆,直接从 Softmax 开始讲起吧。
这里的 是第 类的 logit, 是第 张图片的类别, 是类别数, 是批次大小。
其中 通常是全连接层输出的类别 logit,可写成 ,这里 是全连接层的权重, 是偏差项。
当我们设置 ,所以 ,然后我们写成向量内积的形式:
这里 是 和 之间的夹角。
到这里,我们没有改变任何事情,就是描述一次 Softmax 损失函数的计算过程。
回顾 CosFace
接着,我们将 和 使用 L2 归一化,固定为 1。这样一来 。
在 CosFace 中,只对正确类别的 logit 减去裕度 ,即 ;其他类别仍为 。
减去一个常数 m 相当于在分类边界上引入了一个「裕度」,从而要求模型在分类时必须更加自信。这可以有效增加类别间距,并提升模型对不同类别样本的判别能力。换句话说,模型需要更高的置信度(更大的余弦相似度)才能正确分类一个样本,这有助于减少类别间的重叠。
但既然我们的目标是增加类别间的间隔,为什么要把 作用在 上呢?
为什么不直接作用在 上呢?
这就是作者在这篇文章中要解决的问题:
既然我们的目标是增加类别间的间隔,那我们就应该要直接作用在 上!
解决问题
模型架构
上图画的是加上 sub-center 的 ArcFace 损失流程:每个类别有 个中心,先取该类别最大的余弦相似度,再对正确类别加入角度间隔。基本 ArcFace 对应 ;这张图并不是特征提取骨干的架构。
但我们猜你不喜欢这张图,所以我们来看看实现细节:
# Implementation from ArcFace by InsightFace
class ArcFace(torch.nn.Module):
def __init__(self, s=64.0, margin=0.5):
super(ArcFace, self).__init__()
self.s = s
self.margin = margin
self.cos_m = math.cos(margin)
self.sin_m = math.sin(margin)
self.theta = math.cos(math.pi - margin)
self.sinmm = math.sin(math.pi - margin) * margin
self.easy_margin = False
def forward(self, logits: torch.Tensor, labels: torch.Tensor):
index = torch.where(labels != -1)[0]
target_logit = logits[index, labels[index].view(-1)]
with torch.no_grad():
target_logit.arccos_()
logits.arccos_()
final_target_logit = target_logit + self.margin
logits[index, labels[index].view(-1)] = final_target_logit
logits.cos_()
logits = logits * self.s
return logits
仔细看这一段:
with torch.no_grad():
target_logit.arccos_()
logits.arccos_()
final_target_logit = target_logit + self.margin
logits[index, labels[index].view(-1)] = final_target_logit
logits.cos_()
这一段的输入 logits 是归一化特征与类别权重的余弦相似度;先用 arccos 转回角度,只对正确类别加上 margin,再转回 cos 值并乘以尺度 。预设 margin 是 0.5 弧度,约 28.6 度;若原本的正确类别角度是 60 度,加上后约为 88.6 度。其他类别不加间隔,因此模型必须把正确类别的角度压得更小。
这段 InsightFace 实现在 torch.no_grad() 内原地修改 logits:前向数值符合角度间隔,但反向传播对这段转换采用原 logits 的直通梯度,并非对 做完整链式求导。
差别在哪?
作者在论文中有比较不同的 margin 对分类的影响:
上图中横轴和纵轴是特征与两个类别中心的夹角 和 。最左边是归一化 Softmax:分类边界为 ,两侧各归一类,没有额外留出的角度间隔。
第二张图是 SphereFace 的乘法角裕度:对正确类别使用 。图中两类之间的间隔随角度改变,并非恒定宽度;它同样使用归一化后的超球面特征,并非让每个类别位于不同超球面。
而 CosFace 的 margin 作用在正确类别的余弦值上,投影回角度空间后间隔呈曲线;ArcFace 直接对正确类别角度加 ,图中的间隔是等宽的平行直线。
拓展公式
既然都有了 CosFace 的「加法余弦裕度( additive cosine margin)」,有了 ArcFace 的「加法角裕度(additive angular margin )」,还有之前论文 SphereFace 提出的「乘法角裕度(multiplicative angular margin)」,那我们可以把这三种裕度统一起来,形成一个更加通用的公式:
于是损失函数可以写成:
基于上述公式,我们重新看一次不同的损失函数:
- 在 CosFace 中,,,;
- 在 ArcFace 中,,,;
- 在 SphereFace 中,,,。
训练与验证数据集
-
训练数据集:
-
CASIA
-
VGG2
-
MS1MV0
- 数据集为宽松裁剪版本。
- 原始数据中的噪声比例估计约为 47.1% ∼ 54.4%。
- 以半自动方法清理成为 MS1MV3。
-
Celeb500K
- 收集方式与 MS1MV0 相同。
- 使用名人名单从 Google 搜寻身份并下载排名靠前的人脸图像。
- 正文称下载了 50 万个身份的 2500 万张图像;上表则将 Celeb500K 列为 5000 万张,原文两处数字不一致。
- 使用 RetinaFace 侦测大于 50×50 的人脸。
-
IBUG-500K 数据集
-
通过 ID 字串去除重叠身份(约 50K)后,结合自动清理的 MS1MV0 和 Celeb500K。
-
最终得到包括 493K 身份的 1196 万张图像,命名为 IBUG-500K。
-
下图显示了该数据集的性别、种族、姿势、年龄和图像数量分布。
-
-
-
验证数据集:
-
LFW & CFP-FP & AgeDB
- 快速检查模型的收敛状态。
-
CPLFW & CALFW
- 具有较大姿势和年龄变化的最新数据集。
-
MegaFace & IJB-B & IJB-C
- 大规模图像数据集。
-
LFR2019
- 收集了来自各种节目、电影和电视剧的 10,000 个身份,共计 200,000 个影片。每个影片的长度从 1 秒到 30 秒不等。
-
训练配置
-
面部标准化裁剪:
- 使用 RetinaFace 预测的五个面部点来生成标准化面部裁剪,尺寸为 112×112。
-
网络架构:
- 使用 ResNet50 和 ResNet100 CNN 架构作为嵌入网络,这些架构不含瓶颈结构。
- 在最后一个卷积层后使用 BN-Dropout-FC-BN 结构来获取最终的 512-D 嵌入特征。
-
训练设置:
- 特征尺度
s设置为 64,ArcFace 的角边距m设置为 0.5。 - 使用 MXNet 实现所有识别实验。
- Batch size 设置为 512,并在 8 个 NVIDIA Tesla P40 (24GB) GPU 上训练模型。
- 动量设置为 0.9,权重衰减设置为 5e−4。
- 特征尺度
讨论
不同 Loss 的比较
-
角度边距设置:
- 在 CASIA 数据集上使用 ResNet50,比较 0.4、0.45、0.5、0.55 后,0.5 在 CFP-FP 与 AgeDB 最佳,LFW 则与 0.4 同为 99.53%。
- SphereFace 和 CosFace 的最佳边距分别为 1.35 和 0.35。
-
模型性能:
- 作者重新实现的 SphereFace 不需原版的退火策略即可收敛。表中的 ArcFace 在 CFP-FP 与 AgeDB 最高,LFW 则与 ArcFace 并列最高。
-
组合裕度框架:
- 表中 CM1 (1, 0.3, 0.2) 和 CM2 (0.9, 0.4, 0.15) 是两组组合裕度设置;两者在 CFP-FP 与 AgeDB 都低于 ArcFace ,不能解读成组合裕度在此表表现最佳。
-
Norm-Softmax 和三元组损失:
- 将 Norm-Softmax 与类内损失结合后,CFP-FP 和 AgeDB 的性能有所提升。
- 将 Norm-Softmax 与类间损耗结合后,准确性仅略微提高。
- 表中 Triplet (0.35) 在 CFP-FP 与 AgeDB 分别为 91.90% 与 89.98%,低于 ArcFace 的 95.56% 与 95.15%;这是该组训练设置的比较。
将 Intra-loss、Inter-loss 和 Triplet-loss 合并到 ArcFace 中后,未观察到明显改进。因此,作者认为 ArcFace 已经有效地加强了类内紧凑性、类间差异和分类间隔。
验证数据集的性能
使用 ResNet100 在 MS1MV3 和 IBUG-500K 上训练的 ArcFace 模型,在 LFW 均为 99.83%,YTF 分别为 98.02% 和 98.01%;表中的 CosFace 为 99.73%/97.6%。各方法的训练图像数量不同,这张表不能单独量出角度间隔的贡献。
表中多个模型在 LFW 约达 99.8%、YTF 约达 98.0%,差距已很小;ArcFace 接近表列最高值,但两栏均非最高。
除了 LFW 和 YTF,ArcFace 也在 CFP-FP、CPLFW、AgeDB 和 CALFW 上报告性能。IBUG-500K/ResNet100 这列依序为 98.87%、93.43%、98.38%、96.10%;CALFW 与 MV-Softmax 同为 96.10%,其余三栏为表列最高。
使用 IBUG-500K 数据集和 ResNet100 训练的 ArcFace 模型,在 IJB-B 和 IJB-C 的 1:1 验证中,TPR@ FPR 分别为 96.02% 和 97.27%。表中较低的 softmax 基线使用不同训练数据或骨干,不能直接把整个差距算成 ArcFace 损失函数单独带来的增益。
结论
ArcFace 在正确类别的角度上加入固定裕度,以增强类内紧凑性和类间可分性;论文在多个人脸识别基准上报告了强劲结果。