返回论文笔记资料库
arXiv 2018IEEE TPAMI 2022人脸识别论文笔记

ArcFace

反余弦损失

原始论文

ArcFace: Additive Angular Margin Loss for Deep Face Recognition

论文作者

Jiankang Deng · Jia Guo · Jing Yang · Niannan Xue · Irene Kotsia · Stefanos Zafeiriou

arXiv 首次提交
arXiv:1801.07698
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{facerecognitionarcface2018,
  title = {{ArcFace: Additive Angular Margin Loss for Deep Face Recognition}},
  author = {Jiankang Deng and Jia Guo and Jing Yang and Niannan Xue and Irene Kotsia and Stefanos Zafeiriou},
  year = {2018},
  eprint = {1801.07698},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1801.07698}
}
本页内容

这是个人脸识别的热闹年。

这一时期,人脸识别中的间隔损失受到关注:从 A-Softmax 到 CosFace,再到这篇 ArcFace,这些方法都在改进类别之间的判别间隔。

定义问题

我们不啰唆,直接从 Softmax 开始讲起吧。

LSoftmax=1N∑i=1N−log⁡(efyi∑j=1Cefj)L_{\text{Softmax}} = \frac{1}{N}\sum_{i=1}^{N}-\log\left(\frac{e^{f_{y_i}}}{\sum_{j=1}^{C}e^{f_j}}\right)

这里的 fjf_j 是第 jj 类的 logit,yiy_i 是第 ii 张图片的类别,CC 是类别数,NN 是批次大小。

其中 fjf_j 通常是全连接层输出的类别 logit,可写成 fj=WjTx+Bjf_j = W_j^Tx+B_j,这里 WjW_j 是全连接层的权重,BjB_j 是偏差项。

当我们设置 Bj=0B_j = 0,所以 fj=WjTxf_j = W_j^Tx,然后我们写成向量内积的形式:

fj=∥Wj∥∥x∥cos⁡θjf_j = \|W_j\|\|x\|\cos\theta_j

这里 θj\theta_j 是 WjW_j 和 xx 之间的夹角。

到这里,我们没有改变任何事情,就是描述一次 Softmax 损失函数的计算过程。

回顾 CosFace

接着,我们将 ∥Wj∥\|W_j\| 和 ∥x∥\|x\| 使用 L2 归一化,固定为 1。这样一来 fj=cos⁡θjf_j = \cos\theta_j。

在 CosFace 中,只对正确类别的 logit 减去裕度 mm,即 fyi=cos⁡θyi−mf_{y_i}= \cos\theta_{y_i} -m;其他类别仍为 cos⁡θj\cos\theta_j。

减去一个常数 m 相当于在分类边界上引入了一个「裕度」,从而要求模型在分类时必须更加自信。这可以有效增加类别间距,并提升模型对不同类别样本的判别能力。换句话说,模型需要更高的置信度(更大的余弦相似度)才能正确分类一个样本,这有助于减少类别间的重叠。

但既然我们的目标是增加类别间的间隔,为什么要把 mm 作用在 cos⁡θ\cos\theta 上呢?

为什么不直接作用在 θ\theta 上呢?

这就是作者在这篇文章中要解决的问题:

既然我们的目标是增加类别间的间隔,那我们就应该要直接作用在 θ\theta 上!

解决问题

模型架构

上图画的是加上 sub-center 的 ArcFace 损失流程:每个类别有 KK 个中心,先取该类别最大的余弦相似度,再对正确类别加入角度间隔。基本 ArcFace 对应 K=1K=1;这张图并不是特征提取骨干的架构。

但我们猜你不喜欢这张图,所以我们来看看实现细节:

python
# Implementation from ArcFace by InsightFace

class ArcFace(torch.nn.Module):

    def __init__(self, s=64.0, margin=0.5):
        super(ArcFace, self).__init__()
        self.s = s
        self.margin = margin
        self.cos_m = math.cos(margin)
        self.sin_m = math.sin(margin)
        self.theta = math.cos(math.pi - margin)
        self.sinmm = math.sin(math.pi - margin) * margin
        self.easy_margin = False


    def forward(self, logits: torch.Tensor, labels: torch.Tensor):
        index = torch.where(labels != -1)[0]
        target_logit = logits[index, labels[index].view(-1)]

        with torch.no_grad():
            target_logit.arccos_()
            logits.arccos_()
            final_target_logit = target_logit + self.margin
            logits[index, labels[index].view(-1)] = final_target_logit
            logits.cos_()
        logits = logits * self.s
        return logits

仔细看这一段:

python
with torch.no_grad():
    target_logit.arccos_()
    logits.arccos_()
    final_target_logit = target_logit + self.margin
    logits[index, labels[index].view(-1)] = final_target_logit
    logits.cos_()

这一段的输入 logits 是归一化特征与类别权重的余弦相似度;先用 arccos 转回角度,只对正确类别加上 margin,再转回 cos 值并乘以尺度 ss。预设 margin 是 0.5 弧度,约 28.6 度;若原本的正确类别角度是 60 度,加上后约为 88.6 度。其他类别不加间隔,因此模型必须把正确类别的角度压得更小。

这段 InsightFace 实现在 torch.no_grad() 内原地修改 logits:前向数值符合角度间隔,但反向传播对这段转换采用原 logits 的直通梯度,并非对 cos⁡(arccos⁡(x)+m)\cos(\arccos(x)+m) 做完整链式求导。

差别在哪?

作者在论文中有比较不同的 margin 对分类的影响:

上图中横轴和纵轴是特征与两个类别中心的夹角 θ1\theta_1 和 θ2\theta_2。最左边是归一化 Softmax:分类边界为 θ1=θ2\theta_1=\theta_2,两侧各归一类,没有额外留出的角度间隔。

第二张图是 SphereFace 的乘法角裕度:对正确类别使用 cos⁡(mθyi)\cos(m\theta_{y_i})。图中两类之间的间隔随角度改变,并非恒定宽度;它同样使用归一化后的超球面特征,并非让每个类别位于不同超球面。

而 CosFace 的 margin 作用在正确类别的余弦值上,投影回角度空间后间隔呈曲线;ArcFace 直接对正确类别角度加 mm,图中的间隔是等宽的平行直线。

拓展公式

既然都有了 CosFace 的「加法余弦裕度( additive cosine margin)」,有了 ArcFace 的「加法角裕度(additive angular margin )」,还有之前论文 SphereFace 提出的「乘法角裕度(multiplicative angular margin)」,那我们可以把这三种裕度统一起来,形成一个更加通用的公式:

fj={cos⁡(m1θyi+m2)−m3if j=yi,cos⁡θjif j≠yi.f_j = \begin{cases} \cos(m_1\theta_{y_i} + m_2) - m_3 & \text{if } j = y_i, \\ \cos\theta_j & \text{if } j \neq y_i. \end{cases}

于是损失函数可以写成:

LArcFace=−1N∑i=1Nlog⁡(es(fyi)es(fyi)+∑j≠yies(fj))L_{\text{ArcFace}} = -\frac{1}{N}\sum_{i=1}^{N}\log\left(\frac{e^{s(f_{y_i})}}{e^{s(f_{y_i})} + \sum_{j\neq y_i}e^{s(f_j)}}\right)

基于上述公式,我们重新看一次不同的损失函数:

  • 在 CosFace 中,m1=1m_1 = 1,m2=0m_2 = 0,m3=0.35m_3 = 0.35;
  • 在 ArcFace 中,m1=1m_1 = 1,m2=0.5m_2 = 0.5,m3=0m_3 = 0;
  • 在 SphereFace 中,m1=1.35m_1 = 1.35,m2=0m_2 = 0,m3=0m_3 = 0。

训练与验证数据集

  1. 训练数据集:

    • CASIA

    • VGG2

    • MS1MV0

      • 数据集为宽松裁剪版本。
      • 原始数据中的噪声比例估计约为 47.1% ∼ 54.4%。
      • 以半自动方法清理成为 MS1MV3。
    • Celeb500K

      • 收集方式与 MS1MV0 相同。
      • 使用名人名单从 Google 搜寻身份并下载排名靠前的人脸图像。
      • 正文称下载了 50 万个身份的 2500 万张图像;上表则将 Celeb500K 列为 5000 万张,原文两处数字不一致。
      • 使用 RetinaFace 侦测大于 50×50 的人脸。
    • IBUG-500K 数据集

      • 通过 ID 字串去除重叠身份(约 50K)后,结合自动清理的 MS1MV0 和 Celeb500K。

      • 最终得到包括 493K 身份的 1196 万张图像,命名为 IBUG-500K。

      • 下图显示了该数据集的性别、种族、姿势、年龄和图像数量分布。

  2. 验证数据集:

    • LFW & CFP-FP & AgeDB

      • 快速检查模型的收敛状态。
    • CPLFW & CALFW

      • 具有较大姿势和年龄变化的最新数据集。
    • MegaFace & IJB-B & IJB-C

      • 大规模图像数据集。
    • LFR2019

      • 收集了来自各种节目、电影和电视剧的 10,000 个身份,共计 200,000 个影片。每个影片的长度从 1 秒到 30 秒不等。

训练配置

  1. 面部标准化裁剪:

    • 使用 RetinaFace 预测的五个面部点来生成标准化面部裁剪,尺寸为 112×112。
  2. 网络架构:

    • 使用 ResNet50 和 ResNet100 CNN 架构作为嵌入网络,这些架构不含瓶颈结构。
    • 在最后一个卷积层后使用 BN-Dropout-FC-BN 结构来获取最终的 512-D 嵌入特征。
  3. 训练设置:

    • 特征尺度 s 设置为 64,ArcFace 的角边距 m 设置为 0.5。
    • 使用 MXNet 实现所有识别实验。
    • Batch size 设置为 512,并在 8 个 NVIDIA Tesla P40 (24GB) GPU 上训练模型。
    • 动量设置为 0.9,权重衰减设置为 5e−4。

讨论

不同 Loss 的比较

  1. 角度边距设置:

    • 在 CASIA 数据集上使用 ResNet50,比较 0.4、0.45、0.5、0.55 后,0.5 在 CFP-FP 与 AgeDB 最佳,LFW 则与 0.4 同为 99.53%。
    • SphereFace 和 CosFace 的最佳边距分别为 1.35 和 0.35。
  2. 模型性能:

    • 作者重新实现的 SphereFace m=1.35m=1.35 不需原版的退火策略即可收敛。表中的 ArcFace m=0.5m=0.5 在 CFP-FP 与 AgeDB 最高,LFW 则与 ArcFace m=0.4m=0.4 并列最高。
  3. 组合裕度框架:

    • 表中 CM1 (1, 0.3, 0.2) 和 CM2 (0.9, 0.4, 0.15) 是两组组合裕度设置;两者在 CFP-FP 与 AgeDB 都低于 ArcFace m=0.5m=0.5,不能解读成组合裕度在此表表现最佳。
  4. Norm-Softmax 和三元组损失:

    • 将 Norm-Softmax 与类内损失结合后,CFP-FP 和 AgeDB 的性能有所提升。
    • 将 Norm-Softmax 与类间损耗结合后,准确性仅略微提高。
    • 表中 Triplet (0.35) 在 CFP-FP 与 AgeDB 分别为 91.90% 与 89.98%,低于 ArcFace m=0.5m=0.5 的 95.56% 与 95.15%;这是该组训练设置的比较。

将 Intra-loss、Inter-loss 和 Triplet-loss 合并到 ArcFace 中后,未观察到明显改进。因此,作者认为 ArcFace 已经有效地加强了类内紧凑性、类间差异和分类间隔。

验证数据集的性能

使用 ResNet100 在 MS1MV3 和 IBUG-500K 上训练的 ArcFace 模型,在 LFW 均为 99.83%,YTF 分别为 98.02% 和 98.01%;表中的 CosFace 为 99.73%/97.6%。各方法的训练图像数量不同,这张表不能单独量出角度间隔的贡献。

表中多个模型在 LFW 约达 99.8%、YTF 约达 98.0%,差距已很小;ArcFace 接近表列最高值,但两栏均非最高。


除了 LFW 和 YTF,ArcFace 也在 CFP-FP、CPLFW、AgeDB 和 CALFW 上报告性能。IBUG-500K/ResNet100 这列依序为 98.87%、93.43%、98.38%、96.10%;CALFW 与 MV-Softmax 同为 96.10%,其余三栏为表列最高。


使用 IBUG-500K 数据集和 ResNet100 训练的 ArcFace 模型,在 IJB-B 和 IJB-C 的 1:1 验证中,TPR@10−410^{-4} FPR 分别为 96.02% 和 97.27%。表中较低的 softmax 基线使用不同训练数据或骨干,不能直接把整个差距算成 ArcFace 损失函数单独带来的增益。

结论

ArcFace 在正确类别的角度上加入固定裕度,以增强类内紧凑性和类间可分性;论文在多个人脸识别基准上报告了强劲结果。