返回论文笔记资料库
arXiv 2017ICCV 2017目标检测论文笔记

RetinaNet

Focal Loss 才是本体

原始论文

Focal Loss for Dense Object Detection

论文作者

Tsung-Yi Lin · Priya Goyal · Ross Girshick · Kaiming He · Piotr Dollár

发表版本
ICCV 2017会议
arXiv 首次提交
arXiv:1708.02002
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{objectdetectionretinanet2017,
  title = {{Focal Loss for Dense Object Detection}},
  author = {Tsung-Yi Lin and Priya Goyal and Ross Girshick and Kaiming He and Piotr Dollár},
  year = {2017},
  eprint = {1708.02002},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1708.02002}
}
本页内容

在此之前,经典的 R-CNN 方法已经占据了目标检测的主流地位。虽然速度慢,但是它的准确率很高。后续的研究大多为了挑战其速度慢的问题,提出了一系列的改进方法,如 SSD 和 YOLO 等。

可是这些新的方法推论速度快是快了,但不准啊!

有没有方法可以让速度快的同时,又能准呢?

定义问题

为什么不准?

本篇论文的作者认为问题的根本原因是因为在训练过程中,正负样本的不平衡。

在单阶段的目标检测方法中,模型会产出大量的检测框,但是其中大部分都是背景,这就导致了正负样本的数量产生悬殊的差距,使模型在训练中难以找到有效的梯度。由于负样本的分类大多较为简单,不会贡献有用的学习信号。

这个议题也不是第一次出现,已经有研究者提出了 Hard Negative Mining 的方法,意思是特别找到一些难以分类(在分类过程中容易被误分类为正样本的负样本)的负样本来训练模型,这些样本被称为「硬负样本」。

而这篇论文的作者不这么做,他认为这样的方法效率不高,并且会增加训练的复杂度。更好的方法或许是把正负样本平衡的概念,直接融入到损失函数中。

为此,他们提出了一种新的损失函数,称为:Focal Loss。

解决问题

Focal Loss

交叉熵损失(Cross Entropy Loss, CE Loss)是二元分类问题中常用的一种损失函数。

其定义如下:

CE(p,y)={−log⁡(p)如果 y=1−log⁡(1−p)否则CE(p, y) = \begin{cases} - \log(p) & \text{如果 } y = 1 \\ - \log(1 - p) & \text{否则} \end{cases}

其中,y∈{±1}y \in \{ \pm 1\} 表示真实的类别标签,p∈[0,1]p \in [0, 1] 则是模型对于 y=1y = 1 的预测概率。

为了简化表示,我们定义 ptp_t 如下:

pt={p如果 y=11−p否则p_t = \begin{cases} p & \text{如果 } y = 1 \\ 1 - p & \text{否则} \end{cases}

因此,交叉熵损失可以重新表示为:

CE(p,y)=CE(pt)=−log⁡(pt)CE(p, y) = CE(p_t) = - \log(p_t)

交叉熵损失的一个显著特性是,即使是容易分类的样本(即 pt≫0.5p_t \gg 0.5),也会产生难以忽视的损失值。这在处理大量容易分类的样本时,可能会使得这些小的损失值累加,从而掩盖了稀有类别样本的重要性。

为了解决类别不平衡的问题,一种常见的方法是引入一个权重因子 α∈[0,1]\alpha \in [0, 1],对类别 11 和类别 −1-1 分别赋予 α\alpha 和 1−α1 - \alpha 的权重。在实践中,α\alpha 可以根据类别的逆频率设置,或者通过交叉验证进行调整。类似于 ptp_t 的定义,我们定义 αt\alpha_t,并将 α\alpha 平衡的交叉熵损失写为:

CE(pt)=−αtlog⁡(pt)CE(p_t) = - \alpha_t \log(p_t)

这种损失函数是交叉熵损失的一个简单扩展,在这里,作者将其作为 Focal Loss 的实现基线。


尽管 α\alpha 可以平衡正负样本的重要性,但它无法区分容易和困难的样本。

因此,作者提出重塑损失函数,对容易分类的样本进行「降权重」,以便集中训练在困难的负样本上。

具体操作是交叉熵损失中加入一个调制因子 (1−pt)γ(1 - p_t)^\gamma,其中 γ≥0\gamma \geq 0 是可调的参数。

因此,作者将 Focal Loss 定义为:

FL(pt)=−(1−pt)γlog⁡(pt)FL(p_t) = - (1 - p_t)^\gamma \log(p_t)

当一个样本被错误分类且 ptp_t 很小时,调制因子接近 1,损失基本不受影响。

而当 pt→1p_t \to 1 时,调制因子趋向于 0,使得对于分类正确的样本损失降低。

参数 γ\gamma 用来平滑调整了简单样本的降权速度。当 γ=0\gamma = 0 时,Focal Loss 等价于交叉熵损失;随着 γ\gamma 增大,调制因子的效果也随之增强(我们的实验发现 γ=2\gamma = 2 的效果最好)。

实际上,作者使用的是一种 α\alpha 平衡的 Focal Loss 变体:

FL(pt)=−αt(1−pt)γlog⁡(pt)FL(p_t) = - \alpha_t (1 - p_t)^\gamma \log(p_t)

作者在实验中采用这种形式,因为它比非 α\alpha 平衡的形式稍微提高了准确性。

分类分数 ptp_t 和对应的损失关系,可以通过下图直观理解:

在图中 γ=0\gamma = 0 代表一般的交叉熵损失,而 γ=2\gamma = 2 则是作者实验中的最佳取值。分类分数 ptp_t 对应到的 0.6 ~ 1.0 区域的是容易分类的简单样本,经过 Focal Loss 的调整后,损失值被有效降低。

模型架构

为了不会让 Focal Loss 的效果被模型复杂度掩盖。作者设计了一个非常简单的模型架构,称为 RetinaNet。

RetinaNet 是一种单阶段的目标检测模型,它的主要设计内容为:

  • 使用一个简单的 Backbone,例如 ResNet50。

  • 搭配一个简单的 Neck,例如 Feature Pyramid Network(FPN)。

  • 使用 P3P_3 到 P7P_7 五层特征金字塔,在每层每个位置配置 9 个 锚框,分别预测类别与框位置偏移量。

    • 锚框 的长宽比例为 1:2, 1:1, 2:1。在每个层级上,作者为三种宽高比各配置 202^{0}、21/32^{1/3} 和 22/32^{2/3} 倍的尺寸,因此每个位置共有九个锚框。以下数字只是以相对长宽示意;放大尺寸不会改变长宽比。

      • 1:2 宽高比:

        • 1:2 ×1=1:2\times 1 = 1:2
        • 1:2 ×1.26=1.26:2.52\times 1.26 = 1.26:2.52
        • 1:2 ×1.59=1.59:3.18\times 1.59 = 1.59:3.18
      • 1:1 宽高比:

        • 1:1 ×1=1:1\times 1 = 1:1
        • 1:1 ×1.26=1.26:1.26\times 1.26 = 1.26:1.26
        • 1:1 ×1.59=1.59:1.59\times 1.59 = 1.59:1.59
      • 2:1 宽高比:

        • 2:1 ×1=2:1\times 1 = 2:1
        • 2:1 ×1.26=2.52:1.26\times 1.26 = 2.52:1.26
        • 2:1 ×1.59=3.18:1.59\times 1.59 = 3.18:1.59
    • 每个锚框都分配一个长度为 KK 的类别目标向量和一个长度为 44 的框回归目标;分类子网络对每类分别输出 sigmoid 分数,框回归不区分类别。

    • 使用改成多类别的 RPN 匹配规则:与真实框 IoU 至少 0.50.5 为正样本,小于 0.40.4 为背景,介于两者之间的锚框在训练时忽略。

    • 每个锚点只给一个预测框。

  • 目标检测的部分又再分成两个子网络,一个负责预测类别,一个负责预测检测框,两者都是由全卷积网络的架构组成。

训练参数设置

  1. 在推论阶段,RetinaNet 先以 0.05 的分类分数过滤候选框,再从每个 FPN 层最多取分数最高的 1000 个预测来解码;合并各层后进行非极大值抑制(NMS),阈值为 0.5,作为最后的检测结果。
  2. 作者发现设置 Focal Loss 的 γ=2\gamma = 2 效果最好;α\alpha 与 γ\gamma 一起由实验选择,在这个设置中,α=0.25\alpha = 0.25 效果最好。
  3. RetinaNet 使用 ResNet-50-FPN、ResNet-101-FPN 和 ResNeXt-101-FPN 等作为骨干网络。
  4. RetinaNet 使用 SGD 作为优化器,学习率为 0.01,在 60k 和 80k 次迭代时分别减少为原来的 1/10。动量为 0.9,权重衰减为 0.0001。
  5. 分类使用 Focal Loss,对所有锚框计算并按匹配的正样本数量正规化;框回归使用 Smooth L1 Loss,训练时两个损失加总。分类子网络最后一层的偏置另以 π=0.01\pi=0.01 的前景先验初始化,以稳定初期训练。

讨论

在 COCO 数据集上的实验结果

表中 RetinaNet 的 ResNet-101-FPN 版本在 COCO test-dev 达到 39.1 AP,比表现最好的 Faster R-CNN w TDM(Inception-ResNet-v2-TDM,36.8 AP)高 2.3 AP。这些模型的骨干与训练设置不同,表格比较的是最终模型成绩。

换用 ResNeXt-101-FPN 骨干后,表中成绩提高 1.7 AP 至 40.8;这两个 RetinaNet 结果均采用比一般消融实验更长的训练与尺度抖动。

与表中的单阶段 DSSD513(33.2 AP)相比,39.1 AP 的 RetinaNet 高 5.9 AP。下图则是另一组速度/精度设置:RetinaNet-101-500 为 34.4 AP、90 ms,DSSD513 为 33.2 AP、156 ms;RetinaNet-101-800 为 37.8 AP、198 ms,精度较高但耗时也较长。

消融实验

这里作者根据 RetinaNet 中的几个关键元素来进行消融实验,结果显示:

  1. Balanced Cross Entropy

    如上表 (a),作者首次改进尝试是使用前面文章中描述的 α\alpha 平衡交叉熵损失,上表显示了不同 α\alpha 值的结果。相较 α=0.5\alpha = 0.5 的 30.2 AP,设置 α=0.75\alpha = 0.75 可达 31.1 AP,提高 0.9 AP。

  2. Focal Loss

    如上表 (b),显示了 Focal Loss 的结果。Focal Loss 引入了一个新的超参数 γ\gamma,它控制调制项的强度。当 γ=0\gamma = 0 时,损失等同于交叉熵损失。随着 γ\gamma 的增加,损失的形状变化,使得低损失的「容易」样本被进一步降权。随着 γ\gamma 的增加,FL 相对于 CE 显示出很大的增益。当 γ=2\gamma = 2 时,FL 比 α\alpha 平衡的 CE 损失提高了 2.9 个 AP 点。

    为了公平比较,作者为每个 γ\gamma 找到了最佳的 α\alpha。从图表中可以观察到,随着 γ\gamma 的增加,选择的 α\alpha 值较低(由于容易的负样本被降权,对正样本的强调减少)。

  3. 高密度的二阶系统可能不必要

    如上表 (c),作者使用 ResNet-50,并且把 FPN 中每个空间位置和每个金字塔层级所使用的尺度和宽高比锚框数量进行了扫描。考虑了从每个位置一个方形锚框到每个位置 12 个锚框的情况,这些锚框跨越 4 个子八度尺度(2k/42^{k/4},对于 k≤3k \leq 3)和 3 个宽高比(0.5, 1, 2)。

    仅使用一个方形锚框就可以达到意外的好 AP(30.3)。当每个位置使用 3 个尺度和 3 个宽高比时,AP 可达 34.0,比单一方形锚框高 3.7 AP;表中 2 个尺度搭配 3 个宽高比则是 34.2 AP。

    作者在这项工作中的所有其他实验都使用了这一设置。

    最后,作者注意到,这组实验在每个位置配置 6 至 9 个锚框后,继续加密并未显示进一步的增益。二阶系统可借区域池化分类任意位置、尺寸与长宽比的框;这项消融只说明本文单阶段模型的锚框密度在测试范围内已接近饱和。

  4. 在线困难样本挖掘(OHEM)

    如上表 (d),过去的文献中,提出通过构建包含高损失样本的小批量来改进二阶检测器的训练。在 OHEM 中,每个样本按其损失进行评分,然后应用非最大抑制(NMS),并使用高损失样本构建小批量。NMS 阈值和批量大小是可调参数。与 Focal Loss 类似,OHEM 更强调错误分类的样本,但与 FL 不同,OHEM 完全舍弃了容易样本。

    在相同的 ResNet-101-FPN 消融设置下,OHEM 的最佳设置(无 1:3 比例,批量大小 128,NMS 为 0.5)达到 32.8 AP;Focal Loss 为 36.0 AP,高出 3.2 AP。此外,作者也尝试了其他参数设置和 OHEM 变体,但未能取得更好的结果。

  1. 更大的 Backbone

    如上表 (e),更大的骨干网络可以带来更高的准确性,但也会导致推理速度变慢。同样,输入图像的尺度(由较短的一边定义)也有类似的影响。上表中展示了这两个因素的影响。如果要再更快的推论速度,可能需要进一步优化网络架构,这已经超出本文的论述范围,作者留给未来的工作。

结论

RetinaNet 通过引入 Focal Loss,缓解了类别不平衡问题,使得模型能够集中学习困难的负样本,显著提高了检测精度。实验结果显示,RetinaNet 在 COCO 数据集上超越了多种现有的一阶和二阶检测方法,展示了其在实际应用中的潜力。

在后续研究中,YOLO-v3 的作者也尝试将 Focal Loss 用于 YOLO 系列,但报告的这一次实验没有得到如 RetinaNet 那样的提升,反而约降低 2 个 mAP 点。作者推测可能与 YOLOv3 分别预测 objectness 和条件类别有关,但尚无足够证据据此确定原因。

目标检测的研究还有很多工作要做,我们拭目以待。