返回论文笔记资料库
arXiv 2019CVPR 2020特征融合论文笔记

EfficientDet

BiFPN 才是本体

原始论文

EfficientDet: Scalable and Efficient Object Detection

论文作者

Mingxing Tan · Ruoming Pang · Quoc V. Le

发表版本
CVPR 2020会议
arXiv 首次提交
arXiv:1911.09070
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{featurefusionbifpn2019,
  title = {{EfficientDet: Scalable and Efficient Object Detection}},
  author = {Mingxing Tan and Ruoming Pang and Quoc V. Le},
  year = {2019},
  eprint = {1911.09070},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1911.09070}
}
本页内容

在大约半年前 Google 提出了 NAS-FPN,但显然在他们公司内部有其他人认为这不是一个好方向。

所以他们完全舍弃了 NAS-FPN 得到的搜索结果,重新基于 FPN 重新设计了一个新的特征融合模块,并称之为 BiFPN。

定义问题

FPN 这一项开创性的工作自从发布以来,已经广泛应用到各种目标检测任务中。

后续也有相当多样的变体和改善的方式,我们可以从下图看到大致的发展轨迹:

从最左边的 FPN 开始,在不同分辨率的特征图上进行特征融合,从最深的特征图一路进行上采样,然后相加回到较浅的特征图上。

后续提出的 PANet 认为只有单纯一条路线加回来是不够的,所以提出了一条新的路线:再进行一轮下采样相加。这样做的目的我们之前也有提过,就是为了建立一条从最浅层到最深层的特征融合捷径,让模型可以更好地利用不同层次的特征。

接着 NAS-FPN 提出了一个自动搜索的方法,规划了多层的特征融合结构,让模型自己去找出最好的特征融合结构方式,但这种方法的缺点也很明显,就是难以解释和控制。

所以在这篇论文中,同样来自 Google 的作者不考虑 NAS 的方式,而是回过头去找寻 PANet 的优点,并着重于两个观点:

  • 特征融合不能只是单纯的相加,而是要考虑到特征的重要性,进行加权相加。
  • FPN 的层数应随着模型规模进行缩放。

解决问题

模型架构

作者为了要展示出 BiFPN 的有效性,沿用 RetinaNet 类型的单阶段分类与框预测方式,并搭配 EfficientNet backbone,把特征融合模块改成 BiFPN。

上图中,最左边是 Backbone,我们不用管他,这不是本文的重点;最右边的是 Head,也不是本文的重点。我们只需要专心地看中间的 BiFPN 就好。

这里的设计是从 PANet 出发,做了几个改进,这里让我们用小画家来画一下:

  1. 同尺度捷径与加权融合:

    我们从 PANet 开始改,这里添加原始输入到同尺度输出节点的连接,让输出融合更多特征;在最后的 BiFPN 中,每个融合输入也会有可学习的权重。

  2. 移除低贡献节点:

    看一下上面的图,你会发现最深层和最浅层各有一个中间节点只有一条输入边,没有发生特征融合,不如就删了。

做完上面两个步骤,我们就得到了 BiFPN 的结构。

在这里作者还提到一个重要的观点,他把这个结构视为一个「模块」,因此以此为单元,可以进行多层的堆叠,这样就可以随着模型规模的增大,进行更多层的特征融合。

模型缩放

除了新的架构之外,作者也延续 EfficientNet 的思路,提出了一个模型缩放的概念。

大概的意思是既然 Backbone 可以做缩放,那么 FPN 也应该可以做缩放,这样才能更好地配合不同规模的模型。经过实验,上表展示了对于不同规模的模型,BiFPN 的缩放配置,可以看到随着模型规模的增大,BiFPN 的层数和通道数量也相对地增加。

加权平均

最后,作者讨论到该如何设计加权特征图的权重。

在论文中提出了三种设计方式:

  1. 无界融合:不对权重进行任何约束,让模型自己学习,但结果非常不稳定,后续略过不谈。
  2. Softmax 融合:对权重进行 softmax 计算,让权重和为 1。
  3. ReLU 限制:对权重进行 ReLU 计算,让权重非负,接着除以权重总和加上 ε,使归一化后的权重和接近 1。

在上图中作者展示了第二种和第三种的权重学习曲线;两者的准确率相近,而 ReLU 归一化融合在论文的 GPU 测试中最多快了 30%,这也是作者推荐的设计方式。

讨论

在 COCO 上的表现

作者基于 COCO 2017 检测数据集进行实验,使用了 118,000 张训练图像。

训练过程中,作者采用了随机梯度下降(SGD)优化器,动量设为 0.9,权重衰减为 4e-5。学习率在初始周期从 0 线性增加至 0.16,随后应用了余弦衰减规则进行退火。此外,每次卷积操作后,作者引入了同步批量归一化,批量归一化的衰减系数为 0.99,epsilon 值设为 1e-3。

模型使用了 SiLU(Swish-1)作为激活函数,并应用了衰减系数为 0.9998 的指数移动平均值来提高模型稳定性。在训练过程中,作者采用了焦点损失函数,α 设为 0.25,γ 设为 1.5。模型的数据增强策略包括水平翻转和缩放抖动,图像大小在裁切之前随机调整为原始大小的 0.1 至 2.0 倍。此外,作者在评估过程中使用了软非极大值抑制(Soft NMS)。

在训练资源配置方面,作者对 EfficientDet-D0 至 D6 模型在 32 个 TPUv3 核心上以总批量 128 进行了 300 个训练周期,而对于 EfficientDet-D7 和 D7x 模型,则在 128 个 TPUv3 核心上进行了 600 个训练周期。

实验结果显示,EfficientDet 在不同精度和资源限制下均表现出优异的效率。相比于先前的检测器,EfficientDet 模型在尺寸上缩小了 4 至 9 倍,FLOPs(论文以乘加次数计)减少了 13 至 42 倍。特别是,EfficientDet-D0 与 YOLOv3 在精度相当的情况下,FLOP 次数减少了 28 倍。与 RetinaNet 和 Mask-RCNN 相比,EfficientDet 在保持相似精度的同时,参数数量最多减少了 8 倍,FLOP 最多减少了 21 倍。

在高精度的设置下,EfficientDet-D7x 在 COCO test-dev 测试集达到了 55.1 AP;若同样以 val 比较,D7x 的 54.4 AP 比表中的 AmoebaNet+NAS-FPN+AA(50.7 AP)约高 4 点,FLOPs 则约少 7 倍。此外,作者还比较了 Titan-V FP32、V100 GPU FP16 和单线程 CPU 上的推理延迟,并指出 V100 的推理延迟包含了端对端的预处理和后处理,展示了 EfficientDet 在推理速度上的优势。

结论

相比于传统的 FPN 架构,BiFPN 通过选择性加权和轻量化设计,在不显著增加计算成本的情况下,实现了更好的多尺度特征融合效果。

简单好用,是我们实现模型的好伙伴,在这里也推荐给你试试。