返回论文笔记资料库
arXiv 2016CVPR 2017特征融合论文笔记

FPN

金字塔架构

原始论文

Feature Pyramid Networks for Object Detection

论文作者

Tsung-Yi Lin · Piotr Dollár · Ross Girshick · Kaiming He · Bharath Hariharan · Serge Belongie

发表版本
CVPR 2017会议
arXiv 首次提交
arXiv:1612.03144
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{featurefusionfpn2016,
  title = {{Feature Pyramid Networks for Object Detection}},
  author = {Tsung-Yi Lin and Piotr Dollár and Ross Girshick and Kaiming He and Bharath Hariharan and Serge Belongie},
  year = {2016},
  eprint = {1612.03144},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1612.03144}
}
本页内容

考虑一个场景。

给定一个常见的卷积网络模型的操作流程:首先输入一张原始图像,可能是 3 x 224 x 224 的输入尺寸,接着经过一层一层的降采样,最后将获得一个高维的语义特征,尺寸可能为 256 x 7 x 7,通常一个约定俗成的模型在最后的输出通常是 1/32 的尺寸,即:以原图 224 x 224 为例,最后输出的特征尺寸为 7 x 7 的特征图。

对于这个特征图有很多种说法,你可能有听过:

  • 低分辨率的特征图(因为比起原图,最后特征图只有 1/32 的大小)
  • 高维度的语义特征(因为浓缩了整张图的特征,带有较大的感受野。)
  • 顶层(Top)的特征 (bottom |原图 -> C1 -> C2 -> … -> C5 | top)

这种设计在分类任务上没有问题,因为分类任务是可以参考整张输入图像的内容,最后输出一个或数个可能的分类结果。

但在目标检测上就不管用了,如刚才提到,这个特征图是 1/32 的尺度。此时如果有个「我们想要检测的目标」,它的图中的尺寸小于 32 x 32 个 pixel,那么很遗憾,它会在降采样的过程中「烟消云散」,模型在最后的特征图上看不到它。

好吧,用「烟消云散」可能是有点夸张的说法,事实上如果模型是采用卷积操作来进行降采样,那么该目标或许能把自己的存在依附在附近的像素上。

这表示如果要提升目标检测的表现的话,我们总得做点什么事情来挽留这些特征。

大约在 2015 年底,SSD 被提出来:

当年主要想改进的目标是 YOLO v1。

它基于 YOLO v1 的架构中,把不同尺度的特征图加入预测头,将高维特征(P3~P5)合并后进行预测,是金字塔特征层次结构的首次尝试者。虽然是较早期的设计方式,但也算是特征金字塔网络的先行者。缺点就是运算量比较大,另外是低维特征无法参考到高维特征的语义。

定义问题

本篇论文中,作者明确指出了这些主要问题:

  1. 特征金字塔的局限

    传统的特征金字塔策略,在过去的手工特征时代,是对多尺度目标进行辨识的主要工具。但在深度学习时代,这些方法已经不能满足当前的需求。其主要的问题是它对于不同尺度的特征处理能力相对较弱。特别是当面对大量的图像数据时,它的处理速度远远不能满足实时应用的需求。此外,这种方法仅仅是进行了简单的特征缩放,而没有进行更深入的特征融合和优化,这使得其辨识效果受到了限制。

  2. SSD 的局限性

    为了解决上述问题,SSD 作为一个新兴的策略,尝试利用深度卷积网络的金字塔特征层次结构。它的目标是希望能够完全取代传统的特征金字塔策略。但 SSD 在设计上存在一些明显的缺陷。它为了避免使用较低级的特征,刻意不重用已经计算过的高分辨率层,而是选择添加新层来构建其金字塔。这种做法不仅增加了计算的复杂性,还遗漏了特征层次结构中高分辨率映射的重要性。对于检测小尺寸的目标,这些高分辨率映射是关键的,而 SSD 的这一策略显然忽视了这一点。

解决问题

FPN 模型设计

FPN 的目的就是要改善既有特征金字塔的设计方式,作者提出一种结构,如上图,在保持卷积网络特征层次结构的金字塔形状的基础上,构建一个在所有尺度上都具有强大语义的特征金字塔。

为了实现这个目标,作者设计一种结构:

  • 通过自顶向下的通道和侧连接,将低分辨率的特征与高分辨率的特征相结合。

其实讲完这句话,这篇论文其实就算是结束了,再来就是实现和测试的部分而已。

不过我们还是可以再看一下作者提供的一些实现细节。

  1. Bottom-up pathway

    第一个部分,叫做由 Bottom 特征开始到 Top 特征的数据路径。由于这篇论文没有提供图像参考,因此我手绘一张架构图,并代入实际的数字,并尽量简化信息来说明,希望可以让你更直观地感觉数据在模型内流动的方式:

    以 ResNet18 为例,输入一张 224 x 224 x 3 的图像。我们基于 PyTorch 语法,因此通道数量放在最前面。图像通过 ResNet18 后,可以得到五种不同分辨率的特征图,这里先针对这些特征图做出一些定义:

    • P1:即 1/2 尺寸的特征图,大小为 64 x 112 x 112。
    • P2:即 1/4 尺寸的特征图,大小为 64 x 56 x 56。
    • P3:即 1/8 尺寸的特征图,大小为 128 x 28 x 28。
    • P4:即 1/16 尺寸的特征图,大小为 256 x 14 x 14。
    • P5:即 1/32 尺寸的特征图,大小为 512 x 7 x 7。

    这里的 P1~P5 是手绘图的暂用标签;原论文把送入融合的骨干特征称为 C2~C5,融合后的输出才称为 P2~P5。

    这个图像通过模型的降采样过程,在此论文中就被称为:Bottom-up pathway。

    另外值得一提的是,原论文因为内存成本而不采用图中 1/2 尺度的 P1;1/4 尺度的骨干特征 C2 则会参与融合,产生金字塔输出 P2。

  2. Top-down pathway and lateral connections

    回想一下刚才的步骤,输入数据是从左边开始,一路流向右边。

    而在特征金字塔的设计上的第二阶段,就是要将特征「从右到左」再融合回来。

    于是我们把刚才的 P4 – P5 的区段放大来看:

    在这个融合过程中,首先,因为高维特征图的尺寸较小,我们必须先处理它。

    这边先对图中的 P5 特征图以 1×1 卷积调整通道,再进行一次 Upsample 操作,以确保尺寸一致性。

    接着,我们希望将这两个不同维度的特征图相加,然而,这引发了另一个挑战:通道数无法对齐。

    就像上图所示,从 Block5 输出的特征图具有 512 个通道,而从 Block4 输出的特征图只有 256 个通道。由于通道数不一致,无法直接进行加法操作。为了解决这个问题,我们需要使用 1×1 的卷积核来调整特征图的通道数量。请注意,这张手绘示意图可以预先定义一个适当的通道数,例如设置为 64;原论文的实验则统一使用 256 个通道。

    图中参与融合的 1/4~1/32 尺度特征图需要通过 1×1 的卷积,以确保通道数量一致,从而避免无法对齐通道的问题。

    在确保通道对齐和尺寸对齐之后,我们可以直接将不同层的特征图进行相加,从而完成一轮的融合操作。

    原论文还会在融合后的各层特征图上加一层 3×3 卷积,减少上采样造成的混叠。

    这个步骤如果可以多走一次,可能会让你更有体会,因此,我们再来看一次 P4 到 P3 的融合。

    最后,这边补上一个实际上做起来比较容易的架构设计,可以是长这样:

讨论

这样真的有比较好吗?

直接讲结果:有的。

论文作者为了论述这件事情,有做了很多组实验数据,在文章的最后,我们就挑几个重点图表来看看,先来看一下论文内提供的消融实验,如下表:

这张表首先讨论了拿掉不同的组件,上表 (d) 是拿掉 top-down 组件;(e) 是拿掉横向连接;(f) 是只用最高分辨率的 P2,不用多层特征金字塔。

以每张图最多 1000 个候选框的平均召回率(AR¹ᵏ)来看,完整 FPN 是 56.3,(d)、(e)、(f) 分别降到 49.5、46.1、51.3;其中 (d) 接近基线的 48.3,(f) 则仍高于基线。

接着看下一张表:

本论文的作者将方法与 COCO 竞赛获胜者的单模型结果进行了比较,包括 2016 年获胜者 G-RMI 和 2015 年获胜者 Faster R-CNN+++。在不使用各种花哨的技巧情况下,FPN 单一模型已经超越了这些强大的、精心设计的竞争对手。在 COCO test-dev 测试集上,FPN 比表中现有的最佳结果提高了 0.5 点 AP(36.2 对 35.7)。

结论

FPN 提出了一个简洁的框架,可以与各种主干网络结合,构建出强大的特征金字塔。该方法在多个强大的基准模型和竞赛获胜者的基础上展现了显著的改进。

FPN 这篇文章讲了两件事:

  • 其一,只要想要解决的问题有多尺度的特性,就得考虑不同尺度的特征融合技巧。
  • 其二,特征融合技巧就三句话:「下到上,上到下,然后加起来。」

在这篇论文之后,引申出了很多讨论的方向,例如:如何设计更好的特征融合策略?要怎么提高融合的效率?或是要怎么调整融合的权重?诸如此类的各种场景。

后续还有不少论文,有空我们再一起来看看。