Path Aggregation Network for Instance Segmentation
- 发表版本
- CVPR 2018会议
- arXiv 首次提交
- arXiv:1803.01534
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{featurefusionpanet2018,
title = {{Path Aggregation Network for Instance Segmentation}},
author = {Shu Liu and Lu Qi and Haifang Qin and Jianping Shi and Jiaya Jia},
year = {2018},
eprint = {1803.01534},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1803.01534}
}
在经典款的 FPN 提出来后,「该如何用更高效的方式进行特征融合?」成为一门待研究的课题。
我们来看看另外一个同样是很经典的架构:PANet。
定义问题
在 PANet 的论文中,主要比较的对象就是 FPN 架构,若你还不熟悉,可以参阅:
回想一下之前我们在 FPN 得到的一个小结论:「下到上,上到下,然后加起来。」
对于这个设计,PANet 认为是不够的,以下是来自于论文作者的论述:
The insightful point that neurons in high layers strongly respond to entire objects while other neurons are more likely to be activated by local texture and patterns manifests the necessity of augmenting a top-down path to propagate semantically strong features and enhance all features with reasonable classification capability in FPN.
Excerpted from PANet
上面这段叙述如果直接翻译成中文,就失去了原来的美感,所以还是选择把它留下来。简单来说,顶层的神经元可以看到整个物体,底层神经元可以看到局部纹理,所以我们不能只有一条融合特征的路径,要再多给一点。
这段话已经把全文的核心功能都讲完了。
我们搭配图来看,将这段话拆开来看一下,首先是 neurons in high layers,指的是 Block5。这一层的神经元的感受野(Receptive Field)非常广,他们能关注到较大的对象。其他的比较低层的特征,例如 P1, P2 等,则是会关注 local texture and patterns(局部特征和纹理)。
原本的 FPN 的设计,让底层(例如 P1)能够参考高层的特征(例如 P5),以一个很短的路径,可能只有数个或数十个卷积层。但高层(例如 P5)若要参考底层(例如 P1)的信息的话,基于选用的骨干网络则可能需要数百层卷积。
也差太多了吧,是不是应该要改一改?
解决问题
PANet 模型设计
如上图,这就是作者提出来的改善方式。首先是图 (a),这是我们之前提到过的 FPN 架构。接着是图 (b),这是作者加上的路径,概念上就是:觉得原本路径太长(图上的红线),那就给他一条从下到上的捷径(图上的绿线)。图 (c) 是让每个候选框从所有特征层级取得信息的自适应特征池化;图 (d)、(e) 则是预测分支,这里先略过细节。
路径聚合网络(Path Aggregation FPN)
最后我们仔细讲一下路径聚合模块的实现方式:每个构建块的做法是,我们把来自较底层的特征图(Ni)和高一层的特征图(Pi+1)放在一起,然后制作一个新的特征图(Ni+1)。
对于每个特征图(Ni),首先使用一种 3×3 大小的卷积操作,搭配 stride=2,它会把图片的空间尺寸缩小一半,好让我们处理更少的数据。需要注意的是,图 1 中的 N2 只是 P2,没有进行任何处理。
接着,把特征图(Pi+1)中的每个小方块,跟尺寸变小的特征图(Ni)对应位置的小方块相加。最后,我们再用另一种 3×3 的卷积操作处理这个结合后的特征图,这样就得到了供后续子网络使用的新特征图(Ni+1)。
整个过程是重复进行的,直到接近最顶层的特征图(P5)就停止。在这些构建块中,PANet 保持特征图的通道数为 256,而且每个卷积操作后都会加上 ReLU 的激活函数,作者认为这可以让模型学习到更有用的特征。
最后,这条路径产生 [N2,N3,N4,N5],供后续子网络使用。若再加入图 (c) 的自适应特征池化,每个候选框便会从所有层级提取特征网格,再进行融合,而非只使用单一层级。
讨论
比起基本的 FPN 如何?
当我们深入了解这个架构时,可以看到作者在优化过程中进行了不少的分析和实验。
让我们一起来看看其中的一些亮点。
首先,聚焦在「多尺度训练」这个元素,也就是图中的「MST」。
MST 指的是多尺度训练;在作者重新实现的 Mask R-CNN/FPN 基线上加入它,mask AP 从 33.4 提升到 35.3,增加 1.9 个百分点(图中的「2%」应读作约 2 个百分点)。
接着作者加入了「多 GPU 同步 BatchNorm」这个元素,mask AP 再提升 0.4 个百分点;再来就是本论文中强调的「自下而上的路径增强」这个关键元素,也就是上图中的「BPA」。这个方法的核心理念是从底部开始,通过将较低层次的特征图与高层次的特征图结合,建立起一个更丰富的信息层次结构。
加入了「BPA」之后,mask AP 从 35.7 提升到 36.4,增加 0.7 个百分点。这边我们觉得这个消融实验有点可惜,在「MST」和「BPA」之间被插入了一组「MBN」的元素,因此没能更直观地看出单纯的「MST」和「MST+BPA」的对比。
除了「自下而上的路径增强」,作者还引入了一些其他关键元素,让整个架构更加强大。虽然这些是属于 Model Head 的部分,不是本文的重点,不过既然图表都放上来了,这边就简单带过一些信息。
其中一个是「自适应特征池」,这个技术让每个候选框从所有特征级别提取网格,经过融合后送入后续子网络。这种方式让不同层次的特征可以更好地合作。另外,「全连接融合」是在掩码预测分支融合全连接与卷积分支的结果,用来改善掩码质量。
结论
PANet 延续了 FPN 的设计理念,继续探索如何更好地解决多尺度的特征融合问题,同时在此基础上进行了更进一步的创新。这个架构不仅能够有效地结合各种主干网络,构建出更强大的特征金字塔,更能够为多尺度的任务提供优越的性能改进。
PANet 的论文向我们传递了两个重要的信息:
首先,无论我们面对怎样的多尺度问题,都必须考虑如何进行特征融合。PANet 的设计概念中充满了对不同尺度特征的关注,并通过路径的增强以及特征池和融合的方式,将这些尺度融合成一个强大的特征表示。
其次,有别于之前 FPN 提到的:「下 –> 上,上 –> 下,然后相加。」;在 PANet 中,作者认为要改成 「下 –> 上,上 –> 下,下 –> 上,然后相加。」。
在探索特征融合的过程中,还存在着一系列有待解决的问题,例如加法融合与连接融合的比较、融合效率的提升,以及融合权重的调整等。这些议题将在未来的研究中进一步探讨。