返回论文笔记资料库
arXiv 2014CVPR 2015图像分割论文笔记

FCN

全卷积网络

原始论文

Fully Convolutional Networks for Semantic Segmentation

论文作者

Jonathan Long · Evan Shelhamer · Trevor Darrell

发表版本
CVPR 2015会议
arXiv 首次提交
arXiv:1411.4038
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{segmentationfcn2014,
  title = {{Fully Convolutional Networks for Semantic Segmentation}},
  author = {Jonathan Long and Evan Shelhamer and Trevor Darrell},
  year = {2014},
  eprint = {1411.4038},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1411.4038}
}
本页内容

这么经典的论文,我们怎么能不读呢?

定义问题

图像分割的问题已经发展了好些年了。

随着卷积网络的崛起,愈来愈多的应用转向使用卷积网络来解决图像分割的问题。过去的方法通常把整个系统拆分成几个部分,整个过程不连贯,而且需要大量的人工设计。

作者在这个时候提出了全卷积网络的概念,这个概念让我们可以直接将卷积网络应用在图像分割的问题上,而不需要再经过其他的处理。

解决问题

模型架构

目前的几个主流架构分别是:AlexNet、VGG16、GoogLeNet,而他们都应用在分类问题上。

为了把这些架构应用在图像分割的问题上,作者针对这些架构最后的「全连接层」的部分进行修改,将这些全连接层改成卷积层,如上图所示。

在原本使用「全连接层」的时候,输入图像尺寸会受到限制,因为尽管卷积层可以处理任意尺寸的图像,但是全连接层却不能。所以作者将全连接层改成卷积层,这样我们就可以直接将任意尺寸的图像输入到网络中,而不需要再经过其他的处理。

处理方式很简单:例如输出维度为 40964096 的全连接层,可以改成输出通道数为 40964096 的卷积层;第一个卷积核要覆盖原本全连接层接收的整个特征区域,后续全连接层才可转成 1×11 \times 1 卷积。论文提到的 10×1010 \times 10 是较大输入图像产生的输出网格,不是卷积核尺寸。

得到输出后,作者先用 1×11 \times 1 卷积产生各类别的分数图,再使用上采样将分数图放大到原图尺寸。

在这篇论文中,最后的输出通道数量是 2121,这是因为作者使用的是 PASCAL VOC 2011 的数据集,这个数据集有 2020 类加上背景,所以总共有 2121 类。

上采样

在论文中,作者提到 Shift-and-stitch 是一种不使用插值就能从粗糙的输出中获得密集预测的技巧,这个技巧最早由 OverFeat 引入。

当输出被降采样了 ff 倍,则输入会向右平移 xx 像素、向下平移 yy 像素,并对每一组 (x,y)∈{0,…,f−1}×{0,…,f−1}(x, y) \in \{0, \dots, f-1\} \times \{0, \dots, f-1\} 的值进行处理。这些 f2f^2 组输入经由卷积网络运算后,将输出交错排放,使得预测结果对应到其接收域中心的像素位置。

虽然作者进行了 Shift-and-stitch 的初步实验,但最终选择了使用「反卷积」的上采样的学习方式,因为这样的方式更有效率,特别是结合后面会提到的 skip layer 融合技术时效果更佳。

完整的网络架构如下图:

多尺度融合

如果只是单纯的使用最深层,最低解析度的特征,那放大回原图尺寸的结果会很粗糙。为了解决这个问题,作者提出了多尺度融合的方法。

如上图,作者从不同解析度的特征图产生类别分数图,最粗的输出步长是 3232 像素,最细的是 88 像素。融合过程是将步长 3232 的分数图放大 22 倍,与 pool4 产生的步长 1616 分数图相加;再放大 22 倍,与 pool3 产生的步长 88 分数图相加,最后放大到原图尺寸。

这个技巧被作者称为「skip layer」,通过这样的方式,模型可以得到更好的结果,如下图所示:

最左边是 FCN-32s 直接放大到原图的结果,中间两张依序是融合 pool4 分数图的 FCN-16s,以及再融合 pool3 分数图的 FCN-8s;最右边是标注。可以看到融合后的结果具有更多细节资讯。

训练数据集与策略

作者使用 PASCAL VOC 2011 分割挑战来进行训练和验证,并以每像素多项式逻辑损失进行训练,使用平均交并比(mean IoU)作为标准评估指标。所有模型皆使用 Caffe 框架在单一 NVIDIA Tesla K40c 上进行训练与测试。

  1. 学习率:模型使用带有动量的随机梯度下降(SGD)进行训练,动量设为 0.9,权重衰减设为 5×10−45 \times 10^{-4} 或 2×10−42 \times 10^{-4}。学习率固定为 10−310^{-3}、10−410^{-4} 和 5×10−55 \times 10^{-5}(分别对应 FCN-AlexNet、FCN-VGG16 和 FCN-GoogLeNet),这些值是通过线性搜索确定的。分类分数卷积层采用零初始化,并在原分类网络使用 dropout 的位置保留 dropout;作者发现随机初始化对性能和收敛速度没有帮助。

  2. 训练数据:全图像训练的损失涵盖规则网格上互相重叠的接收区域。与随机取样损失位置相比,取样对收敛速度的影响不显着,但全图像训练在时间上更有效率,因此选择全图像训练。

  3. 类别平衡:在全卷积训练中可以通过加权或取样平衡类别,尽管标签稍有不平衡(约 3/4 为背景),但结果显示不需要进行类别平衡。

  4. 密集预测:输出经由网络中的反卷积层进行上采样,最终层的反卷积滤波器固定为双线性插值,中间层的上采样初始化为双线性插值,随后进行学习。没有使用 shift-and-stitch 技巧或滤波器稀疏化的等价方法。

  5. 数据增强:尝试随机翻转和平移图像(最多 32 像素)的数据增强,但未发现显着提升。

  6. 额外训练数据:使用 PASCAL VOC 2011 训练集的 1112 张图片进行初步训练,后来增加了 Hariharan 等人标注的 8498 张 PASCAL 图像数据,将 FCN-VGG16 的验证分数提升了 3.4 个点,达到 59.4 的平均 IoU。

评估指标

论文中报告了四个来自语义分割和场景解析的常见评估指标,这些指标是像素准确度和区域交并比(IoU)的变化形式。

计算公式如下:

  • 像素准确度(Pixel Accuracy):

    ∑inii∑iti\sum_i \frac{n_{ii}}{\sum_i t_i}

    niin_{ii} 表示第 ii 类中模型预测正确的像素数量(即,实际是类别 ii 且预测为类别 ii 的像素数量),∑iti\sum_i t_i 表示图像中所有像素的总数。

    像素准确度是最基本的评估指标,它直接反映模型在整张图片中预测正确的像素比例。然而,当数据集中某些类别(如背景)占较多像素时,这个指标可能会掩盖小物体的预测错误。


  • 平均准确度(Mean Accuracy):

    1ncl∑iniiti\frac{1}{n_{cl}} \sum_i \frac{n_{ii}}{t_i}

    tit_i 表示实际为第 ii 类的总像素数,niin_{ii} 是模型正确预测为第 ii 类的像素数。

    平均准确度考虑了每个类别的预测表现,并对所有类别的准确度取均值。这样的好处是,即使某些类别像素数很少,也能对它们的预测表现进行公平的评估。这个指标对类别不均衡问题的影响较小,更能反映模型在每个类别上的一致性表现。


  • 平均交并比(Mean IoU):

    1ncl∑iniiti+∑jnji−nii \frac{1}{n_{cl}} \sum_i \frac{n_{ii}}{t_i + \sum_j n_{ji} - n_{ii}}

    分子部分 niin_{ii} 是预测正确的像素数,分母部分 ti+∑jnji−niit_i + \sum_j n_{ji} - n_{ii} 则是该类别的预测与实际结果的联合集(包含了正确预测的像素数以及预测错误的像素数)。

    平均交并比是一个衡量分类预测效果的指标,它考虑了每个类别的预测正确与错误的程度。这个指标通过计算每个类别的交并比,并取所有类别的平均值来反映模型的整体表现。相比像素准确度,Mean IoU 更能平衡类别间的不均衡情况,对于小物体和大物体的预测都有一定的区分度。


  • 加权交并比(Frequency Weighted IoU):

    1∑ktk∑itiniiti+∑jnji−nii\frac{1}{\sum_k t_k} \sum_i \frac{t_i n_{ii}}{t_i + \sum_j n_{ji} - n_{ii}}

    加权交并比考虑了类别的出现频率,用每个类别的总像素数 tit_i 作为权重,对每个类别的交并比进行加权平均。这个公式的分母 ∑ktk\sum_k t_k 是所有像素的总数,而每一项 tiniit_i n_{ii} 表示该类别的正确预测数量乘以其像素总数,这样就可以强调那些像素占比较大的类别(如背景)。

    加权交并比在评估语义分割时,不仅考虑了每个类别的预测准确性,还加权了每个类别在整个数据集中所占的比例。这对于处理类别不均衡的问题有帮助,因为它会让占有较多像素的类别(如背景)对最终结果有更大的影响。这个指标在处理实际应用场景时,对于常见类别的表现更为敏感。

讨论

PASCAL VOC 结果

上表展示了 FCN-8s 在 PASCAL VOC 2011 和 2012 测试集上的表现,并与之前的最佳系统 SDS 和着名的 R-CNN 进行比较。

在平均交并比上,FCN-8s 相较 SDS 的结果约有 20% 的相对提升。推理时间也显着缩短,仅计算卷积网络部分的速度快了 114 倍,总体上推理时间快了 286 倍。

NYUDv2 结果

作者一开始使用 RGB 图像训练未修改的粗糙模型(FCN-32s),接着加入深度资讯,将模型升级为处理四通道的 RGB-D 输入(early fusion),但改进效果有限。

根据 Gupta 等人的研究,作者使用 HHA 深度编码,进行 RGB 和 HHA 的「晚期融合」(late fusion),最终升级为 16 步长版本。

SIFT Flow 结果

作者训练了一个双头的 FCN-16s 模型,同时预测语义和几何标签。该模型在两个任务上的表现与分别训练的模型相当,但学习和推理速度几乎与单个模型一样快。

上表展示了标准数据分割上的结果(2488 张训练图像和 200 张测试图像),显示在这两个任务上均达到了最新的最佳表现。

结论

FCN 的提出是一项里程碑式的贡献,它将卷积网络的优势充分扩展到语义分割任务,为后续许多图像分割技术奠定了基础。其跳连结技术以及全卷积架构创新,使得语义分割成为可行的端到端任务。

尽管 FCN 在输出精度、资源消耗以及多尺度特征融合方面仍有改进空间,但其提出的思路和技术对于后续的图像分割研究有着重要的指导意义。