返回论文笔记资料库
arXiv 2015MICCAI 2015特征融合论文笔记

U-Net

融合的序幕

原始论文

U-Net: Convolutional Networks for Biomedical Image Segmentation

论文作者

Olaf Ronneberger · Philipp Fischer · Thomas Brox

发表版本
MICCAI 2015会议
arXiv 首次提交
arXiv:1505.04597
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{featurefusionunet2015,
  title = {{U-Net: Convolutional Networks for Biomedical Image Segmentation}},
  author = {Olaf Ronneberger and Philipp Fischer and Thomas Brox},
  year = {2015},
  eprint = {1505.04597},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1505.04597}
}
本页内容

在这个 VGG 问世不久的时刻,还有更多的需求未能满足。

研究者发现传统的 CNN 架构无法提供足够的细粒度,不足以应对生物医学图像分割的挑战。

于是就有了这个作品,这篇论文是图像分割的经典之作。

定义问题

对比于隔壁棚的图像分类领域,大家一口一个 ImageNet,吃饱喝足,不亦乐乎。

生物医学图像分割的研究者就不是那么愉快了。在该领域中,可以用来训练的数据非常少,少到不足以支撑深度学习的训练需求。

解决问题的方向也没有很明确,之前有种研究方法是将训练数据切成多个小块,借此产生更多的训练样本。但这样会导致另外一个问题是上下文信息的丢失,而降低了分割的准确度。

恰好这时有另外一份研究提出了全卷积网络架构,给了作者一点启发。

或许我们可以将这个架构应用到生物医学图像分割的问题上,解决时上下文信息丢失的问题。

解决问题

使用较大的输入区域有助于保留上下文信息,但数据不足的问题依然存在。

于是作者提出了 U-Net 架构,如下图:

通过结合收缩路径的高分辨率特征图和扩张路径的上下文信息,提高分割的定位精度;在少量标注数据下,作者也大量使用弹性变形等数据增强来训练模型。

这里你可以先暂时忽略数字的部分,因为作者在卷积层上没有使用 padding,所以每经过一次卷积层,特征图的大小会减少。这让第一次看到这个架构的人,会受到数字的干扰而不能好好欣赏这个架构。

我们把这张图切一半,先看左边:

这里就是我们常在讲的 Backbone 的部分;后续的 U-Net 变体可以替换成不同架构,例如 MobileNet 或 ResNet,但原论文使用图中的卷积收缩路径。

原论文图中有五个分辨率层级,其中进行了四次 2×22 \times 2 最大池化降采样。

接着我们看右边:

这边就是我们常讲的 Neck 的部分,这部分的特色就是从最底层开始上采样,方法可以使用简单的插值或是更复杂的反卷积,在这篇论文中作者使用了反卷积。

上采样之后我们会得到更高分辨率的特征图,这时把收缩路径中对应层级的特征图裁切到相同尺寸后进行融合;这里作者使用了拼接。

经过上述流程,最后用 1×11 \times 1 卷积将特征映射到类别数;原论文图中二类分割输出 2 个通道。由于卷积未补边,图中的 572×572572 \times 572 输入只产生 388×388388 \times 388 的分割结果;处理完整图像时,作者使用重叠区块和边界镜像。

讨论

ISBI Cell Tracking Challenge 2015

作者将 U-Net 应用于 ISBI 2014 及 2015 年细胞追踪挑战赛:

  • 在 PhC-U373 数据集中,达到了 92%的 IOU,显著超越了当时的第二名的 83%。
  • 在 DIC-HeLa 数据集中,我们取得了 77.5%的 IOU,同样大幅超过了第二名的 46%。

这些结果显示,U-Net 在不同类型的显微镜图像分割任务中均展现了卓越的性能,并显著优于其他现有的方法。

结论

U-Net 的设计方式保留了高分辨率的特征图,通过上下文信息的融合,提高了分割的准确度,同时降低了对数据量的需求。这个架构简单且容易扩展,使其适用于各类图像分割任务,包括细胞分割、器官分割和病变检测等。

和 FPN 比起来,拼接的结构会带来更大的参数量和计算量,因此在对于参数量有所限制的情况下会造成一定的困扰。每种架构各有所长,我们可以多学几种不同的设计方式,根据任务的需求来选择最适合的架构。