UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation
- arXiv 首次提交
- arXiv:1912.05074
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{featurefusionunetpp2019,
title = {{UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation}},
author = {Zongwei Zhou and Md Mahfuzur Rahman Siddiquee and Nima Tajbakhsh and Jianming Liang},
year = {2019},
eprint = {1912.05074},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1912.05074}
}
这篇文章的作者从 U-Net 为出发点,探讨原始 U-Net 架构的设计问题。
套用一句作者的原话:
“这个三年不动的拓朴结构真的一点儿毛病都没有吗?”
Excerpted from 研习 U-Net
作者认为 U-Net 不只是有问题,而且问题还很多。
定义问题
常见的 U-Net,其深度是五层降采样,如上图 (d)。
为什么不是三层?为什么不是七层?网络的设计到底要多深?
在许多深度学习的应用中,网络的深度通常是一个关键的参数,它直接影响了网络的效能和学习能力。
让我们进一步探讨这个问题的各个层面:
-
特征表征能力
网络的深度决定了其表征能力。简单来说,更深的网络通常能够学习到更复杂、更抽象的特征。在图像分割、目标检测或分类等任务中,这种抽象的特征获取能力非常重要的。而较浅的网络可能只能捕捉更简单、更局部的特征。
-
计算复杂度
随着网络的深度增加,计算复杂度和参数数量通常会急剧增加。 这不仅会增加训练和推理的时间成本,还可能需要更多的运算资源。 在资源有限的情况下,找到一个适当的网络深度是一个挑战。
-
过拟合与泛化
较深的网络通常具有较高的模型复杂度,可能容易发生过拟合,特别是在数据较少的情况下。 而较浅的网络可能具有更好的泛化能力,但可能会牺牲一些表征能力。
-
优化难度
你当然可以降采样 100 层(如果你的图像足够大的话),但随着网络深度的增加,优化网络参数变得越来越困难。 例如:梯度消失或梯度爆炸问题可能会出现,这需要采用特定的初始化方法或最佳化器来解决。
-
理论与实务
在理论上,深度网络能够以较少的节点和较少的计算量来表征相同的函数,但在实践中,找到一个合适的网络深度并不容易。 过深或过浅的网络都可能无法很好地完成特定的任务。
-
数据集与任务的特性
不同的数据集和任务可能需要不同的网络深度。 有些任务可能需要深层网络来捕捉复杂的模式,而其他任务可能不需要那么多的抽象层次。
-
可解释性与调试难度
随着网络变得更深,模型的可解释性可能会降低,同时调试和理解模型的行为也变得更加困难。
通过深入研究“要多深?”这个问题,我们可以更好地理解网络深度如何影响深度学习模型的效能和效果,以及如何在具体的实践中做出合理的选择和设计。
解决问题
UNet++ 模型设计
在处理图像分割等问题时,理想的情况是网络能够充分学习到不同深度层次的特征,以便更好地理解和处理图像数据。
作者在这个问题的探讨中,提出了几个独创性的网络结构设计,旨在更好地整合不同深度的特征并优化网络效能。
以下是几种核心的设计思路和方案:
-
统一架构(U-Nete)
- 目的:订定巢状 UNet 的统一架构
- 这种设计将不同深度的 U-Net 整合在一个统一的架构中。 在这个架构中,所有的 U-Net 至少部分共享相同的编码器,但具有各自的解码器。 这种设计让不同深度的解码器能够在同一个网络架构下独立运作,从而提供一个特殊的视角来观察和比较不同深度如何影响网络的效能。
-
U-Net 升级版(UNet+)
- 目的:检查相邻节点连接的效果
- 这个设计从 U-Nete 演变而来,放弃了原始的长跳跃连接,而是通过短跳跃连接将每两个相邻节点连接起来。 这种设计使得较深的解码器能够向较浅的解码器传送监督讯号,从而实现了更好的讯息传递和特征整合。 这种设计旨在探索不同深度解码器间的协作如何影响网络的整体效能。
-
U-Net 进阶版(UNet++)
- 目的:检查密集跳跃连接的效果
- UNet++建立在 UNet+ 的基础上,通过连接解码器,实现了密集连接的跳跃连接。 这种设计允许沿着跳跃连接的密集特征传播,从而实现更灵活的特征融合。UNet++旨在在一个统一的架构中实现更灵活和高效的特征提取与融合,以应对不同深度带来的挑战。
通过这几种架构设计,作者希望在保留原始 U-Net 架构优势的同时,尽可能地解决网络深度选择的问题,以期通过整合不同深度的特征,提升网络在图像分割等任务上的性能。
当然,这个架构设计不是突然间就长成这样了,中间还有经过一些作者的思考和改变,相关的心路历程可以去看作者本人写的文章。
讨论
针对上面的内容,分几个问题进行讨论:
就只是参数多?
作者针对这个疑问设计了一组实验,即将原始的 U-Net 的拓宽,拉到和 UNet++ 相近的参数数量,再进行比较结果,这个操作虽然有点潦草(作者说的),但是从表格上来看,直接加大参数量的结果是:
- 提升幅度很小,也没有达到 UNet++ 在这些任务上的改善幅度。
在深度学习中,通常更多的参数意味着模型具有更高的表达能力,但这并不总是导致更好的结果。 过多的参数可能会导致过度拟合,尤其是在数据量较小的情况下。此外,随着参数数量的增加,模型的计算和存储需求也会显著增加,这可能不是我们想要的。UNet++ 通过优化网络结构,而不是简单地增加参数,展现了参数最佳化利用的重要性。
深度监督和模型剪枝
在探讨深度学习的网络结构时,尤其是针对图像分割任务的 U-Net 架构,深度监督(Deep Supervision)和模型剪枝(Model Pruning)两个概念显得格外重要。这些技术不仅能够提高网络的学习效率,而且有助于在保持一定精度的前提下,大幅减少模型的规模,进而加速推理过程,特别是在资源受限的环境如移动设备上。
-
深度监督(Deep Supervision)
深度监督的核心思想是在网络的不同阶段引入额外的损失函数,以帮助浅层的网络结构得到有效的梯度更新。通过在顶层的 X⁰,¹~X⁰,⁴ 输出添加辅助损失,使得不同深度的 U-Net 都能得到明确的监督信号,进而促进整个网络的学习。在 U-Net++ 架构中,每个受监督的子网络输出都能够被视为图像的分割结果,也有助于改善梯度传递。
-
模型剪枝(Pruning)
模型剪枝是另一种有效减少模型规模的技术。通过评估每个子网络在验证集上的性能,可以决定在可接受的精度下降范围内剪去多少冗余的网络结构。在推理阶段,能够依据实际需求选择适当的网络深度以达到平衡性能和计算成本的目的。
在讨论了 UNet++ 结构和模型剪枝的概念后,可以从以下几个方面来分析其可行性和重要性。
-
可行性
- 深监督与多层输出:UNet++ 结构通过深监督拥有多层次的输出,这使得每个子网络都能够产生图像的分割结果。 由于这种设计,每个子网络的表现可以独立评估,为后续的剪枝提供了基础。
- 模型剪枝:在测试阶段,只需要前向传播,某些子网络如果已经能够产生满意的结果,剪去其他子网络不会影响到前面子网络的输出。 但在训练时,被剪去的部分在反向传播中有助于权重更新,显示这些剪去的部分对训练过程仍然很重要。 这种设计保证了在保持网络效能的同时进行剪枝的可行性。
-
重要性
- 计算效率与资源使用:通过剪枝,模型的大小会显著减少。例如:如果 L2 层的输出已经满意,则可以剪去很多参数,从而大幅降低运算和存储的需求。这对于在资源受限环境(如移动设备)中运行模型是很重要的。
- 提速:剪枝后的网状结构可以提高推理速度。 例如:论文中剪至 L3 的平均推理时间减少 32.2%,IoU 平均下降 0.6 点;剪得更深则会有更大的精度损失。 这对于需要实时或近实时回应的应用场景非常重要。
- 灵活的网络结构:通过合理的剪枝,UNet++ 提供了一个灵活的网络结构,可以根据不同的任务需求和数据集难度来调整网络的深度,达到良好的效能与效率的平衡 。
-
精度与模型大小的平衡
- 数据集的难度与网络深度的关系表明:通过剪枝,可以针对较简单的数据集使用较小的模型,同时保持相近的效能。这样的设计使得 UNet++ 能够在保持较高精度的同时,降低模型的大小和计算成本。
在 UNet++ 架构的实现中,通过运用深度监督和模型剪枝,能在可接受的精度下降范围内缩减推理时使用的模型。这对于网络设计的灵活性和可调整性提供了新的思考维度;论文在 GPU 上测量推理时间,未直接测试移动设备。
-
结论
通过在 UNet++ 上实施深度监督和模型剪枝,可以观察到该方法在优化图像分割任务上的潜力。
深度监督允许模型在不同的网络层级获得更好的特征表示,而剪枝提供了一种在保持性能的同时降低计算和存储需求的有效方法,这对于硬件资源受限的场景尤为重要。
不过,从工程角度看,这些方法也带来了一些挑战:
最直观的是,剪枝程度的确定依赖于验证集的表现,这可能导致模型在不同的数据集或真实世界应用中的性能不稳定,一不留意就让模型去世了也说不定。
解决上述问题的一个可能方向是采用自适应剪枝策略,通过在不同阶段动态调整剪枝程度,以及探索多目标优化方法来平衡准确度和效率。或是探索使用跨数据集的验证和转移学习技术,以提高模型在不同应用场景下的泛化能力和稳定性。
在实际操作中,实施深度监督和模型剪枝增加了模型设计和训练的复杂度,工程师可能需要投入额外的时间和资源来调整和验证剪枝策略,以确保模型的泛化能力,开发周期可能会延长。
这篇论文提供了对优化特征融合方式的新思路,但还是带有一定的技术难度,需通过进一步的研究和实践来克服。希望这篇文章能够为研究者的工作和研究提供有益的参考和启示。