返回论文笔记资料库
arXiv 2015CVPR 2016经典卷积网络论文笔记

ResNet

卷积网络 100 层

原始论文

Deep Residual Learning for Image Recognition

论文作者

Kaiming He · Xiangyu Zhang · Shaoqing Ren · Jian Sun

发表版本
CVPR 2016会议
arXiv 首次提交
arXiv:1512.03385
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{classiccnnsresnet2015,
  title = {{Deep Residual Learning for Image Recognition}},
  author = {Kaiming He and Xiangyu Zhang and Shaoqing Ren and Jian Sun},
  year = {2015},
  eprint = {1512.03385},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1512.03385}
}
本页内容

在 BatchNorm 提出之后,梯度消失和爆炸的问题似乎得到了解决。

但为什么模型还是 Train 不好呢?

定义问题

作者首先做了一组实验。

理论上,较深的模型应该不会比其较浅的版本有更高的训练误差,因为可以通过将添加的深层设定为恒等映射并从较浅模型复制其它层来构建一个深层模型。然而在上图中可以看到,随着网络深度增加,训练集和测试集的错误率都出现了上升的情况。

既然梯度消失的问题已经被解决,那么模型表现退化的问题显然就不能再归咎于梯度。另外,这也不是过拟合的问题,因为如果是过拟合的话,那么训练集的错误率应该是下降的,测试集的错误率上升,两者之间的差距应该是增大的。

因此这里作者将这个问题定义为模型退化的问题。

解决问题

什么是残差?

残差(Residual)在数学和工程学中通常指的是观察值与参考值之间的差异。

在图像处理和电脑视觉领域,残差概念应用于局部图像描述符,以捕捉每个描述符与预定义基准(如字典或模型)之间的差异。

这样命名和使用残差表示有几个原因:

  1. 捕捉变化和差异:残差表示辨识并编码局部特征与参考特征之间的差异,提供了局部特征如何偏离参考特征的有用信息。
  2. 提高效率和准确性:专注于残差而非原始描述符,可以更有效地编码和处理信息,因为残差通常更小且更结构化,易于管理和分析。
  3. 适应性和泛化能力:通过残差表示,模型更能适应和辨识不同图像间的细微差异,这对图像检索和分类等任务非常重要。

这些是残差表示的背景;ResNet 接下来讨论的是网络区块相对于其输入要学习的映射。

残差学习

假设 H(x)H(x) 是几层网络要学习的目标映射,xx 是这几层的输入;它不一定是原始图片。

在深度学习中,特别是当网络变得更深时,直接学习 H(x)可能变得非常困难,这可能导致训练效率低下和性能不佳(作者称之为退化问题)。所谓的残差,即目标输出和区块输入之间的差异 H(x)−xH(x) - x。这个差异反映了模型需要学习的「额外信息」来从 xx 转换到 H(x)H(x)。

为了简化优化过程,作者引入了残差映射 F(x)F(x),定义为 F(x):=H(x)−xF(x) := H(x) - x。这里不是直接尝试学习整个 H(x)H(x),而是专注于学习这个差异,即 F(x)F(x)。这里 F(x)F(x) 被定义为残差函数,也就是模型需要学习如何将输入 xx 转换成正确的输出 H(x)H(x) 所缺失的那部分。

当我们处理深度神经网络时,如果最优映射接近于身份映射(即输出等于输入),作者推测,让 F(x)F(x) 趋近于零会比直接学习 H(x)H(x) 更容易;实际效果仍要由实验检验。

为了实现这个方法,作者在网络中引入了捷径连接,这些连接跳过一个或多个层,直接将输入 xx 添加到中间层的输出上,实现 F(x)+xF(x) + x 的计算。通过这种方式转变了优化问题,使得深层神经网络能够更有效地学习和优化,从而改善了训练效果和最终性能。

残差模块

在论文中,作者实际上使用的残差模块是上图中的两个形式,两者的计算量相近,但右边的形式带有瓶颈的设计,作者在后续会测试这两种形式的性能。每个模块的卷积层数可以变得更多或更少,但作者发现在实际应用中,只使用一层卷积层没有什么效果。

在堆叠模型的过程中,如果遇到通道数不同的情况,作者比较了零填充捷径与使用 1×11 \times 1 卷积调整维度的投影捷径。

网络架构

这大概是我们看过论文中「最长」的一张图了...

这张图比较 VGG-19、34 层普通网络与 ResNet-34。受到 VGG 的启发,这里卷积层大多使用 3×33 \times 3 的卷积核,并遵循两个简单的设计规则:

  1. 对于相同输出特征图大小,堆叠的卷积层应该具有相同的输出通道数。
  2. 如果特征图大小减半,则通道数加倍,使每层的计算量大致维持不变。

降采样是通过步长为 2 的卷积来实现,最终采用全局平均池化层和全连接层来实现分类。

值得一提的是在上图的范例中,ResNet-34 的计算量仅有 VGG-19 的 18%。

参数配置

上表展示了所有 ResNet 模型的参数配置,可以看到随着网络深度的增加,参数量也在增加,但 ResNet-152 的计算量仍远小于 VGG。

其他训练配置如下:

  1. 数据增强:

    • 尺度增强:图像的短边被调整到一个随机大小,范围在 [256, 480] 之间,以进行尺度增强。
    • 裁剪与翻转:从图像或其水平翻转中随机裁剪 224×224 的区域,并减去每个像素的平均值。
    • 颜色增强:使用标准的颜色增强方法,这些方法在 AlexNet 中有详细描述。
  2. 归一化与活化:

    • 在每次卷积之后和活化之前采用批量归一化(Batch Normalization,BN),这有助于稳定和加速训练过程。
  3. 权重初始化:

  4. 优化器:

    • 使用小批量随机梯度下降作为优化器,批量的大小设置为 256。
    • 学习率:初始学习率设置为 0.1,当误差达到稳定水准时将学习率除以 10。
    • 权重衰减:设置为 0.0001。
    • 动量:设置为 0.9。
  5. 其他配置:

    • Dropout:在训练中不使用 dropout。

讨论

ResNet-18 vs ResNet-34

作者首先评估了 18 层和 34 层的普通网络。

根据上表的结果,34 层的普通网络相比 18 层的普通网络在验证误差上更高。为了揭示其中的原因,作者在下图(左)中比较了训练过程中的训练误差和验证误差。

从图中观察到了一个退化问题:尽管 18 层普通网络的解空间是 34 层网络的子空间,但 34 层普通网络在整个训练过程中具有更高的训练误差。作者认为这种优化困难不太可能是由梯度消失引起的。这些普通网络使用批量归一化(BN)进行训练,前向传播的信号具有非零方差;作者也检查了反向传播梯度,在这组实验中没有观察到信号消失。

事实上,34 层普通网络仍然能够达到有竞争力的精度,这表明该求解器在一定程度上发挥了作用。作者推测,深层普通网络的收敛速度可能呈指数级下降,这会影响训练误差的减少,未来将进一步研究造成这种优化困难的原因。

接下来作者评估了 18 层和 34 层的残差网络(ResNets)。基线架构与上述普通网络相同,只是在每对 3×3 滤波器中添加了快捷连接,如上图(右)所示;这组比较采用不增加参数的零填充捷径。残差学习的情况发生了逆转:34 层 ResNet 的 top-1 验证错误率比 18 层低约 2.8 个百分点。更重要的是,34 层 ResNet 表现出相当低的训练误差,并且能够很好地推广到验证数据,这表明退化问题在此设定中得到了很好的解决。

更深的瓶颈架构

作者针对 ImageNet 建构了更深的网络。

由于训练时间的考量,作者将构建模块修改为瓶颈设计。对于每个残差函数 FF,使用堆叠的三层代替两层,如上图。

这三层分别是 1×11×1、3×33×3 和 1×11×1 的卷积层,其中 1×11×1 层负责减少和增加(恢复)维度,使 3×33×3 层成为具有较小输入/输出维度的瓶颈,其两种设计具有相似的时间复杂度。

  • 50 层 ResNet:使用每个 2 层块替换为这个 3 层瓶颈块,从而构建出 ResNet-50。
  • 101 层和 152 层 ResNets:使用更多的 3 层块构建了 ResNet-101 和 ResNet-152。

在 ImageNet 上的表现

在上表中,作者展示了 ResNet 在 ImageNet 上的表现,可以看到基线 34 层 ResNet 已经实现了非常有竞争力的精度。

随着网络深度的增加,50/101/152 层的 ResNets 在准确度上比 34 层的有显著提高。这里没有观察到退化问题,深度的好处在所有评估指标上都有所体现。

ResNet-152 单模型在 ImageNet 验证集的 top-5 错误率为 4.49%、top-1 错误率为 19.38%,成为当时最先进的模型。

结论

在 ResNet 出现之前,随着网络深度的增加,训练深层网络变得非常困难,常常遇到梯度消失或梯度爆炸问题。然而残差学习的概念成功突破了这一瓶颈,使得训练超深层网络成为可能。这个突破性的进展极大地推动了深度学习的发展,在提出后,即迅速成为深度学习领域的标竿模型。

ResNet 的成功启发了后续一系列改进和变种模型的出现,包括 DenseNet、ResNeXt 等。这些改进模型在继承 ResNet 优点的基础上,进一步优化了网络结构和效能,推动了深度学习模型的持续进步和创新。

由于其卓越的性能,ResNet 被广泛应用于各种实际场景,如医疗图像分析、自动驾驶、监控系统等。这些应用展示了 ResNet 在实际应用中的巨大潜力和价值,使其成为深度学习技术发展的重要里程碑。