Aggregated Residual Transformations for Deep Neural Networks
- 发表版本
- CVPR 2017会议
- arXiv 首次提交
- arXiv:1611.05431
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{classiccnnsresnext2016,
title = {{Aggregated Residual Transformations for Deep Neural Networks}},
author = {Saining Xie and Ross Girshick and Piotr Dollár and Zhuowen Tu and Kaiming He},
year = {2016},
eprint = {1611.05431},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1611.05431}
}
还记得稍早提出的 Inception 模型吗?
那让人眼花缭乱的分支结构,是不是让你印象深刻?
定义问题
Inception 证明了精心设计的拓扑结构可以用较低的理论复杂度达到更好的性能。
但这种设计方式会带来几个问题:
下游任务泛化性
在 Inception 模型中,通常会使用不同大小的卷积核(例如 1x1、3x3、5x5 等)来同时进行不同尺度的特征提取。
我们需要根据数据集特性来确定每一层使用的卷积核大小和数量。例如,对于图片数据集,较大的卷积核可以捕捉到更多的上下文信息,而较小的卷积核可以提取到更精细的特征。
每个 Inception 模块通常包括多个不同大小的卷积层和池化层,根据需求设计每个模块内部的结构,并使用交叉验证来选择效果最好的组合。
不利于模型设计
目前对于神经网络的研究,已经从「特征工程」渐渐地转向「模型设计工程」,即如何设计一个好的神经网络。
Inception 模型的设计需要大量的人力和时间,并且不易扩展到更大的模型。
但是这个「分割-变化-合并」的设计理念,还是非常值得借鉴的。
解决问题
网络架构
如上图所示,左边是原始的 ResNet 结构,右边是作者提出的 ResNeXt 结构。
作者借鉴了 VGG 和 ResNet 的设计方法,采用高度模块化的设计,使得模型由一堆残差块(residual blocks)组成。接着引入了一个新的维度:基数(cardinality),作为除了深度和宽度之外的重要因素。
这个 cardinality 指的是在 ResNeXt 模块中的分组数量,即:将输入通道分为几组进行卷积运算。例如上图中的 total 32 paths 中的 32 就是分组数,一组有四个通道。
再来,作者通过两个简单规则来简化设计空间,使得整个网络的设计变得更加简单和统一:
- 规则一:如果生成相同大小的空间图,则这些区块共享相同的超参数(宽度和滤波器大小)。
- 规则二:每次将空间图下采样 2 倍时,模块的宽度乘以 2 倍。
最后是聚合变换(Aggregated Transformations)的概念,将神经元的基本操作扩展到更复杂的变换上,并且使用瓶颈型架构和分组卷积的方法来简化实现和提高模型性能。
这个架构存在几种等价形式,如下图:
- 上图 (a) 是本论文提出的结构。
- 上图 (b) 是先串接各分支 3×3 卷积的输出,再共用一个 128→256 的 1×1 卷积。
- 上图 (c) 是用 32 组的 3×3 分组卷积实现这些分支,最后同样接 128→256 的 1×1 卷积。
模型配置
使用分组卷积会降低运算量,因此为了维持相同的比较基准,作者将 ResNeXt 模块中的中间通道数量增加为原本 ResNet 的 2 倍,然后取分组数为 32。
讨论
ImageNet-1K 训练效果
上图展示了不同模型的验证误差和训练误差随着训练次数(epochs)的变化情况。
与 ResNet-50 相比,32×4d ResNeXt-50 的 top-1 验证错误率为 22.2%,比 ResNet-50 的 23.9% 低了 1.7 个百分点。
随着基数 从 1 增加到 32,同时保持模型复杂性不变,错误率不断降低。32×4d ResNeXt 的训练误差也明显低于 ResNet-50,表明性能提升主要来自于模型表示能力的增强,而非正则化效应。
在 ResNet-101 的情况下,32×4d ResNeXt-101 的 top-1 验证错误率比 ResNet-101 低 0.8 个百分点。尽管验证误差的改善比 ResNet-50 的情况小,但训练误差的改善仍然显著(ResNet-101 为 20%,32×4d ResNeXt-101 为 16%)。
增加模型复杂度
为了测试分组数量对模型性能的影响,作者进行了以下几个实验:
-
将复杂性增加两倍
- 与 ResNet-101 基线 (22.0%) 相比,增加模型复杂性总能减少错误。
- 但效果有限:
- 增加深度(ResNet-200,降低 0.3 个百分点)
- 增加宽度(更宽的 ResNet-101,降低 0.7 个百分点)。
-
增加基数的效果更好
实验显示增加基数 比增加深度或宽度能显示出更好的结果。
- 2×64d ResNeXt-101 将 top-1 误差降低至 20.7%。
- 在 1×64d ResNet-101 基线上加倍 并保持宽度
- 64×4d ResNeXt-101 将 top-1 误差降低至 20.4%。
- 在 32×4d ResNeXt-101 上加倍 并保持宽度
- 2×64d ResNeXt-101 将 top-1 误差降低至 20.7%。
-
较低复杂度下的性能
32×4d ResNeXt-101 (21.2%) 的性能优于更深的 ResNet-200 和更宽的 ResNet-101,尽管其复杂度只有约 50%。这表明基数 是比深度和宽度更有效的维度。
ImageNet-1K 模型表现
上表显示了在 ImageNet 验证集上进行单次裁切测试的结果。
ResNeXt 的结果与 ResNet、Inception-v3/v4 和 Inception-ResNet-v2 相比毫不逊色;ResNeXt-101 (64×4d) 以 320×320 单次裁切达到 4.4% 的 top-5 错误率。
不仅如此,ResNeXt 的架构设计比所有 Inception 模型简单得多,手动设置的超参数也少得多。
结论
本论文提出了一种简单且高度模块化的网络架构 ResNeXt,通过重复聚合一组具有相同拓扑结构的变换构建而成,形成了一种同质的多分支架构,只需设置少量的超参数。
作者引入了一个新的维度:基数(cardinality),作为除了深度和宽度之外的重要因素。
实验结果表明,在保持模型复杂度的条件下,增加基数能够显著提高分类准确率。
相比于单纯增加模型的深度或宽度,增加基数更为有效。