ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
- 发表版本
- CVPR 2018会议
- arXiv 首次提交
- arXiv:1707.01083
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{lightweightshufflenet2017,
title = {{ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices}},
author = {Xiangyu Zhang and Xinyu Zhou and Mengxiao Lin and Jian Sun},
year = {2017},
eprint = {1707.01083},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1707.01083}
}
轻量网络的竞赛才刚开始。
ShuffleNet 也在这个时候加入战局。
定义问题
计算量与速度不一致
在本研究中,作者和之前研究一样,想解决的还是同一件事:
- 如何在保持高精度的同时,为运算能力非常有限的移动设备设计一个高效的神经网络?
虽然如 MobileNet 和 SENet 等模型已向低计算成本方向迈出了一步,但这些模型在非常低的计算预算下(例如小于 150 MFLOPs)的性能仍有提升空间。
作者指出,现有的高效模型「在实际硬件上的实际推理时间和预期性能之间常常存在较大差距」。
大量 1x1 卷积
在 MobileNet-V1 中,作者有对整个网络架构的计算量进行分析,如上表。
本篇论文的作者认为大量的 1x1 卷积是计算量的主要来源,应该要从这个角度着手,缩减计算量。
解决问题
组卷积
一个主要的挑战是如何减少 1x1 卷积的计算量,作者认为提高分组数量是解决问题的办法。
假设输入和输出的通道数都为 128。在不使用分组的情况下,1x1 卷积需要对每个输出通道的每个输入通道进行计算,因此每个空间位置的乘法运算数为 次。然而,如果设置分组数量为 8,则每个分组所包含的通道数变成 。在这种情况下,每组内部的卷积计算仅涉及 16 个输入通道与 16 个输出通道之间的乘法,因此每个分组的计算量为 次乘法。由于共有 8 个这样的分组,每个空间位置的乘法运算数为 次。
通过比较,可以看出分组卷积可以将计算量减少到原始 1x1 卷积的大约 12.5%,从 16,384 次降低到 2,048 次。
但是天下没有白吃的午餐。
分组卷积的确可以减少计算量,但也会带来一个问题:连续堆叠相同分组的卷积会阻碍组间信息流动,如上图 (a) 所示。
这可能使整个网络的表现降低。
通道洗牌
为了解决分组卷积带来的问题,作者提出了一个新的操作:通道洗牌;上图 (b) 是跨组连接的概念,(c) 才是通道洗牌的实现。
概念是:既然分组限制了通道间互相流通信息的能力,那么我们可以在相邻的分组卷积之间引入一个操作,让不同分组的通道进入下一层的同一个分组,以保持通道间的关联性。
这个操作看似不好理解,但是我们可以直接实现洗牌的函数,就能理解这个操作的意义。
import torch
def shuffle_channel(x: torch.Tensor, groups: int) -> torch.Tensor:
batch_size, num_channels, height, width = x.size()
channels_per_group = num_channels // groups
x = x.view(batch_size, groups, channels_per_group, height, width)
x = x.permute(0, 2, 1, 3, 4).contiguous()
x = x.view(batch_size, num_channels, height, width)
return x
如上述函数,首先把通道数量分成几个组,然后移动通道的位置,这样就可以实现通道洗牌的效果。举例来说,如果原本的通道是:AAA,BBB,CCC,经过洗牌后变成:ABC,ABC,ABC。
虽然说是洗牌,但不是随机的洗牌,而是有规则的洗牌,反正就是要让不同组的通道能够互相交流信息就对了。
洗牌模块放置位置
最后是洗牌模块的放置位置,如上图所示。
ShuffleNet 单元的设计起源于对残差块瓶颈单元的借鉴,特别是在其残差路径中,运用了计算效率较高的深度卷积来处理瓶颈特征图。在这个基础上,通过使用分组逐点卷积代替传统的卷积,并结合通道洗牌操作,形成了 ShuffleNet 单元的核心结构(如上图(b)所示)。
为了匹配快捷路径并恢复通道维度,单元中的第二个逐点卷积也是分组的,但在此之后并没有添加额外的通道洗牌操作,以保持操作的简洁性。在这种结构中,批量归一化(BN)和非线性激活的应用与其他研究中的使用相似,不过不采用在深度卷积后立即使用 ReLU 的常规建议。
另外,当涉及到步长(stride)的使用时,ShuffleNet 单元进行了两项主要的调整,如上图(c)所示:
- 首先,在快捷路径上引入了的平均池化操作
- 其次,通过通道串联代替逐元素加法,有效地扩展了通道维度而几乎不增加计算成本。
这种设计使得单元中的所有组件都可以有效地计算,特别是在分组逐点卷积中实现了通道洗牌。
模型架构
基于上述的所有模块,最终组成了 ShuffleNet 的整体架构,如上表所示。右边有一个 到 的表格,这个 就是分组数量。Stage 2 第一个单元的第一层逐点卷积仍使用一般卷积,因为它的输入只有 24 个通道。
作者在这里考虑到提高分组数量会减少计算量,而为了让每个模型能够有一致的计算量(一致的比较基准),因此提升分组数量的同时,也同时提升网络的每层的通道数量。
讨论
组卷积的效果
-
模型大小和组数影响:
实验比较了不同组数(从 1 到 8)的 ShuffleNet 模型,同时考虑了不同的网络复杂度(1x, 0.5x, 0.25x)。在相近的计算量下,增加组数通常会降低 top-1 分类错误率。与 相比,ShuffleNet 1x 在 时降低了 1.2 个百分点;0.5x 在 时降低了 3.5 个百分点;0.25x 在 时降低了 4.4 个百分点。
-
性能饱和和下降:
对于某些模型,如 ShuffleNet 0.5x,当组数从 增加到 时,错误率反而从 41.6% 上升到 42.3%,因为每个卷积滤波器的输入通道数减少,可能损害了表示能力。
-
小模型更大的组数效果更佳:
对于较小的模型,如 ShuffleNet 0.25x,较大的组数通常能带来更好的结果,这表明更宽的特征图为这些较小的模型带来更多的好处。
通道洗牌的效果
在表中的六种设置下,通道洗牌都降低了 top-1 分类错误率,降幅为 1.3 至 5.8 个百分点。
与其他模型的比较
在各种复杂度等级上,ShuffleNet 在性能上皆优于 MobileNet。
- 在约 500 MFLOPs 的设置下,ShuffleNet 2× () 的 top-1 错误率比 MobileNet 1.0 低 3.1 个百分点,计算量也从 569 降至 524 MFLOPs。
- 在约 40 MFLOPs 的较小网络中,ShuffleNet 0.5× () 的 top-1 错误率比 MobileNet 0.25 低 7.8 个百分点。
- ShuffleNet 在精确度相当的情况下,展现了比其他流行网络模型更高的效率。例如:ShuffleNet 0.5× 的理论运算量约为 AlexNet 的 1/19。
真实推理速度评估
作者在搭载 Snapdragon 820 的移动设备上,以单线程评估 ShuffleNet 的推理速度,并与其他模型进行了比较。
-
组数与效率:在 ShuffleNet 模型中,虽然较大的组数(如 g=4 或 g=8)通常能提供更好的性能,但在当前实现中它们的效率较低。经验表明,g=3 在准确性和实际推理时间之间提供了适当的平衡。
-
理论与实际表现差异:实际加速与理论复杂度之间有显著差异。理论上每降低 4 倍的复杂度,实际实现通常会带来约 2.6 倍的加速。
-
与 AlexNet 的比较:ShuffleNet 0.5× () 的 top-1 错误率为 43.2%,接近 AlexNet 的 42.8%。在 输入下,推理时间为 87.4 ms,AlexNet 为 1156.7 ms,实际约快 13 倍;不同输入尺寸下的比值会略有差异。
结论
许多专注于移动设备的轻量模型,在硬件上的实际推理时间和预期性能常存在非常大的差距。
ShuffleNet 通过引入分组卷积和通道洗牌操作,有效地减少了计算量,并在保持高精度的同时,为运算能力非常有限的移动设备设计了一个高效的神经网络。这种设计思路值得我们深入思考,或许我们也可以从这个角度出发,设计出更加高效的神经网络模型。