返回论文笔记资料库
arXiv 2017CVPR 2018轻量模型论文笔记

ShuffleNet

通道洗牌网络

原始论文

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

论文作者

Xiangyu Zhang · Xinyu Zhou · Mengxiao Lin · Jian Sun

发表版本
CVPR 2018会议
arXiv 首次提交
arXiv:1707.01083
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{lightweightshufflenet2017,
  title = {{ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices}},
  author = {Xiangyu Zhang and Xinyu Zhou and Mengxiao Lin and Jian Sun},
  year = {2017},
  eprint = {1707.01083},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1707.01083}
}
本页内容

轻量网络的竞赛才刚开始。

ShuffleNet 也在这个时候加入战局。

定义问题

计算量与速度不一致

在本研究中,作者和之前研究一样,想解决的还是同一件事:

  • 如何在保持高精度的同时,为运算能力非常有限的移动设备设计一个高效的神经网络?

虽然如 MobileNet 和 SENet 等模型已向低计算成本方向迈出了一步,但这些模型在非常低的计算预算下(例如小于 150 MFLOPs)的性能仍有提升空间。

作者指出,现有的高效模型「在实际硬件上的实际推理时间和预期性能之间常常存在较大差距」。

大量 1x1 卷积

在 MobileNet-V1 中,作者有对整个网络架构的计算量进行分析,如上表。

本篇论文的作者认为大量的 1x1 卷积是计算量的主要来源,应该要从这个角度着手,缩减计算量。

解决问题

组卷积

一个主要的挑战是如何减少 1x1 卷积的计算量,作者认为提高分组数量是解决问题的办法。

假设输入和输出的通道数都为 128。在不使用分组的情况下,1x1 卷积需要对每个输出通道的每个输入通道进行计算,因此每个空间位置的乘法运算数为 128×128=16,384128 \times 128 = 16,384 次。然而,如果设置分组数量为 8,则每个分组所包含的通道数变成 128/8=16128 / 8 = 16。在这种情况下,每组内部的卷积计算仅涉及 16 个输入通道与 16 个输出通道之间的乘法,因此每个分组的计算量为 16×16=25616 \times 16 = 256 次乘法。由于共有 8 个这样的分组,每个空间位置的乘法运算数为 256×8=2,048256 \times 8 = 2,048 次。

通过比较,可以看出分组卷积可以将计算量减少到原始 1x1 卷积的大约 12.5%,从 16,384 次降低到 2,048 次。

但是天下没有白吃的午餐。

分组卷积的确可以减少计算量,但也会带来一个问题:连续堆叠相同分组的卷积会阻碍组间信息流动,如上图 (a) 所示。

这可能使整个网络的表现降低。

通道洗牌

为了解决分组卷积带来的问题,作者提出了一个新的操作:通道洗牌;上图 (b) 是跨组连接的概念,(c) 才是通道洗牌的实现。

概念是:既然分组限制了通道间互相流通信息的能力,那么我们可以在相邻的分组卷积之间引入一个操作,让不同分组的通道进入下一层的同一个分组,以保持通道间的关联性。

这个操作看似不好理解,但是我们可以直接实现洗牌的函数,就能理解这个操作的意义。

python
import torch

def shuffle_channel(x: torch.Tensor, groups: int) -> torch.Tensor:
    batch_size, num_channels, height, width = x.size()
    channels_per_group = num_channels // groups

    x = x.view(batch_size, groups, channels_per_group, height, width)
    x = x.permute(0, 2, 1, 3, 4).contiguous()
    x = x.view(batch_size, num_channels, height, width)
    return x

如上述函数,首先把通道数量分成几个组,然后移动通道的位置,这样就可以实现通道洗牌的效果。举例来说,如果原本的通道是:AAA,BBB,CCC,经过洗牌后变成:ABC,ABC,ABC。

虽然说是洗牌,但不是随机的洗牌,而是有规则的洗牌,反正就是要让不同组的通道能够互相交流信息就对了。

洗牌模块放置位置

最后是洗牌模块的放置位置,如上图所示。

ShuffleNet 单元的设计起源于对残差块瓶颈单元的借鉴,特别是在其残差路径中,运用了计算效率较高的3×33 \times 3深度卷积来处理瓶颈特征图。在这个基础上,通过使用分组逐点卷积代替传统的1×11 \times 1卷积,并结合通道洗牌操作,形成了 ShuffleNet 单元的核心结构(如上图(b)所示)。

为了匹配快捷路径并恢复通道维度,单元中的第二个逐点卷积也是分组的,但在此之后并没有添加额外的通道洗牌操作,以保持操作的简洁性。在这种结构中,批量归一化(BN)和非线性激活的应用与其他研究中的使用相似,不过不采用在深度卷积后立即使用 ReLU 的常规建议。

另外,当涉及到步长(stride)的使用时,ShuffleNet 单元进行了两项主要的调整,如上图(c)所示:

  • 首先,在快捷路径上引入了3×33 \times 3的平均池化操作
  • 其次,通过通道串联代替逐元素加法,有效地扩展了通道维度而几乎不增加计算成本。

这种设计使得单元中的所有组件都可以有效地计算,特别是在分组逐点卷积中实现了通道洗牌。

模型架构

基于上述的所有模块,最终组成了 ShuffleNet 的整体架构,如上表所示。右边有一个 g=1g=1 到 g=8g=8 的表格,这个 gg 就是分组数量。Stage 2 第一个单元的第一层逐点卷积仍使用一般卷积,因为它的输入只有 24 个通道。

作者在这里考虑到提高分组数量会减少计算量,而为了让每个模型能够有一致的计算量(一致的比较基准),因此提升分组数量的同时,也同时提升网络的每层的通道数量。

讨论

组卷积的效果

  1. 模型大小和组数影响:

    实验比较了不同组数(从 1 到 8)的 ShuffleNet 模型,同时考虑了不同的网络复杂度(1x, 0.5x, 0.25x)。在相近的计算量下,增加组数通常会降低 top-1 分类错误率。与 g=1g=1 相比,ShuffleNet 1x 在 g=8g=8 时降低了 1.2 个百分点;0.5x 在 g=4g=4 时降低了 3.5 个百分点;0.25x 在 g=8g=8 时降低了 4.4 个百分点。

  2. 性能饱和和下降:

    对于某些模型,如 ShuffleNet 0.5x,当组数从 g=4g=4 增加到 g=8g=8 时,错误率反而从 41.6% 上升到 42.3%,因为每个卷积滤波器的输入通道数减少,可能损害了表示能力。

  3. 小模型更大的组数效果更佳:

    对于较小的模型,如 ShuffleNet 0.25x,较大的组数通常能带来更好的结果,这表明更宽的特征图为这些较小的模型带来更多的好处。

通道洗牌的效果

在表中的六种设置下,通道洗牌都降低了 top-1 分类错误率,降幅为 1.3 至 5.8 个百分点。

与其他模型的比较

在各种复杂度等级上,ShuffleNet 在性能上皆优于 MobileNet。

  • 在约 500 MFLOPs 的设置下,ShuffleNet 2× (g=3g=3) 的 top-1 错误率比 MobileNet 1.0 低 3.1 个百分点,计算量也从 569 降至 524 MFLOPs。
  • 在约 40 MFLOPs 的较小网络中,ShuffleNet 0.5× (g=4g=4) 的 top-1 错误率比 MobileNet 0.25 低 7.8 个百分点。
  • ShuffleNet 在精确度相当的情况下,展现了比其他流行网络模型更高的效率。例如:ShuffleNet 0.5× 的理论运算量约为 AlexNet 的 1/19。

真实推理速度评估

作者在搭载 Snapdragon 820 的移动设备上,以单线程评估 ShuffleNet 的推理速度,并与其他模型进行了比较。

  1. 组数与效率:在 ShuffleNet 模型中,虽然较大的组数(如 g=4 或 g=8)通常能提供更好的性能,但在当前实现中它们的效率较低。经验表明,g=3 在准确性和实际推理时间之间提供了适当的平衡。

  2. 理论与实际表现差异:实际加速与理论复杂度之间有显著差异。理论上每降低 4 倍的复杂度,实际实现通常会带来约 2.6 倍的加速。

  3. 与 AlexNet 的比较:ShuffleNet 0.5× (g=3g=3) 的 top-1 错误率为 43.2%,接近 AlexNet 的 42.8%。在 480×640480 \times 640 输入下,推理时间为 87.4 ms,AlexNet 为 1156.7 ms,实际约快 13 倍;不同输入尺寸下的比值会略有差异。

结论

许多专注于移动设备的轻量模型,在硬件上的实际推理时间和预期性能常存在非常大的差距。

ShuffleNet 通过引入分组卷积和通道洗牌操作,有效地减少了计算量,并在保持高精度的同时,为运算能力非常有限的移动设备设计了一个高效的神经网络。这种设计思路值得我们深入思考,或许我们也可以从这个角度出发,设计出更加高效的神经网络模型。