返回论文笔记资料库
arXiv 2018CVPR 2018轻量模型论文笔记

MobileNet-V2

瓶颈内的淬炼

原始论文

MobileNetV2: Inverted Residuals and Linear Bottlenecks

论文作者

Mark Sandler · Andrew Howard · Menglong Zhu · Andrey Zhmoginov · Liang-Chieh Chen

发表版本
CVPR 2018会议
arXiv 首次提交
arXiv:1801.04381
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{lightweightmobilenetv22018,
  title = {{MobileNetV2: Inverted Residuals and Linear Bottlenecks}},
  author = {Mark Sandler and Andrew Howard and Menglong Zhu and Andrey Zhmoginov and Liang-Chieh Chen},
  year = {2018},
  eprint = {1801.04381},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1801.04381}
}
本页内容

MobileNet 是一个轻量级深度学习网络,旨在移动设备上实现高效的图像识别。

在第一代 MobileNet 中,作者使用深度可分离卷积(Depthwise Separable Convolution),以减少参数量和计算量。

在这篇论文中,作者延续了这个思路,并尝试找到提升性能的新方法。

定义问题

线性瓶颈

作者想讨论的第一个问题是线性瓶颈。

假设我们有一个用于图像识别的深度卷积神经网络。每个卷积层都会产生一个三维的激活张量(高度 × 宽度 × 深度),其中包含了图像的特征。

例如,第一层可能会识别边缘和颜色变化,而更深的层可能会识别更复杂的形状或对象部分。

在神经网络的每一层中,激活张量可以视为存在于一个高维空间中。这个空间中的有意义数据结构(在论文内称为「兴趣流形」(manifold of interest)),理论上可以被映射到一个低维子空间中,而不丢失重要信息。这是因为虽然数据在原始空间中是高维的,但它们往往围绕某些低维结构分布。

为了有效利用这一性质,网络设计可以引入线性瓶颈层来降低数据的维度,这种方式在 MobileNetV1 中得到了成功应用。

然而,当引入非线性操作,如 ReLU(修正线性单元)时,情况会变得更复杂。

ReLU 的效果是对每个元素进行线性阈值处理,将所有负值设为零,这会改变数据的分布,从而产生新的几何结构(如射线和分段线性曲线)。

而避免这种情况的方式,是提供足够的维度,以便在非线性变换后仍然保留足够的信息,如下图所示:

在图中,最左边的是输入,对于投影到不同的维度上,且经过 ReLU 运算后,右边的分布就会有所不同。

可以看到当我们选用的维度不够时,经过 ReLU 运算后,原本的分布就会被破坏,有一部分的信息将永远丢失。

残差网络

先看一下什么叫做残差网络,这里引入 ResNet 论文内提供的图片:

一般的残差网络,首先经过一个 1x1 卷积层降维,然后是 3x3 卷积层汇集信息,最后再经过一个 1x1 卷积层升维,最后再加上原始输入。

根据刚才提到的线性瓶颈,这个残差模块在降维的过程中又引入了 ReLU 非线性运算,这样可能丢失信息。

信息丢多了会怎样?

如果信息丢得太多,深层网络的残差分支还能有效表达什么?这会削弱它的作用,白白耗费计算资源。

解决问题

为了解决问题,作者修改了原本的残差模块,将压缩维度改成膨胀维度,并将深度可分离卷积引入其中。

这个新的残差模块被作者称为「带有线性瓶颈的反转残差」(Inverted residual with linear bottleneck.)。

反转残差

整个残差模块的修改如上图所示。

  1. 把原本 ResNet 中压缩维度的 1x1 卷积层换成了扩展维度的 1x1 卷积层。
  2. 把原本 3x3 卷积层换成了 3x3 深度卷积,并用最后的 1x1 逐点卷积投影回较窄的通道数。
  3. 扩展层与深度卷积后使用 ReLU6;最后的投影层保持线性,残差相加后也不再接 ReLU。

图中也可以看到,步长为 1 且通道数相同时才加入捷径;步长为 2 的单元没有这条捷径。

扩张瓶颈(论文附录 A)

瓶颈变换涉及两个核心操作:线性变换和 ReLU 激活函数,这一过程可以表示为 AReLU(Bx)A \text{ReLU}(Bx):

  1. 线性变换 BxBx: 在此,x∈Rnx \in \mathbb{R}^n 代表一个 n 维的向量,可以是代表图像中的像素点的向量或是任何其他类型的数据。BB 是一个 m×nm \times n 的矩阵,负责将原始的 n 维向量 xx 变换到 m 维空间。这一步的目的是在不同的维度上重组输入数据的特征,可能是为了降维(如果 m<nm < n)、升维(如果 m>nm > n)、或是转换到另一个同维度的空间(如果 m=nm = n)。

  2. 非线性激活函数 ReLU: ReLU 函数,即修正线性单元(Rectified Linear Unit),作用于 BxBx 的结果。这个函数的数学表示是 ReLU(z)=max⁡(0,z)\text{ReLU}(z) = \max(0, z),其中 zz 可以是一个数字或一个向量。对于向量,ReLU 函数对每一元素独立作用。这一步引入了非线性特性,有助于增加模型的表达能力,因为线性模型无法捕捉到复杂的数据结构和模式。

  3. 第二层线性变换 A: 经过 ReLU 激活后的结果再次被一个 n×mn \times m 的矩阵 AA 变换。这一步可以进一步调整特征,使其适合于后续的神经网络层或最终的输出要求。

在分析瓶颈变换的效果时,首先要考虑 m(输出维度)和 n(输入维度)的关系:

  • 当 m ≤ n 时:此类变换可能在保持非线性的同时,会有信息损失。因为当输出维度小于或等于输入维度时,一些输入信息在经过转换后无法完全恢复。
  • 当 n < m 时:这种变换不仅能表达强烈的非线性,而且在论文的矩阵与初始化假设下,ReLU(Bx)\text{ReLU}(Bx) 有较高概率保留足够信息以恢复原始输入;并非只要扩张维度就一定可逆。

最后,作者指出扩展层的瓶颈结构不仅能防止流形崩塌(即信息丧失),还能帮助网络表示更复杂的函数。

模型架构

最后就是整个模型的架构。相比于 MobileNetV1,MobileNetV2 在通道数与步长允许时加入残差连接。

以下还有一点篇幅,我们直接来实现一下吧。

python
import torch.nn as nn


class InvertResidual(nn.Module):

    def __init__(self, inp, oup, stride, expand_ratio):
        super(InvertResidual, self).__init__()
        self.stride = stride
        self.is_shortcut = stride == 1 and inp == oup
        hidden_dim = int(inp * expand_ratio)

        layers = []
        if expand_ratio != 1:
            layers.extend([
                nn.Conv2d(inp, hidden_dim, 1, 1, 0, bias=False),
                nn.BatchNorm2d(hidden_dim),
                nn.ReLU6(),
            ])
        layers.extend([
            # dw
            nn.Conv2d(hidden_dim, hidden_dim, 3, stride, 1, groups=hidden_dim, bias=False),
            nn.BatchNorm2d(hidden_dim),
            nn.ReLU6(),
            # pw-linear
            nn.Conv2d(hidden_dim, oup, 1, 1, 0, bias=False),
            nn.BatchNorm2d(oup),
        ])
        self.conv = nn.Sequential(*layers)

    def forward(self, x):
        if self.is_shortcut:
            return x + self.conv(x)
        else:
            return self.conv(x)

做完模块,再来就是把模型串起来。

先参考一下论文的配置:

输入图片大小为 224x224,输出类别数为 1000......

呃,这里先不处理这些参数;我们只实现特征提取主体。

论文中有提到需要缩放模型,因此我们需要有个可以缩放模型宽度的参数 width_mult。

这里我们撇开最后的输出层,只实现模型的主体部分,也就是特征提取部分。

python
import torch.nn as nn

class MobileNetV2(nn.Module):

    def __init__(self, width_mult=1.):
        super(MobileNetV2, self).__init__()

        # setting of inverted residual blocks
        self.settings = [
            # t, c, n, s
            [1, 16, 1, 1],
            [6, 24, 2, 2],
            [6, 32, 3, 2],
            [6, 64, 4, 2],
            [6, 96, 3, 1],
            [6, 160, 3, 2],
            [6, 320, 1, 1],
        ]

        # building first layer
        input_channel = int(32 * width_mult)
        self.first_layer = nn.Sequential(
            nn.Conv2d(3, input_channel, 3, 2, 1, bias=False),
            nn.BatchNorm2d(input_channel),
            nn.ReLU6()
        )

        # building inverted residual blocks
        layers = []
        for t, c, n, s in self.settings:
            output_channel = int(c * width_mult)
            for i in range(n):
                layers.append(
                    InvertResidual(
                        input_channel,
                        output_channel,
                        stride=s if i == 0 else 1,
                        expand_ratio=t
                    )
                )
                input_channel = output_channel
        self.layers = nn.Sequential(*layers)

        # building last several layers
        last_channel = int(1280 * width_mult) if width_mult > 1.0 else 1280
        self.last_layer = nn.Sequential(
            nn.Conv2d(input_channel, last_channel, 1, 1, 0, bias=False),
            nn.BatchNorm2d(last_channel),
            nn.ReLU6()
        )

    def forward(self, x):
        x = self.first_layer(x)
        x = self.layers(x)
        x = self.last_layer(x)
        return x

讨论

图像分类性能

从上表可以看到,MobileNetV2 在 ImageNet 上的表现比 MobileNetV1 有所提升。

在乘加运算量从 575M 降至 300M 的同时,MobileNetV2 的 top-1 准确率比 MobileNetV1 高了 1.4 个百分点;表中的 Pixel 1 单核心推论时间也从 113 ms 降至 75 ms。

  • 在约 300M 乘加运算的量级上,MobileNetV2 的 top-1 准确率为 72.0%,高于表中 ShuffleNet 1.5× 的 71.5%;表中没有 ShuffleNet 的 CPU 时间。
  • 在约 600M 乘加运算的量级上,MobileNetV2 1.4× 的 top-1 准确率为 74.7%,高于 NASNet-A 的 74.0%;表中的 Pixel 1 单核心推论时间分别为 143 ms 与 183 ms。

结论

在这篇研究中,作者展示了 MobileNetV2 如何应对移动设备对准确率和低计算量的需求。

线性瓶颈层和反转残差模块的使用,允许模型在保持轻量级的同时,有效地管理信息流,减少信息在传递过程中的损失。

这种设计理念不仅提高了模型对输入数据的表达能力,也提升了在移动设备上的性能表现。

未来的工作将继续探索这一架构的潜力,寻求在保持模型轻量化的同时,进一步提升性能和泛化能力。