MobileNetV2: Inverted Residuals and Linear Bottlenecks
- 发表版本
- CVPR 2018会议
- arXiv 首次提交
- arXiv:1801.04381
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{lightweightmobilenetv22018,
title = {{MobileNetV2: Inverted Residuals and Linear Bottlenecks}},
author = {Mark Sandler and Andrew Howard and Menglong Zhu and Andrey Zhmoginov and Liang-Chieh Chen},
year = {2018},
eprint = {1801.04381},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1801.04381}
}
MobileNet 是一个轻量级深度学习网络,旨在移动设备上实现高效的图像识别。
在第一代 MobileNet 中,作者使用深度可分离卷积(Depthwise Separable Convolution),以减少参数量和计算量。
在这篇论文中,作者延续了这个思路,并尝试找到提升性能的新方法。
定义问题
线性瓶颈
作者想讨论的第一个问题是线性瓶颈。
假设我们有一个用于图像识别的深度卷积神经网络。每个卷积层都会产生一个三维的激活张量(高度 × 宽度 × 深度),其中包含了图像的特征。
例如,第一层可能会识别边缘和颜色变化,而更深的层可能会识别更复杂的形状或对象部分。
在神经网络的每一层中,激活张量可以视为存在于一个高维空间中。这个空间中的有意义数据结构(在论文内称为「兴趣流形」(manifold of interest)),理论上可以被映射到一个低维子空间中,而不丢失重要信息。这是因为虽然数据在原始空间中是高维的,但它们往往围绕某些低维结构分布。
为了有效利用这一性质,网络设计可以引入线性瓶颈层来降低数据的维度,这种方式在 MobileNetV1 中得到了成功应用。
然而,当引入非线性操作,如 ReLU(修正线性单元)时,情况会变得更复杂。
ReLU 的效果是对每个元素进行线性阈值处理,将所有负值设为零,这会改变数据的分布,从而产生新的几何结构(如射线和分段线性曲线)。
而避免这种情况的方式,是提供足够的维度,以便在非线性变换后仍然保留足够的信息,如下图所示:
在图中,最左边的是输入,对于投影到不同的维度上,且经过 ReLU 运算后,右边的分布就会有所不同。
可以看到当我们选用的维度不够时,经过 ReLU 运算后,原本的分布就会被破坏,有一部分的信息将永远丢失。
残差网络
先看一下什么叫做残差网络,这里引入 ResNet 论文内提供的图片:
一般的残差网络,首先经过一个 1x1 卷积层降维,然后是 3x3 卷积层汇集信息,最后再经过一个 1x1 卷积层升维,最后再加上原始输入。
根据刚才提到的线性瓶颈,这个残差模块在降维的过程中又引入了 ReLU 非线性运算,这样可能丢失信息。
信息丢多了会怎样?
如果信息丢得太多,深层网络的残差分支还能有效表达什么?这会削弱它的作用,白白耗费计算资源。
解决问题
为了解决问题,作者修改了原本的残差模块,将压缩维度改成膨胀维度,并将深度可分离卷积引入其中。
这个新的残差模块被作者称为「带有线性瓶颈的反转残差」(Inverted residual with linear bottleneck.)。
反转残差
整个残差模块的修改如上图所示。
- 把原本 ResNet 中压缩维度的 1x1 卷积层换成了扩展维度的 1x1 卷积层。
- 把原本 3x3 卷积层换成了 3x3 深度卷积,并用最后的 1x1 逐点卷积投影回较窄的通道数。
- 扩展层与深度卷积后使用 ReLU6;最后的投影层保持线性,残差相加后也不再接 ReLU。
图中也可以看到,步长为 1 且通道数相同时才加入捷径;步长为 2 的单元没有这条捷径。
扩张瓶颈(论文附录 A)
瓶颈变换涉及两个核心操作:线性变换和 ReLU 激活函数,这一过程可以表示为 :
-
线性变换 : 在此, 代表一个 n 维的向量,可以是代表图像中的像素点的向量或是任何其他类型的数据。 是一个 的矩阵,负责将原始的 n 维向量 变换到 m 维空间。这一步的目的是在不同的维度上重组输入数据的特征,可能是为了降维(如果 )、升维(如果 )、或是转换到另一个同维度的空间(如果 )。
-
非线性激活函数 ReLU: ReLU 函数,即修正线性单元(Rectified Linear Unit),作用于 的结果。这个函数的数学表示是 ,其中 可以是一个数字或一个向量。对于向量,ReLU 函数对每一元素独立作用。这一步引入了非线性特性,有助于增加模型的表达能力,因为线性模型无法捕捉到复杂的数据结构和模式。
-
第二层线性变换 A: 经过 ReLU 激活后的结果再次被一个 的矩阵 变换。这一步可以进一步调整特征,使其适合于后续的神经网络层或最终的输出要求。
在分析瓶颈变换的效果时,首先要考虑 m(输出维度)和 n(输入维度)的关系:
- 当 m ≤ n 时:此类变换可能在保持非线性的同时,会有信息损失。因为当输出维度小于或等于输入维度时,一些输入信息在经过转换后无法完全恢复。
- 当 n < m 时:这种变换不仅能表达强烈的非线性,而且在论文的矩阵与初始化假设下, 有较高概率保留足够信息以恢复原始输入;并非只要扩张维度就一定可逆。
最后,作者指出扩展层的瓶颈结构不仅能防止流形崩塌(即信息丧失),还能帮助网络表示更复杂的函数。
模型架构
最后就是整个模型的架构。相比于 MobileNetV1,MobileNetV2 在通道数与步长允许时加入残差连接。
以下还有一点篇幅,我们直接来实现一下吧。
import torch.nn as nn
class InvertResidual(nn.Module):
def __init__(self, inp, oup, stride, expand_ratio):
super(InvertResidual, self).__init__()
self.stride = stride
self.is_shortcut = stride == 1 and inp == oup
hidden_dim = int(inp * expand_ratio)
layers = []
if expand_ratio != 1:
layers.extend([
nn.Conv2d(inp, hidden_dim, 1, 1, 0, bias=False),
nn.BatchNorm2d(hidden_dim),
nn.ReLU6(),
])
layers.extend([
# dw
nn.Conv2d(hidden_dim, hidden_dim, 3, stride, 1, groups=hidden_dim, bias=False),
nn.BatchNorm2d(hidden_dim),
nn.ReLU6(),
# pw-linear
nn.Conv2d(hidden_dim, oup, 1, 1, 0, bias=False),
nn.BatchNorm2d(oup),
])
self.conv = nn.Sequential(*layers)
def forward(self, x):
if self.is_shortcut:
return x + self.conv(x)
else:
return self.conv(x)
做完模块,再来就是把模型串起来。
先参考一下论文的配置:
输入图片大小为 224x224,输出类别数为 1000......
呃,这里先不处理这些参数;我们只实现特征提取主体。
论文中有提到需要缩放模型,因此我们需要有个可以缩放模型宽度的参数 width_mult。
这里我们撇开最后的输出层,只实现模型的主体部分,也就是特征提取部分。
import torch.nn as nn
class MobileNetV2(nn.Module):
def __init__(self, width_mult=1.):
super(MobileNetV2, self).__init__()
# setting of inverted residual blocks
self.settings = [
# t, c, n, s
[1, 16, 1, 1],
[6, 24, 2, 2],
[6, 32, 3, 2],
[6, 64, 4, 2],
[6, 96, 3, 1],
[6, 160, 3, 2],
[6, 320, 1, 1],
]
# building first layer
input_channel = int(32 * width_mult)
self.first_layer = nn.Sequential(
nn.Conv2d(3, input_channel, 3, 2, 1, bias=False),
nn.BatchNorm2d(input_channel),
nn.ReLU6()
)
# building inverted residual blocks
layers = []
for t, c, n, s in self.settings:
output_channel = int(c * width_mult)
for i in range(n):
layers.append(
InvertResidual(
input_channel,
output_channel,
stride=s if i == 0 else 1,
expand_ratio=t
)
)
input_channel = output_channel
self.layers = nn.Sequential(*layers)
# building last several layers
last_channel = int(1280 * width_mult) if width_mult > 1.0 else 1280
self.last_layer = nn.Sequential(
nn.Conv2d(input_channel, last_channel, 1, 1, 0, bias=False),
nn.BatchNorm2d(last_channel),
nn.ReLU6()
)
def forward(self, x):
x = self.first_layer(x)
x = self.layers(x)
x = self.last_layer(x)
return x
讨论
图像分类性能
从上表可以看到,MobileNetV2 在 ImageNet 上的表现比 MobileNetV1 有所提升。
在乘加运算量从 575M 降至 300M 的同时,MobileNetV2 的 top-1 准确率比 MobileNetV1 高了 1.4 个百分点;表中的 Pixel 1 单核心推论时间也从 113 ms 降至 75 ms。
- 在约 300M 乘加运算的量级上,MobileNetV2 的 top-1 准确率为 72.0%,高于表中 ShuffleNet 1.5× 的 71.5%;表中没有 ShuffleNet 的 CPU 时间。
- 在约 600M 乘加运算的量级上,MobileNetV2 1.4× 的 top-1 准确率为 74.7%,高于 NASNet-A 的 74.0%;表中的 Pixel 1 单核心推论时间分别为 143 ms 与 183 ms。
结论
在这篇研究中,作者展示了 MobileNetV2 如何应对移动设备对准确率和低计算量的需求。
线性瓶颈层和反转残差模块的使用,允许模型在保持轻量级的同时,有效地管理信息流,减少信息在传递过程中的损失。
这种设计理念不仅提高了模型对输入数据的表达能力,也提升了在移动设备上的性能表现。
未来的工作将继续探索这一架构的潜力,寻求在保持模型轻量化的同时,进一步提升性能和泛化能力。