返回论文笔记资料库
arXiv 2019ICCV 2019轻量模型论文笔记

MobileNet-V3

定制化搜索架构

原始论文

Searching for MobileNetV3

论文作者

Andrew Howard · Mark Sandler · Grace Chu …

查看全部 12 位作者

Andrew Howard · Mark Sandler · Grace Chu · Liang-Chieh Chen · Bo Chen · Mingxing Tan · Weijun Wang · Yukun Zhu · Ruoming Pang · Vijay Vasudevan · Quoc V. Le · Hartwig Adam

发表版本
ICCV 2019会议
arXiv 首次提交
arXiv:1905.02244
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{lightweightmobilenetv32019,
  title = {{Searching for MobileNetV3}},
  author = {Andrew Howard and Mark Sandler and Grace Chu and Liang-Chieh Chen and Bo Chen and Mingxing Tan and Weijun Wang and Yukun Zhu and Ruoming Pang and Vijay Vasudevan and Quoc V. Le and Hartwig Adam},
  year = {2019},
  eprint = {1905.02244},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1905.02244}
}
本页内容

前些日子读 SENet,几乎让人以为它就要提出 MobileNet-V3 了!

可惜在最后时刻点到即止,只留下了论文的一个小段落。

Google 团队显然也想继续推进 MobileNet 的发展,于是他们开始了一场关于 MobileNet-V3 的探索之旅。

定义问题

其实也没什么问题。

就是作者们想要找到一个更好的 MobileNet。

于是他们想了两个方向:

  1. 使用网络架构搜索技术:也就是 NAS(神经网络架构搜索)。
  2. 使用 NetAdapt 算法:用来针对手机 CPU 进行调整。

解决问题

MobileNet-V2 模块

MobileNet-V3 模块

对比上下两张架构图,你能看出来 MobileNet-V3 的改进吗?

其中一个差别是:在扩展后的深度卷积之后,加入 Squeeze-and-Excitation 模块,对较宽的通道表示加权。

在约一年前提出的论文 MnasNet 中,已经在 MobileNet-V2 的基础上加入了 Squeeze-and-Excitation 模块。

在 MobileNet-V3 中,这个模块进一步将较难在手机上高效计算的 Sigmoid 换成 Hard-Sigmoid;部分卷积层也改用 Hard-Swish,但并非每一层都使用这两种函数。

网络架构搜索

新的模块已经准备好了,接下来的问题就是:怎么叠呢?

这一个部分沿用了 MnasNet 的工作方法,使用基于 RNN 的控制器来搜索网络架构。较大的模型直接以 MnasNet-A1 为起点;较小的模型则调整延迟奖励权重(−0.07-0.07 改为 −0.15-0.15),重新搜索起始架构。

接着用 NetAdapt 逐层调整通道数,再进一步优化架构。下图取自 NetAdapt 原论文,图中的延迟与能耗数字不是 MobileNet-V3 的实验结果。

网络结尾变更

基于 MobileNetV2 的反向瓶颈结构和变体的模型使用 1x1 卷积作为最后一层,以便扩展到更高维度的特征空间。也就是上图中 Original Last Stage 内的 1280 维度的部分。

为了拥有丰富的预测特征,这一层很重要,但这是以额外延迟为代价的。

为了减少延迟并保留特征,作者将这一层移动到全局平均池化「之后」,也就是上图中 Efficient Last Stage 的样子。

原本计算时采用 7x7 的分辨率,经过调整后,就是在 1x1 的分辨率上进行计算。作者也因此移除了前一个瓶颈单元中不再需要的投影与深度卷积;这组尾端修改在论文中减少约 3000 万次乘加运算与 7 ms 延迟,准确率几乎不变。

缩减初始滤波器

作者观察到初始滤波器常有互为「镜像」的情形,因此尝试缩减这层的通道数。

作者将初始滤波器从 32 减少到 16,并选用 hard-swish 激活函数;实验中准确率维持不变,延迟减少约 2 ms,乘加运算减少约 1000 万次。

非线性激活函数

作者在论文中大量采用了 hard-swish 和 hard-sigmoid 这两种激活函数。

这里简单看一下这些激活函数的差异:

  1. ReLU (Rectified Linear Unit)

    • 定义:f(x)=max⁡(0,x)f(x) = \max(0, x)
    • 特点:当输入 xx 为正数时,输出就是 xx;当输入 xx 为负数时,输出为 0。
    • 用途:由于其计算简单和非饱和性质,ReLU 在许多深度学习模型中被广泛使用。
  2. Swish

    • 定义:f(x)=x⋅σ(x)f(x) = x \cdot \sigma(x),其中 σ(x)\sigma(x) 是 Sigmoid 函数 σ(x)=11+e−x\sigma(x) = \frac{1}{1 + e^{-x}}。
    • 特点:Swish 函数是自门控的激活函数,它结合了线性和非线性特性。
    • 用途:在某些深度学习任务中,相较于 ReLU 和其他激活函数,Swish 显示了更好的性能。
  3. Hard-Swish

    • 定义:f(x)=x⋅relu6(x+3)/6f(x) = x \cdot \text{relu6}(x+3)/6,其中 relu6(x)=min⁡(max⁡(0,x),6)\text{relu6}(x) = \min(\max(0,x), 6)。
    • 特点:Hard-Swish 是 Swish 函数的一种分段近似;论文使用优化后的实现来降低手机上的计算延迟。
    • 用途:常用于需要高效计算的应用场景,如移动设备或边缘设备上的神经网络模型。
  4. Sigmoid

    • 定义:f(x)=11+e−xf(x) = \frac{1}{1 + e^{-x}}
    • 特点:输出范围在 0 到 1 之间,常用于将输出压缩到一个限定范围内。
    • 用途:由于其良好的概率解释,经常用于二分类问题的最后输出层。
  5. Hard-Sigmoid

    • 定义:f(x)=relu6(x+3)/6f(x) = \text{relu6}(x+3)/6
    • 特点:这是 Sigmoid 函数的一种简化版,其计算速度更快,适合于执行效率要求高的场合。
    • 用途:与 Sigmoid 类似,但更常用于需要高效计算的模型中。

网络架构(大)

经过了上面的规划,通过网络架构搜索、逐层调整与手动修改,得到 MobileNetV3-Large。

下表的读法,大部分和 MobileNet-V2 一样,新的地方是:

  • SE:表示是否使用了 Squeeze-and-Excitation 模块。
  • NL:该栏表示使用哪一种非线性激活函数,取值为 HS 或 RE。
  • HS:NL 栏中的取值,表示使用 hard-swish 激活函数。
  • RE:NL 栏中的取值,表示使用 ReLU 激活函数。
  • NBN:表示没有使用 Batch Normalization。

网络架构(小)

针对小型模型,作者们重新搜索起始架构,再以相同流程调整出 MobileNetV3-Small。

讨论

ImageNet 实验结果

图中横轴是 Pixel 1 单核心延迟,纵轴是 ImageNet top-1 准确率。在图示的模型设定与延迟范围内,MobileNetV3-Large 与 Small 都提供了比图中的 MnasNet、ProxylessNAS 和 MobileNetV2 对照点更好的取舍。

移动设备评估

作者在上表中报告了不同 Pixel 手机上的浮点性能。

上表中 P-1 表示 Pixel 1,P-2 表示 Pixel 2,P-3 表示 Pixel 3;三栏是浮点模型以单一大核心、batch size 1 测得的推论延迟,单位为 ms,数值越低越快。例如 V3-Large 1.0 在 Pixel 1 为 51 ms、top-1 准确率 75.2%,相较 V2 1.0 的 64 ms、72.0%。

优化纪录

上图展示了作者们在本论文中的准确率与延迟取舍。

从 MnasNet 出发,加入 SE 与 h-swish 的点提高了准确率;NetAdapt 与精简尾端则主要把延迟往左推。图中的点呈现各项修改的影响,并非每一步都同时提升准确率与速度。

结论

移动设备的市场很大,算力有限,因此需要更「定制化」的模型。

这篇论文展示了如何通过网络架构搜索和 NetAdapt 算法,在 Pixel 手机上实现了更好的性能。

未来或许能够拓展到 Pixel、Apple、Samsung 各种不同手机上的统一架构。

不管是对手机使用者,还是对我们这种模型开发者,这都是一个好消息。