Searching for MobileNetV3
- 发表版本
- ICCV 2019会议
- arXiv 首次提交
- arXiv:1905.02244
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{lightweightmobilenetv32019,
title = {{Searching for MobileNetV3}},
author = {Andrew Howard and Mark Sandler and Grace Chu and Liang-Chieh Chen and Bo Chen and Mingxing Tan and Weijun Wang and Yukun Zhu and Ruoming Pang and Vijay Vasudevan and Quoc V. Le and Hartwig Adam},
year = {2019},
eprint = {1905.02244},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1905.02244}
}
前些日子读 SENet,几乎让人以为它就要提出 MobileNet-V3 了!
可惜在最后时刻点到即止,只留下了论文的一个小段落。
Google 团队显然也想继续推进 MobileNet 的发展,于是他们开始了一场关于 MobileNet-V3 的探索之旅。
定义问题
其实也没什么问题。
就是作者们想要找到一个更好的 MobileNet。
于是他们想了两个方向:
- 使用网络架构搜索技术:也就是 NAS(神经网络架构搜索)。
- 使用 NetAdapt 算法:用来针对手机 CPU 进行调整。
解决问题
MobileNet-V2 模块
MobileNet-V3 模块
对比上下两张架构图,你能看出来 MobileNet-V3 的改进吗?
其中一个差别是:在扩展后的深度卷积之后,加入 Squeeze-and-Excitation 模块,对较宽的通道表示加权。
在约一年前提出的论文 MnasNet 中,已经在 MobileNet-V2 的基础上加入了 Squeeze-and-Excitation 模块。
在 MobileNet-V3 中,这个模块进一步将较难在手机上高效计算的 Sigmoid 换成 Hard-Sigmoid;部分卷积层也改用 Hard-Swish,但并非每一层都使用这两种函数。
网络架构搜索
新的模块已经准备好了,接下来的问题就是:怎么叠呢?
这一个部分沿用了 MnasNet 的工作方法,使用基于 RNN 的控制器来搜索网络架构。较大的模型直接以 MnasNet-A1 为起点;较小的模型则调整延迟奖励权重( 改为 ),重新搜索起始架构。
接着用 NetAdapt 逐层调整通道数,再进一步优化架构。下图取自 NetAdapt 原论文,图中的延迟与能耗数字不是 MobileNet-V3 的实验结果。
网络结尾变更
基于 MobileNetV2 的反向瓶颈结构和变体的模型使用 1x1 卷积作为最后一层,以便扩展到更高维度的特征空间。也就是上图中 Original Last Stage 内的 1280 维度的部分。
为了拥有丰富的预测特征,这一层很重要,但这是以额外延迟为代价的。
为了减少延迟并保留特征,作者将这一层移动到全局平均池化「之后」,也就是上图中 Efficient Last Stage 的样子。
原本计算时采用 7x7 的分辨率,经过调整后,就是在 1x1 的分辨率上进行计算。作者也因此移除了前一个瓶颈单元中不再需要的投影与深度卷积;这组尾端修改在论文中减少约 3000 万次乘加运算与 7 ms 延迟,准确率几乎不变。
缩减初始滤波器
作者观察到初始滤波器常有互为「镜像」的情形,因此尝试缩减这层的通道数。
作者将初始滤波器从 32 减少到 16,并选用 hard-swish 激活函数;实验中准确率维持不变,延迟减少约 2 ms,乘加运算减少约 1000 万次。
非线性激活函数
作者在论文中大量采用了 hard-swish 和 hard-sigmoid 这两种激活函数。
这里简单看一下这些激活函数的差异:
-
ReLU (Rectified Linear Unit)
- 定义:
- 特点:当输入 为正数时,输出就是 ;当输入 为负数时,输出为 0。
- 用途:由于其计算简单和非饱和性质,ReLU 在许多深度学习模型中被广泛使用。
-
Swish
- 定义:,其中 是 Sigmoid 函数 。
- 特点:Swish 函数是自门控的激活函数,它结合了线性和非线性特性。
- 用途:在某些深度学习任务中,相较于 ReLU 和其他激活函数,Swish 显示了更好的性能。
-
Hard-Swish
- 定义:,其中 。
- 特点:Hard-Swish 是 Swish 函数的一种分段近似;论文使用优化后的实现来降低手机上的计算延迟。
- 用途:常用于需要高效计算的应用场景,如移动设备或边缘设备上的神经网络模型。
-
Sigmoid
- 定义:
- 特点:输出范围在 0 到 1 之间,常用于将输出压缩到一个限定范围内。
- 用途:由于其良好的概率解释,经常用于二分类问题的最后输出层。
-
Hard-Sigmoid
- 定义:
- 特点:这是 Sigmoid 函数的一种简化版,其计算速度更快,适合于执行效率要求高的场合。
- 用途:与 Sigmoid 类似,但更常用于需要高效计算的模型中。
网络架构(大)
经过了上面的规划,通过网络架构搜索、逐层调整与手动修改,得到 MobileNetV3-Large。
下表的读法,大部分和 MobileNet-V2 一样,新的地方是:
- SE:表示是否使用了
Squeeze-and-Excitation模块。 - NL:该栏表示使用哪一种非线性激活函数,取值为 HS 或 RE。
- HS:NL 栏中的取值,表示使用
hard-swish激活函数。 - RE:NL 栏中的取值,表示使用
ReLU激活函数。 - NBN:表示没有使用
Batch Normalization。
网络架构(小)
针对小型模型,作者们重新搜索起始架构,再以相同流程调整出 MobileNetV3-Small。
讨论
ImageNet 实验结果
图中横轴是 Pixel 1 单核心延迟,纵轴是 ImageNet top-1 准确率。在图示的模型设定与延迟范围内,MobileNetV3-Large 与 Small 都提供了比图中的 MnasNet、ProxylessNAS 和 MobileNetV2 对照点更好的取舍。
移动设备评估
作者在上表中报告了不同 Pixel 手机上的浮点性能。
上表中 P-1 表示 Pixel 1,P-2 表示 Pixel 2,P-3 表示 Pixel 3;三栏是浮点模型以单一大核心、batch size 1 测得的推论延迟,单位为 ms,数值越低越快。例如 V3-Large 1.0 在 Pixel 1 为 51 ms、top-1 准确率 75.2%,相较 V2 1.0 的 64 ms、72.0%。
优化纪录
上图展示了作者们在本论文中的准确率与延迟取舍。
从 MnasNet 出发,加入 SE 与 h-swish 的点提高了准确率;NetAdapt 与精简尾端则主要把延迟往左推。图中的点呈现各项修改的影响,并非每一步都同时提升准确率与速度。
结论
移动设备的市场很大,算力有限,因此需要更「定制化」的模型。
这篇论文展示了如何通过网络架构搜索和 NetAdapt 算法,在 Pixel 手机上实现了更好的性能。
未来或许能够拓展到 Pixel、Apple、Samsung 各种不同手机上的统一架构。
不管是对手机使用者,还是对我们这种模型开发者,这都是一个好消息。