返回论文笔记资料库
arXiv 2021ICLR 2022轻量模型论文笔记

MobileViT

变更设计卷积核

原始论文

MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer

论文作者

Sachin Mehta · Mohammad Rastegari

发表版本
ICLR 2022会议
arXiv 首次提交
arXiv:2110.02178
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{lightweightmobilevit2021,
  title = {{MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer}},
  author = {Sachin Mehta and Mohammad Rastegari},
  year = {2021},
  eprint = {2110.02178},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2110.02178}
}
本页内容

在 Microsoft 提出了 Mobile-Former 不久,也就差不多一个月的时间。

Apple 公司也针对这个问题提出了自己的解决方案:MobileViT。

定义问题

最根本的问题还是 ViT 在移动设备上的性能不佳。

和 Mobile-Former 的并行连接架构不同,MobileViT 保留局部卷积,并在展开后的特征上使用自注意力进行跨区域的信息交换,以兼顾局部特征和全局感受野。

想看懂这篇论文的操作,我们得先回顾一下卷积操作。

解决问题

卷积回顾

为了用矩阵乘法实现卷积,我们可以将其看成「unfold」、矩阵乘法和「fold」三个步骤。这是理解论文设计的一个切入点。

  • 1. Unfold 操作

    Unfold,也叫「im2col」操作,主要是将输入张量(例如一个图片)展开成一个适合矩阵乘法的形状。

    举个例子:假设我们有一个 3×33 \times 3 的输入矩阵 XX,其值如下:

    X=[123456789]X = \left[\begin{matrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9 \end{matrix} \right]

    我们有一个 2×22 \times 2 的卷积核 KK,其值如下:

    K=[100−1]K = \left[\begin{matrix} 1 & 0 \\ 0 & -1 \end{matrix} \right]

    在传统卷积中,卷积核会在输入矩阵上滑动,逐一计算卷积值,但这里我们使用 unfold 将这个过程转换为矩阵乘法。使用 2×22 \times 2 的滑动视窗,我们可以从矩阵 XX 中展开以下四个 2×22\times 2 的区域(视窗):

    [1245],[2356],[4578],[5689]\left[\begin{matrix} 1 & 2 \\ 4 & 5 \end{matrix}\right], \left[\begin{matrix} 2 & 3 \\ 5 & 6 \end{matrix}\right], \left[\begin{matrix} 4 & 5 \\ 7 & 8 \end{matrix}\right], \left[\begin{matrix} 5 & 6 \\ 8 & 9 \end{matrix}\right]

    接下来,我们将这些视窗展开成行向量,形成一个矩阵:

    Xunfold=[1245235645785689]X_{\text{unfold}} = \left[\begin{matrix} 1 & 2 & 4 & 5 \\ 2 & 3 & 5 & 6 \\ 4 & 5 & 7 & 8 \\ 5 & 6 & 8 & 9 \end{matrix}\right]
  • 2. 矩阵乘法

    现在,我们可以将展开后的输入矩阵 XunfoldX_{\text{unfold}} 与卷积核 KK 展开后的行向量(也就是把 KK 平铺成一个一维向量)进行矩阵乘法:

    Kflat=[100−1]K_{\text{flat}} = \left[\begin{matrix} 1 & 0 & 0 & -1 \end{matrix}\right] Yflat=Xunfold×KflatTY_{\text{flat}} = X_{\text{unfold}} \times K_{\text{flat}}^T

    这里的 KflatK_{\text{flat}} 是 1×41 \times 4 的向量, XunfoldX_{\text{unfold}} 是 4×44 \times 4 的矩阵,两者相乘后会得到一个 4×14 \times 1 的输出向量:

    Yflat=[1⋅1+2⋅0+4⋅0+5⋅(−1)2⋅1+3⋅0+5⋅0+6⋅(−1)4⋅1+5⋅0+7⋅0+8⋅(−1)5⋅1+6⋅0+8⋅0+9⋅(−1)]=[−4−4−4−4]Y_{\text{flat}} = \left[\begin{matrix} 1 \cdot 1 + 2 \cdot 0 + 4 \cdot 0 + 5 \cdot (-1) \\ 2 \cdot 1 + 3 \cdot 0 + 5 \cdot 0 + 6 \cdot (-1) \\ 4 \cdot 1 + 5 \cdot 0 + 7 \cdot 0 + 8 \cdot (-1) \\ 5 \cdot 1 + 6 \cdot 0 + 8 \cdot 0 + 9 \cdot (-1) \end{matrix}\right] = \left[\begin{matrix} -4 \\ -4 \\ -4 \\ -4 \end{matrix}\right]
  • 3. Fold 操作

    这里的「Fold」是把矩阵乘法的结果排回输出的形状。在我们这个例子中,这个过程会把上面得到的向量转换回一个 2×22 \times 2 的输出矩阵:

    Y=[−4−4−4−4]Y = \left[\begin{matrix} -4 & -4 \\ -4 & -4 \end{matrix}\right]

通过「unfold」、矩阵乘法和「fold」,我们可以这样理解卷积的计算。上面的滑动视窗彼此重叠;接下来 MobileViT block 展开的则是不重叠的小区块,两者不能直接视为相同操作。

模型架构

看完前一段的卷积介绍之后,我们可以正式地来看一下这篇论文的架构。

本来上面这张图看起来很复杂,有了前面的铺陈,现在就变得很简单了。

MobileViT block 先用 n×nn \times n 卷积提取局部信息,再用 1×11 \times 1 卷积投影通道;图中的卷积并没有被移除。接著,它将特征图展开成不重叠的 h×wh \times w 小区块,让 Transformer 对各小区块中相同位置的像素,跨小区块进行自注意力运算,最后再 fold 回原来的空间排列。因为前面的卷积已混合邻近像素信息,这样每个输出位置就能间接取得全图的信息。这正是作者将 Transformer 视为卷积式处理的意思。

Fold 回去之后,作者再以 1×11 \times 1 卷积投影通道,与原始输入串接,最后用 n×nn \times n 卷积融合特征。

想当然,自注意力运算有其成本,所以作者只在几个 stage 使用 MobileViT block,如下图:

在网络后面三个 stage,作者让 MobileViT block 与 MobileNetV2(图中的 MV2)block 交错配置;MV2 block 主要负责下采样。这样既保留卷积的局部特性,也让较深层特征取得全局信息,并以较少参数建立模型。

实验配置

作者在 ImageNet-1k 数据集上从头开始训练 MobileViT 模型。

该数据集包含 128 万张训练影像和 5 万张验证影像。训练过程使用 PyTorch,在 8 个 NVIDIA GPU 上进行了 300 个周期,优化器选用 AdamW,损失函数为带有平滑参数 0.1 的标签平滑交叉熵损失。有效批量大小为 1,024 张图像,并使用多尺度采样器。

学习率在前 3,000 次迭代中从 0.0002 缓慢增至 0.002,之后按照余弦衰减规则降至 0.0002。L2 权重衰减设为 0.01。数据增强技术包括随机调整大小的裁剪和水平翻转。模型性能使用单次裁剪的 top-1 精度来评估,推理时使用模型权重的指数移动平均值。

讨论

在 ImageNet 上的性能

  • MobileViT 优于轻量级 CNN:

    • 在不同网络规模上,MobileViT 的性能超越了多种轻量级 CNN 模型,包括 MobileNetv1、MobileNetv2、ShuffleNetv2、ESPNetv2 和 MobileNetv3。
    • 例如,在模型大小约 250 万个参数时,MobileViT 在 ImageNet-1k 验证集上的性能:
      • 比 MobileNetv2 高 5.0 个百分点
      • 比 ShuffleNetv2 高 5.4 个百分点
      • 比 MobileNetv3 高 7.4 个百分点。
  • MobileViT 优于重量级 CNN:

    • MobileViT 的性能也超越了重量级 CNN 模型,例如 ResNet、DenseNet、ResNet-SE 和 EfficientNet。
    • 例如,MobileViT-S(560 万参数、78.4%)与 EfficientNet-B0(530 万参数、76.3%)相比,top-1 准确率高出 2.1 个百分点。

在上图中,红色的 Advanced 表示使用了进阶的增强技术,而绿色的 Basic 则表示只使用了基本的增强技术。所谓进阶的增强技术包括 Mixup、CutMix、RandAugment 等技术。

  • 与 ViT 变体的比较:

    • MobileViT 与从头开始训练的 ViT 变体进行了比较,这些 ViT 变体包括 DeIT、T2T、PVT、CAIT、DeepViT、CeiT、CrossViT、LocalViT、PiT、ConViT、ViL、BotNet 和 Mobile-former。
    • 图中多数 ViT 变体使用进阶增强技术;MobileViT 仅使用基本增强技术,在部分比较中仍有较好性能。
      • 例如,MobileViT-XS(230 万参数、74.8%)相较于使用进阶增强的 DeiT(570 万参数、72.2%),参数量约为后者的 1/2.51/2.5,top-1 准确率高出 2.6 个百分点。

在本文的训练设定与比较中,MobileViT 显示出类似 CNN 的优势:使用基本增强技术也能取得有竞争力的结果,并可作为检测、分割等任务的骨干网络。

结论

虽然 MobileViT 在 ImageNet-1k 上的性能优于多种轻量级和重量级 CNN 模型,但在移动设备上的推理速度仍有待讨论。

作者在论文的最后指出,在所比较的模型和设备中,基于 ViT 的网络架构与 CNN 相比,推理速度有将近一个数量级的差距。这显然不是只优化 FLOPs 或参数数量就能解决的问题。

造成这种差异主要是由于两个原因:

  1. GPU 上的转换器有专用的 CUDA 内核,这些内核在 ViT 中开箱即用,以提高 GPU 上的可扩展性和效率。
  2. CNNs 受益于多种设备级优化,包括与卷积层的批量归一化融合。这些优化改善了延迟和内存存取。

因此,在这些设备上运行 ViT 相关模型仍有许多挑战。期待未来有更多硬件和软件优化能解决这个问题。