返回论文笔记资料库
arXiv 2021CVPR 2022轻量模型论文笔记

Mobile-Former

双向连通桥

原始论文

Mobile-Former: Bridging MobileNet and Transformer

论文作者

Yinpeng Chen · Xiyang Dai · Dongdong Chen …

查看全部 7 位作者

Yinpeng Chen · Xiyang Dai · Dongdong Chen · Mengchen Liu · Xiaoyi Dong · Lu Yuan · Zicheng Liu

发表版本
CVPR 2022会议
arXiv 首次提交
arXiv:2108.05895
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{lightweightmobileformer2021,
  title = {{Mobile-Former: Bridging MobileNet and Transformer}},
  author = {Yinpeng Chen and Xiyang Dai and Dongdong Chen and Mengchen Liu and Xiaoyi Dong and Lu Yuan and Zicheng Liu},
  year = {2021},
  eprint = {2108.05895},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2108.05895}
}
本页内容

为了让 ViT 可以在移动设备上动起来,研究者们可真是想尽了各种办法。

定义问题

也不是不能跑,但就是慢。

ViT 的架构在手机上的支持度不高,很难享受到硬件加速的好处。

本篇论文的作者想着:

  • 要不我们就在 MobileNet 的基础上加上「一点点」的 Transformer 的架构吧!

解决问题

模型架构

作者提出了一个双向连通桥架构,将 MobileNet 和 Transformer 用并联的方式连接在一起。

详细流程如下图,我们按照步骤来说明:

  1. 蓝色区块:输入图片经过 MobileNet 的特征提取层,得到特征图。
  2. 黄色区块:Transformer 分支以可学习的 token 为输入,通过跨注意力读取蓝色区块的影像特征。
    • 在这个步骤中,作者会预先准备一组可学习的 token,数量小于等于 6 个。
    • 将这些 token 视为查询的输入,并将特征图视为键值对。
  3. 绿色区块:经过 Cross-Att 之后,接着计算 Self-Att。
  4. 红色区块:以第一步骤的特征图作为查询,第三步骤的 token 作为键和值,通过跨注意力将全局信息送回特征图。
  5. 最后,第四步骤的输出会成为下一个 MobileNet block 的输入;同时,第三步骤的输出会成为下一个 Transformer block 的输入。

在双向桥接的跨注意力中,作者省略 Mobile 端的线性投影,以减少计算量:Mobile→Former 不投影特征图的键和值;Mobile←Former 不投影特征图的查询。Former 端的投影仍然保留。

其他细部设计像是 FFN 使用 2 作为膨胀比(原本为 4);将 Dynamic ReLU 的输入改成绿色区块的输出(原本是通过平均池化和 MLP 计算);使用 Post-LN 的方式来进行归一化等,这边我们就不再赘述。

架构参数

如下表,基于原本的 MobileNet-V3 架构,作者在第 2~5 阶段使用 Mobile-Former block,第 1 阶段仍是轻量瓶颈区块。

讨论

ImageNet 上的性能

作者在 ImageNet 数据集上进行影像分类实验。ImageNet 数据集包含 1000 个类别,共有 1,281,167 张训练影像与 50,000 张验证影像。

Mobile-Former 分类模型的训练影像分辨率设为 224×224。模型从头开始训练,使用 AdamW 优化器,训练 450 个 epoch,并采用余弦学习率衰减。批量大小为 1024。数据增强技术包含 Mixup、自动增强(AutoAugment)、以及随机擦除(Random Erasing)。针对不同复杂度的模型,使用了不同组合的初始学习率、权重衰减和 dropout。

上表显示了 Mobile-Former 与经典高效 CNN 的比较,这些 CNN 包括:MobileNetV3、EfficientNet、ShuffleNetV2 及其延伸版本 WeightNet。比较范围涵盖 26M 到 508M FLOP,并分为七组进行比较。

Mobile-Former 在大多数组别中,以更低的计算成本(FLOP)超越了高效 CNN,仅在约 150M FLOP 的组别中,Mobile-Former 的 FLOP 略高于 ShuffleNet/WeightNet,但其 Top-1 准确率显著更高(75.2% vs. 69.1%/72.4%)。


接着作者将 Mobile-Former 与其他视觉 Transformer 模型进行比较,如上表,包括:DeiT、T2T-ViT、PVT、ConViT、CoaT、ViTC、Swin。

表中变体均使用 224×224 的影像分辨率,且未使用教师网络进行蒸馏训练。Mobile-Former-294M 达到 77.9%,Mobile-Former-508M 达到 79.3%;在各自的比较组别中,两者都以较少的计算量取得较高准确率。作者将此归因于较少的 token 建模全局交互,以及 MobileNet 提取局部特征。

Mobile-Former(训练 450 个 epoch 且未进行蒸馏)甚至优于使用教师网络蒸馏且训练 1000 个 epoch 的 LeViT(准确率 77.9% vs. 76.6%,FLOP 为 294M vs. 305M)。


如上图,作者将 Mobile-Former 与更多的 CNN 模型(如 GhostNet)及视觉 Transformer 变体(如 Swin 和 DeiT)进行比较。

Swin 与 DeiT 的 FLOP 范围从 100M 到 2G,通过仔细减小网络的宽度与高度实现。Mobile-Former 明显超越了这些 CNN 和 ViT 变体,展示了将 MobileNet 与 Transformer 结合的平行设计的优势。尽管视觉 Transformer 在低 FLOP 范围内明显不如高效 CNN,但本研究证明通过适当的架构设计,Transformer 也能在低 FLOP 范围内发挥作用。

消融实验

那么,Mobile-Former 的哪些部分对性能影响最大呢?

作者使用训练 300 个 epoch 的 Mobile-Former-294M 进行消融实验,观察不同部分对性能的影响。

如上表实验结果显示:MobileNet 加入 Former 和桥接(Mobile→Former 与 Mobile←Former)增加了约 12% 的计算成本,Top-1 准确率比仅使用 Mobile 的基线提高了 2.6 个百分点。

此外,在 Mobile 子模块中使用 Dynamic ReLU 使 Top-1 准确率再提高 1.0 个百分点。动态 ReLU 中的参数由第一个全局 token 生成,这支持了 Mobile-Former 平行设计在这组消融中的效果。


上表展示了使用不同数量的全局 token 在 Former 中的 ImageNet 分类结果。这些 token 的维度为 192。

有趣的是,即便只使用一个全局 token 也能达到良好的表现(77.1% 的 Top-1 准确率)。相较于一个 token,使用 3 个和 6 个 token 时,准确率分别提高了 0.5 和 0.7 个百分点;增加到 9 个 token 则略降至 77.7%。这种全局 token 的紧凑性是 Mobile-Former 高效性的关键因素。

结论

Mobile-Former 通过将 MobileNet 和 Transformer 进行平行设计,实现了高效的视觉模型。

但作者也表示:在论文附录的延迟测试中,Mobile-Former 处理较大影像时比 MobileNetV3 快,但在较小影像上反而较慢。这组延迟比较是在单线程、batch size 1 的 Intel Xeon CPU 上测得。这个部分值得未来研究者进一步探讨。