返回论文笔记资料库
arXiv 2023ICCV 2023重参数化论文笔记

FastViT

重参数化的 ViT 试验

原始论文

FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization

论文作者

Pavan Kumar Anasosalu Vasu · James Gabriel · Jeff Zhu · Oncel Tuzel · Anurag Ranjan

发表版本
ICCV 2023会议
arXiv 首次提交
arXiv:2303.14189
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{reparameterizationfastvit2023,
  title = {{FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization}},
  author = {Pavan Kumar Anasosalu Vasu and James Gabriel and Jeff Zhu and Oncel Tuzel and Anurag Ranjan},
  year = {2023},
  eprint = {2303.14189},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2303.14189}
}
本页内容

苹果公司在稍早提出了 MobileOne 之后,继续探索模型重参数的更多可能性。

上次是对 MobileNet 架构动手,这次轮到 ViT 了。

定义问题

对于计算机视觉领域中的 Transformer 模型,已经在过去几年间定调了几个设计方向。

首先我们会分层几个层级,对应视觉任务的多尺度的分辨率需求,这个概念来自于 PVT 和 Swin Transformer:

接着我们会设计一个 Token Mixer 区块搭配一个 FFN 区块,组成一个基本模块,这个概念来自于 MetaFormer:

本篇论文的作者在提出 MobileOne 之后,把目光转向了这个设计架构。

有没有机会也把这个 Vision Transformer 系列的模型也重参数化呢?

解决问题

模型架构

FastViT 架构包含四个不同的阶段,每个阶段在不同的尺度上运行。

  • RepMixer

    RepMixer 基于 ConvMixer 引入的卷积混合概念,其混合块定义如下:

    Y=BN(σ(DWConv(X)))+XY = \text{BN}(\sigma(\text{DWConv}(X))) + X

    其中σ\sigma 代表非线性激活函数,BN 表示批量归一化(Batch Normalization),DWConv 为深度卷积层。FastViT 通过重新排列操作并移除非线性函数进行简化:

    Y=DWConv(BN(X))+XY = \text{DWConv}(\text{BN}(X)) + X

    这样的设计主要好处是在推理时可以将 BatchNorm 与残差相加折入等效权重,成为单一深度卷积层:

    Y=DWConv(X)Y = \text{DWConv}(X)

    这种重参数化移除混合器的跳跃连接,降低内存访问与延迟;论文的相同设置比较中,RepMixer 比 PoolFormer 的 PoolMixer 更快。

  • 位置编码

    FastViT 采用条件位置编码(参考文献如下列),这些编码根据输入 token 的局部邻域动态生成。这些编码通过深度卷积运算产生,并添加到 patch 嵌入中。由于该过程中缺乏非线性操作,这个模块可以有效地进行重参数化。

  • 深度可分离卷积

    延续 MobileOne 的设计理念,FastViT 将密集 k×kk \times k 卷积替换为深度可分离卷积,即 k×kk \times k 深度卷积和 1×11 \times 1 点卷积,并搭配重参数化的训练策略。

    这种方法在不显著增加训练时间的情况下提升了模型容量。例如,FastViT-SA12 和 FastViT-SA36 的训练时间仅分别增加了 6.7% 和 4.4%。

  • 大核卷积

    为了解决 RepMixer 相对于自注意力 Token Mixer 的局部感受野限制,FastViT 在 FFN 和 patch 嵌入层中整合了深度大核卷积。

    上表的大核卷积消融中,V1→V4 的 top-1 由 78.9% 升至 79.8%,V2→V5 由 79.9% 升至 80.6%,移动设备延迟各增加 0.1 毫秒。这张表比较准确率与延迟,没有单独测试稳健性。

模型配置

FastViT 提供了多种变体,以满足不同的计算需求和应用场景,如上表。这些变体在嵌入维度、MLP 扩展比率和包含的模块类型上有所不同。

具体细节如下:

  • 嵌入维度较小的模型,例如 [64, 128, 256, 512],前缀为“S”。
  • 包含自注意力(Self-Attention)层的模型,前缀为“SA”。
  • 嵌入维度较大的模型,例如 [76, 152, 304, 608],前缀为“M”。
  • MLP 扩展比率小于 4 的模型,前缀为“T”。

表中的数字表示总共的 FastViT 模块数量,FLOP 计数是通过 fvcore 库计算的。

训练与评估策略

作者使用 ImageNet-1K 数据集进行实验,该数据集包含约 130 万张训练图像和 5 万张验证图像。

这个模型的训练方法,具体如下:

  • 优化器:AdamW
  • 训练周期:300 个
  • 权重衰减:0.05
  • 峰值学习率:10−310^{-3}
  • 总批量大小:1024
  • 预热周期:5
  • 学习率衰减:余弦退火策略
  • 实现工具:timm 库
  • 训练硬件:8 个 NVIDIA A100 GPU

对于 384×384 的 FastViT-SA36 与 MA36,作者再进行 30 个周期的微调,具体设置如下:

  • 权重衰减:10−810^{-8}
  • 学习率:5×10−55 \times 10^{-5}
  • 批量大小:512

作者将 FastViT 与其他在 ImageNet-1K 数据集上最新的模型进行了比较,为了公平比较,作者对官方实现的 ConvNeXt 进行了修改,避免昂贵的重塑操作。此外,由于两个库对可变形卷积的支持较差,在这份论文中无法可靠地导出 LITv2。

讨论

ImageNet 上的性能

完整的比较结果如上表:

  • FastViT-MA36:

    • Top-1 精度达到 84.9%
    • 在 384×384 设置下与 LITv2-B 比较,参数为 42.7M 对 87.0M,约少 51%
    • 消耗的 FLOPs 少 55.4%
  • FastViT-S12:

    • 在 iPhone 12 Pro 上比 MobileOne-S4 快 26.3%
    • GPU 延迟为 2.2 毫秒,MobileOne-S4 为 2.6 毫秒;表中数字约快 15%
  • FastViT-MA36:

    • Top-1 精度为 83.9%
    • 在 256×256 设置下,比 iPhone 12 Pro 上优化的 ConvNeXt-B 模型快 1.9 倍
    • 在 GPU 上快 2.0 倍
  • FastViT-MA36:

    • Top-1 精度为 84.9%
    • 在 384×384 设置下,GPU 延迟为 16.5 毫秒,与 NFNet-F1 的 16.9 毫秒接近
    • 参数为 42.7M,NFNet-F1 为 132.6M
    • 使用的 FLOPs 减少 50.1%
    • 在移动设备上的速度提高了 42.8%

结论

FastViT 通过结构重参数化和其他改进措施,实现了高性能和低延迟的平衡,且各种应用场景中均展现出稳健的性能。