FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization
- 发表版本
- ICCV 2023会议
- arXiv 首次提交
- arXiv:2303.14189
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{reparameterizationfastvit2023,
title = {{FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization}},
author = {Pavan Kumar Anasosalu Vasu and James Gabriel and Jeff Zhu and Oncel Tuzel and Anurag Ranjan},
year = {2023},
eprint = {2303.14189},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2303.14189}
}
苹果公司在稍早提出了 MobileOne 之后,继续探索模型重参数的更多可能性。
上次是对 MobileNet 架构动手,这次轮到 ViT 了。
定义问题
对于计算机视觉领域中的 Transformer 模型,已经在过去几年间定调了几个设计方向。
首先我们会分层几个层级,对应视觉任务的多尺度的分辨率需求,这个概念来自于 PVT 和 Swin Transformer:
接着我们会设计一个 Token Mixer 区块搭配一个 FFN 区块,组成一个基本模块,这个概念来自于 MetaFormer:
本篇论文的作者在提出 MobileOne 之后,把目光转向了这个设计架构。
有没有机会也把这个 Vision Transformer 系列的模型也重参数化呢?
解决问题
模型架构
FastViT 架构包含四个不同的阶段,每个阶段在不同的尺度上运行。
-
RepMixer
RepMixer 基于 ConvMixer 引入的卷积混合概念,其混合块定义如下:
其中 代表非线性激活函数,BN 表示批量归一化(Batch Normalization),DWConv 为深度卷积层。FastViT 通过重新排列操作并移除非线性函数进行简化:
这样的设计主要好处是在推理时可以将 BatchNorm 与残差相加折入等效权重,成为单一深度卷积层:
这种重参数化移除混合器的跳跃连接,降低内存访问与延迟;论文的相同设置比较中,RepMixer 比 PoolFormer 的 PoolMixer 更快。
-
位置编码
FastViT 采用条件位置编码(参考文献如下列),这些编码根据输入 token 的局部邻域动态生成。这些编码通过深度卷积运算产生,并添加到 patch 嵌入中。由于该过程中缺乏非线性操作,这个模块可以有效地进行重参数化。
-
深度可分离卷积
延续 MobileOne 的设计理念,FastViT 将密集 卷积替换为深度可分离卷积,即 深度卷积和 点卷积,并搭配重参数化的训练策略。
这种方法在不显著增加训练时间的情况下提升了模型容量。例如,FastViT-SA12 和 FastViT-SA36 的训练时间仅分别增加了 6.7% 和 4.4%。
-
大核卷积
为了解决 RepMixer 相对于自注意力 Token Mixer 的局部感受野限制,FastViT 在 FFN 和 patch 嵌入层中整合了深度大核卷积。
上表的大核卷积消融中,V1→V4 的 top-1 由 78.9% 升至 79.8%,V2→V5 由 79.9% 升至 80.6%,移动设备延迟各增加 0.1 毫秒。这张表比较准确率与延迟,没有单独测试稳健性。
模型配置
FastViT 提供了多种变体,以满足不同的计算需求和应用场景,如上表。这些变体在嵌入维度、MLP 扩展比率和包含的模块类型上有所不同。
具体细节如下:
- 嵌入维度较小的模型,例如 [64, 128, 256, 512],前缀为“S”。
- 包含自注意力(Self-Attention)层的模型,前缀为“SA”。
- 嵌入维度较大的模型,例如 [76, 152, 304, 608],前缀为“M”。
- MLP 扩展比率小于 4 的模型,前缀为“T”。
表中的数字表示总共的 FastViT 模块数量,FLOP 计数是通过 fvcore 库计算的。
训练与评估策略
作者使用 ImageNet-1K 数据集进行实验,该数据集包含约 130 万张训练图像和 5 万张验证图像。
这个模型的训练方法,具体如下:
- 优化器:AdamW
- 训练周期:300 个
- 权重衰减:0.05
- 峰值学习率:
- 总批量大小:1024
- 预热周期:5
- 学习率衰减:余弦退火策略
- 实现工具:timm 库
- 训练硬件:8 个 NVIDIA A100 GPU
对于 384×384 的 FastViT-SA36 与 MA36,作者再进行 30 个周期的微调,具体设置如下:
- 权重衰减:
- 学习率:
- 批量大小:512
作者将 FastViT 与其他在 ImageNet-1K 数据集上最新的模型进行了比较,为了公平比较,作者对官方实现的 ConvNeXt 进行了修改,避免昂贵的重塑操作。此外,由于两个库对可变形卷积的支持较差,在这份论文中无法可靠地导出 LITv2。
讨论
ImageNet 上的性能
完整的比较结果如上表:
-
FastViT-MA36:
- Top-1 精度达到 84.9%
- 在 384×384 设置下与 LITv2-B 比较,参数为 42.7M 对 87.0M,约少 51%
- 消耗的 FLOPs 少 55.4%
-
FastViT-S12:
- 在 iPhone 12 Pro 上比 MobileOne-S4 快 26.3%
- GPU 延迟为 2.2 毫秒,MobileOne-S4 为 2.6 毫秒;表中数字约快 15%
-
FastViT-MA36:
- Top-1 精度为 83.9%
- 在 256×256 设置下,比 iPhone 12 Pro 上优化的 ConvNeXt-B 模型快 1.9 倍
- 在 GPU 上快 2.0 倍
-
FastViT-MA36:
- Top-1 精度为 84.9%
- 在 384×384 设置下,GPU 延迟为 16.5 毫秒,与 NFNet-F1 的 16.9 毫秒接近
- 参数为 42.7M,NFNet-F1 为 132.6M
- 使用的 FLOPs 减少 50.1%
- 在移动设备上的速度提高了 42.8%
结论
FastViT 通过结构重参数化和其他改进措施,实现了高性能和低延迟的平衡,且各种应用场景中均展现出稳健的性能。