FlexiViT: One Model for All Patch Sizes
- 发表版本
- CVPR 2023会议
- arXiv 首次提交
- arXiv:2212.08013
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{visiontransformersflexivit2022,
title = {{FlexiViT: One Model for All Patch Sizes}},
author = {Lucas Beyer and Pavel Izmailov and Alexander Kolesnikov and Mathilde Caron and Simon Kornblith and Xiaohua Zhai and Matthias Minderer and Michael Tschannen and Ibrahim Alabdulmohsin and Filip Pavetic},
year = {2022},
eprint = {2212.08013},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2212.08013}
}
今天来看看 Google Research 的作品。
定义问题
Vision Transformer(ViT)的兴起,象征一种视觉表示方式的典范转移。
将图像切分为固定大小的 patch,再通过 self-attention 处理整体关系,而非依赖传统 CNN 的卷积滤波器。
可是这场革命背后的一个关键设计 Patch Size 却长期被视为固定的超参数:
为什么没有人挑战 Patch Size 的设计呢?
作者在这篇论文中指出了一个悖论:
- Patch size 可明显改变模型的运算成本与分类性能。
- Patch size 却无法在不重新训练模型的情况下进行调整。
所以,为了给 ViT 带来更高的资源适应能力与迁移潜力,我们是否有办法:
以「同一组参数」支持「多种 patch size」呢?
解决问题
看完这份算法实作,我们又看完一篇论文了!
我们逐行看看。
随机 patch size
1 model = ViT(...)
2 for batch in data:
3 ps = np.random.choice([8, 10, ..., 40, 48])
4 logits = model(batch["images"], (ps, ps))
5 # [...] backprop and optimize as usual
这五行,定义了 FlexiViT 最内核的训练行为:
- 第 3 行:每个 batch 开始前,随机选定一组 patch size
ps - 第 4 行:将这个尺寸传入模型,进行前向传播
- 第 5 行:标准反向传播,不需额外改动
这种随机 patch 训练(patch-wise randomization)的策略,让模型在训练过程中暴露于多种 token 长度、多种位置编码与不同运算负载的上下文,从而学会在跨尺寸条件下保持稳定预测能力。
模型内部动态重组
7 class ViT(nn.Module):
8 def __call__(self, image, patchhw):
9 # Patchify, flexibly:
10 w = self.param("w_emb", (32, 32, 3, d))
11 b = self.param("b_emb", d)
12 w = resize(w, (*patchhw, 3, d))
13 x = conv(image, w, strides=patchhw) + b
这段代码处理的是 ViT 最初的 patch 嵌入部分,对应 ViT 原始架构中的 Conv2d(patch_size, d):
- 第 10 行:默认创建一组 32×32 的 patch embedding 权重
w - 第 12 行:根据当前的 patch size,对
w进行动态缩放(resize) - 第 13 行:使用缩放后的
w,以 stride 为patchhw的卷积方式 patchify 图像
换句话说,patchify 的逻辑从静态变成了动态。
我们不再需要为每个尺寸训练一套 embedding,现在只需一组内核参数,再通过重采样(PI-resize 或双线性)即可对应所有尺寸。
可缩放的位置编码
14 # Add flexible position embeddings:
15 pe = self.param("posemb", (7, 7, d))
16 pe = resize(pe, (*x.shape[1:3], d))
17 return TransformerEncoder(...)(x + pe)
位置编码的处理方式完全类似 patch embedding:
- 默认一个 7×7 格式的
posemb - 根据当前 token grid(由
patchhw决定)即时缩放为相符大小 - 将其加到
x上,再送入后续 Transformer encoder
这代表位置语义不再绑定特定尺寸,而是能 随 token 长度弹性对应空间结构,同时保有原生 ViT 的 self-attention 设计与下游兼容性。
如何正确调整的尺寸?
在支持多种 patch size 的过程中,最容易忽略的一点,是 patch embedding 权重与输入 patch 间的内积关系如何随尺寸变化而变形。
假设我们的输入 patch 为 ,对应的 patch embedding 权重为 。
在标准 ViT 中,token 的生成来自于两者的内积:
但若我们将 与 都用双线性插值放大成 ,则新的内积会变成:
也就是说,放大后的内积约变为原来的 4 倍,token 的范数会随尺寸改变而缩放,导致语义不稳定。
这样的 scale shift 不仅会干扰训练,也会让模型失去跨 patch size 的泛化能力。
如果想要一致,就得让缩放前后的 patch embedding 内积结果相等,目标是:
- 即使 patch 与 embedding 都被 resize,仍能维持原来的 token 意义。
其中 是 bilinear resize 可表示的线性映射矩阵:
为了解决这个 mismatch,作者提出一种 数学上更一致的权重变形方式:
- Pseudo-Inverse Resize(PI-resize)。
公式如下:
当 时,可以通过广义反矩阵(pseudo-inverse)解出:
其中:
这样一来,对于任何 ,都有:
也就是说,token embedding 内积完全一致。
在下图中,作者以 ViT-B/8 为基准模型,将 patch embedding 与输入图像一同 resize,再观察精度变化。
几种方法比较如下:
- Vanilla resize:直接双线性插值
- Norm heuristic:依范数对缩放后的权重进行补偿
- Area heuristic:依据面积缩放系数进行重标定
- PI-resize:通过数学推导进行内积等价调整
结果显示 PI-resize 是唯一在 upscale 下几乎不掉准确率的方法;在 downscale 情况下,PI-resize 的性能也最稳定、最不剧烈震荡。
FlexiViT 的表征世界
FlexiViT 的设计初衷,是希望在多种 patch size 下维持稳定预测能力。
但这其实还有一个更底层的问题值得追问:
模型在内部学到的表征(representation),是否在不同 patch size 下仍保持一致?
作者为了查看 FlexiViT 的表征稳定性,使用了常见的表示比较方法:
- CKA(Centered Kernel Alignment):用来衡量神经网络中各层输出的相似度
- Arc-Cosine + t-SNE:为了将相似度转换为距离度量,再进行可视化
通过这些技术,作者观察了不同 patch size(例如 grid size = 5, 10, 30)下,FlexiViT 在各层所产生的 feature maps 是否具有一致性。
根据下图,几个关键发现如下:
- 前段稳定:从第 0 ~ 6 层的 MLP 之前,无论 patch size 为何,各层的表征相当一致
- 中段震荡:在第 6 层的 MLP,出现明显的分歧,不同 grid size 产生的表示彼此分离
- 末段重聚:最后几层(特别是第 11 层)逐渐拉回一致
- CLS token 稳定:虽然 patch token 会根据 grid size 改变分布,但整体分类输出的 CLS token 表征,在不同尺寸下始终高度对齐
这项分析揭示了一个有趣现象:
FlexiViT 并非将不同尺寸的输入「硬压缩成一模一样的表示」,而是让中间层在不同分辨率下形成各自适应的处理路径,但最终又能对齐分类输出
这也间接说明了为什么它能成功支持多种 patch size 的原因:
模型学会了「怎么走不同的路,最后回到相同的终点」。
讨论
受限于文章篇幅,我们不会把所有的实验图表通通放上来。
以下我们选一些精彩片段来看一下,如果读者对其他实验有兴趣,请参阅原始论文。
跨任务总览
上图展示了 FlexiViT 在多项下游任务中的转移表现,涵盖图像分类、语义分割、图文检索与开放词汇目标检测等典型应用。
实验中,作者将一颗预先训练好的 FlexiViT‑B 分别以固定的 patch size(/16 与 /30)进行微调与推论,并与两个在同样蒸馏设置下、以对应 patch size 预训的 ViT‑B 模型进行比较。
结果显示,FlexiViT 在这些任务中大致接近对应 patch size 个别预训的 ViT;/16 时在部分任务略高,/30 时在部分任务略低。图中的分类、PQ、AP、R@1 与 mIoU 是不同指针,不能合并成单一的百分点差距。
这代表在图标的任务与设置下,多尺寸预训大致保留了预测品质。
更重要的是,这样的表现是由一组单一权重完成的。
在传统作法中,若要同时支持多种资源限制或任务场景,往往需要个别训练多颗 ViT 模型。相比之下,FlexiViT 提供了一个更具实用性的方案:在上述比较中维持接近的性能,并减少需维护的预训练骨干数量。
换句话说,对于需要在「高性能」与「省资源」之间切换的应用场景,一颗 FlexiViT 可以作为共用骨干的选择。
快速转移与推论弹性
上图呈现了 FlexiViT 在实务部署场景中一个极具价值的特性:
- 能够在较短的 token 串行下完成微调,并于推论阶段使用更密的 token 网格取得更佳性能。
实验中,作者将 FlexiViT‑B 与 ViT‑B/30 皆仅以 8×8 的 grid size 在 ImageNet‑1k 上进行微调,之后于不同 grid 下进行测试。
结果显示,标准的 ViT‑B/30 在网格变密后,准确率先小幅上升、再迅速下滑;而 FlexiViT 从 8×8 提升至 24×24 时,Top‑1 准确率提升了 3.5 个百分点(从 81.8% 增至 85.3%)。
右图进一步比较了同一颗 FlexiViT‑B 模型,分别在 8×8、15×15 与 30×30 三种 grid size 下进行微调,再横跨不同 grid 测试其表现。
结果显示,三种微调网格都能在推论时改用更密的网格;8×8 与 15×15 微调的曲线在最密处略有回落,并非一路上升。
这项特性带来一种全新的模型运用策略:我们可以选择在资源有限的场景中以粗粒度进行快速微调,而后在推论阶段切换至较细的 patch,于图标范围内换取更高的辨识精度。
对于需支持多种计算资源、进行 A/B 测试或动态调参的系统而言,这种「训练成本低、推论弹性高」的特性,无疑为部署提供了更大的操作空间与实务价值。
开放词汇目标检测
作者将 FlexiViT 应用于开放词汇目标检测任务,具体做法是将其作为图像编码器,接入 OWL‑ViT 检测框架,并与固定 patch size 的 ViT‑B/16 与 ViT‑B/30 进行比较。
此处所采用的基准数据集为 LVIS,具备极高类别多样性与长尾分布,特别适合作为 zero-shot 检测任务的测试场景。
结果显示,Flexi OWL‑ViT(使用具弹性的 B/flexi backbone)在评估时改变 patch size,LVIS AP 呈现较平稳的曲线;固定骨干版本离开各自训练的尺寸后,表现下降较明显。
在 /24 与 /30 这类较大 patch、较稀疏的网格设置,Flexi 曲线高于离开原训练尺寸的 ViT‑B/30;在较小 patch 的 /12,Flexi 也维持约 26% AP。不过在 /16,固定的 ViT‑B/16 略高于 Flexi,不能说每个尺寸都由 Flexi 领先。
这样的特性,对于开放词汇检测任务而言特别重要。
由于不同场景中的物体大小差异极大,最佳的 patch size 并非固定不变;有时需要高解析精细定位,有时则偏好大范围粗略感知。
FlexiViT 提供了弹性 patch 编码的能力,使得模型能依任务与运算资源调整 patch size,而无需为每个评估尺寸重新训练,为 open-world 任务带来更实用的适应性。
时间就是算力
最后,作者探讨了一个额外但极具价值的方向:
- 使用弹性 patch 训练机制来加速 ViT 的预训过程。
上图中比较了两种设置在 ImageNet‑21k 上的预训练表现:一是传统的 ViT‑B/16,以固定 patch size 持续训练;另一则是 (Flexi)ViT‑B/16,先使用较大 patch、后切换至目标 /16 的课程设置。图中皆以 /16 评估。
从横轴的 TPU core-hours 来看,图中的 (Flexi)ViT 课程设置在不少相近算力预算下取得较高精度,但差距并非持续扩大;约 400 小时附近两组点的差距也不到 1 个百分点。原论文附录将这项节省评为存在但幅度有限。
这种训练法背后的逻辑近似一种动态课表设计:
初期使用大 patch size(计算快、语义粗),帮助模型快速创建语义架构;后期逐步过渡到细 patch size,让模型补上细节与辨识能力。
这组实验显示,在部分训练预算下,可以用较少算力达到相近精度。
实务上,这种设计提供了调整 ViT 预训算力的选项。即使最终模型目标仍是单一 patch size,也能在这组设置中通过 patch size 课程,以较少算力取得相近结果,让 FlexiViT 的「弹性」价值延伸到训练效率与资源利用率。
结论
FlexiViT 展现了一种简洁而有效的策略,让我们得以用一颗模型,横跨不同运算需求与分辨率需求之间的取舍。
它并未引入额外的复杂架构,而是回到 ViT 的根本设计:patchification,从中挖掘出调节计算与语义表达的关键参数。
通过随机 patch size 训练、PI-resize 权重重组,以及知识蒸馏的精准引导,FlexiViT 在各种下游任务中皆表现稳定,无论是图像分类、语义分割,还是开放词汇检测与多模态检索,都能以单一骨干支持多样场景。
FlexiViT 邀请我们重新思考 patchification 的角色,或许之后我们可以看到更多的创意应用,从 token 编码到结构压缩,从多尺度融合到数据驱动调度,都是可能的方向。