Scaling Language-Image Pre-training via Masking
- 发表版本
- CVPR 2023会议
- arXiv 首次提交
- arXiv:2212.00794
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multimodalityflip2022,
title = {{Scaling Language-Image Pre-training via Masking}},
author = {Yanghao Li and Haoqi Fan and Ronghang Hu and Christoph Feichtenhofer and Kaiming He},
year = {2022},
eprint = {2212.00794},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2212.00794v2}
}
这篇是 Meta AI 提出的论文,主要想改一改 CLIP 的训练方式,让训练过程更加高效。
定义问题
OpenAI 大约在 2021 年初左右,提出 CLIP 架构,之后在业界掀起一波对比学习的应用热潮。
CLIP 简单好用,但是不好 Train。
这里的不好 Train,指的不是模型架构复杂,而是说训练规模庞大。
在 CLIP 的原始论文中,他们自己建立了一个 WIP 数据集,其中涵盖了 4 亿组图像文本对。训练一个基本的模型,从开始到结束需要使用 592 个 V100 计算 18 天!
这样的运算资源之于我们这种野生的工程师来说,彷若沧海之一粟,无法企及。
Meta AI 也认为这是个问题,所以他们提出了 FLIP,其意义为:Fast-CLIP。
解决问题
模型架构
FLIP 保留 CLIP 的图文双编码器与对比学习骨架,主要改动是在训练时随机移除图像 patch;具体编码器实现仍与原始 CLIP 有些差异。
设计理念很简单,就是既然训练的过程中使用的 Image encoder 是 ViT 的结构,那我们就可以参考 MAE 的训练方式,只需要用一部分的图像就可以训练出一个好的模型。
然后作者就这样做了。在本文的同数据对照中,50%/75% 掩码的训练时间约为不掩码的 0.50/0.33 倍,准确率则依设定而异;若比较达到相近准确率的时间,文中另报告约 3.7 倍加速。
然后我们就开心愉快地看完这篇论文了!(又来了!并没有!)
掩码方式
图像掩码的部分,作者采用了和 MAE 一样的方式,将图像分成不重叠的小块,然后随机掩码大部分区块。比例可以设定为 50% 或 75%。
因为被掩码的区域不会输入图像编码器,所以就图像编码部分而言,可以在近似的内存需求下使用约 2 倍或 4 倍大的批次;实际整体内存仍受其他部分限制。批次增大也是准确率改善的来源之一。
在 CLIP 架构中有图像输入和文本输入,但 FLIP 的主要实验只掩码图像;文本掩码仅作消融。因为文本编码器较小且序列较短,掩码它的整体提速有限,作者在消融实验中会再探讨。
在推理的时候,可以直接使用完整的图像,不需要调整编码器。
损失函数
虽然这里用了 MAE 的掩码方式,但是没有用 MAE 的重建损失。作者通过消融实验判断重建损失对于零样本迁移的表现并不是必要的,取消解码器及重建损失可以提升速度。
所以这里从头到尾只有对比损失,正样本对是图像和文本的对,负样本对是同一批次内的其他样本。图像和文本编码器的输出经过线性层投射至相同维度的嵌入空间,两者的余弦相似度依可学习的温度参数缩放,并作为 InfoNCE loss 的输入。
以下公式示意图像对文字方向的 InfoNCE;实际 CLIP 训练也计算文字对图像方向:
其中, 是批次大小, 和 分别是第 个图像和其对应文本的嵌入向量, 表示 和 之间的余弦相似度, 是可学习的温度参数。
余弦相似度的计算方式为:
这个损失函数旨在最大化正样本对之间的相似度,同时最小化与负样本对的相似度。通过对整个批次的样本进行计算,模型学习到如何将相关的图像和文本嵌入到相近的向量空间中。
讨论
到底做了什么改进,可以提升 CLIP 的训练速度呢?
这一章节我们主要看一下作者做了哪些工作。
消融实验
-
图像掩码比率(Masking Ratio)
- 模型在 LAION-400M 上进行训练,并在 ImageNet-1K 验证集上评估零样本准确率。
- 表 (a) 研究图像掩码比率对模型性能的影响,批次大小也相应调整以保持内存占用。
- 掩码 50% 的情况下,表列准确率为 69.6%,比不掩码基线 68.6% 高 1.0 个百分点。
- 掩码 75% 时为 68.2%,略低于基线的 68.6%。
- 训练时间:掩码 50% 和 75% 时,训练时间分别缩短至原来的 0.50 倍和 0.33 倍。
-
批次大小(Batch Size)
- 表 (b) 探讨批次大小对准确率的影响。
- 增加批次大小能稳定提升准确率,即使批次大小为 16k,掩码 50% 的模型(68.5%)仍与不掩码的模型准确率(68.6%)相近。
- 作者推测掩码可能引入正则化效果,部分抵消信息损失;这不是表格直接测出的过拟合差异。
- 当掩码比率达 75% 且批次大小固定时,信息损失会造成性能下降。
- 按掩码比例调整批次时,图像编码内存可维持相近;若在 50% 掩码下再增至 64k,论文指出仍需约两倍内存,实务限制并未消失。
- 表 (b) 探讨批次大小对准确率的影响。
-
文本掩码(Text Masking)
- 表 (c) 显示随机掩码 50% 文本时,准确率下降 2.2 个百分点。
- 作者认为语言数据的信息密度较高,因此这组 50% 随机掩码不划算。
- 优先掩码填充 token 可减少准确率下降(降幅减少至 0.4 个百分点)。
- 文本掩码带来的速度提升有限;在不掩码图像时,文本编码器的计算量约为图像编码器的 4.4%。因此,在后续实验中不再进行文本掩码。
- 表 (c) 显示随机掩码 50% 文本时,准确率下降 2.2 个百分点。
-
推理阶段的掩码(Inference Unmasking)
- 表 (d) 显示,即使在零样本设置下,忽略掩码和非掩码之间的分布差异,效果仍然良好。
- 在 75% 图像掩码的模型上,若推理时仍使用掩码,准确率从 68.2% 降到 60.9%,相差 7.3 个百分点;50% 掩码模型的差距为 3.2 个百分点。
- 使用多重掩码视角的集成(ensembling)方法可减少准确率下降,但仍不如直接使用完整图像的推理。
- 表 (d) 显示,即使在零样本设置下,忽略掩码和非掩码之间的分布差异,效果仍然良好。
-
解掩码微调(Unmasked Tuning)
- 表 (e) 显示,在预训练数据上以 0% 掩码续训 0.32 个 epoch,使 75% 掩码模型从 68.2% 升到 69.5%,50% 掩码模型从 69.6% 升到 70.1%。
- 这与缩小预训练和推理的分布差异相符,但表格没有直接量测差异本身。
- 表 (e) 显示,在预训练数据上以 0% 掩码续训 0.32 个 epoch,使 75% 掩码模型从 68.2% 升到 69.5%,50% 掩码模型从 69.6% 升到 70.1%。
-
重建损失(Reconstruction Loss)
- 表 (f) 探讨加入重建损失的影响。
- 重建头(reconstruction head)设计参考 MAE,使用小型解码器重建图像的正规化像素,并将重建损失与对比损失结合。
- 表中加入重建损失后,50%/75% 掩码的零样本准确率分别从 69.6/68.2 降到 69.4/67.9;作者另报告微调后也有小幅下降,因此选择舍弃重建损失。
- 表 (f) 探讨加入重建损失的影响。
与 CLIP 的比较
为了证明 FLIP 的有效性,作者将其与多种 CLIP 基线进行比较,展示 FLIP 作为 CLIP 的有力替代方案。比较对象包括:
- 原始 CLIP:使用私有数据集 WIT-400M 训练。
- OpenCLIP:在公开数据集 LAION-400M 上训练,是原始 CLIP 的忠实重现。
- 作者 CLIP 重现版本:同样使用 LAION-400M 训练,进一步帮助分析方法上的差异。
ImageNet 零样本迁移
上表比较了 ImageNet-1K 上的零样本准确率。
- 作者 CLIP 重现版本:准确率略高于同样在 LAION-400M 训练的 OpenCLIP。
- FLIP 的表现:使用批次大小 64k、掩码比率 50% 和解掩码续训,ViT-L/14 模型达到 74.6%,比同用 LAION-400M 的 OpenCLIP 72.8% 高 1.8 个百分点,比作者 CLIP 重现版本 73.1% 高 1.5 个百分点。
- 原始 CLIP 使用不同的 WIT-400M 数据,ViT-L/14 为 75.3%,比 FLIP 高 0.7 个百分点;这个跨数据比较不能单独判定方法差异。
更多数据集上的零样本分类
上表比较了多个数据集的零样本分类结果。
使用 WIT 数据集的模型在某些任务上表现较好(如 Aircraft, Country211, SST2),而使用 LAION 数据集的模型则在 Birdsnap、SUN397 和 Cars 上更具优势。FLIP 在多数栏位优于同用 LAION-400M 的 OpenCLIP 和作者 CLIP 重现版本,但也有例外,例如 GTSRB 的 41.4% 低于作者重现版本的 50.2%、PCam 的 50.3% 低于两个 LAION 对照的 51.1%/53.1%。
零样本检索
上表在 Flickr30k 和 COCO 上比较图像/文本检索的表现。
在同为 224 输入尺寸的比较中,FLIP 在多数检索指标优于原始 CLIP 的作者重测版本;但 Flickr30k 文字检索 R@5/R@10 为 98.5/99.6,略低于该版本的 99.1/99.8。与同用 LAION-400M 的两个 CLIP 对照相比,FLIP 的表列十二项指标都较高;原始 CLIP 另有 336 尺寸的结果。
模型扩展
借助 FLIP 加速训练的能力,作者探索超越 CLIP 的最大设置,研究在三个维度上进行扩展:
-
模型扩展(Model Scaling)
- 将图像编码器从 ViT-L 替换为 ViT-H,其参数量约为原来的 2 倍,文本编码器也相应扩展。
-
数据扩展(Data Scaling)
- 将预训练数据从 LAION-400M 扩展至 LAION-2B。
- 为分离数据量与训练时间的影响,将总抽样数据量固定为 12.8B(等于在 400M 数据上进行 32 个 epoch 或在 2B 数据上进行 6.4 个 epoch)。
-
训练排程扩展(Schedule Scaling)
- 将抽样数据从 12.8B 增加至 25.6B(即在 400M 数据上进行 64 个 epoch)。
- 分别扩展单一维度时,固定其他两个轴的设置,以便观察其效果;表格最后两列再测模型与数据、三轴联合扩展。
实验结果如下图所示:
- 模型扩展(Fig. a):从一开始就展现出稳定的准确率提升,尽管训练后期的差距逐渐缩小。
- 数据扩展(Fig. b):初期与基线表现相近,但随着训练进行,准确率逐渐提升。此设置无额外计算成本,因为总抽样数据量被控制。
- 训练排程扩展(Fig. c):抽样数据量加倍至 25.6B,但曲线最后的准确率未超过 12.8B 基线;虚线只是将 64 epoch 曲线的横轴缩为一半的假设对照,并非实际缩短训练时间的实验。
迁移能力
上表详述不同扩展策略对下游任务的影响:
- 模型扩展与数据扩展在表列指标上都优于基线;例如 ImageNet-1K 零样本准确率分别从 74.3% 升到 75.5% 与 75.8%。
- 数据扩展仍固定抽样 12.8B 笔,因此在这组设定没有增加训练样本总数或图中计算量;分数上升支持数据多样性带来收益。
上表倒数第二行显示,模型与数据的联合扩展在所有表列指标上均超越单一扩展:ImageNet-1K 零样本准确率的模型扩展提升 1.2 个百分点(74.3%→75.5%),数据扩展提升 1.5 个百分点(74.3%→75.8%),联合扩展提升 3.3 个百分点(至 77.6%)。作者据此推测,更大的模型需要更多数据才能发挥潜力。
上表最后一行展示了模型、数据与训练排程的全面扩展:零样本 IN-1K 的准确率达 78.8%,超越文中引述的 OpenCLIP 在 LAION-2B 上的 78.0%。但与前一列模型加数据扩展相比,COCO/nocaps 字幕指标从 130.4/92.6 降到 130.2/91.2,并非每项都随排程增加。
OpenCLIP 使用 32B 抽样数据训练,FLIP 使用 25.6B;作者按 50% 掩码、假设相同硬件,粗估训练速度快 2.5 倍,可节省约「3,360 GPU 日」。这是推算,并非两次实际训练的成本实测。
结论
通过一连串的消融实验和对比分析,作者证明了 FLIP 的有效性。FLIP 在大规模数据集上训练 CLIP 模型时,能够显著提升训练速度,并在多个零样本任务上取得更好的表现。
时间就是金钱,我们觉得应该没有人会跟钱过不去?
你也想做一个 CLIP 吗?这里的 FLIP 显然是个物超所值的选择。