BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
- 发表版本
- ICML 2023会议
- arXiv 首次提交
- arXiv:2301.12597
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{modeltuningblip22023,
title = {{BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models}},
author = {Junnan Li and Dongxu Li and Silvio Savarese and Steven Hoi},
year = {2023},
eprint = {2301.12597},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2301.12597}
}
这是以 BLIP 命名的第二代架构。
有别于第一代 BLIP 是多模态的工作项目,第二代 BLIP 则是专注使用少量的参数来带动大型的预训练模型走向我们想要的方向。
定义问题
我们还是聚焦在 VLM 的领域上。
现阶段的预训练架构多采用大规模训练的方式,除了需要耗费大量资源之外,应对千奇百怪的下游任务也不是每个任务都能迁移的很好。
如果我们可以直接利用训练好的单模态 LLM,在冻结参数的前提下,进行多模态的特征对齐,那我们就不必费这个大的力气来重新训练一个多模态的模型了,不是吗!
基于这个思路,作者设计了一个轻量化的查询式转换器,称为 Q-Former,作为桥梁来提取图像编码器中的关键特征,并将其转换为语言模型可以理解的输出。
有这种事?!让我们来学习一下。
解决问题
模型架构
这个架构图看起来有点复杂,我们依序来看看:
首先从最左边开始,这里输入一张图像,经过一个预训练的图像编码器。这个编码器的参数是冻结的,只负责抽取特征,不参与训练。
接着,右边一整坨都是「Q-Former」模块,这是图像与文字两个 Transformer 共用自注意力层的架构;图像端每隔一个区块还有一层交叉注意力。这个架构的输入有两个部分:
- 可学习的查询嵌入(Learned Query):这组参数随机初始化,长度在论文中设为 32 个 token。
- 对图像描述的文字输入:这跟常见的语言模型一样,就是自然语言的描述。
上图中的橘色,也就是 Self-Attention 的部分,使用预训练 BERT-base 的权重作为初始化参数;交叉注意力层则随机初始化。Learned Query 通过交叉注意力从图像编码器输出中提取特征,并在不同任务的注意力掩码下与文字互动。
第一阶段预训练
上图中的 Q 指的是 Query token,T 指的是 Text token,掩码的部分会用深色标示。
在第一阶段,Q-Former 与冻结的图像编码器结合,进行基于图像-文本对的预训练,主要优化以下三个目标函数:
-
图像-文本匹配(Image-Text Matching, ITM)
这个目标让查询与文字学习细粒度的图像-文字匹配。
注意力掩码的设计如上图所示,查询与文本可互相观看,并使用线性分类器进行二分类,匹配分数由所有查询嵌入的分类结果平均计算。 训练时会使用硬负样本挖掘策略(hard negative mining)以生成更具挑战性的负样本。
-
图像文本生成(Image-grounded Text Generation, ITG)
这个目标让 Q-Former 根据图像特征生成文字。
这里使用多模态因果自注意力掩码,Q 部分的 token 可以互相观看,但 T 部分的文本 token 只可以看 Q 部分的查询和 T 部分的「前序文本」。
-
图像-文本对比学习(Image-Text Contrastive Learning, ITC)
前两个目标分别处理图像-文字匹配与根据图像生成文字。
但这两个部分描述的是同一件事,所以还需要将查询特征与文字特征对齐,这个目标函数就是用来训练这个对齐的部分。
这里的设计是比较正向图像-文本对与负向对的相似性,并调整查询输出 与文本特征 的对齐程度,其中 是
[CLS]token 的输出嵌入。多个查询与 的相似度取最大值,作为图像-文本相似度。为了避免信息泄漏,采用单模态自注意力掩码,查询与文本无法直接互相观看。
第二阶段预训练
如上图所示,Q-Former 被接入一个冻结的大语言模型(LLM),以利用 LLM 的语言生成能力,在生成语言时,可以采用以下两种不同的架构:
- 解码器型:搭配语言建模损失进行预训练,要求 LLM 在视觉特征的条件下生成文本。
- 编码器-解码器型:使用前缀语言建模损失,将文本切分为前缀部分和后缀部分。前缀文本与视觉特征一同作为输入送至 LLM 编码器,后缀文本作为 LLM 解码器的生成目标。
这里的设计是将 Q-Former 的输出查询嵌入 线性投影到与 LLM 文本嵌入相同的维度,并将投影后的查询嵌入加到输入文本嵌入的前面,作为视觉提示(soft visual prompts)。
由于 Q-Former 已被预训练为提取与语言相关的视觉特征,它作为信息瓶颈,有效滤除不相关的视觉信息,减轻 LLM 的视觉-语言对齐负担。
预训练数据集
- 使用 BLIP 的预训练数据集,共计 1.29 亿张图像,包含以下来源:
- COCO、Visual Genome、CC3M、CC12M、SBU,以及 LAION400M 数据集中筛选出的 1.15 亿张图像。
- 利用 CapFilt 方法 生成网络图像的合成描述:
- 使用 BLIPlarge 生成 10 条图像描述。
- 利用 CLIP ViT-L/14 模型计算图像-文本相似性,将合成描述与原始网络描述一起排序,保留前两条作为训练数据,每次预训练随机选择一条描述。
预训练设置
- 预训练步数:
- 特征学习阶段:250,000 步。
- 生成学习阶段:80,000 步。
- 批量大小:
- 特征学习:2320 (ViT-L) 或 1680 (ViT-g)。
- 生成学习:1920 (OPT) 或 1520 (FlanT5)。
- 计算效率:
- 使用单台 16 × A100 (40G) 训练:
- 特征学习阶段(最大模型):少于 6 天。
- 生成学习阶段(最大模型):少于 3 天。
- 使用单台 16 × A100 (40G) 训练:
- 优化器与学习率:
- 优化器:AdamW(,,权重衰减 )。
- 学习率策略:余弦衰减,峰值学习率 ,线性暖启动 2000 步;第二阶段的最小学习率为 。
- 图像处理:
- 图像尺寸:。
- 增强方式:随机裁剪与水平翻转。
讨论
什么都不说,先看看效果。
和先前最先进的模型相比,BLIP-2 实现了更高的效能,在 VLM 预训练期间所需的可训练参数数量大幅减少。
Zero-shot VQA
作者首先测试 BLIP-2 的 Zero-shot 能力,上表是 BLIP-2 在不同的 VQA 任务上的表现,包括 VQAv2、GQA 和 OK-VQA。
评估方式:
- 使用 OPT 模型的提示为「
Question: {}Answer:」 - 使用 FlanT5 模型的提示为「
Question: {}Short answer:」 - 采用 beam search 生成答案,束宽为 5,并将长度惩罚设为 以鼓励简短答案。
在 VQAv2 test-dev 上,BLIP-2 的最佳设定比表中的 Flamingo80B 高出 8.7 个百分点(65.0% 对 56.3%);论文以预训练时的可训练参数量比较,约为 Flamingo80B 的 。GQA 栏没有 Flamingo80B 的结果,不能作两者比较。
在 OK-VQA 上,BLIP-2 次于 Flamingo80B,原因可能是 OK-VQA 更侧重于开放世界知识,而 Flamingo80B 的 Chinchilla 语言模型 (70B) 比 BLIP-2 使用的 FlanT5XXL (11B) 拥有更多知识。
对于模型的 Zero-shot 能力,第一阶段的多模态预训练非常关键。Q-Former 在这个阶段学习文本相关的视觉特征,减少 LLM 需要进行视觉语言对齐的负担。论文 Figure 5 显示,移除第一阶段后,OPT 与 FlanT5 的 VQA 表现都较低;其中 OPT 的曲线随第二阶段训练持续下降,作者称为灾难性遗忘。
Finetune VQA
作者在具标注的 VQA 数据上进行微调,固定 LLM 的参数,仅微调 Q-Former 与图像编码器的参数。
在这个任务中,作者也让问题 token 与 Q-Former 的查询互动,以提取相关的图像特征。表中的 BLIP-2 ViT-g OPT6.7B 在开放式生成模型中取得最高的 VQAv2 成绩;若计入下方的封闭式分类模型,BEIT-3 的成绩仍更高。
图像描述生成
作者评估了 BLIP-2 在图像描述生成任务上的性能,并与其他方法进行了比较。
针对图像描述的任务,初始提示为「a photo of」,并使用语言建模损失进行训练。在微调过程中,固定 LLM 的参数,仅更新 Q-Former 和图像编码器的参数。
在 COCO Karpathy 测试集上,BLIP-2 的最佳 CIDEr 为 145.8,高于表中的其他方法;BLEU@4 最高的是 OFA 的 43.9。经 COCO 微调后,BLIP-2 在 NoCaps 验证集上的零样本迁移也取得表中最高的整体 CIDEr 与 SPICE。
图像文本检索
作者不接 LLM,直接以第一阶段的 Q-Former 与图像编码器在 COCO 上微调,再评估 COCO 与 Flickr30K 的图像-文本检索;推理时先依特征相似度挑选 128 个候选,再用 ITM 分数重新排序。下表也比较了不同损失对性能的影响。
BLIP-2 在 Flickr30K 零样本检索与 COCO 微调检索的多数 R@1 指标上领先表中方法;个别 R@5/R@10 指标则由其他方法领先或并列。
最后作者探讨了每个损失函数对结果的影响如下表:
ITC 和 ITM 损失直接学习图像与文本的相似性。表 6 比较的是 COCO 微调目标:加上 ITG 后,图像到文本与文本到图像的 R@1 分别由 84.5/67.2 提升到 85.4/68.3,支持 ITG 有助于查询提取与文本相关的视觉特征。
图像到文字生成展示
作者展示各种零样本图像到文字功能的范例,包括视觉知识推理、视觉常识推理、视觉对话、个性化图像到文字生成等。
失败案例
图中的三个例子分别是知识不准确、推理路径错误,以及信息未更新;模型可能将错误引言归给爱因斯坦、忽略加拿大冬季的天气,或认错手机型号。这些都是未来需要改进的地方。
结论
Q-Former 的概念让我们只需要用一点点参数,几个 token 就可以引导大型的语言模型进行多模态的任务。
如果我们想要解决某个领域的问题,就可以用这种方式将大型预训练模型的能力迁移到我们想要的方向。