返回论文笔记资料库
arXiv 2022ICML 2022多模态学习论文笔记

BLIP

合成文本技术

原始论文

BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation

论文作者

Junnan Li · Dongxu Li · Caiming Xiong · Steven Hoi

发表版本
ICML 2022会议
arXiv 首次提交
arXiv:2201.12086
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multimodalityblip2022,
  title = {{BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation}},
  author = {Junnan Li and Dongxu Li and Caiming Xiong and Steven Hoi},
  year = {2022},
  eprint = {2201.12086},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2201.12086}
}
本页内容

多模态的模型在这个时候已经站稳在人们的视野内。

摊开 ImageNet 的排行榜,似乎到处都是多模态架构。不过,这是作者当时的印象,并非本文通过 ImageNet 排行榜验证的结论。

定义问题

作者回顾了近几年的研究文献,发现近期的多模态模型大多有几个缺点:

  1. 训练数据品质不佳:

    除了 CLIP 之外,比较有名的论文就是 ALIGN,也就是基于非常庞大的嘈杂数据集所训练的多模态模型。虽然许多研究都指出使用这种训练方式同样可以得到不错的结果。但作者认为这只是因为没有一个合适的处理方式,所得到妥协的结果。

  2. 架构决定命运:

    多模态的架构的选择通常就两种:其一是使用基于编码器的模型,其二是使用基于编码器-解码器的模型。

    基于编码器的模型不容易转移到文本生成任务,像是图像字幕的任务之类的;如果是采用编码器-解码器的模型,则是在文本检索的任务上表现不佳。

难道就没有一举两得的方法吗?

解决问题

模型架构

根据上图,我们从左到右来看:

首先作者采用 ViT 架构做为视觉输入的编码器,并在输出的序列中加入一个特殊的 token [CLS] 来表示整个图像的特征。

接着为了训练一个具有「理解」与「生成」能力的统一模型,作者提出了一个多模态编解码混合模型 (Multimodal Mixture of Encoder-Decoder, MED)。

这个模型具有三个功能:

  1. 文本编码器:上图中,从左边数来第二个。

    文本编码器与 BERT 相同,文本输入的开头会附加一个 [CLS] 标签来总结句子。

  2. 基于图像的文本编码器:上图中,从左边数来第三个。

    通过在每个 Transformer 区块的自注意力(SA)层与前馈网路(FFN)之间插入一层额外的交叉注意力(CA)层来注入视觉讯息。

    文本末尾会附加一个 [Encode] 标签,其输出嵌入作为图像与文本的多模态表示。

  1. 基于图像的文本解码器:

    将基于图像的文本编码器中的双向自注意力层替换为因果自注意力层(Causal Self-Attention)。

    解码过程使用 [Decode] 标签来表示序列的开始,并用结束标签来表示序列结束。

预训练目标

架构完成了,现在要来定义预训练的目标。

在预训练过程中,BLIP 要共同优化三个目标,包含两个理解任务的目标与一个生成任务的目标。

  1. 图像-文本对比损失 (ITC):

    这个目标是让正确配对的图像与文本在特征空间中具有相似的表示,而错误配对的图像与文本之间的特征应该相差较大。通过这种方式,模型能够学会将相关的图像与文本匹配起来,并区分出不相关的配对。

    ITC 使用单模态编码器来分别处理图像和文本,并引入动量编码器生成特征。为了提升效果,ITC 还会考虑负样本中可能存在的正样本,使用软标签来进行训练,使得模型能更准确地学习到图像和文本之间的对应关系。

  2. 图像-文本匹配损失 (ITM):

    为了强化模型的鉴别能力,ITM 使用正负图文配对做二元分类。负例不是以 0.5 概率随机替换图像;作者依批次内的对比相似度挑选较难的负例。模型以 [Encode] 的多模态表示经线性分类头预测是否匹配,并最小化分类损失。

  3. 语言模型损失 (LM):

    启用基于图像的文本解码器,目的是生成图像的文本描述。此损失通过优化交叉熵损失来训练模型,以自回归的方式最大化文本生成的概率。相比于已被广泛使用的掩蔽语言模型(MLM)损失,LM 损失使模型能够更具生成能力,能够将视觉信息转化为连贯的文本描述。作者在计算损失时应用了 0.1 的标签平滑技术。


为了提升多任务学习中的训练效率:

  • 作者让文本编码器与解码器共享除自注意力 (SA) 层外的所有参数。

这是因为编码与解码任务的主要差异集中在自注意力层上,编码器采用双向自注意力,构建当前输入的整体表示;而解码器则使用因果自注意力,根据上下文来预测下一个 token。

另一方面,嵌入层、交叉注意力层以及前馈网路在编码和解码过程中的功能相似,因此共享这些层不仅能提升训练效率,还能在多任务学习中实现参数的充分利用。

CapFilt

刚才也提到了,作者一开始就认为使用嘈杂的数据集来训练模型对模型的表现是有损害的。

为了提升文本数据的品质,作者提出了「Captioning and Filtering (CapFilt)」方法。

如上流程图所示,CapFilt 包含两个模组:

  1. 生成图像描述的「captioner」:captioner 从已预训练的 MED 初始化,以人工标注的 COCO 数据和语言模型目标微调;它使用基于图像的文本解码器,为每张网路图像生成一条合成描述 (Ts)。

  2. 过滤噪声图像-文本配对的「filter」:filter 也从相同的预训练 MED 初始化,但独立用 COCO 与 ITC/ITM 目标微调;它使用基于图像的文本编码器,判断文本是否与图像匹配。

filter 会移除原始网路文本 (Tw) 和合成文本 (Ts) 中的噪声文本,这些文本如果经 ITM 预测为不匹配即视为噪声。

最终,作者将保留下来的原始网页文本、合成文本配对与人工标注配对结合,形成新数据集,再预训练一个新的 BLIP 模型。

模型训练配置

作者使用 PyTorch 实现模型,并在两台 16-GPU 节点上进行预训练。

  • 图像 Transformer 从在 ImageNet 上预训练的 ViT 初始化
  • 文本 Transformer 则从 BERTbase 初始化。

作者探索了两种 ViT 的变体:ViT-B/16 和 ViT-L/16,除非特别说明,本文中的“BLIP”结果均使用 ViT-B。模型预训练 20 个 epoch,批次大小为 2880(ViT-B)和 2400(ViT-L)。

优化器采用 AdamW,权重衰减设置为 0.05,学习率经过热身阶段分别提升至 3e-4(ViT-B)和 2e-4(ViT-L),并以 0.85 的速率线性衰减。预训练期间随机裁剪图像至 224×224 的解析度,微调时则将图像解析度提高到 384×384。

作者使用两个人工标注的数据集(COCO 和 Visual Genome)以及三个网路数据集(Conceptual Captions、Conceptual 12M、SBU captions),总共包含 1400 万张图像,来训练模型。

讨论

CapFilt 的效果

这个模组是这篇论文的主要贡献之一,因此必须立刻检查一下它的效果。

作者比较了不同数据集上预训练的模型,来展示 CapFilt 在下游任务中的效果,包括图像-文本检索与图像描述,分别在微调与零样本设置下进行评估。

在相同的 1400 万图像、ViT-B 设置下,单用 captioner 或 filter,各项表中指标都比未使用时高;两者结合后又进一步提升。例如 COCO 微调的文本/图像检索 R@1 从 78.4/60.7 升至 80.6/63.1。

在 1.29 亿图像与 ViT-L 设置下,CapFilt 相对同数据、同骨干的未使用版本也有提升;这是作者对数据与模型规模扩展的实验证据。

不过,若固定 ViT-B 主模型与 1.29 亿图像,只把 captioner 和 filter 换成 ViT-L,COCO 检索 R@1 反而从 81.9/64.3 降为 81.2/64.1;字幕指标则提高。效果不是每项都单调增加。

在下图中,作者展示了一些图像与其对应的生成文本范例,质性上展示了 captioner 在生成新文本描述上的效果,以及 filter 在去除原始网路文本和合成文本中的噪声能力:

绿色文本表示被 filter 接受的文本;红色文本表示被 filter 拒绝的文本。

CapFilt 合成文本多样性

在 CapFilt 中,作者使用 nucleus sampling 来生成合成的描述文本。

Nucleus sampling 是一种随机解码方法,其中每个 token 是从累积概率超过阈值 pp 的 token 集合中抽取的(实验中设置 p=0.9p = 0.9)。

在上表中,作者将其与 beam search 进行比较,后者是一种确定性的解码方法,会生成概率最高的描述文本。Nucleus 产生的描述被 filter 判为不匹配的比例是 25%,高于 beam 的 19%;但在表中检索与字幕指标中都较高。作者推测原因在于 nucleus sampling 生成的文本更多样,包含更多的新信息;表格本身未单独测量「惊喜性」或信息量。

与 SOTA 模型的比较

这里作者针对不同的数据集与其他 SOTA 模型进行了比较,这边我们仅挑出几个数据集来看看。

  • 图像-文本检索

    作者在 COCO 和 Flickr30K 数据集上评估了 BLIP 的图像到文本检索(TR)与文本到图像检索(IR)能力。

    预训练模型通过 ITC 和 ITM 损失进行微调。为了加快推理速度,首先基于图像与文本的特征相似性选出 k 个候选配对,然后根据两者的 ITM 分数对候选进行重新排序。接着将 k 值设为 256(COCO)和 128(Flickr30K)。Flickr30K 的「零样本」表则是先在 COCO 微调,再直接转移测试,并非完全未经检索微调。

    如上表所示,使用相同的 1400 万张预训练图像,BLIP 在 COCO 的文本/图像检索 R@1 分别为 80.6/63.1,ALBEF 为 77.6/60.7;两项平均提高 2.7 个百分点。Flickr30K 上有些 R@5/R@10 已接近饱和,不能把每个列都说成显著提升。

  • 图像描述

    作者在 NoCaps 和 COCO 两个数据集上进行图像描述任务的评估,并使用在 COCO 上微调的模型进行测试,采用 LM 损失。 根据过去的文献,作者在每个描述开头添加提示词 "a picture of";作者报告这带来轻微的性能提升。

    如上表所示,BLIP 使用 1400 万张预训练图像时,COCO CIDEr 为 129.7,略高于 VinVL 的 129.3;NoCaps overall CIDEr 为 105.1,高于 LEMON-base 1200 万图像的 100.4。使用 1.29 亿张图像的 BLIP 在多项指标接近 LEMON-base 的 2 亿图像设置。

  • 视觉问答 VQA

    视觉问答要求模型根据图像和问题生成答案。这里作者没有将 VQA 表述为多答案分类任务。(过去的研究中,VQA 通常被表述为多答案分类任务)

    而是将其表述为答案生成任务,从而实现开放式 VQA。如上图所示,在微调过程中,作者将预训练模型重新排列,首先将图像-问题编码为多模态嵌入,然后输入答案解码器。

    VQA 模型使用 LM 损失进行微调,以真实答案作为目标进行训练。表中 1400 万图像的 BLIP 在 VQA test-std 为 77.62,ALBEF 为 76.04,相差 1.58 个百分点;原论文正文写 1.64,但与表格算式不同。1.29 亿图像的 BLIP 为 78.17,仅比 SimVLM-base 的 78.14 高 0.03 个百分点;不同模型的训练数据与架构也不相同。

结论

作者在论文中提出的 CapFilt 方法通过生成描述并过滤疑似不匹配文本,缓解了网络图像-文本数据中的噪声问题;实验表明,这两步在所报告的多项检索与字幕指标上带来提升。

此外,BLIP 在多个下游任务中的表现优异,涵盖了图像-文本检索、图像描述、视觉问答等领域,展示了其强大的多任务适应能力。不仅展现了在多样化数据生成和噪声处理方面的潜力,也为提升多模态模型的性能提供了新的思路,指引了未来多模态模型的发展方向。