返回论文笔记资料库
arXiv 2019ICLR 2020多模态学习论文笔记

VL-BERT

序幕下的观影者

原始论文

VL-BERT: Pre-training of Generic Visual-Linguistic Representations

论文作者

Weijie Su · Xizhou Zhu · Yue Cao …

查看全部 7 位作者

Weijie Su · Xizhou Zhu · Yue Cao · Bin Li · Lewei Lu · Furu Wei · Jifeng Dai

发表版本
ICLR 2020会议
arXiv 首次提交
arXiv:1908.08530
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multimodalityvlbert2019,
  title = {{VL-BERT: Pre-training of Generic Visual-Linguistic Representations}},
  author = {Weijie Su and Xizhou Zhu and Yue Cao and Bin Li and Lewei Lu and Furu Wei and Jifeng Dai},
  year = {2019},
  eprint = {1908.08530},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1908.08530}
}
本页内容

我们之前提到了 VisualBERT,它算是 One-Tower Encoder 的架构;训练时没有直接针对图像区域设置监督目标,主要监督文本部分。

另外,也提到了 ViLBERT,它算是 Two-Tower Encoder 的架构,文本和图像之间各自拥有一个 Encoder 可以使用,而是通过跨注意力机制来交换彼此的信息,但是略为复杂。

  • 欸,等等!什么 One-Tower,Two-Tower?

这个名词定义我们之前没有特别提到,主要因为对事情没什么帮助,徒增烦恼而已。现在我们有了比较不同架构的需求了,正好可以拿出来说一说。

当我们讨论视觉和语言多模态学习的模型时,常常会遇到 One-Tower 和 Two-Tower 两种主要的架构(其实不止,我们之后遇上了再聊)。

这两种架构主要描述了如何整合和交互不同模态的信息。

  1. Single-Tower Architecture (One-Tower)

    在这种架构中,一个单一的 Transformer 编码器操作于视觉和文本输入表示的连接上。

    优势在于视觉和文本的 token 都被嵌入到单一的输入中,这使得模态之间的交互无约束且自由。使用单一编码器也有机会减少参数,具体仍取决于模型配置。

    常见模型包括 ViLT、VL-BERT、UNITER、OSCAR 等。其中,很多模型如 VisualBERT 和 VL-BERT 基于 BERT 模型进行变化。

  2. Two-Tower Architecture (Dual-Tower)

    这种架构不直接对视觉和文本输入进行连接,而是在分开的 Transformer 堆栈中对每种模态进行编码。然后,这些模态之间的交互是通过一个跨注意力机制实现的。

    优势在于这种架构允许模态之间的交互更加明确和有序。这种结构通常更容易理解,因为每个模态都有自己的编码器。

    常见模型像是 ViLBERT、LXMERT 和 BridgeTower 都是此类型的代表。

定义问题

当我们面对这两种不同的架构时,难免会感到迷惘。

一方面,One-Tower Encoder 的架构提供了较为直观的训练方法,但可能无法充分挖掘图像与文本之间的关联;另一方面,Two-Tower Encoder 虽然有能力深入挖掘这两者之间的关系,但过程相对复杂,且需要更多的计算资源。

而这篇论文作者采用 One-Tower 架构,尝试创建一种具有通用性的视觉语言表示。这种表示不仅能够应对单一的视觉语言任务,而且在多种视觉语言任务上都表现出色。

解决问题

模型架构

同样是来自 BERT 的启示,VL-BERT 模型的基础是原始的 BERT 架构,该架构是基于多层双向 Transformer 编码器,这种设计允许模型捕获所有输入元素之间的依赖性。

为了要同时可以接受视觉和语言的输入,模型的输入始于特殊的 [CLS] 标记,接着是语言元素,然后是视觉元素,并以 [END] 标记结束。为了清晰区分语言和视觉信息,这里使用 [SEP] 标记被插入在语言元素和视觉元素之间。

VL-BERT 的每个输入元素的编码特征是由四种编码类型合成的:Token 编码、视觉特征编码、片段编码和序列位置编码。其中,视觉特征编码特别被引入用于捕捉视觉线索,而其他三种编码模式是基于原始 BERT 的设计。

视觉特征编码包含了视觉外观特征和几何特征:图像区域使用 Fast R-CNN 从 RoI 提取的外观与位置信息;文本等非图像元素则使用整张图像区域的外观特征。

预训练机制

上图展示 VCR、VQA、RefCOCO+ 的下游微调输入与输出格式,不是预训练流程。在本文中,作者通过以下任务预训练 VL-BERT,使其能够捕获视觉和语言间的关系;图文样本来自 Conceptual Captions,另加入 BooksCorpus 和 Wikipedia 的纯文本样本。

  • 任务#1:使用视觉线索的掩码语言建模:这是基于 BERT 中的掩码语言建模(MLM)的修改。例如:假设有一句描述「小狗正在[MASK]里玩耍」,并且相应的图片中有一个小狗在水池中玩耍,模型需要根据未被屏蔽的部分和视觉信息预测出被屏蔽的词是「水池」。
  • 任务#2:使用语言线索的掩码 RoI 分类:随机选取约 15% 的 RoI,在送入 Fast R-CNN 前将该区域的原始像素设为零,再预测被遮区域的物体类别。以架构图为例,被遮的是猫的区域,文本「kitten drinking from bottle」可提示模型预测「猫」;监督标签来自预先训练的检测器。

讨论

和其他模型的比较

使用的数据集是 VQA v2.0,基于 COCO 图像集建构。数据集包括训练集、验证集和测试集,分别有 83k、41k 和 81k 的图像,以及 444k、214k 和 448k 的问题。

在 VQA test-dev 上,VL-BERT-BASE 预训练后从 69.58% 提升到 71.16%,约高 1.6 个百分点。与 BUTD(专为此任务设计的一个流行模型)的 65.32% 相比,VL-BERT-BASE 高 5.84 个百分点。表中 VL-BERT-LARGE 为 71.79%,高于 ViLBERT 和 VisualBERT,低于 LXMERT 的 72.42%;LXMERT 在更大的图像问答数据集上进行了预训练。

本实验确认了预训练的重要性,特别是在视觉问答任务上。尽管 VL-BERT 的训练数据集不如 LXMERT 那么丰富,但它仍然展现了与当前最佳模型相当的性能。

模型懂自然语言吗?

为了回答这个问题,作者选用了 RefCOCO+ 数据集。

RefCOCO+ 是一个参考式物体检索(referential object retrieval)的数据集。它的主要目的是进行视觉基础的参照理解,也就是给予一个图像和一段描述(通常是自然语言描述),系统需要定位或辨识该描述所参照的特定物体在图像中的位置。

实验结果显示,使用预训练的 VL-BERT 可以提高指代表达理解的性能。以检测区域的 val 栏为例,VL-BERT-BASE 从 66.03% 提升到 71.60%;表中另列使用真值区域的结果,两组条件不能混为一谈。

当与其他著名的模型如 MAttNet 进行比较时,VL-BERT 表现出了其简洁和强大的性能。在同样使用检测区域的比较中,VL-BERT-LARGE 与 ViLBERT 的 val/testA 相近,testB 则略低;VL-BERT 不依赖额外的任务专用模块。

消融实验

作者做了大量的实验,来测试不同的设计选择对模型性能的影响。

  1. 预训练的重要性

    这张表只用 VL-BERT-BASE,且微调 epoch 是主实验的一半。比较「无预训练」和完整设置时,VCR、VQA、RefCOCO+ 的表列结果都有提升,幅度依任务而不同。

  2. 任务特定的效益

    不同的预训练任务对不同的下游任务有不同的影响。例如:在 (a) 的遮罩语言任务上加入遮罩 RoI 分类后,RefCOCO+ 从 69.1% 升至 70.7%;VCR 和 VQA 则大致持平。

  3. 句子-图像关系的影响

    在这组消融中,从 (b) 再加入句子-图像关系预测的 (c),VCR、VQA 和 RefCOCO+ 的数字都下降。作者推测不匹配的图文负例可能干扰其他任务;这是本实验的观察。

  4. 纯文本语料库的加入

    从 (b) 到 (d) 加入纯文本语料后,VCR 两项分数提升;VQA 的 71.1% 和 RefCOCO+ 的 70.7% 都持平。作者认为这对涉及较长、较复杂句子的 VCR 有帮助。

  5. 端到端的训练

    从 (d) 到最后一列,将产生视觉特征的 Fast R-CNN 一起更新,VCR、VQA、RefCOCO+ 的表列数字都再小幅提升。

根据实验结果,作者认为 VL-BERT 模型的最重要的设计是其预训练策略,这不仅提高了其在特定任务上的性能,而且还使其在多种下游任务上都具有出色的泛化能力。同时,模型的设计还考虑到了不同预训练任务对下游性能的不同影响,并通过端到端的训练来进一步优化其表现。

结论

VL-BERT 最大的卖点是它采用了基于 Transformer 的架构,避免了特定任务的临时模块,达到了简单且高效的效果。其在大型概念字幕数据集和纯文本语料库的预训练,进一步巩固了其在视觉与语言线索对齐的能力。

作者通过对于更多预训练任务的探索,为后续的研究者提供了后续的研究方向。