Unifying Vision-and-Language Tasks via Text Generation
- 发表版本
- ICML 2021会议
- arXiv 首次提交
- arXiv:2102.02779
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multimodalityvlt52021,
title = {{Unifying Vision-and-Language Tasks via Text Generation}},
author = {Jaemin Cho and Jie Lei and Hao Tan and Mohit Bansal},
year = {2021},
eprint = {2102.02779},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2102.02779}
}
看论文也好几篇了,对于一些下游任务的预测方式,你应该多少知道一点。
我们先来看两个例子:
第一个例子是 VQA,一般说来,执行 VQA 任务的做法是上图 (a):
-
物体检测:首先,从物体检测器获得图片中的物体结果。这一步可以用来识别和定位图片中的主要物体和特征。
-
Token 输入:将从物体检测器得到的结果转换成 token 格式,并放在输入序列的前面。接着,将问题也转换成 token 格式并放在输入序列的后面。
-
Transformer 模型:将整合了图片和问题的 token 序列输入到 Transformer 模型中。Transformer 模型将进行深度自我注意力运算,获取上下文信息,并生成一个表示整个输入序列的内容的编码。
-
预测头与 Sigmoid 函数:将 Transformer 模型的输出(通常是[CLS] token 的编码)送到一个专门的预测头。该头会为每一个可能的答案计算一个分数。然后,每个分数都会经过 sigmoid 函数,将其压缩到 0 和 1 之间,这可以解读为模型预测该答案是正确答案的概率。
-
选取 Top-k 答案:模型会根据每个答案的分数从高到低进行排序,然后选择分数最高的 top-k 答案作为其最终输出。
许多 VQA 数据集,特别是那些使用多选答案的,可能会受限于预定义的答案集。这意味着,即使有更适合的答案,模型也可能因为答案不在预设集合中而遗失某些细节或信息。另外,对某些问题,可能存在多个合理的答案。这可能导致模型在评估时的表现受到损害,即使它提供的答案在某种情境下是合理的。
第二个例子是指代表达理解中的区域选择,做法如上图 (b):
- 物体检测:首先,从物体检测器获得图片中的物体结果。这一步可以用来识别和定位图片中的主要物体和特征。
- Token 输入:将从物体检测器得到的区域结果转换成 token 格式,并放在输入序列的前面;随后加入要定位的文字描述。
- Transformer 模型:将整合了图片区域和文字描述的 token 序列输入到 Transformer 模型中。Transformer 模型将进行深度自注意力运算,获取上下文信息,并生成上下文化的表示。
- Softmax 预测头:取得所有图像 Token 的编码,一起计算分数。
- 选取答案:选出与文字描述对应的图像区域。
这种方式还得另外调整一个区域评分头,就作者的角度来看,这样做实在是太麻烦。
定义问题
作者认为当前的方法在面对视觉和语言的多种任务时,需要设计特定于任务的架构和目标函数,这不仅增加了模型的复杂性,也限制了其泛用性和性能:
-
统一任务架构
- 传统的视觉和语言 Transformer 模型在面对不同的预训练或下游任务时,往往需要设计特定于任务的、单独参数化的架构。这使得模型设计和微调变得相对复杂。
- 每当有新的任务出现,都需要重新设计或微调模型,这增加了工作量和复杂性。
- 许多视觉和语言任务所需的推理技能有很大的重叠。
-
开放式答案的生成
- 不同的任务需要不同的方式表示其标签。例如:现有的视觉问答方法将答案视为在一固定集合中的多标签分类问题,但答案其实已经是文字。
- 判别性方法在回答开放式问题时受到限制,因为它只能选择一组预先定义的答案,而无法生成开放式的自然语言答案。
-
多任务学习与泛化能力
- 目前的预训练方法需要特定于任务的架构和目标函数,这可能会限制其应用的泛用性和性能。
- 传统方法在面对训练过程中少见的答案时,泛化能力受到挑战,特别是在视觉问答中的稀有答案。
解决问题
VL-T5 模型设计
VL-T5 主要设计目的是将视觉和语言的问题统一为多模态条件文字生成,以下是主要设计要点:
-
基于预先训练的 Transformer 模型
- VL-T5 基于预先训练的 T5-Base;同一论文另外以 BART-Base 建立 VL-BART。
- 为了使模型能够处理视觉输入,作者扩展了其文字编码器,通过将图像区域编码作为附加输入来创建多模态编码器。
-
视觉编码(Visual Embeddings)
- 来源于 Faster R-CNN 的图像表示,并使用 36 个物体区域来表示输入图像。
- 每个图像区域的特征是由四种信息组合而成的:RoI 物体特征、RoI 边界框坐标、图像 id 和区域 id。
- 特征编码使用的方法包括线性层和学习编码,并使用图像 ID 来区分多图像输入的情境。
-
文字编码(Text Embeddings)
- 为了适应多种任务,而不需设计特定于任务的架构,模型在原始输入文字中添加了特定的前缀。
- 文字嵌入参数由编码器、解码器和语言模型头共享。此外,还引入了对应图像区域的视觉标记,并重用其文字嵌入作为区域 ID 嵌入,协助在查询、标签和物体之间建立对应。
-
Encoder-Decoder 架构
- 使用了 Transformer 的编码器-解码器架构,来对视觉和文字输入进行编码,并生成标签文字。
- 编码器接受文字和视觉嵌入的串联作为输入,然后输出他们的上下文联合表示。
- 解码器专注于先前生成的标记和编码器的输出,进行文字生成。
-
输出格式要整齐
-
统一框架 vs. 任务特定方法
- 传统方法往往针对特定的任务开发专门的架构和目标。
- VL-T5 则提供了一个统一的框架,该框架不需要为每个新任务设计模型。
-
视觉问答
- 传统模型在处理视觉问答时,通常会在顶部引入一个多层感知器 (MLP) 多标签分类器头。这些模型通过二元交叉熵损失与 Transformer 主干一起训练,并以 VQA 分数进行加权。
- VL-T5 通过将问题和答案都视为文本,并使用相同的语言建模目标来解决视觉问答的挑战。
-
引用表达理解
- 传统方法(例如:UNITER)解决此问题的方法是在图像区域的输出表示上添加 MLP 区域评分头,这通常涉及多类或二元分类的策略。
- VL-T5 将目标区域的 ID 表示为视觉标记(例如
<vis_3>),再用相同的语言建模目标生成该标记。
-
数据集使用
-
MS COCO
这是一个流行的数据集,主要用于目标检测、语义分割和图片字幕等任务。COCO 的全名是 “Common Objects in Context”,意指它包含的图像不只是简单地显示物体,而是提供了物体在真实环境中的上下文。它被广泛用于深度学习和计算机视觉领域的训练和验证。
-
Visual Genome (VG)
VG 是另一个流行的数据集,旨在深入理解图像中的物体、属性和关系,从而提供更详细的视觉知识。这不仅仅是标记物体,还包括了物体之间的互动和关系。
-
数据集的规模和详情
- 预训练数据合计约 18 万张不同的图像,包含 MS COCO 与 Visual Genome;除了两者的字幕数据,视觉问答任务还使用 VQA v2.0、GQA 与 Visual7W。
- 作者统计的图文数据共 918 万对,这是整组多任务预训练数据的规模。
预训练任务
-
多模态语言建模 (MLM)
VL-T5 是基于 T5 (Text-to-Text Transfer Transformer) 架构的多模态模型版本。
在这个模型中,作者会随机选取原始输入中 15% 的文字 token,将连续掩盖片段替换成各自的 sentinel token,并让模型生成被掩盖的文字。这是多项预训练任务之一。
这个名词要怎么翻译?其实我也不是很确定,照字面上大概就是「哨兵标记」吧?
Sentinel tokens 是用来表示输入序列中被掩码的区段的特殊标记。它们在 T5 的非监督去噪训练中起到了一个关键的作用。当某个部分的输入序列被掩码时,会使用这些 sentinel tokens 来代替,并且在输出序列中,这些 sentinel tokens 会与真正被掩码的部分一同出现。
这种设计的理念是为了在非监督学习的情境下,使用特定的 token 来表示和还原被掩码的序列部分。这与传统的 [MASK] 方法有所不同。
在 BERT 模型的 [MASK] 方法中,所有被掩码的部分都会被同一个 [MASK] token 替代。而在 VL-T5 的 sentinel tokens 方法中,每个掩码片段都会有一个标记,比如 <text_1>、<text_2> 等。这使模型能按片段顺序生成被掩盖的文字。
[MASK] 方法主要用于训练像 BERT 这样的模型,使其能够理解上下文并预测被掩码的部分。而 sentinel tokens 是为了 T5 这种 text-to-text 的设计模式而设计的,这种模式下,所有 NLP 任务都可以被转化为输入文本到输出文本的格式。
尽管 sentinel tokens 本身是固定的,但它们所代表的具体内容是动态的,取决于当前的上下文和模型的预测。这意味着,在不同的内容中,相同的 sentinel token 可以被共用,而不会产生歧义,因为其意义会在模型的训练或预测过程中被明确地解释和还原。
-
视觉问答 (Visual Question Answering)
传统的 VQA 方法往往会有一套预定义的答案选项(例如:一个固定的答案词汇表),模型的任务就是从中选择最合适的答案。这种方法的限制在于它不能生成不存在于预定义答案集的答案。然而,作者提出的方法允许模型直接生成答案的原始文本,这提供了更大的灵活性,使模型可以回答更多的开放式问题,而不仅仅是选择预定义的答案。
-
图像文字匹配 (Image-text Matching)
这是一项涉及判断图像与文本之间是否相关或匹配的任务。例如:一个图像可能是一只狗在公园玩耍,与之相对应的文本可能是「狗在草地上追球」。如果这些元素(图像和文本)在某种程度上描述了相同的内容或情境,那么我们可以说它们是匹配的。
作者在这项任务使用 COCO 字幕,并建立两种对照:
- 正确的对照:这是原始的、真实的图像和文本配对,表示它们在现实世界中是相匹配的。
- 错误的对照:以 50% 概率从另一张训练图像抽取字幕,与目前图像组成不匹配的配对。
模型的任务是对每一对图像和文本进行预测,判断它们之间的关系是「真」(它们真的匹配)还是「假」(它们不匹配)。这基本上是一个二分类问题,其中模型需要学习从图像和文本中识别出那些真正相匹配的特征。
-
Visual Grounding
「视觉指代」或称「视觉定位」是指模型能够在图像中找到与特定文本或语言描述相对应的视觉区域。这涉及模型对图像中的特定物体或特征进行定位,并将其与相对应的文本描述相关联。在预训练时,作者从检测器预测的区域中抽取一个,以物体名称与属性组成描述文字;模型根据这段文字生成对应区域的视觉标记 ID,例如
<vis_3>。这些描述来自检测器预测,因此这项预训练任务不需额外的逐区域人工标注。
-
Grounded Captioning
「区域描述生成」是指根据图像中的特定区域生成文本描述的过程。不同于传统的图像字幕,它不仅仅是为整个图像生成描述,而是针对图像中的某个特定区域或物体生成描述。「视觉定位」通常指的是根据文本描述找到图像中相对应的区域。而「区域描述生成」可以被视为其逆向操作:给定区域的视觉标记,生成该区域的物体与属性描述。
-
预训练执行细节
- 使用 4 个 RTX 2080 Ti GPU 进行 30 轮的预训练,总共需要 4 天。
- 使用 AdamW 作为优化器,具有特定的超参数设定。
讨论
VQA and GQA 分析
在七个不同的下游任务上,VL-T5 与 VL-BART 与多个现有的视觉和语言预训练的 Transformer 进行了比较。统一生成方法在部分任务接近特定于任务的模型,但各任务结果不同;例如表中 VL-BART 的 RefCOCOg test 分数为 22.4,明显低于 VL-T5 的 71.3。
VL-BART 在 VQA test-std 为 71.3,略高于 VL-T5 的 70.3;在 RefCOCOg 与 VCR 则落后。下文仍以 VL-T5 为主。
-
VQA and GQA 的表现
视觉问答任务要求模型基于给定的上下文图像提供答案。表中 VL-T5 在 VQA/GQA test-std 分别为 70.3/60.8,VL-BART 为 71.3/60.5;LXMERT 使用同样 18 万张预训练图像,分别为 72.5/60.3。这些结果接近,但不能说两项都优于对照。
-
生成模型 vs. 判别模型
多数现代方法是判别模型,它们视 VQA 任务为固定答案集上的多标签分类。作者按最佳答案是否落在 3129 个候选答案内分组;在候选集外的问题上,生成式 VL-T5 为 13.1,同骨干判别式 VL-T5 为 7.1,UNITER-Base 为 10.0。但其整体分数 67.9 仍低于 UNITER-Base 的 70.5,因此证据支持的是稀有答案情境的优势,不是所有问题都更准确。
-
数据集特定前缀的效果
研究指出,不同的文本提示或前缀可能影响模型的微调结果。作者让 VL-T5 在预训练和微调时,对 VQA 和 GQA 都使用单一前缀 “vqa”;相对于各数据集使用不同前缀,VQA Karpathy-test 从 67.9 升到 69.3,GQA test-dev 从 60.0 升到 60.2。这是在所测设定下的提升。
NLVR2 分析
NLVR2 任务要求模型判定自然语言陈述是否适用于一对图像。这项任务测试模型对于图像和文字信息的整合能力。其中分成三种编码设定:
- Triplet:这种设定将图像对和相应的文字进行联合编码。
- Pair:这个设定则是将每个图像与其相对应的文字进行单独的编码后再进行串联。
- Pair-biattn:基于 Pair 的设定,再添加双向注意力。
VL-T5 使用 Triplet,将两张图像的区域特征串接,并以图像 ID 嵌入区分来源,再生成 “true” 或 “false”。其 dev/test-P 为 74.6/73.6;UNITER 在同样 Triplet 设定为 73.0/73.9,而 Pair-biattn 为 77.2/77.9。后两种编码约需 Triplet 两倍计算量,因此跨设定的分数差不能单独归因于模型架构。
VCR 分析
VCR(视觉常识推理)是一个选择题回答任务,其要求的常识推理超过了单纯的物体或动作识别。每一个 VCR 问题有四个答案选项和四个理由选项,此任务可以分解为两个子任务:问题回答 (Q→A) 和答案论证 (QA→R)。整体目标是选择正确答案的同时还要提供该答案的正确理由。
VL-T5 的方法与诺盖拉等人的方法相似,模型将上下文(图像和问题)与每个候选选项连接,并根据选项是否正确生成 “true” 或 “false”。在推理时,以 P(true)/(P(true)+P(false)) 对候选选项排序,选择得分最高的选项。
在 VCR 验证集上,VL-T5 的 Q→AR 从未预训练的 52.5,经通用预训练升至 54.7,再经 VCR 域内第二阶段预训练升至 57.5。测试集的两阶段模型为 58.9,与同样两阶段的 UNITER 58.2 相近,高于表中 ViLBERT 的 54.8;比较时须保留各模型的预训练条件。
结论
Transformer 的 Encoder 和 Decoder 设计架构经常被提及。VL-T5 的提出就是对此一架构的深度探索,目标是要在视觉和语言的整合任务上实现更好的性能。然而,初步的尝试似乎并未取得飞跃性的成果。
虽然 Encoder 和 Decoder 的组合在许多任务中都已证明是有效的,但在特定的视觉和语言整合任务中,它可能还需要进一步的调整和优化。这可能涉及更细致的架构调整、不同的注意力机制或更适合特定任务的预训练策略。
因此,单凭改变或调整模型的架构可能不足以带来显著的性能提升。也许更为重要的是,如何充分利用大量的数据、更有效的训练策略和更深入的任务理解,以针对特定的问题进行优化。
就我们自己的开发经验来看,只使用 Encoder 时,会让模型比较轻松的学到数据特征。因为 Encoder 的主要目的是捕获输入数据的重要特征,并将它们编码成便于后续处理的表示。这样的表示有助于提取原始输入中的重要信息。由于架构的简单性,训练一个单纯的 Encoder 往往比完整的 Encoder-Decoder 组合更快。这可以节省训练时间和资源。
但当引入 Decoder 的机制时,模型的学习往往需要更大量的数据。这是因为 Decoder 要根据 Encoder 的表示重建输入或生成新的输出,这增加了模型的学习挑战。大量的数据可以提供足够的范例,帮助模型学习这些复杂的映射。Decoder 的引入使模型的整体架构更复杂。这不仅意味着更多的参数需要训练,也可能增加过拟合的风险。
总之,VL-T5 提供了一个有价值的出发点,对于 Encoder 和 Decoder 架构在视觉和语言整合中的应用提供了新的洞察。未来,通过深入探讨这一架构的潜在限制和优势,以及进一步调整和优化,在实现更高的性能的同时,并为这一领域的研究者开辟出新的道路。