Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks
- 发表版本
- ECCV 2020会议
- arXiv 首次提交
- arXiv:2004.06165
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multimodalityoscar2020,
title = {{Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks}},
author = {Xiujun Li and Xi Yin and Chunyuan Li and Pengchuan Zhang and Xiaowei Hu and Lei Zhang and Lijuan Wang and Houdong Hu and Li Dong and Furu Wei and Yejin Choi and Jianfeng Gao},
year = {2020},
eprint = {2004.06165},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2004.06165}
}
在视觉语言(V+L)的领域中,模糊性的问题一直是一个难以逾越的障碍,尤其当多个物体的图像区域重叠时,从中提取精确无误的视觉区域特征就显得尤为棘手。以一个简单的例子来说,当一个图像中同时出现一只猫和一只狗,彼此交叠缠绕时,其对应的区域特征便可能变得模糊不清,因此在语义对齐上面临了相当的挑战。如何在这个混合交织的区域找到一个清晰而有意义的表示,以及如何将其与语言准确对齐,就是 Oscar 所要探讨的问题。
Oscar 的运作机制简单来说:假设有一个图像,其中包含一个苹果和一个香蕉,而且两者部分重叠。在常规的情况下,如果直接从这个重叠的视觉区域提取特征,得到的信息将是两者的某种「混合体」,这在后续的语义对齐上将遇到困难。
Oscar 在这里引入一个巧妙的策略,它不单单只看重叠的视觉区域,而是利用物体标签,这里的标签指的就是「苹果」和「香蕉」,作为协助语义对齐的锚点。
在这个架构下,每个训练样本被定义为一个三元组,包括一个单词序列、一组物体标签和一组图像区域特征。借由此策略,即便在物体的视觉区域特征出现模糊时,作者仍能利用物体标签进行有效的语义对齐,这为后续的 V+L 任务提供了一个相对稳固的基础。
定义问题
作者在文中明确提出了有关于视觉-语言预训练(V+L pre-training,或 VLP)模型的两大核心问题:
-
模糊性 (Ambiguity)
- 问题:当两个或多个物体的图像区域重叠时,提取出来的视觉区域特征可能变得模糊,不容易区分。
- 例子:在图 2(a) 中,「dog」 和 「couch」 这两个物体的视觉区域重叠严重,因此它们的视觉区域特征可能难以区分。
- 导致的问题:在处理复杂的图像-文本对应任务时,模型可能难以创建精确的跨模态对齐。
-
缺乏定位 (Lack of Grounding)
- 问题描述:VLP 是一种弱监督学习问题,当中没有明确标示出图像中的区域或物体与文本中的单字或短语的对应关系。
- 背景分析:即使物体像「dog」 和 「couch」这样的元素在图像和相对应的文本中都出现,由于没有明确的对齐标注,模型可能无法确切学到物体和文本单元之间的语意对应关系。
解决问题
Oscar 模型设计
-
三元组输入表示 (w, q, v)
Oscar 模型将每个图像-文本配对表现为三元组(w, q, v)。
-
w (文本的词嵌入序列)
这是从文本输入中得到的词嵌入序列,也就是每个文本 token 对应的向量表示。
-
q (物体标签的单字编码序列)
这是图像中辨识物体标签的词嵌入序列。这些标签由提取区域特征的同一个 Faster R-CNN 物体检测器生成。
-
v (区域向量集合)
这是图像中辨识区域的特征向量集合,这些特征向量可能包括该区域的视觉语义及位置信息。
-
-
物体标签作为对齐锚点
Oscar 利用物体标签 q 作为一个锚点,简化图像和文本之间的对齐学习。由于图像中的重要物体通常也在相对应的文本描述中被提及,使用 q 可以强化模型对于图像和文本之间关联性的理解和学习。在学习过程中,模型会将图像物体(可能在视觉空间中被模糊地表示)对齐到语言空间中清晰且独特的实体表示,进一步强化模型在视觉和语言模态之间的对齐学习。
-
语义空间的共享与注意力机制
利用 BERT 模型,模型可以相对容易地辨识出文本中的 q 和 w 之间的对齐。在此基础上,模型可以把更多的注意力分配给那些与文本语义相关联的图像区域。当通过与 q 语义相关的单字进行查找时,模型将分配较高的注意力权重给这些特定的图像区域。
-
v 和 q 的生成
给定一个包含 K 个物体区域的图像,Oscar 模型使用 Faster R-CNN 从每个区域提取视觉语义成为 (v’, z),其中 v’ 是 P 维向量(论文设置为 2048 维的区域特征),z 是区域位置的 R 维向量(4 或 6 维)。
- v 是通过将 v’ 和 z 连接起来形成的位置敏感区域特征向量,并通过线性投影进一步转换,以确保其与词编码有相同的向量维度。
- 同时,物体标签的字编码序列 q 也是通过使用相同的 Faster R-CNN 从图像中得到的。
预训练目标
Oscar 模型的输入可以从两个不同的视角来看:在这里,x 是用来区分文本和图像表示的模态视角;而 x’ 是字典视角,用来区分两个不同的语意空间,在其中表达输入。
-
字典视角:遮蔽 Token 损失(Masked Token Loss)
使用不同的字典来确定表示不同子序列的语意空间。简单来说,物体标签和单词 Token 共享相同的语言语义空间,而图像区域的特征则处于视觉语义空间。在预训练的过程中,作者利用「遮蔽 Token 损失」(Masked Token Loss,简称 MTL)方法。
在每个训练迭代中,会以 15% 的几率遮蔽文本与物体标签序列中的各个 Token(即,将其替换为特殊的 [MASK] Token);区域特征不在此处遮蔽。训练过程的目标是,根据周围的 Token 和所有图像特征,预测这些被遮蔽的 Token。
这个过程与 BERT 使用的遮蔽语言模型十分相似,因为它要从其周边环境中恢复被遮蔽的单词或标签。与此同时,还需利用额外的图像信息,来帮助学到的单词编码在视觉上下文中找到定位。
模型的工作就是利用其它未被遮蔽的文本和狗的图片作为脉络,预测这个 [MASK] 的真实内容,也就是「狗」。在这个过程中,图像信息协助模型更精确地预测遮蔽的单词,因为视觉信息提供了额外的语境信息。
-
模态视角:对比损失(Contrastive Loss)
为了表达每个输入的三元组,作者将 视作图像模态,而将 视作语言模态。
这里有一个有趣的实验过程:作者采用 50% 的几率,使用从数据集中随机抽取的不同标签序列来替换 ,以此创建一组「污染」的图像表示。然后,由于在特殊标记 [CLS] 上的编码器输出是 的融合视觉-语言表示,作者在其顶部使用一个全连接层作为一个二元分类器,判断这对输入是否包含原始图像表示()或「污染」的表示()。
在整个跨模态的预训练过程中,作者使用物体标签作为图像的代理,以调整 BERT 词编码空间。我们希望模型学到的文本表示能与相对应的图像(或从图像中检测到的物体标签)相似,并与「污染」的表示形成对比。
讨论
参数效率比较
作者首先讨论了 Oscar 在视觉+语言(V+L)任务上的性能和效率,比较了 Oscar 和三种不同的现有 SOTA 模型类型的性能和参数效率。Oscar 显示出相对于其他大型模型,在多数任务上拥有较高的参数效率和优异的性能。
模型性能比较
-
Oscar 模型的总体性能
- Oscar 在多数 V+L(视觉+语言)任务上显示出强大的性能。
- 论文列出的 7 项下游任务中,Oscar 在 6 项取得当时最佳结果;GQA 仍低于使用结构先验的 NSM。
-
与其他模型的比较
- 对比神经状态机(NSM),Oscar 在 GQA 任务上可能略显不足,但可以通过结合 NSM 的结构先验来强化。
- 相较于多任务模型 12-in-1,OscarB 在多数任务上展现更好的表现,只在 NLVR2 的 Test-P 上的结果较差。
-
方法和训练策略
- 在字幕任务上,利用自我批判序列训练(SCST)来进一步微调 Oscar,展现了改善序列级学习的能力。
- 表 2 (e) 中,经 CIDEr 优化的 Oscar-large 相对于 VLP,BLEU@4 从 39.5 到 41.7、CIDEr 从 129.3 到 140.0,分别增加 2.2 和 10.7 分。
-
泛化能力的展示
- NoCaps 的实验只使用 COCO 字幕训练集,Oscar 以 BERT 权重初始化,没有使用前述 650 万图文对的多模态预训练。
- 表 2 (f) 比较 Oscar 变体与 UpDown;例如加入 SCST 与 CBS 后,Oscar-large 的域外 CIDEr 为 80.3,高于 UpDown + ELMo + CBS 的 71.7。不同列的 CBS/SCST/ELMo 设置需分开比较。
Oscar 通过使用物体标签作为锚点,大大简化了图像和文本之间的语义对齐学习,这是其高效率和强大性能的一个关键因素。在某些任务或场景下,Oscar 的方法和模型结构还可以结合其他已有的强力技术或先验知识来进一步提升性能。
虽然 Oscar 在多数任务上展现出强大的性能,但它在某些特定任务或指标上可能存在优化的空间或者局限,比如在 NLVR2 的 Test-P 上的表现。
定性研究
本研究使用 t-SNE 技术在 2D 地图上可视化 COCO 测试集中的图像和文本配对的学习语义特征空间,通过分析,作者提出以下几个要点:
-
类内一致性
- 使用物体标签可显著缩短相同物体在视觉和文本表示之间的距离。
- 在 Oscar 模型中,某一物体(例如「人」或「斑马」)的视觉和文本表示比在基线方法中更为相近。
-
类间差异性
- 当添加标签后,语意相关的物体类别彼此更加接近,虽然它们仍然是可区分的。
- 基线方法中的类别(例如动物、家具和交通工具)出现某些混合,而添加标签的方法可以更精确地分辨这些类别(例如「人」、「斑马」、「羊」、「鸟」、「椅子」、「沙发」、「长凳」、「公车」、「火车」、「卡车」、「摩托车」和「汽车」)。
-
物体标签的重要性
- 物体标签在对齐学习中担任了一个极为重要的角色,作为链接和正则化跨模态特征学习的锚点。
消融研究
根据上图,可以观察到几个重点:
- 使用物体标签微调的学习曲线在所有任务上比没有使用标签的 VLP 方法更快、更好地收敛。
- 在 VQA(视觉问答)和图像检索任务的图示曲线上,利用标签进行微调约在基线方法一半的训练进度达到其最终分数;此处比较的是 epoch,不是硬件运行时间。
这些发现表明,Oscar 利用物体标签在这些视觉任务上展现出了更出色且更高效的性能,且能在较短的训练时间内达到或超过无标签方法的性能。
- 完全注意力的文本检索 R@1 为 77.3,高于只保留 – 注意力的 75.4;此实验只以 BERT-base 初始化,未使用 Oscar 多模态预训练。
- 只保留 – 注意力时,文本检索 R@1 为 32.3,低于 – 的 75.4;这支持区域特征比单用物体标签提供更多图像信息。图中没有单独的 – 实验列。
Oscar 模型通过利用物体标签显著提高了多个下游任务的性能,并且使用物体标签进行训练可以在更短的训练时间内达到或超过无标签基线的最终性能。物体标签和区域特征在模型注意力机制的交互中起到了重要的作用,而在预训练阶段使用不同的物体标签集也显示出对模型性能的影响。
结论
其实,这也让我想到一种引入人类概念先验的方法。
因为标签也是人类给的,当我们给了模型标签,虽然说是给了一个明确的指引,但这个指引真的对吗?这个指引真的足够吗?会不会反而限制了模型的发挥?
Oscar 模型利用物体标签作为锚点,在一定程度上会依赖于物体标签的准确度和品质。若物体标签生成的不够精确或多样,模型可能会学习到错误的或过于狭隘的特征,进而影响预训练的效果和下游任务的表现。毕竟,人类的语言有无限的可能,但标签内容却是有限的。使用有限的概念来进行无限的拓展,本身就是一件非常困难的挑战。
但不管怎么说,Oscar 也丰富了多模态预训练模型的研究领域,更展现了一条有效集成视觉与语言的新途径。通过精心设计的预训练策略和实验验证,该研究未尽的可能将促使后续的研究者们在这一基础上探索更多创新的思路和应用,持续推动视觉与语言集成技术的发展前景。