UNITER: UNiversal Image-TExt Representation Learning
- 发表版本
- ECCV 2020会议
- arXiv 首次提交
- arXiv:1909.11740
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multimodalityuniter2019,
title = {{UNITER: UNiversal Image-TExt Representation Learning}},
author = {Yen-Chun Chen and Linjie Li and Licheng Yu and Ahmed El Kholy and Faisal Ahmed and Zhe Gan and Yu Cheng and Jingjing Liu},
year = {2019},
eprint = {1909.11740},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1909.11740}
}
我们看过之前的论文,从一开始的「单流模型」到后来的「双塔模型」,「双流模型」等。
总之,要不就是把跨模态信息合在一起算,要不就是分开算。
如果你分开算,之后的人们就想合在一起,然后超越你; 如果你一起算,之后的人们就想要分开算,然后超越你。
本来我们只是想轻轻松松地看点论文,却还硬是看出了点人生的道理。
我们先回到 UNITER。
在视觉与语言(V+L)的研究领域中,联合多模型编码已被广泛使用以解决图像和文本之间的语义差距。然而,这些多模型编码的方法和表示通常都是为特定的任务量身定制的。这意味着,当设计一种专门用于特定 V+L 任务的方法时,该方法可能难以适应其他相关任务。这种现象在多模态研究中十分常见,使得整体研究社群在找寻通用解决方案上遭遇了挑战。
先前的研究,如 MCB、BAN、DFAF、SCAN 和 MAttNet 等,都在其特定的领域中提出了先进的方法。但是,由于这些模型的架构多种多样,且学到的表示具有高度的任务特定性,它们在广泛的 V+L 任务中的应用受到了限制。
定义问题
作者认为当前的研究虽然在特定任务上取得了成功,但在多模态的通用表示学习、有效的遮蔽策略以及优化的对齐技巧上还存在许多问题和挑战:
-
特定任务的多模型编码:现有的视觉和语言多模型编码方法通常是针对特定任务设计的。这种特定性限制了模型在其他 V+L 任务中的泛化能力。
-
模型架构和表示的多样性:先前的研究如 MCB、BAN 等在特定领域中有其独特的架构和表示方法。由于这些架构和表示的多样性,使得它们难以适应广泛的 V+L 任务。
-
NLP 成功策略的直接应用:尽管 Transformer 和 BERT 在 NLP 领域中取得了巨大的成功,但直接将这些策略应用于 V+L 领域可能不是最佳的解决方案。需要特定的策略和预训练任务以确保在 V+L 任务中的成功。
-
遮蔽策略的局限性:现有的多模态预训练方法在遮蔽策略上存在挑战。不同的遮蔽策略可能会影响模型学习到的表示,并进一步影响其在下游任务上的性能。
-
语义对齐技巧的挑战:确保图像和文本之间的语义对齐是多模态研究的核心挑战。虽然先前的研究提出了一些方法,但在细微对齐上仍然存在难点。
作者在这里,引出了一个核心的疑问:
- 我们是否可以为所有 V+L 任务学习一个真正通用的图像和文本表示?
解决问题
UNITER 模型设计
UNITER 模型作为一个专为视觉和语言任务设计的解决方案,其主要目标是有效地弥合图像和文本之间的语义差距。以下是对模型的主要设计组件和理念的深入探讨。
-
模型架构
- UNITER 的基本结构由图像编码器、文本编码器和多层的 Transformer 组成。这确保了模型能够分别从图像和文本中提取复杂的特征,然后通过 Transformer 进行深入的交互和集成。
-
编码策略
- 对于图像,UNITER 利用 Faster R-CNN 提取视觉特征,并通过 7 维向量对每个区域的位置特征进行编码。这两个特征分别经过全连接层投影,再相加并做层归一化,确保位置和视觉信息都被纳入考虑。
- 对于文本,UNITER 遵循了 BERT 的策略,使用 WordPieces 进行分词,然后对每个 token 进行编码。这确保了词义和语境信息的有效编码。
-
自注意力策略
- UNITER 的 Transformer 利用自注意力机制进行上下文编码的学习,允许模型在不同的模态之间创建深入的关联。通过明确编码标记和区域的位置,模型能够捕获更细致的上下文信息。
-
预训练任务
- UNITER 的一大亮点是其多样化的预训练任务,包括基于图像的掩码语言建模、基于文本的遮蔽区域建模、图像文本匹配和单字区域对齐。这些任务旨在从多个角度增强模型的跨模态学习能力。
-
条件遮蔽策略
- 不同于其他预训练方法,UNITER 在遮蔽策略上选择仅遮蔽一种模态,同时保持另一种不受污染。这个策略的目的是防止在学习过程中发生潜在的模态错位,确保模型能够更精确地对应图像和文本。
-
字区域对齐策略
- 通过引入基于最佳传输的字区域对齐预训练任务,UNITER 试图明确地鼓励单字和图像区域之间的细致对齐。这一策略确保了模型能够有效地优化跨模态的语义对齐。
预训练策略
UNITER 模型的预训练策略是其成功的核心,设计为解决跨模态学习的独特挑战。这些策略旨在优化模型的能力,使其能够深入地理解和集成图像和文本之间的相互关联。
我们逐一来看看这些预训练策略:
-
掩码语言模型 (MLM)
掩码语言模型(MLM)是预训练深度学习模型中的一种策略,专为加强模型的语言理解和跨模态学习能力而设计。MLM 的工作原理是随机选择 15% 的输入文本 token,其中 80% 换成 [MASK]、10% 换成随机 token、10% 维持原样,并尝试使用上下文和完整图像信息来预测选中的 token。
想像一下这样一个情境:我们有一句话「小狗正在[MASK]里玩耍」,并伴随着一张显示小狗在绿色草地上快乐玩耍的图片。在这种情境下,模型需要利用图像中的视觉信息,即小狗在草地上的情境,来正确地预测那个[MASK]位置上的词,即「草地」。
这种方法不仅仅是在文本中做填空的游戏。其背后的思路是强迫模型不仅要理解文本中的语境,还要了解图像中的视觉内容和它与文本的关联。当模型被训练来优化这种预测任务时,它同时也学习了如何对文本和图像进行更深入、更细致的理解。
-
图像文本匹配 (ITM)
图像文本匹配(ITM)是一种策略,它主要用于评估模型如何对文本描述与图像进行匹配。这项任务不仅仅是关于找到匹配的项目,还涉及到评估文本与图像之间的深层语义关联。
为了运行此任务,模型在输入中使用一个特殊的标记,名为 [CLS]。这个标记的目的是促使模型产生一个代表图像和文本融合的表示形式。这种融合表示为模型提供了一个单一的视角,从中可以判断图像和文本是否匹配。
举例来说,假设我们有一个描述「夕阳下的海滩」的文本,以及一张显示海滩上夕阳的照片。当这些被输入到模型中时,模型将通过 [CLS] 标记的帮助,生成一个融合表示。接着,这个表示会被送入一个全连接层(FC 层)和 sigmoid 函数,产生一个 0 到 1 之间的分数。这个分数将告诉我们这段文本与这张图像有多匹配。
当然,在训练过程中,除了正确匹配的图像和文本对,还有所谓的「负对」,即不匹配的图像和文本组合。例如:「夕阳下的海滩」的描述可能被配对到一张关于山脉的图片。这种负对是通过从其他样本中随机选择图像或文本并与原始样本配对来创建的。
模型的目标是尽量减少其对正确配对和负对的预测错误。这通常是通过使用二元交叉熵损失来完成的,这是一种常见的损失函数,用于评估模型的二分类预测效果。
-
字区域对齐 (WRA)
字区域对齐(WRA)是一种先进的策略,它采用最佳传输方法(Optimal Transport,缩写为 OT)来优化文本(例如:单词或语句)与图像区域之间的关联。这种策略的主要目的是为了确保模型可以准确地将文本描述与其对应的图像部分相匹配。
举例来说,当给出一句描述「红色的苹果」以及一张包含多种颜色苹果的图片时,WRA 的目标是使模型能够将「红色的苹果」这个描述精确地对齐到图像中的红色苹果部分,而不是绿色或黄色的苹果。
为了实现这一目标,OT 提供了一种强大的数学框架,它具有以下特点:
- 自归一化:这意味着所有的转移值总和为 1,这确保了数据之间的对齐是归一化的。
- 稀疏性:精确求解 OT 时可得到稀疏的运输计划,有助于解读对齐;本文实际使用 IPOT 近似求解。
- 效率:尽管传统的最佳传输方法可能需要复杂的计算,但有策略可以有效地解决大型问题,这对于大型模型预训练特别有用。
OT 的工作方式是评估两个分布之间的距离,并优化一个「运输计划」来描述如何从一个分布转移到另一个分布。在本论文的情境中,这两个分布分别是文本和图像。求得运输计划后,以它加权计算的最佳传输距离作为 WRA 损失来更新模型参数,从而改善文本和图像之间的对齐。
-
遮蔽区域建模 (MRM)
遮蔽区域建模 (MRM) 在 UNITER 模型中是一项关键策略,它特别针对图像区域的视觉特征。和 MLM 一样,这项策略以 15% 的几率随机选取并遮蔽图像区域的特征。举例来说,如果我们有一张多只鸟在天空中飞翔的图片,MRM 可能会随机选择并遮蔽其中几只鸟的特征。然后,模型的主要任务是利用剩下的视觉信息和相关的文本内容来重建或推测这些被遮蔽的鸟的特征。这不仅强化了模型对图像区域的理解,还增强了模型在不完整信息下的推理能力。
这项策略有三种主要的变体:
-
遮蔽区域特征回归 (MRFR)
这是最直观的策略。它的主要目的是重建被遮蔽的视觉特征。例如:当一些鸟的特征被遮蔽时,MRFR 会尝试使用其他鸟的特征以及相关的文本描述来直接重建被遮蔽的鸟的特征。
-
遮蔽区域分类 (MRC)
这个策略比较抽象,它尝试预测被遮蔽区域的物体类别,并以物体检测器最有信心的类别作为训练标签。例如:当一些鸟的特征被遮蔽时,MRC 会参考画面中的其他信息和相关文本,预测被遮蔽区域的类别。
-
使用 KL 散度的遮蔽区域分类 (MRC-kl)
这是一个进阶版的 MRC,与 MRC 不同的是,它不完全依赖于硬标签或最有可能的答案,而是考虑到多种可能的答案。它使用一个物体检测器的原始输出作为一种软标签,这些软标签给出了每种物体类别的可能性,而模型则尝试匹配这些分布。
-
预训练数据集
在这篇论文中,作者精心设计了一套预训练数据集,主要源于四大知名的 V+L 数据集:
- COCO
- Visual Genome (VG)
- Conceptual Captions (CC)
- SBU Captions。
这四者的组合是为了确保模型在预训练阶段能够接触到丰富而多样的数据,进而提高其在后续任务上的性能。但这些数据集不仅仅被一视同仁地使用。考虑到不同数据集可能对预训练有不同的影响,作者将其进行了一些分类。首先,将 COCO 的图像字幕数据和 VG 的密集字幕数据组合在一起。这部分的数据被标注为「域内」数据,因为很多 V+L 任务的基础数据集都是创建在它们上面的。
在使用这些「域内」数据时,作者采取了一些特定策略来确保数据的公正性和独特性。例如:考虑到 COCO 和 Flickr30K 的图像都是从 Flickr 爬取的,存在图像重叠的可能性,因此排除了这些重叠的图像。在这个过程中,作者最终获得了 560 万对图像和文本的组合供训练使用,以及 131K 对供内部验证使用。
除了这些「域内」数据,作者还使用了两个额外的数据集,即 Conceptual Captions 和 SBU Captions,作为「域外」数据来进行预训练。
讨论
预训练上的任务表现
在深入探讨作者所提出的多模态预训练策略的效果时,他们选择了四个代表性的 V+L 基准作为评估标准,分别是 VQA、NLVR2、Flickr30K 和 RefCOCO+。此外,他们还引入了一个全局指标 Meta-Sum,即所有基准的所有分数总和,以提供一个综合的评估视角。
-
基线设置
作者首先确立了两个基线。第一个基线(L1)完全没有涉及预训练,而第二个基线(L2)使用了只在文本上预训练的 MLM 的权重。结果表明,仅文本上的预训练已经使 Meta-Sum 分数相比 L1 有了显著的提升。
-
单一预训练任务的效果
接着,他们探讨了单一预训练任务的效果。具体地,当模型只对 ITM (L4) 或 MLM (L5) 进行预训练时,相对于基线 L1 和 L2,表中各项下游分数都有提升;单独使用 MRFR (L3) 则只有 NLVR2 优于 L2。
-
预训练任务组合
作者进一步发现,当结合不同的预训练任务,例如:MLM 和 ITM (L6),Meta-Sum 高于单独使用其中任何一种;但 RefCOCO+ 的 L6 低于单独使用 MLM 的 L5。加入 MRM 后,L7~L10 的 Meta-Sum 进一步提高,其中 MRC-kl 与 MRFR 同用的 L10 达 399.97。
-
细粒度对齐
加入 WRA 预训练任务后(L10 到 L11),VQA 从 71.92 提高到 72.47,RefCOCO+ 从 74.52 提高到 74.80;Flickr 图像检索和 NLVR2 则略降。这显示细粒度对齐对涉及区域级辨识或推理的下游任务较有帮助。
-
条件掩蔽策略
通过 L10 与同样任务组合、改用双模态同时随机掩蔽的 L12 比较,Meta-Sum 从 399.97 降到 396.51,支持条件掩蔽策略的效果。
-
预训练数据集的影响
最后,作者还探讨了不同预训练数据集的效果。只用域外数据的 L13,Meta-Sum 为 396.91,低于只用域内数据的 L11(400.93);域内与域外数据一起使用的 L14 则提高到 405.24。
作者通过这一系列的实验深入地分析了不同预训练设置的效果,提供了宝贵的见解,帮助我们更好地理解多模态预训练的深层机制。
下游任务的表现
作者在多个下游任务中详细测试了 UNITER 模型的表现,以下是该模型在各项测试中的主要发现:
-
整体性能
UNITER-large 在表列多项下游任务上取得当时领先的结果,例如 VQA test-dev 73.82、NLVR2 dev 79.12;但并非每个子指标都高于 UNITER-base,例如 Flickr 零样本文本检索 R@10 为 97.70,低于 base 的 98.00。
-
与特定任务模型的比较
相对于一些特定任务模型,如 MCAN、MaxEnt、B2T2 等,UNITER 在多项任务中表现较好。例如 VCR 的 Q→AR 指标,UNITER-base 为 58.20,高于表中的 B2T2 55.00,但低于 VL-BERT-large 的 59.70;UNITER-large 则达 62.80。
-
与其他预训练模型的比较
与其他多模态预训练模型如 ViLBERT、LXMERT 等相比,UNITER 在多数任务上有较好的表现。VQA test-dev 上,UNITER-base 的 72.70 高于 ViLBERT 的 70.55 和 VisualBERT 的 70.80,但仅比 LXMERT 的 72.42 高 0.28 个百分点;各模型预训练数据与任务并不完全相同。
-
双流与单流模型
虽然先前的研究如 ViLBERT 和 LXMERT 观察到双流模型优於单流模型,但作者发现单流 UNITER-base 在其预训练设置下也能达到领先结果;论文列出的参数量为 86M,低于 LXMERT 的 183M 与 ViLBERT 的 221M,且这些数字排除了词嵌入层。
-
两阶段预训练方法
对于 VCR 这种任务,作者提出了一种两阶段预训练方法,首先在标准数据集上进行预训练,然后再对下游 VCR 数据集进行预训练。这种策略证明了其在新的下游任务中的有效性。
-
NLVR2 的适应性
对于如 NLVR2 这样同时输入两张图片的任务,作者比较了 Triplet、Pair 和 Pair-biattn。加入双向注意力的 Pair-biattn 在 dev 达 77.18,高于 Pair 的 75.85 和 Triplet 的 73.03,显示它能补充两张图片之间的交互作用。
这些结果再次强调了 UNITER 模型在多模态任务上的强大能力。通过结合最先进的预训练策略,它成功地在多个下游任务中实现了卓越的性能,展示了其在视觉和语言融合领域的领先地位。
模型学到了什么?
在 UNITER 模型中,作者通过注意力机制的可视化对模型的学习行为进行了深入的分析。
这种可视化揭示了模型是如何理解和联系不同模态的信息,以下是主要的观察结果:
-
垂直模式
这种模式当注意力主要指向特殊标记,如 [CLS] 或 [SEP] 时出现。这张图只呈现注意力分布,无法据此判断模型是否过度参数化或训练数据不足。
-
对角线模式
当模型的注意力集中在标记或区域自身及其相邻位置时,此模式会出现。
-
垂直+对角线模式
这是前两种注意力分布的混合。
-
Block 模式
在此模式下,注意力主要落在同一模态内,如文本对文本或视觉对视觉。
-
异质模式
这种模式的注意力分布较多样,论文指出它高度依赖实际输入,难以归入其他几类。
-
Reversed Block 模式
在此模式中,注意力跨越文本与图像区域,包含文本对图像及图像对文本;这显示跨模态的注意力分布,但不能单凭热图判定模型已正确理解两者关联。
结论
回顾这篇文章,我们可以看到,几年前的研究者们对于视觉和语言融合的探索持续着深厚的兴趣。在这篇研究中,UNITER 作为一种大规模的预训练模型被提出,目的是要创建一个强大且通用的图像-文本表示。通过一系列的消融研究,研究者明确地评估了他们所提出的四种预训练任务。
利用域内和域外的数据集进行训练,UNITER 在当时展现了相对卓越的性能,特别是在多项视觉和语言的任务上。该研究所提供的洞察也指出了一些值得探索的方向,特别是在图像和句子之间的交互,以及更高效的预训练策略。
这篇文章为我们提供了一个回顾和反思的机会,让我们更好地理解视觉和语言结合领域的历史进程和发展。