返回论文笔记资料库
arXiv 2020AAAI 2021多模态学习论文笔记

ERNIE-ViL

知识的双刃剑

原始论文

ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph

论文作者

Fei Yu · Jiji Tang · Weichong Yin …

查看全部 7 位作者

Fei Yu · Jiji Tang · Weichong Yin · Yu Sun · Hao Tian · Hua Wu · Haifeng Wang

发表版本
AAAI 2021会议
arXiv 首次提交
arXiv:2006.16934
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multimodalityernievil2020,
  title = {{ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph}},
  author = {Fei Yu and Jiji Tang and Weichong Yin and Yu Sun and Hao Tian and Hua Wu and Haifeng Wang},
  year = {2020},
  eprint = {2006.16934},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2006.16934}
}
本页内容

在 BERT 之后的许多故事,你大概也都略有耳闻,能多少说出几个差异,例如:

ERNIE 在预训练时以词组和命名实体为单位进行 masking,借此学习更完整的语义信息。ERNIE 2.0 还加入其他预训练任务,进一步提高模型的表示能力。这里说的是结构化的掩码和多任务学习,并非直接向模型输入外部实体知识图谱。

既然 ERNIE 都优化了 BERT,那研究者们肯定是要把这份优化理念,同理类推到其他领域,也是个意料之内的操作了。

定义问题

作者着重于视觉语言预训练模型的问题,特别是当前模型在详细语义对齐方面的不足。

目前的模型往往无法区分常见词和描述详细语义的词,如物体、属性物体、物体之间的关系等。这使得这些模型在处理真实场景时,难以有效地表示和捕捉到细微语义。

作者定义并试图解决的几个要点:

  1. 当前视觉语言预训练模型的不足

    现有模型常基于随机遮蔽和预测子词的方法,而没有有效地区分常见词和描述详细语义的词,如物体、属性物体、物体之间的关系等。

  2. 详细语义对齐的重要性

    当前的方法往往忽略了跨视觉和语言建构详细语义对齐的重要性。这意味着模型在处理真实场景时,可能无法充分捕捉和表示细微的语义差异。

  3. 视觉语言预训练的数据源问题

    与文本预训练模型不同,视觉语言模型需要高品质对齐的图像文本数据,这些数据通常难以获得。

解决问题

ERNIE-ViL 模型设计

双流跨模态网络

双流跨模态 Transformer 结构确保了这两种模态的信息能够有效地组合在一起,提供一个全面的、统一的视觉语言表示。

  1. 双流结构

    「双流」意味着有两个独立的数据流或途径。在 ERNIE-ViL 的情境中,这两个流分别为文本(或语言)和图像。这两种模态都有其自己的 Transformer 结构,这意味着模型可以分别专注于每种模态的特定特征,而不是混合它们在一起。

  2. 处理文本和图像数据

    因为视觉和语言数据的性质有很大的差异(例如:文本是序列化的,而图像是二维的),所以分别处理它们使得模型可以专注于每种模态的独特性质,然后使用专门设计的方法来解析和学习这些数据。

  3. 跨模态 Transformer 区块

    这些区块的目的是促进视觉和语言数据之间的交互和对齐。一旦文本和图像都被它们各自的 Transformer 结构处理,跨模态的区块就会开始工作,将这两种模态的信息融合在一起。这是通过注意力机制和其他特定的策略来完成的,目的是找到文本和图像之间的相关性和语境。

整个双流结构的主要目的。当你有一个图像和一个相关的句子或描述,理想的情况是你的模型能够理解它们之间的关联性。例如:如果文本说「红色的球」,模型应该能够辨识图像中的红色球体。

场景图预测任务

场景图(Scene Graph)本身不是一个可训练的模型,而是一种数据结构或表示法。本文先从配对的文本描述解析场景图,用它标出物体、物体属性与物体之间的关系。

场景图是一种视觉表示法,描述了图像中物体的存在、物体之间的关系以及物体的特定属性。举例来说,对于一张有「红苹果在桌子上」的图片,场景图将会包含:「苹果」这个物体、「桌子」这个物体、苹果的属性「红色」、以及苹果和桌子之间的关系「在…上」。

三大预测任务:

  1. 物体预测:从文本解析出的物体节点中,随机选取 30% 并遮蔽对应的文本片段,再结合其余文本和图像区域预测原词。例如遮住「苹果」或「桌子」。
  2. 属性预测:从物体与属性的配对中选取 30%,保留物体词、遮住对应的属性词。例如保留「苹果」,预测「红色」。
  3. 关系预测:保留关系两端的物体词,遮住文本中的关系片段,再根据文本和图像区域预测。例如保留「苹果」与「桌子」,预测「在…上」。

借由这三个预测任务,ERNIE-ViL 被训练去深入地对视觉(图像)和语言(文本描述)之间的语义进行建模。这意味着模型不仅仅辨识图像中的物体和其描述,还能够理解物体之间的关系以及它们的特定属性,从而提供更丰富、更深入的视觉语言表示。

语义对齐

ERNIE-ViL 的核心目标之一是确保视觉(即图像)和语言(即文本)之间存在深入的语义对齐。语义对齐可以理解为模型对图像中的物体和它在句子中的语义描述之间的深入理解。

例如:当图像中有一只猫在汽车上,模型不仅要辨识出图像中的「猫」和「汽车」,还要理解「在…之上」这一关系。这样的语义理解确保模型能够在描述和图像之间建立正确的联系。

物体、属性和关系的预测任务在此过程中起到了关键作用。这些任务要求模型不仅要辨识图像中的物体和其属性,还要理解物体之间的关系,这有助于建立更强的跨模态理解。

编码方法

编码在这里是将输入转成可供模型处理的向量表示。ERNIE-ViL 分别处理其输入的文本和图像数据:

  1. 句子编码

    • 使用 WordPiece 方法进行句子分解。这是一种将词语分解成更小的子单位或片段的方法。例如:「playing」可能被分解为「play」和「ing」;具体结果取决于词表。
    • 生成的每个子词的编码是基于多种信息源的组合,包括:原始的词嵌入(基于词的语义)、片段嵌入(区分不同的句子或段落)以及序列位置嵌入(确定词在句子中的位置)。
  2. 图像编码

    • 使用预训练的目标检测器来辨识图像中的主要物体和区域特征。例如:它可以辨识图像中的「猫」或「汽车」。
    • 对于每个辨识出的物体或区域,模型以 5 维向量编码其在图像中的位置与面积,并加入代表整张图像的 [IMG] 特征。

预训练任务

在深度学习的领域中,预训练任务是一种常见的策略,旨在利用大量未标记的数据提前训练模型,使其在后续的特定任务上具有更好的泛化能力。ERNIE-ViL 针对视觉语言模型提出了一系列预训练任务,包括物体预测、属性预测、关系预测以及掩码语言建模,以下我们进一步探讨每一个预训练任务的特点及其意义:

  1. 物体预测

    物体作为视觉场景的核心元素,对于理解该场景的重要性极高。想象一张有苹果和桌子的图片:此任务遮住的是描述中的「苹果」等物体词,不是图片中的苹果区域;模型根据其余文本和图像区域预测被遮住的词。

  2. 属性预测

    物体除了基本的概念外,还有许多相关的属性,如颜色、大小和形状。例如:「红色的苹果」中的「红色」就是苹果的一个属性。属性预测任务保留文本中的物体词,遮住其属性词,要求模型结合图像预测该词。

  3. 关系预测

    物体之间的关系提供了更多的场景信息。例如:在「苹果在桌子上」中,「在…之上」描述了苹果和桌子之间的相对位置关系。在关系预测任务中,文本保留两个物体词、遮住关系词,模型结合图像区域与上下文预测这段文本。

  4. 掩码语言建模 (MLM)

    MLM 是一种文本预训练任务。例如:从「苹果是红色的」这句话中,随机遮住「红色」,然后要求模型结合其余文本与图像区域填补遗失的部分;它与依场景图节点选词的 SGP 任务不同。

  5. 掩码区域预测和图文匹配

    这些是另外两种预训练任务:MRP (Masked Region Prediction) 遮蔽部分图像区域特征并预测它们;ITM (Image-Text Matching) 判断图片和文本是否配对。它们与前述遮蔽文本节点的 SGP 任务分开。论文只对正确配对的图文样本计算 token 与区域预测损失。

讨论

ERNIE-ViL 的实验结果在多种视觉语言任务上展现了其卓越的性能,特别是当它和其他先进的跨模态预训练模型进行比较时。以下几点为作者对此模型的主要观察和讨论:

域外训练数据的优势

根据表 3 的数据,ERNIE-ViL 模型在多个视觉语言任务上展现出卓越的性能,特别是当它在域外的大型数据集 CC 和 SBU 上进行预训练时。

以下是一些主要的亮点:

  1. 比较其他在相同域外数据集上预训练的方法,ERNIE-ViL 在 5 个主要方面上均取得了最佳性能。
  2. 在视觉推理部分,ERNIE-ViL-large 相比 VL-BERT-large,VCR 的 Q→AR 测试集从 59.7 到 66.3,提升 6.60 个百分点;VQA test-std 从 72.22 到 73.96,提升 1.74 个百分点。
  3. 对于视觉定位任务,ERNIE-ViL-large 在 RefCOCO+ 的 testA/testB,相比 VL-BERT-large 分别从 78.57/62.30 提高到 80.97/64.70,各提升 2.40 个百分点。
  4. 在 Flickr30K 跨模态检索上,ERNIE-ViL-base 相比 Unicoder-VL-base,图像检索与文本检索的 R@1 分别提高 2.94 与 0.50 个百分点。
  5. 当使用域外和域内的所有数据集进行预训练时,ERNIE-ViL-large 依然在多个任务上超越了其他先进模型,如 UNITER、OSCAR 和 VILLA。

场景图预测的重要性

场景图预测(Scene Graph Prediction, SGP)任务在模型的表现中起到了重要的作用。从实验中可以观察到:

  1. 场景图预测的引入
    • 在同样以 BERT 初始化文本流的前两列比较下,加入 SGP 后表中的 VCR、VQA、RefCOCO+、图像检索及文本检索分数均提高;例如 VCR Q→AR dev 为 59.06→59.92。
  2. 对特定任务的改进
    • 在 RefCOCO+ val 上,SGP 使准确率从 72.81 提高到 73.50,增加 0.69 个百分点。
    • 对于图像检索任务,Flickr30K 的 R@1 从 70.74 提高到 72.96,增加 2.22 个百分点。
  3. ERNIE 2.0 的影响
    • 把文本流初始化从 BERT 改为 ERNIE 2.0,且两者都使用 SGP 时,表中 VCR Q→AR dev 从 59.92 到 61.24。作者推测 ERNIE 2.0 的其他预训练任务可能带来更多常识知识。

ERNIE-ViL 在加入 SGP 任务后,其性能有显著的提升,尤其是在需要详细语义对齐的任务上,如指代短语定位和跨模态检索。这突显了场景图的建模对于理解图像和文本之间的关联的重要性。

完形填空测验

使用视觉模态为条件的语言完形填空测验来评估 SGP 任务的效果。此测验需要模型根据文本和图像的上下文推断被隐藏的详细语意标记。

  1. 数据集构建
    • 从 Flickr30K 数据集中随机选取了 15,000 个图像文本对。分别选择了 5,000 个物体、属性和关系标记作为隐藏目标。
  2. 评估指标
    • 使用Top-1 准确率(ACC@1)和 Top-5 准确率(ACC@5)作为评估标准。
  3. 比较结果(论文表 6;上图是表 5 的定性例子)
    • 使用 SGP 预训练的模型相比不使用 SGP 的模型,在 ACC@1 上物体提高 1.20、关系提高 3.08、属性提高 1.84 个百分点;整体由 49.75 到 51.75。
    • 两个模型的文本参数都是基于 BERT 初始化的。
  4. 观察结果
    • 有些情况下,不使用 SGP 任务预训练的模型无法正确预测,因其没有学习详细语义对齐且在预训练时无法区分常用词和详细语义词。在其他情境下,尽管模型能够进行预测,但其置信度低于使用 SGP 任务预训练的模型。

作者从完形填空测验表明,引入 SGP 任务可以使 ERNIE-ViL 模型更有效地学习跨模态的详细语义对齐。

结论

ERNIE 架构在多模态学习的过程中,虽然能有效提取知识,但其计算量和存储需求都相对较大。这意味着需要更多的计算资源,这在部分设备或情境中可能会受到限制。其次,尽管 ERNIE 有能力利用事先学习的知识,但它的泛化能力在一些特定的、较为罕见的跨模态场景中可能仍有待加强。

延伸至 ERNIE-ViL,该模型虽然成功地引入了场景图预测任务以优化跨模态详细语义对齐,但同时也带来了新的挑战。举例来说,如果场景图中的物体如「树」和「人」之间的关系被错误地标记为「坐在」而非「站在」,这种误解可能会导致模型在下游任务上的失效。

这增加了在实际应用中的不确定性。再者,考虑一个照片中呈现的是一个模糊的背影,或是多重重叠的物体,模型可能难以确定那是「人」还是「影子」或其他物体。在这些情况下,模型在遇到复杂或模糊的场景时,可能会面临解读困难,这也限制了其在某些特定场合,例如当需要精确物体辨识或场景解读时的适用性。

使用场景图,其实背后隐含的意涵就是:「人类理解知识的方式」比「模型理解知识的方式」还要好,所以让模型来学习人类理解世界的方式。

但,这样好吗?

我们也建议你也可以试着想想,这样好在哪里?不好在哪里?想清楚之后,你就会更清楚地认识到本篇文章中使用的「知识增强」技法会遇到的机遇与困难。

尽管如此,ERNIE-ViL 在跨模态预训练的领域仍展现出令人瞩目的优势。它不仅优化了详细语义的对齐,而且还提供了新的方向,譬如:我们能进一步整合从图像中提取的场景图,以及利用图神经网络(GNN)来整合更多的结构化知识。这不仅是技术进步的象征,也为未来的研究者提供了新的研究方向和思考空间。