返回论文笔记资料库
arXiv 2020ACL 2021多模态学习论文笔记

UNIMO

错综的线索

原始论文

UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning

论文作者

Wei Li · Can Gao · Guocheng Niu …

查看全部 8 位作者

Wei Li · Can Gao · Guocheng Niu · Xinyan Xiao · Hao Liu · Jiachen Liu · Hua Wu · Haifeng Wang

发表版本
ACL 2021会议
arXiv 首次提交
arXiv:2012.15409
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multimodalityunimo2020,
  title = {{UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning}},
  author = {Wei Li and Can Gao and Guocheng Niu and Xinyan Xiao and Hao Liu and Jiachen Liu and Hua Wu and Haifeng Wang},
  year = {2020},
  eprint = {2012.15409},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2012.15409}
}
本页内容

是不是很久没有上国文课了?错综是什么?还记不记得?

好像有种画风不对的感觉,但没关系,总之我们先复习一下。

错综

  1. 交错语次(语序变换)

    • 调整原句的语序,使之产生新的语义或感受。
    • 原文:「陟罚臧否」→ 错综:「陟臧罚否」
  2. 抽换词面(词的变换)

    • 使用近义词替换,为文句带来变化与新鲜感。
    • 原文:「南山烈烈,飘风发发」 → 修改:「南山律律,飘风弗弗」
  3. 伸缩文身(字数变换)

    • 故意更改句子的长度,营造节奏感。
    • 原文:「于山见终南嵩华之高,于水见黄河之大且深」 → 修改:「于山见高,于水见大且深」
  4. 变化句式(句式变换)

    • 改变语气或句型,例如:由肯定变成否定,由陈述变成疑问等。
    • 原文:「徐公何能及君也?」 → 修改:「徐公能及君也吗?」

「错综」注重改变原有的语言结构和语序,注重语言的变动性和结构变化。

回到主题。

这篇论文,也就是 UNIMO 的主打贡献,是在训练多模态模型时借用「抽换词面」的思路,并结合其他改写与检索方法,产出更多正例与硬负例。

你说他们只用了抽换词面,其他方法都没有用吗?

不完全是。原论文还用了句子层回译、检索硬负例与图像/文本扩充。看到这里,你仍可以想想,其他修辞技巧还能带来什么开发方向。

定义问题

在探讨先前在预训练研究领域的工作时,作者区分出单模态和多模态预训练两大总类。这些方法大多着重于各自的领域,无论是单一的视觉或语言模型,或是涵盖了多模态任务的模型,都有各自的局限性:

  1. 单模态学习之挑战

    现行的学习模型与研究经常专注于单一的模态(文本或图像),这种专注降低了其在多模态场景(结合文本与图像)的性能。这种做法阻碍了不同模态(如视觉和语言)信息的综合利用。

  2. 多模态预训练数据的局限性

    虽然多模态预训练方法(例如:ViLBERT、VisualBERT 和 UNITER)的存在已被确认,但这些方法过分依赖于有限的图像-文字对应数据,并在单一模态场景中表现不稳定。这些方法在单一模态任务的通用性方面存在限制。

  3. 多模态数据语义空间对齐的难题

    为不同类型的数据(例如:文本和图像)建立一个统一的语义空间,以便在多模态学习中对其进行对齐和结合,一直是一项挑战。这严重影响到模型在不同模态之间学到的表示形式的转移性和普适性。

  4. 跨模态表示学习的效率疑问

    现有的跨模态预训练策略主要是在有限的图像-文字配对上,利用基本的图像-文字匹配和遮罩语言模型策略学习跨模态表示。这样的方法在学习全面的视觉和文字表示,以及泛化到单一模态任务方面存在不足。

  5. 跨模态理解与生成的挑战

    在多模态情境中,扩增视觉和语言知识以增进理解和生成能力的方法呈现了显著的挑战。需要语言和视觉模型的协同工作以强化多模态情境下的信息理解和生成。

解决问题

UNIMO 模型设计

UNIMO 是一种跨模态预训练方法,旨在捕捉并学习不同模态间在语义层面上的模态不变信息。模型的核心概念来源于人类如何通过多种感知方式来感知世界。

其主要的设计理念为:

  1. 多模态学习

    • UNIMO 从不同类型的数据(例如:图像、文字、和图像-文字对)中学习,目的是在语义层面上捕获模态不变的信息,从而实现对文字和视觉输入的更稳固和通用的表示。
  2. 采用 Transformer 架构

    • UNIMO 采用多层自注意力 Transformer 结构来学习文字和视觉数据的统一语义表示。
    • 文字输入首先通过 Byte Pair Encoding (BPE) 分割成子字序列,并利用自注意力机制学习情境化的标记表示。
    • 对于图像输入,使用 Faster R-CNN 检测显著图像区域并提取每个区域的视觉特征。
  3. Cross-Modal Contrastive Learning (CMCL)

    • CMCL 旨在将不同层次的文字和视觉表示对齐并统一到同一个语义空间。
    • 基本思路是使成对的图像和文字的表示在表示空间中靠近,而不配对的表示则相对远离。
    • 利用一系列文字重写技术创建正图像文字对 X+ 和负图像文字对 X−,并通过图像和文字检索从单模态数据中获取相关图像 XI 和文字 XT。
    • 图文对由相同的统一模态 Transformer 成对编码;检索到的单模态图像和文字因关联较弱,则分别编码,再提取表示计算对比损失。
  4. 单模态和多模态联合学习

    • UNIMO 在大量图像集、文字语料库、和图像-文字对上进行预训练,通过掩码预测学习可泛化的视觉和文字表示,并将它们统一为相同的语义空间。
    • 联合学习视觉知识、语言知识以及视觉和语言之间的跨模态知识:视觉区域以掩码后的特征回归与类别预测训练,文字则使用双向预测与 Seq2Seq 生成目标;实验显示两种知识可互相补益。

CMCL

CMCL (Cross-Modal Contrastive Learning) 的基本理念是在联合的语义空间中缩小相似(正)样本之间的距离,同时扩大不相似(负)样本之间的距离,数学式如下:

在这个公式中:

  • d(V,W)d(V,W) 是图像 VV 与文字 WW 的相似度分数;虽然论文也称它为「距离」,但依式中的 exp⁡(d/τ)\exp(d/\tau),正样本的分数应较高,负样本应较低。
  • τ\tau 是温度参数,控制 softmax 分布的锐利度。
  • 分子的 X{+,I,T}\mathcal{X}^{\{+,I,T\}} 包含正图文对,以及与原图文对相关的单模态图像、文字;计算后两者的跨模态分数时,分别配上原文字 WW 或原图像 VV。
  • 分母的 X{−,+,I,T}\mathcal{X}^{\{-,+,I,T\}} 除了上述正样本,还包含负图文对及负图像、负文字;不是只有负样本。
  • EV,W\mathbb{E}_{V,W} 表示对训练图文对取期望。

这个损失函数体现了一个基本的对比学习思想:模型应该被鼓励将语义上相似或相关的图像和文本(正样本)映射到靠近的点,而将不相关的图像和文本(负样本)映射到更远的点。

  • 上式的分子:正图文对、相关图像与相关文字的相似度分数越高,对应的指数项越大。
  • 上式的分母:同时包含正例与负例;降低负例的相似度分数,才会降低其指数项。

通过最大化这个比值,模型学到了一个在多模态语义空间中区分正样本和负样本的能力。

多粒度语义对齐

  • Text Rewriting

    这个过程在增强图像和文字之间语义对齐的多粒度上扮演着一个重要角色。将图像的标题或描述在不同的层次(包括句子层级、短语层级和单词层级)进行重写,这个过程旨在为模型提供一个丰富的学习环境,帮助它更加精确地对齐图像和语言之间的语义。

    1. 句子层级的重写

      • 正样本的生成: 使用反向翻译技术。每个图像的标题首先被翻译成另一种语言,然后再翻译回原语言。通过这种方法,模型可以为一张图像获得多个语义上相似但可能在语法和用词上有些许不同的标题,作为正样本。
      • 负样本的生成: 使用基于 TF-IDF 相似性的检索来寻找其他图像的标题,这些标题与原始图像的标题非常相似,但并不准确地描述原始图像,因此可以作为硬负样本。
    2. 短语层级和单词层级的重写

      • 首先,将图像描述解析成一个场景图(一种图形表示,描绘图像中目标、属性和它们之间的关系)。接着,场景图中的目标、属性或关系节点会被相应词汇表中的其他相似词替换;依语句流畅度选出改写标题,与原图组成短语或单词层级的硬负样本。

    与以往方法中经常采用的随机抽样负样本不同,文本重写通过这些手段能够生成大量的硬负样本,这些样本在语义上接近正样本,但包含一些微妙的差异,从而使模型在学习过程中面对更多的挑战。

    这些文本重写的策略有助于模型学习图像和文字之间不同层级的语义对齐,通过正样本和负样本的对比,模型学习将语义相似的图像和文本对齐,并区分语义不匹配的图像和文本。通过这种方式,Text Rewriting 不只是在句子层面上增强模型的语义理解,还在更细致的语义层次上(例如:单词和短语)深化了模型对于图像和文字之间语义对齐的学习。

  • Image/Text Retrieval

    主要目标是在跨模态学习过程中融入更多的单模态信息,以提升模型在语义对齐方面的学习效果。

    1. 单模态信息的扩增

      每个图像-文字对被进一步扩充,通过从单模态数据(只包含图像或只包含文字的数据)检索到的相关图像和文本。

      • 图像扩充:以检测到的目标标签建立 TF-IDF 特征,检索与原图有相似目标的图像,作为相关视觉信息。
      • 文本扩充:先以 TF-IDF 检索候选句,再依 BERT 表示的相似度排序,提取与原始图像描述语义相关的句子。
    2. 编码扩充的信息

      单模态的图像和文本信息在经过编码后,将进一步被用于计算跨模态对比损失。

      • 单模态 Transformer 编码:扩充的图像和文本分别经由同一个统一模态 Transformer 编码;计算跨模态相关性时,相关图像配上原文字,相关文字则配上原图像。
      • 计算跨模态对比损失:提取这些表示,作为前述对比损失中的正例分数。
    3. 利用单模态信息提升跨模态学习

      这些扩充的图像和文本提供了丰富的背景信息,它们在跨模态学习中起着关键的角色,帮助模型理解和建立更强的视觉和语言之间的语义对齐。

      这个过程通过扩充原始的图像-文字对,利用额外检索到的单模态信息,提供跨模态语义对齐所需的相关样本。

实验设计

在这个部分,作者详细探讨多模态预训练模型 UNIMO 的实验设计,其中包含了前期的预训练、微调实验设定。

  1. 预训练数据集与实现细节

    • 预训练数据集

      • 文本语料库:使用了 BookWiki 和 OpenWebText 作为主要的文本来源。
      • 图像集合:包含 OpenImages 和 COCO unlabel 的子集,不包含文字描述的纯图像数据。
      • 图像文字对:集成了 COCO、Visual Genome、Conceptual Captions 和 SBU Captions 四个多模态数据集。
    • 实现细节

      • 模型规模:UNIMO 提供了两种大小的模型 – UNIMO-base(12 层 Transformer)和 UNIMO-large(24 层 Transformer)。
      • 预训练:模型分别从 RoBERTa-base 和 RoBERTa-large 初始化,并且至少进行了 500K 步骤的训练。
      • 优化及硬件:使用了 Adam 优化器、float16 混合精度训练,并在 Nvidia Tesla V100 32GB GPU 上进行了模型训练。
  2. 微调任务与实验设置

    • 单模态任务

      • 生成任务:包含生成会话问答(CoQA)、问题生成(SQuAD 1.1)、抽象摘要(CNN/DailyMail)、句子压缩(Gigaword)。
      • 理解任务:涵盖情绪分类(SST-2)、自然语言推理(MNLI)、语言可接受性分析(CoLA)、语义相似性分析(STS-B)。
    • 多模态任务

      • 包括视觉问答(VQA v2.0)、图像描述(Microsoft COCO Captions)、视觉语言自然语言推理(SNLI-VE)、图文检索(Flickr30k)。

在 UNIMO 的训练过程中,对视觉区域的特征提取选用了在 VisualGenome 数据集上预训练的 Faster R-CNN,并对区域的类别检测和选择进行了明确的标准制定。此外,在 CMCL 的设定中,也经过了谨慎的正样本与硬负样本的建立与选择。

讨论

多模态任务表现

在多模态任务的表现方面,UNIMO 展示了稳定的竞争力,尤其与一些当前领先的模型相比,例如 ViLBERT、VLP、UNITER 和 Oscar 等。UNIMO-large 在一些重点测试项目中超越了先前领先的模型,尤其是在图像检索和文本检索任务上,与 ERNIE-ViL-large 相比,其在 R@1 指标上分别提升了 1.34 和 1.3 点。这表明该模型在某些图像文字检索任务中的改进是可观的。

同时,在图像描述任务中,UNIMO-large 的 BLEU-4 分数为 39.6,高于 Oscar-large 的 37.4;但 CIDEr 为 127.7,略低于 Oscar-large 的 127.8。综合而言,UNIMO 在这些多模态理解和生成任务上展现了竞争力。

单模态任务表现

UNIMO 在单模态任务的表现上展现了稳健的适应性。与多个现有的预训练语言模型(如 BERT、RoBERTa、XLNet 及 UniLM)比较时,UNIMO 在多数语言理解和生成任务上表现相对持平或略有优势;但 UNIMO-large 的 MNLI 与 CoQA 仍低于 RoBERTa-large。通过与 UniLM(一个专门针对自然语言理解和生成设计的模型)的对比,UNIMO 在单模态场景中的性能得到了呈现,表明其在多模态和单模态任务上都具有可靠的竞争力。

这样的表现部分归因于 UNIMO 采用的统一模态学习架构的构建合理性。该架构巧妙地利用大规模单模态的图像和文字来进行跨模态学习,实现了多模态任务和单模态任务之间的平顺转换和学习。不过,尽管展现了某些优势,这种统一模态学习架构在不同领域与任务的适应性和深度优化仍有待进一步探讨和验证。

谁的贡献?

在融合文本和视觉信息的多模态学习领域中,文本和视觉这两种数据形式如何相互作用以及它们各自对学习过程的影响,一直是研究的热点。

作者也特别探讨了在 UNIMO 模型框架下,文本和视觉数据是如何互相加强:

  • 文本的影响:为视觉增添语境

    通过消融研究,当从 UNIMO 中去除单模态文字语料库上的语言学习过程(见表 3)时,各项多模态指标都下降,其中 Flickr30k 图像检索与文字检索的 R@1 分别由 74.66、89.70 降至 72.04、85.80;VQA test-dev 则由 73.79 降至 73.77。这支持单模态文字数据有助于跨模态学习,但不同任务的差距并不相同。

  • 视觉的贡献:丰富与强化语言表征

    反过来,视觉知识也对语言学习有帮助。当我们在预训练数据集中移除图像和图像-文本对(见表 4)时,模型在多数语言理解指标和所有列出的语言生成指标上下降;但 MNLI 的 matched 与 mismatched 准确率反而微升。这些结果支持视觉数据对多数表列语言任务有益。

    文本和视觉信息在多模态学习中的相互作用及其互补性,开启了一个新的研究视角,也揭示了未来的可能发展方向。从本研究的发现来看,它们在统一语义空间中形成了一种「合作共赢」的局面,通过各自的独特贡献强化了整体的学习效果。文本数据为视觉元素提供了语境与语义框架,而视觉数据则为语言表征注入了生动的具象内容和更多的现实场景信息。

结论

在先前的讨论中,「多粒度语义对齐」无疑是一个关键的概念,尤其是在探讨文本与视觉信息如何在不同语义层次上进行对齐和交互时。那么,为何这样一个看似重要的特性,却在实验部分缺乏专属的分析和验证呢?这是否意味着在 UNIMO 的应用实践中,「多粒度语义对齐」的角色没有被充分发挥或是其效果并非如我们预期的那样显著?

举例来说,我们本可以通过消融研究的方式来观察当模型不再进行细粒度的语义对齐时,其在各种跨模态任务上的表现会有多大的变化。这不仅可以验证「多粒度语义对齐」在模型中的实际作用,也能对我们未来的研究提供更多的启示和方向。例如:是不是在某些特定的任务或场景下,我们需要更加精细的语义对齐策略?又或者,在某些情况下,是不是模型能够在不进行细粒度语义对齐的情况下,依然能够达到一个可接受的表现呢?

这些潜在的问题和挑战,都需要我们在未来的研究中进一步的探讨和验证。希望这个问题能够唤起我们对于多模态学习中,尤其是「多粒度语义对齐」这概念更深入的思考与探究,从而推动这领域的进一步发展与创新。