返回论文笔记资料库
arXiv 2021CVPR 2021多模态学习论文笔记

VinVL

再访奥斯卡

原始论文

VinVL: Revisiting Visual Representations in Vision-Language Models

论文作者

Pengchuan Zhang · Xiujun Li · Xiaowei Hu …

查看全部 8 位作者

Pengchuan Zhang · Xiujun Li · Xiaowei Hu · Jianwei Yang · Lei Zhang · Lijuan Wang · Yejin Choi · Jianfeng Gao

发表版本
CVPR 2021会议
arXiv 首次提交
arXiv:2101.00529
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multimodalityvinvl2021,
  title = {{VinVL: Revisiting Visual Representations in Vision-Language Models}},
  author = {Pengchuan Zhang and Xiujun Li and Xiaowei Hu and Jianwei Yang and Lei Zhang and Lijuan Wang and Yejin Choi and Jianfeng Gao},
  year = {2021},
  eprint = {2101.00529},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2101.00529v2}
}
本页内容

看完了上一篇的奥斯卡,后续的研究立刻就跟了上来。

这篇论文作者认为奥斯卡虽然不错,但还是有缺点,即:

  • 它对于视觉表征的探索不够深入。

那么怎样的做法,才能称之为「深入」呢?

让我们仔细地来看过这篇论文。

定义问题

作者专注于视觉语言预训练(VLP)领域,特别是在改进物体检测(OD)模型的视觉表征方面。在多数视觉语言(VL)任务中,视觉特征的有效性和丰富性直接关系到模型的性能。下面是一些主要的问题点:

  1. 丰富的视觉表征的必要性

    当前的 VLP 方法通常强烈依赖于物体检测模型所提供的视觉表征。作者指出:尽管这些模型为处理各种 VL 任务提供了有价值的视觉信息,但还有改进的空间,尤其是在处理复杂、多样并富含语义的图像场景方面。

  2. 跨模态融合模型的效果

    VLP 通常由两部分组成:预训练的物体检测模型和一个跨模态融合模型,后者是用于结合视觉和语言特征。虽然大部分的研究聚焦于改进跨模态模型,但作者强调,更加强大和语义丰富的视觉表征同样关键。

  3. 现有物体检测模型的局限性

    作者明确指出当前广泛使用的 OD 模型,在一些文献中作为一个「黑盒」使用,在其训练数据集和目标上可能存在一些局限性,这影响了其在各种 VL 任务上的性能。

  4. 视觉物体和概念的多样性

    在许多实际应用中,模型需要能够辨识和理解图像中的各种视觉物体和概念。当前的模型,尤其是在 Open Images 上训练的模型,可能无法充分捕捉和表达这些丰富多样的视觉内容。

解决问题

这篇论文的主要改动是训练更强的物体与属性检测器,提供 VinVL 视觉特征;作者也用这些特征训练改进版跨模态模型 Oscar+,并比较两部分的贡献。

视觉语言模型通常由两个主要部分组成:图像理解模块(Vision)和跨模态理解模块(VL)。其中,Vision 模块将图像转换为语义表示(q)(例如:标签或检测到的对象),以及高维潜在空间中的区域特征向量(v)(例如:由预训练的 Faster-RCNN 模型生成)。

接着,这些视觉特征与语言输入一起用于各种 VL 任务。本文深入探讨了图像理解模块的改进方法,尤其聚焦于物体检测的预训练和属性信息的注入,以下是几个要点:

物体检测预训练

  • 数据处理

    使用四个主要的公共数据集(COCO、OpenImagesV5、Objects365V1 和 Visual Genome)进行目标检测模型的预训练,这些数据集包含多种大小和多样性的图像和标签数据。具体使用了多个策略来建立一个统一的大型语料库,例如:类别感知采样和对不平衡数据集的贡献进行平衡。

  • 模型架构

    先前的物体检测研究中,FPN 常优于 C4;但本文与参考研究发现,在所测的 VL 任务中,C4 提供的区域特征更有效,因此采用 C4。

  • 预训练策略

    作者采用了一系列经典与经验相结合的方法以提升模型的性能。

    • 冻结(freeze)第一卷积层、第一个残差模块及所有批量归一化层;这是作者采用的检测器训练设置。
    • 为了扩展数据集并增强模型的泛化能力,作者也应用了一系列的数据增强技巧,其中包括水平翻转和多尺度训练。

    作者选择使用的目标检测模型基本架构为「X152-C4 架构」。初始模型主干的权重是基于在 ImageNet-5K 数据集上训练过的模型进行初始化的,并且在 16 张图像的批次大小下进行了 1.8M 次的迭代训练。

属性注入

在目标检测模型(OD)的训练与微调中,一个重要的方向是如何将额外的信息或特征整合到模型中以提升其预测能力。

  • 预训练模型与属性分支

    • 预训练的 OD 模型:基本上是先在一个较大的数据集上训练物体检测模型,以便学习到一般的视觉特征和物体检测的基本能力。
    • 加入属性分支:在该预训练的 OD 模型中添加了一个新的分支来预测物体的属性,从而使模型在进行物体检测的同时也能辨识和预测出物体的某些属性。
  • 在 Visual Genome(VG) 数据集上的微调

    • 属性信息:这里的属性指的是物体的某些特征或者特性,比如颜色、形状、大小等,VG 数据集提供了 524 个这样的属性分类。
    • 微调策略:在将属性分支加入到模型后,对其在 VG 数据集上进行微调,以便模型学习到与这些属性相关的视觉特征并提高在物体检测任务中对这些属性的预测能力。
    • 属性损失权重调整:选择一个比先前研究更大的属性损失权重(0.5 -> 1.25),目的是在微调过程中更加强调属性学习的重要性,以在最终的模型中实现对物体属性更加精准的预测。

这样的方法能够使模型在 VG 数据集上,不仅能够检测出物体,还能够辨识和预测物体的多个属性,并且与之前的模型相比,展现了显著的优势。

提高效率

在视觉语言任务中,物体的视觉特征和属性的丰富性带来了一定的计算挑战,特别是在特征提取过程中。

  • 非极大值抑制 (NMS) 的挑战

    由于视觉物体和属性的丰富多样性,使用类别感知非极大值抑制(NMS)在后处理阶段需要消耗大量的计算资源来消除重叠的边界框,导致特征提取过程极其缓慢。

  • 提高效率的策略

    • 使用类别无关 NMS:物体框后处理由各类别分开执行改为只执行一次;若连 RPN 的 NMS 一起计算,整个特征抽取器仍有两次 NMS。
    • 调整卷积层设定:将原先设置为 dilation=2 的卷积层替换为不进行扩张的卷积层,这同样是一个针对计算效率的优化。

论文报告这两项替换让区域特征抽取明显加快,且在所测 VL 下游任务中没有准确率下降;没有分别测量每项改动的独立贡献。

讨论

下游任务的表现

  1. 为了评估模型参数效率,最先进的模型 (SOTA) 被划分为三类:

    • SOTAS: 小型模型,在基于 Transformer 的 VLP 模型之前达到最佳表现。
    • SOTAB: 大小与 BERT 基础类似的 VLP 模型的最佳性能。
    • SOTAL: 大小与 BERT Large 类似的 VLP 模型的最佳表现。
  2. 表中使用 VinVL 特征的模型在七项任务多数指标高于列出的先前最佳结果;图像字幕的 B@4 是例外:VinVL-B 40.9、VinVL-L 41.0,低于 SoTA-L 的 41.7。

  3. VQA:搭配 VinVL 特征的 Oscar+-B 在 test-dev/test-std 为 75.95/76.12;其中 test-std 仅比表列 InterBERT Large 系集的 76.10 高 0.02。

  4. GQA:搭配 VinVL 特征的 Oscar+-B 在 test-std 为 64.65,高于表列 NSM 的 63.17;作者称其为当时首个超越 NSM 的 VLP 模型。

  5. 图像字幕:VinVL-B 的 CIDEr 为 140.6,高于表列先前最佳 140.0;但 B@4 为 40.9,低于 41.7,因此需按指标阅读。

  6. NoCaps:作者报告在未采用 VLP 初始化的 COCO 字幕模型中,换用 VinVL 特征后,其 CIDEr 已超过当时榜单的人类基准;再将 VIVO 的视觉词汇预训练搭配 VinVL 特征,CIDEr 由 86.58 升至 92.46。这两个实验设定应分开看。

视觉特征有多重要?

作者以 R101-C4 与四数据集预训练的 X152-C4(VinVL)两种视觉模型,搭配无 VLP、Oscar 或 Oscar+,比较 VQA 性能。这张表没有「VinVL 特征 + 原版 Oscar」一格,因此只能解读表中实际测试的组合。

  1. 模型比较与性能提升

    • Oscar vs. Oscar+ 与视觉特征:R101-C4 搭配 Oscar 是 72.38;同样特征搭配 Oscar+ 是 72.46;Oscar+ 再换用 VinVL 特征是 74.90,总共提高 2.52 个百分点。
    • 贡献分析:按表列数字,Oscar+ 的改动是 0.08/2.52,约占这条比较路径增益的 3.2%;换用视觉特征是 2.44/2.52,约占 96.8%。原论文正文将两者概称为 5%/95%,那不是表格数字的精确比值。
  2. 视觉表征的重要性

    • 这组 VQA 结果显示,更换视觉模型与改进 VLP 都可能提升成绩;两种改动的幅度须按各自对照组计算。
    • 无 VLP 时,换用 VinVL 特征由 68.52 升到 71.34(+2.82);R101-C4 特征从无 VLP 换成 Oscar+ 由 68.52 升到 72.46(+3.94)。两者相加预期 75.28,实际组合为 74.90,接近但不相等。

视觉概念多样性的影响

文章探讨了视觉概念,尤其是物体和属性词汇的多样性,对视觉语言模型,特别是视觉问答(VQA)任务的影响。

  • 视觉概念词汇的丰富度

    • 在这组 R50-C4+BERT-B 实验中,VG w/o attr(1594 类)为 66.51,高于 VG-obj(317 类)的 64.25 与 ImageNet(1000 类)的 66.13;数据来源及特征类型也不同,不能单靠这张表把差距全归因于词汇量。
    • 作者指出 VG-obj 等常见物体类别缺少「天空」、「水」等概念;图中的示例支持更丰富词汇可能帮助 VQA,但未单独测量每个词的影响。
    • 在 VG 相关设定中,加入 524 种属性后,VQA 由 VG w/o attr 的 66.51 升至 VG 的 67.86;4Sets→VG 为 68.39,还包含更大规模的预训练数据,不宜只归因于属性。
    • 即便在较小的视觉模型(例如:R50-C4)上,视觉预训练也能提升 VQA 的表现;这些实验支持其在所测配置中的效益。
  • 丰富的视觉语义对视觉语言任务的影响

    • 表中以 COCO 真值框 GT-Obj/GT-Obj&Stuff 替换候选区域时,两种模型的 VQA 都低于使用 Anderson 或 VinVL 检测区域的结果;这张表比较不同区域来源的 VQA 表现。
    • 表中固定模型、替换区域来源,或固定区域来源、替换模型权重,都会改变 VQA 分数;这支持作者对丰富视觉语义的重视,但不能把效果全归于区域框或模型权重其中一项。

结论

虽然 VinVL 尝试引入更多的视觉特征,但总还是没有挣脱类别的概念。当选定的物体和属性类别也许并不足够丰富,或者在某种程度上带有一定的偏见,这意味着模型无法完全捕捉到所有的视觉概念,影响其深入应用于更广泛领域的可能性。

再来,相信你也看出来了,这个模型规模的庞大和复杂度也是一个突出的问题。作者大概也是明白,所以特别写了一个章节来说明提高效率的方式,来告诉使用者该怎么改善推理速度。

VinVL 模型的大型架构和复杂计算过程要求较高的计算资源和存储能力,这在一定程度上限制了其在资源有限的应用场景中的适用性和普及程度。

最后,属性和视觉概念的融合难题同样不可忽视。模型需要在多个来源的数据集上进行训练以涵盖广泛的视觉概念和属性。然而,如何融合这些异质来源的数据、确保数据一致性并充分发挥它们的优势,在实现一个具有高度一致性和广泛应用性的模型时仍是一大挑战。

VinVL 检测器通过在多个数据集上的训练,为多个 VL 任务提供了更有用的视觉特征,特别是在物体辨识和视觉属性的理解上。尽管仍然面临一些挑战,但其在多个任务上的表现彰显出它作为视觉语言预训练模型的视觉输入所具有的价值。