返回论文笔记资料库
arXiv 2021ICCV 2021多模态学习论文笔记

MDETR

连续之艺

原始论文

MDETR - Modulated Detection for End-to-End Multi-Modal Understanding

论文作者

Aishwarya Kamath · Mannat Singh · Yann LeCun · Gabriel Synnaeve · Ishan Misra · Nicolas Carion

发表版本
ICCV 2021会议
arXiv 首次提交
arXiv:2104.12763
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multimodalitymdetr2021,
  title = {{MDETR - Modulated Detection for End-to-End Multi-Modal Understanding}},
  author = {Aishwarya Kamath and Mannat Singh and Yann LeCun and Gabriel Synnaeve and Ishan Misra and Nicolas Carion},
  year = {2021},
  eprint = {2104.12763},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2104.12763}
}
本页内容

在近年的计算机视觉领域,目标检测一直站在前线,扮演着众多先进多模态理解系统的核心角色。然而,传统的方法将检测系统作为一个黑盒子,进行固定概念的图像检测,这样的方法明显受到了其固有局限性。

一个很明显的问题,就是它不能有效地利用多模态上下文进行协同训练,下游模型也只能访问已检测到的对象。而且,这样的检测系统往往是冻结不变的,意味着它们缺乏进一步的细化和适应性。更重要的是,这些检测系统的词汇受到严重的限制,对于以自由格式文字表达的新颖概念组合通常是盲目的。

简单来说,本论文的作者也想要把 VL 模型里的目标检测的架构换掉。

你应该还记得之前有一篇论文是用 ViT 来换,但结果没有很好。

既然抽换 ViT 感觉不是很好(毕竟 ViT 不是专职用来做目标检测的),所以这次就用另外一个「专职」做目标检测模型,DETR,来进行抽换吧!

定义问题

目前大多数先进的多模态理解系统依赖于目标检测作为其核心部分,但这些设计明显充满了各种问题:

  1. 协同训练的局限性

    在多模态系统中,协同训练意味着同时使用来自多种输入源(例如:图像、文字、声音等)的数据进行模型训练。当一个系统的部分无法与其他部分进行这种协同训练时,它可能无法充分利用所有可用的信息。

    试想如果有一个图像和语音输入的模型,只独立地训练图像检测器而不考虑语音输入,那么当语音输入提供有关图像中对象的重要信息时,模型可能无法正确地识别该对象。

  2. 检测范围的限制

    检测系统的主要目的是识别图像中的特定对象。但是,如果这些系统只专注于已知对象,并忽略了图像的其他部分,则可能会遗漏重要的上下文信息。像是在一张含有多人和一只狗的图片中,检测器可能只识别人和狗,但忽略了背景中的公园场景,这个场景可能提供了有关为什么人和狗在那里的重要信息。

  3. 模型固化

    一旦模型训练完成并「冻结」,它就不再更新或学习。这可能会阻碍模型在面对新的情境或数据时适应和优化。如果你的检测器是在夏天的图片上训练的。如果它在冬天的图片上不能进行微调,它可能会在雪地或穿着厚重外套的人上表现不佳。

  4. 词汇局限性

    目标检测系统基于其训练数据识别特定的类别或属性。如果遇到未在训练数据中见过的新对象或概念,它可能无法识别。

  5. 不是端到端的设计

    端到端系统允许从输入直接到输出的连续学习和优化,没有中间步骤。如果检测器不是端到端的,那么它和其他任务之间的协同训练可能会受到限制。就数学上来说,这个系统无法微分呀,不能微分就没机会优化啦!

解决问题

MDETR 模型设计

这个模型很简单:文字部分先使用改良后的 Encoder 模型 RoBERTa。

产出文字的特征编码之后,先把图像与文字特征分别投影到同一维度,再沿序列维度 Concat,送进 DETR 式的联合 Transformer 编码器与目标查询解码器。

整体结构分为几个部分:

  • 主干卷积编码:图像首先由卷积主干编码并摊平。
  • 空间信息:通过将二维位置编码加到摊平的向量中,模型保存了空间信息。
  • 文字编码:使用预先训练的 Transformer 语言模型对文字进行编码,产生与输入 token 对应的隐藏向量序列。
  • 模态相关的线性投影:对图像和文字特征应用模态相关的线性投影,将这些特征投影到一个共享的编码空间。
  • 交叉编码器:串联图像和文字特征的序列被送入到一个联合 Transformer Encoder,这是模型中的核心部分。
  • 目标查询解码器:和 DETR 一样,目标查询对联合编码结果做交叉注意力,再预测框及其对应文字。

训练方式

  1. Soft token 预测

Soft token 的想法很有趣:它关注于预测原始文本中对应于每个匹配到真值框的物体的 token 位置分布,而不是预测固定的物体分类类别;对应文字范围内的 token 会分到均匀的目标概率,未匹配的查询则学习「无目标」。这是该方法与标准物体检测的主要区别。

假设描述句子为「一只黑猫和一只白狗」,模型在检测到黑色动物时,会试图预测其与「黑猫」这部分文本的关联性。这不是仅仅关于一个独立的 Token 或类别标签,而是关于文本中一系列的 Token,这些 Token 合在一起形成一个「范围」,一起描述一个特定的物体。

这种方法的好处是它可以处理同一文本中对同一物体的多次引用,或者多个物体对应于同一段文字的情况。

对比对齐

对比对齐旨在确保视觉对象的编码表示与其相应的文本 Token 在特征空间中是接近的。这种对齐比仅基于位置信息的”Soft token prediction”更强大,因为它直接运作在特征表示上。

参考论文中所提供的数学式,其中:

  • LL:最大的 Token 数量。
  • NN:最大的物体数量。
  • Ti+T_i^+:给定物体 oio_i 应对齐的 Token 集合。
  • Oi+O_i^+:与给定 Token tit_i 对齐的物体集合。
  • τ\tau:温度参数,设为 0.07。

图中的式子是「物体找 token」方向:一个物体可能对应多个正 token,因此先对正样本数量取平均;论文还有对称的「token 找物体」方向,两项平均才是完整的对比对齐损失。整个概念很简单:物体和文字,你们俩要好好对齐,长得愈像愈好。

所有损失

MDETR 先以二分匹配将预测框对上真值;匹配成本包含 soft token、L1 与 GIoU。匹配后的训练损失则包含框的 L1/GIoU、soft token 交叉熵,以及上面的对比对齐损失,不能把二分匹配本身当成另一个框预测损失。

数据集

  • CLEVR:用于评估方法的结果。
  • Flickr30k:被用于建立组合数据集的图像。
  • MS COCO:被用于建立组合数据集的图像。
  • Visual Genome (VG):被用于建立组合数据集的图像。
  • 注释数据来自于引用表达式数据集、VG 区域、Flickr 实体和 GQA 训练平衡集。

技术细节

  • Pre-training Modulated Detection

    预训练阶段,目标是检测对齐的自由形式文字中引用的所有物体。

  • 数据组合技巧与其重要性

    • 对于每一张图片,从所提到的数据集中取得其所有相关的文本注释。若不同的注释引用了相同的图片,则这些注释会被合并。为了保证训练集和验证/测试集的独立性,所有出现在验证或测试集中的图像都从训练集中移除。
    • 作者用图着色算法组合句子,只把所指边界框之间 GIoU ≤ 0.5 的短语放在同一组,而不是计算文字区块的重叠;组合后的句子总长度被限制在 250 个字符以下。通过这种方法,从约 20 万张图像形成了 130 万对齐的图像-文字对。
    • 使用这种数据组合技巧有两个主要原因:
      • 数据效率:通过将更多的信息打包到单一的训练样本中,可以更有效地利用数据。
      • 更好的学习信号:
        • 当模型在学习时,需要识别和解决文本中多次出现的相同物体类别之间的歧义。
        • 在只有一个句子的情境中,「Soft Token 预测」的任务变得相对简单,因为模型通常可以轻易地预测该句子的主题或核心意义,而无需太多依赖图像。
        • 通过组合多个句子,模型被迫更加深入地探索图像和文字之间的关联,从而提高其预测能力。
  • 模型架构选用

    • 文字编码器使用的是预先训练的 RoBERTa-base,具有 12 个 Transformer 编码器层。
    • 视觉主干有两种选择:
      • ResNet-101:这是从 Torchvision 获得的,并在 ImageNet 上预先训练的。
      • EfficientNet 系列:使用了 EfficientNetB3 和 EfficientNetB5。其中 EfficientNetB3 在 ImageNet 上达到了 84.1% 的 top 1 准确率,而 EfficientNetB5 达到了 86.1%的准确率。
    • 上述 EfficientNet-B3/B5 主干使用了经 Noisy-Student 伪标记方法、在 ImageNet 及大量未标注数据上预训练的权重,并非 MDETR 额外增加一条独立模型分支。
    • 训练的细节:使用 32 个 V100 GPU,进行了 40 个 epoch 的预训练,有效批量大小为 64,训练时间大约需要一周。

讨论

下游任务表现分析

  1. Phrase grounding

    作者使用了 Flickr30k 数据集和特定的训练/验证/测试分割。在进行评估时,他们采用了两种不同的评估协议,这两种评估协议都旨在解决当一个短语参考图片中的多个物体时的问题,但它们采取了不同的方法,并具有各自的优点和缺点。

    1. ANY-BOX-Protocol(任意协议)

      在这个协议下,当给定的短语参考图片中的多个不同物体时,只要排名前 kk 的预测框中有一个与任一真值框的交并比(IoU)超过 0.5,就算 Recall@kk 命中。但此方法无法评估模型是否找到了所有被参考的实例。

    2. MERGED-BOXES-Protocol(合并框协议)

      在这个协议下,如果一个短语参考图片中的多个物体,那么所有与该短语相关的真值框会先合并成一个最小外接框,再以它计算 IoU。MDETR 原本预测各个实例框,因此论文为这个协议另用合并框标注微调;不能把它当成与 ANY-BOX 完全相同的模型输出。此方法可能失去对单独实例的细致了解,尤其当它们相距很远时,合并框会太大。

    3. 结果比较

      • 在 ANY-BOX 设定下,未做额外图文配对预训练的 MDETR-R101,验证集 Recall@1 为 78.9,较 VisualBERT† 的 70.4 高 8.5 个百分点;这不排除 RoBERTa/图像主干原有的预训练,两者条件也不同,不能把差距全归给架构。
      • 加入 COCO、VG 与 Flickr30k 预训练后,MDETR-R101 的测试集 Recall@1 为 83.4,较同为 ResNet-101 主干的 VisualBERT† 71.3 高 12.1 个百分点;图中的 ENB5 最佳列又换了主干。
  2. Referring expression comprehension

    大部分之前的研究和方法针对这项任务都是对一组预先提取的、与图像相关的边界框进行排序。这些边界框是通过使用预先训练好的对象检测器得到的。

    相对于先前的方法,本文提出了更具挑战性的目标:在给定引用表达式和相应的图像下,直接训练模型去预测边界框,而不是简单地排序预先提取的框。

    本文的模型在预训练期间已被训练以识别文本中所引用的每一个对象。例如:对于标题「穿着蓝色连衣裙的女人站在玫瑰丛旁边。」,模型会被训练去预测所有引用的对象(如女人、蓝色连衣裙和玫瑰丛)的框。然而,当涉及到引用表达式时,任务的目的仅仅是返回一个边界框,代表整个表达式所引用的物体。为了适应这种变化,模型在 RefCOCO、RefCOCO+、RefCOCOg 各数据集上微调 5 个 epoch,推理时以 1−P(∅)1-P(\varnothing) 排序候选框。

    上表中展示的 R101/ENB3 列在所报的 RefCOCO、RefCOCO+、RefCOCOg 分割上都高于列出的先前方法;但各列预训练数据量不同,带星号的部分先前方法还使用了与验证/测试集重叠的检测器特征,不能当成完全同条件消融。

  3. Visual Question Answering

    这个模型架构也是可以应用到 VQA 的任务,但需要经过一些设计。

    • 模型设计
      • 查询类型:除了用于检测的 100 个查询之外,还引入了针对问题类型的查询和用于预测问题类型的查询。在 GQA 中,这些问题类型被定义为 REL、OBJ、GLOBAL、CAT 和 ATTR。
      • 训练:进行了 40 个 epoch 的预训练,然后在不平衡的 GQA 分割上微调 125 个 epoch,最后在平衡分割上进行了 10 个 epoch 的微调。
      • 损失策略:在前 125 个 epoch 中,同时训练检测与 QA 损失,但对 QA 损失给予更大的权重;最后 10 个 epoch 只使用 QA 损失。

    模型利用目标查询作为输入到解码器的学习编码。这些编码被用于物体检测。在推理时,模型的特定部分会预测问题的类型并从该部分获得答案。

  1. 效能比较

    • 在 GQA test-std,使用 ResNet-101 主干的 MDETR 为 61.99,高于 LXMERT 的 60.33 与 VL-T5 的 60.80。
    • 该模型也高于使用更多预训练图像数据的 OSCAR(61.62),但这是跨方法、跨预训练设定比较。
    • 换用 EfficientNet-B5 主干后,MDETR 提高至 62.45;表中的 NSM 63.17 与 VinVL 64.65 仍较高,不能称为整张表的最佳结果。

Few-shot 可以做得到吗?

作者们受到 CLIP 在 Zero-shot 图像分类的成功启发,进一步探索了如何基于预训练的 MDETR 模型在少量标注数据上进行目标检测。不同于 CLIP,MDETR 的预训练数据集存在目标类别不平衡的情况;更关键的是,预训练时没有「文字给了某类别、却没有任何对应框」的负例,使模型倾向于对每段给定文字都预测框。预训练数据中的框与文字已有对齐。

由于这种设计,论文没有把预训练 MDETR 直接当成可靠的真正零样本检测器评估,而改用少样本设定。此次实验选择 LVIS 数据集,它包含约 1.2k 个类别,其中许多类别的训练样本很少,呈现长尾分布。

为了适应这种分布,MDETR 的训练策略是:对于每一个正类别,它采用图像和该类别的文字名称作为训练实例,同时使用该类别的所有框标注;对于已知为负的类别,则提供类别名称和空标注。在推理时,MDETR 对每一个可能的类别名称分别查询,再合并各文字提示检测到的框。论文报告这种逐类查询在 GPU 上约需 10 秒/张图像。

作者在 LVIS 训练集的 1%、10% 和 100% 图像子集上微调 MDETR,其中 1% 子集经平衡抽样,确保每类至少一个正例与负例。结果与两个基线比较:直接在 LVIS 全训练集训练的 Mask R-CNN,以及先在 MS COCO 预训练、再于各 LVIS 子集微调的 DETR。表中用每类限制预测数的 box AP fixed,并只评估未与预训练重叠的 5,000 张 minival 图像。MDETR 只用 1% LVIS 数据时,稀有类别 AP 为 11.2,高于用 100% 微调的 DETR 的 3.2;但仍低于全数据 Mask R-CNN 的 26.3。

此外,有一个显著的观察是:MDETR 稀有类别 AP 从使用 10% 数据时的 20.9,降到使用 100% 数据时的 7.4;论文正文写 7.5,但图中的 Table 6 列 7.4,这里依图表。作者推测大幅下降与极端类别不平衡有关,尚未在这组实验中单独验证原因。

结论

MDETR 最吸引人的特点之一就是它的「完全可微性」。

这种设计让整个模型可以进行端到端的训练,这种一致性带来的效果是:更紧密的模型协同工作,进而有机会提高整体性能和训练效率。其次,在实际的性能表现上,它在多种数据集上都展现出了令人难以置信的效果,这使得它在多模态学习的领域中站稳了脚跟。

再者,MDETR 的多功能性也是一大亮点。它不仅在调制检测上展现出色,还在其他如 Few-shot 检测和视觉问答等下游应用中证明了自己的价值。

MDETR 提供了一条道路,在其不依赖黑盒目标检测器的设计思路可能会启发更多的研究者去创建准确且高效的模型。