Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers
- 发表版本
- 正式发表信息尚未核实
- arXiv 首次提交
- arXiv:2004.00849
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multimodalitypixelbert2020,
title = {{Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers}},
author = {Zhicheng Huang and Zhaoyang Zeng and Bei Liu and Dongmei Fu and Jianlong Fu},
year = {2020},
eprint = {2004.00849},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2004.00849}
}
在这之前,当我们谈论视觉和语言模型的结合时,大部分的研究者都会采用一套约定俗成的标准作业流程:
- 首先利用目标检测模型如 Faster R-CNN 来从图像中提取区域特征。
- 然后结合语言模型进行跨模态学习。
- 最后开始探讨跨模态学习的设计方式。
那……
是谁规定要在图像编码流程的最前面外挂一个「目标检测模型」?
可能,也没有人规定,只是不知不觉间大家就这么做了。
如果你也曾经做过研究人员,那就会知道:要提出一篇研究论文的一个比较容易的方式,就是依循着前人的脚步,然后进行改良,尝试提升个 1%~3% 的表现,就可以是一篇优秀的论文。
这种情况会持续到有一个突破性的方法被提出来或是评估数据集的性能饱和之后,才会进入下一轮的改朝换代。
或许在未来几年后的新一代的研究者们就会提出疑问:为什么「以前」的那些人们那么爱用 Transformer 呢?
这篇论文的作者则认为,在这里使用目标检测模型的设计,可能从一开始就错了。
目标检测模型通常是针对特定的视觉任务设计的,这可能会引入与语言理解不相符的偏差,尤其是当目标检测模型的视觉表征能力受到特定任务类别的限制时。
而 Pixel-BERT 提供了一种全新的视角。它不再依赖于预先训练的目标检测模型,而是从图像出发,经由 CNN 特征图学习视觉编码。这让模型有机会保留区域特征中可能丢失的形状、纹理和空间关系。再加上语言编码的部分,该模型能够学习视觉和语言之间更细致的跨模态表征。
定义问题
作者在这篇论文中观察和定义了以下问题:
-
跨模态语意差距
当前跨模态学习(特别是视觉与语言间)面临着视觉和语言之间语意差距的挑战。
-
视觉特征的局限性
先前的方法倾向于使用基于区域的视觉特征,如从目标检测模型中提取的特征。但这些基于区域的特征提取器主要是为了特定的视觉任务而设计的,导致与语言理解之间存在信息差距。例如:物体的形状、重叠物体之间的空间关系、物体的状态等重要视觉信息可能会丢失。
-
现有视觉特征的局限性
目前使用的基于区域的视觉特征在视觉语义的表示上有所局限。例如:目标检测模型可能无法捕捉到场景和情感等更广泛的视觉语义信息。
解决问题
Pixel-BERT 模型设计
在早期的视觉和语言结合模型中,使用目标检测模型,如:Faster R-CNN,从图像中提取区域特征是一种常见的做法。这意味着模型会搜索图片中的特定物体或主体,然后对每个物体的位置画一个边界框。检测器从这些区域提取特征,进一步用于模型学习。
但这种方法有其限制:
- 信息损失:边界框可能会包括一些无关的背景或忽略部分重要的物体部位,从而导致信息损失。
- 特定任务的局限性:这些目标检测模型是为特定的视觉任务设计的,并可能不适合其他跨模态任务。
像素特征编码
为了克服上述限制,Pixel-BERT 采取了一种不同的策略。它不再依赖于物体的边界框,而是从整张图像出发,由 CNN 学习特征图上的视觉编码。
- 像素学习:使用 CNN,像 ResNet,直接从整张图像学习。Transformer 接收的是下采样特征图上的位置向量,并非逐一接收原始 RGB 像素。
- 提取特征:
- Image 输入: 输入图像首先进入模型。
- CNN Backbone: 这是一个预训练的神经网络,用于从输入图像中提取视觉特征。
- Convolution (Conv): 通过卷积层对特征进行进一步的处理。
- Pooling: 这个步骤将特征图下采样,通常减少其空间尺寸。
- Random Sample: 预训练时从特征图随机选取 100 个位置向量送入 Transformer,以控制计算量。
- 语义编码:每一个特征图位置的向量都被加上一个语义编码向量 sv。这是一种特殊的向量,用于区分视觉编码与语言编码。由于所有的视觉位置都共享同一个 sv,所以它也可以视为加到 CNN 主干上的一个偏置项。(上图的 Semantic Embedding 部分。)
句子特征编码
模型遵循 BERT 的方法来编码句子的语言信息。
-
句子切分
首先,给定一个句子作为输入,该句子会被拆分成词序列。这通常是自然语言处理中的一个标准步骤,将句子拆分成其构成的词汇元素。
-
词语标记
使用 WordPiece 模型(一种常用于 BERT 的分词方法)对词语进行标记。这种分词方法可以将一个词分解成更小的可辨识的片段或子词,这尤其对于处理那些不常见或语料库中未出现的词特别有用。
-
编码矩阵转换
接着,每个标记(或称子词)都会被编码到一个向量中。这是通过一个编码矩阵完成的,该矩阵将每个唯一的标记或子词映射到一个固定维度的向量空间中。
-
位置编码
除了词汇编码外,位置信息也是非常重要的,特别是对于像 Transformer 这样的模型。因此,像 BERT 这样,Pixel-BERT 也添加了位置编码来编码序列中每个标记的位置信息。
-
组合编码特征
在这一步中,词汇编码和位置编码进行组合。文章中用到了 LayerNorm(wi + pi + sw) 这个公式。其中,wi 是词汇编码,pi 是位置编码,而 sw 是语义编码向量。但文章提到,在实现中,这个 sw 项被省略了。
-
最终语言表示:
组合后的编码特征 [w^1,w^2,...,w^n] 成为句子的最终语言表示,并可供后续的模型部分使用。
跨模态学习
模型使用 Transformer 来学习跨模态的注意力,特别是图像特征图位置和语言标记之间的关系。所有的编码特征都被组合在一起形成一个长的输入序列,并加入特殊标记如 [CLS] 和 [SEP] 来辨识其结构。这种设计让跨模态任务的梯度能回传到 CNN 主干。
预训练方法
作者为了学习与视觉和语言相关任务的通用视觉和句子表示,采用了自监督方法在大型聚合数据集上进行预训练。
-
掩码语言模型 (MLM)
在进行遮罩语言建模的过程中,模型的输入标记中约有 15% 会被随机选择并遮罩。遮罩的意义是将特定标记的原始值隐藏,使模型不能直接看到它。此后,模型的工作就是尝试恢复这些遮罩标记的真实值,它必须依赖于其他非遮罩的语言标记以及所提供的视觉标记来做出恢复的预测。
传统的 BERT 模型是单模态的,意思是它只在语言标记中进行遮罩预测。但是 Pixel-BERT 由于其跨模态性质,不仅仅依赖于语言模态,还可以利用视觉标记来进行预测。这使得 Pixel-BERT 在处理那些单纯从语言上下文中可能难以解释或有歧义的情境时,有更强的预测能力。例如:当语言中的某些遮罩标记与图像中的某些物体或场景直接相关时,视觉标记可以提供关键的语境信息,帮助模型做出正确的预测。
-
影像文本匹配 (ITM)
影像文本匹配(ITM)是一种复杂的策略,主要设计用于评估模型在理解图像和相对应的文本描述之间的深层语义关联的能力。这不只是寻找直接的匹配,更重要的是确认它们之间的细微连接。
在 Pixel-BERT 模型中,这项任务使用了 [CLS] 标记,作为图像和文本融合的代表点。通过这标记,模型得以生成一个融合的表示,反映出文本和图像的综合意义。例如:当模型接收到描述「春天的樱花树下」的文本和一张展示樱花盛开的公园的图片时,通过 [CLS] 标记,模型会生成一个高度相关的融合表示。这表示会进一步经过全连接层和 sigmoid 函数的转换,最终产生一个接近 1 的分数,表示图片和文本高度匹配。
然而,为了提高模型的辨识能力,训练过程中还将引入「负对」,也就是图像和文本不相关的配对。例如:可能会将描述「春天的樱花树下」的文本与一张展示沙漠风景的图片配对。这样的设计是为了让模型学习到何时图片和文本是不匹配的。通过这种正对和负对的训练组合,模型将更精准地评估实际应用中的图像和文本匹配度。
-
像素随机采样 (Pixel Random Sampling)
这是 Pixel-BERT 中采用的一个独特策略,主要的目的是提高模型在学习特征时的稳健性,确保模型不会过度依赖于每一个像素,从而减少过拟合的风险。
在预训练过程中,每次提取 CNN 特征图后,作者会随机采样 100 个位置向量送入 Transformer。这意味着在每次的迭代中,模型都会看到略有不同的视觉特征输入。
这样做可能有几个优点:
- 增强稳健性:通过随机采样的方式,模型将学会从部分数据中抽取出关键的视觉信息,即使某些特征图位置没有被选中,仍能保持良好的性能。
- 提高效率:减少 Transformer 的视觉 token 数量,从而降低这部分的计算成本。
- 防止过拟合:通过经常改变模型的输入,模型不太可能记住特定的输入模式,从而增加了其泛化能力。
需要注意的是:这种随机采样只用于预训练阶段。微调时不再采样,让模型使用完整的 CNN 特征图,避免短时间微调时漏掉信息,也让下游任务的训练和测试输入一致。
讨论
VQA 的表现
- 使用 ResNet-50 作为视觉主干的 Pixel-BERT 在 VQA 的 test-dev 分割上获得了 71.35 的分数。这高于表中 ViLBERT 的 70.55 和 VisualBERT 的 70.80,但低于 VL-BERT 的 71.79、LXMERT 的 72.42。
- 当使用 ResNeXt-152 作为主干时,Pixel-BERT 在测试上达到了 74.45 的分数,而在测试-标准分割上达到了 74.55,这些分数都优于其他先进的方法。
- 这张表列出的 UNITER 在 test-std 为 72.46;论文正文另引用 UNITER-large 的 73.40,两者是不同的比较列,不能当成同一个表格数值。
这些结果支持使用 CNN 特征图位置与语言 token 共同学习的做法;不同模型的视觉主干及预训练设置仍需分开看。
NLVR2 的表现
在真实视觉推理自然语言 (NLVR2) 任务中,目的是预测语言描述是否与提供的图像对相关。Pixel-BERT 将两个图像语言对作为输入,从 [CLS] 标记中获得两个编码向量。这两个向量拼接在一起,然后通过交叉熵损失学习「真」或「假」的分类器。
Pixel-BERT(ResNeXt-152)在 NLVR2 的 dev 分割上达到了 76.5 的准确率,在 test-P 分割上达到了 77.2 的准确率。这高于表中的 LXMERT 和 UNITER「Pair」设置,但低于 UNITER「Pair-biattn」的 77.1/77.9。
Pixel-BERT 的效果证明了它不仅在 VQA 任务上表现出色,而且在需要评估两个图像与语言描述相关性的 NLVR2 任务上也表现得很好。这些结果也显示了 Pixel-BERT 可以灵活地适应和处理不同的输入格式。
Image-Text Retrieval
- 上图是 Flickr30K 的 1K 测试集(论文 Table 4),不是 MS-COCO。Pixel-BERT(ResNeXt-152)的文本检索 TR R@1 为 87.0,高于 Unicoder-VL 的 86.2 和 UNITER 的 84.7;图像检索 IR R@1 为 71.5,与两者持平。
- 论文另在 Table 5 报告 MS-COCO:ResNeXt-152 的 TR R@1 在 1K/5K 为 84.9/63.6,IR R@1 为 71.6/50.1。原文所说的 0.6、0.3 与 1.9、1.7 个百分点分别对应这两种方向与分割的特定基线,不是上图的 Flickr30K 数值。
Pixel-BERT 在图像文本检索上取得了较好的结果,尤其在 MS-COCO 文本到图像的 R@1 比较上;这些数字仍是不同视觉主干与训练设置下的模型比较。
模型的关键设计是什么?
作者分析 Pixel-BERT 的有效性和卓越表现部分归因于其几个关键设计:
-
预训练任务的选择
相对于无预训练的第 1 列,单用 MLM 的第 3 列使 VQA 从 63.50 到 71.13、NLVR2 从 52.0 到 70.9;单用 ITM 的第 2 列使检索分数提高,但 NLVR2 从 52.0 略降到 51.9。
-
组合不同的预训练任务
当 MLM 和 ITM 被组合在一起时,它们的共同效果对模型的性能有显著的正面影响,证明了使用多种预训练任务可以进一步提高下游任务的效果。
-
随机像素采样
这是 Pixel-BERT 的一个独特设计,它的目的是增强模型的稳健性并避免过度拟合。比较相同 ResNet-50、MLM+ITM 的第 4/5 列,预训练时随机采样使 VQA 70.84→71.35、TR 72.0→75.7、IR 57.7→59.8、NLVR2 71.3→71.7。
-
视觉主干的选择
模型的性能也取决于所选择的视觉主干。当使用更强大的 ResNext-152 作为视觉主干时,模型的性能获得了显著提升,显示了 Pixel-BERT 模型与强大的视觉主干的组合能力。
结论
最后,作者提供了模型可视化的结果,如上图所示,Pixel-BERT 的注意力图展示了文本与图像之间的一些语义关联,也让跨模态学习的结果更容易观察。
在最近的研究发展中,预训练模型在视觉和语言领域已经取得了引人注目的效果。为了解决基于区域的视觉表示所带来的限制,作者引入了一种基于 CNN 的视觉编码器,并巧妙地与多模态 Transformer 结合,创建出 Pixel-BERT 模型。
Pixel-BERT 不仅深入探讨了像素和文本之间的关联,更展现了其在视觉语言编码方面的精确性和深度。其学习策略,如随机像素采样,进一步加强了模型的稳健性。在主流数据集如 Visual Genome 和 MSCOCO 上,这款模型已经展示出了令人印象深刻的预训练成果。更为值得期待的是,作者还计划在更多的数据集上进行预训练,并寻求结合自监督的视觉内容任务以进一步提升模型的性能。