返回论文笔记资料库
arXiv 2024ICCV Workshops 2025多模态学习论文笔记

xGen-MM

又叫做 BLIP-3

原始论文

xGen-MM (BLIP-3): A Family of Open Large Multimodal Models

论文作者

Le Xue · Manli Shu · Anas Awadalla …

查看全部 27 位作者

Le Xue · Manli Shu · Anas Awadalla · Jun Wang · An Yan · Senthil Purushwalkam · Honglu Zhou · Viraj Prabhu · Yutong Dai · Michael S Ryoo · Shrikant Kendre · Jieyu Zhang · Can Qin · Shu Zhang · Chia-Chih Chen · Ning Yu · Juntao Tan · Tulika Manoj Awalgaonkar · Shelby Heinecke · Huan Wang · Yejin Choi · Ludwig Schmidt · Zeyuan Chen · Silvio Savarese · Juan Carlos Niebles · Caiming Xiong · Ran Xu

发表版本
ICCV Workshops 2025研讨会(Workshop)
arXiv 首次提交
arXiv:2408.08872
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multimodalityxgenmm2024,
  title = {{xGen-MM (BLIP-3): A Family of Open Large Multimodal Models}},
  author = {Le Xue and Manli Shu and Anas Awadalla and Jun Wang and An Yan and Senthil Purushwalkam and Honglu Zhou and Viraj Prabhu and Yutong Dai and Michael S Ryoo and Shrikant Kendre and Jieyu Zhang and Can Qin and Shu Zhang and Chia-Chih Chen and Ning Yu and Juntao Tan and Tulika Manoj Awalgaonkar and Shelby Heinecke and Huan Wang and Yejin Choi and Ludwig Schmidt and Zeyuan Chen and Silvio Savarese and Juan Carlos Niebles and Caiming Xiong and Ran Xu},
  year = {2024},
  eprint = {2408.08872},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2408.08872v1}
}
本页内容

取一个论文名字也不是简单的事情。

如果过去已经有个很成功的模型,那么出个续集或许能够吸引更多的关注;但是如果想要取得更大的成功,那或许该换个全新的名字。

所以作者这次表示,我全都要,把新的旧的一起放上论文标题吧!

定义问题

我们延续 BLIP-2 的讨论。

作者认为 Q-Former 架构和多样化的训练目标(ITM、ITC、ITG 损失)增加了大规模训练的难度,并且 BLIP-2 仅支持单图像输入,无法处理最自然的多模态数据形式,例如语言和文字交错输入的数据格式。

那么「交错数据格式」在过去是怎么被处理的呢?

这就得回过头去看一下另外一篇很有名的论文:Flamingo。

在 Flamingo 的结构中,是通过一个交叉注意力模块来整合图像与文本的特征,实现了文字和图像交互输入的过程,流程像是下图这样:

Flamingo 模型架构


但这篇论文的作者一方面觉得 Flamingo 的设计过于复杂,一方面又觉得 Flamingo 采用的「Perceiver Resampler」,概念上跟 Q-Former 类似,却又更简单!

所以这篇文章的目标是:

  1. 用 Perceiver Resampler 来作为 Q-Former 的替代方案
  2. 简化 Flamingo 的跨注意力架构

最后,为了提高模型表现,作者还引入了大规模高品质数据集,以提升模型的训练基础。

作者希望通过改进数据、架构与训练方法,缩小开源与私有 LMM 的差距,并通过开源资源促进研究与应用发展,使开源社群能更好地探索与发挥多模态模型的潜力。

解决问题

模型架构

如刚才讲的,作者让图像token与文字 token按原本交错顺序进入同一个预训练语言模型。上图中,雪花表示 ViT 冻结;火焰表示视觉 token采样器与语言模型参数会训练,损失只计在文字 token上。

模型的主要模组为:

  • Vision Transformer (ViT):负责处理图像特征。
  • Vision Token Sampler (Perceiver Resampler):用于压缩图像嵌入(embeddings)。
  • 预训练大型语言模型(phi3-mini):作为多模态输入的语言处理核心。

整个数据流程是先以 ViT 编码图像,再由 Perceiver Resampler 压缩视觉 token,最后与文字 token依输入顺序一起送入 phi3-mini。

训练流程

模型架构很简单,但训练过程很繁琐,分为四个阶段:

  • 第一阶段:预训练

    这个阶段的目标是预测下一个文本 token,基于多模态数据集的混合进行训练。基础模型预训练于约 1000 亿个多模态 token,图像分辨率为 384×384384 \times 384 像素。

  • 第二阶段:监督式微调(SFT)

    这个阶段的目标是让预训练模型能更好地理解和遵循使用者的查询。使用公开的指令式微调数据集(instruction-following datasets);任意分辨率策略会把高分辨率图像切成多块,连同缩小的全图各自编码、各自采样,再串接视觉 token送入语言模型。

  • 交错多图像监督式微调(Interleaved Multi-Image Supervised Fine-tuning)

    在经指令微调的基础模型上,进行第二阶段微调,训练模型处理多图像与单图像的交错指令。同样采用任意分辨率的图像token采样策略,与先前的 SFT 阶段一致。

  • 后训练(Post-training)

    提升模型的有用性(helpfulness),同时减少幻觉(hallucination)和毒性(toxicity)。

    这个阶段分为两个子阶段:

    • 第一阶段:直接偏好优化(Direct Preference Optimization, DPO)
      • 使用偏好数据训练有用性与视觉可信度(visual faithfulness);这是训练目标,改善幅度仍需看后续评估。
    • 第二阶段:安全性微调(Safety Fine-tuning)
      • 提高模型的安全性,减少潜在的有害行为。

预训练训练数据集

预训练的数据集采用多模态数据集的混合,如上图,并依照特定比例进行抽样,内容包含:

  • 多模态交错数据集(Interleaved Dataset Mixture)

    • MINT-1T: 规模 1 万亿 token(trillion tokens)。
    • OBELICS: 由 HTML 文件组成,与 MINT-1T 在领域覆盖和预处理方式上略有不同。
  • 标注数据集(Caption Dataset Mixture)

    • BLIP3-KALE: 大规模高品质标注数据集。

    • BLIP3-OCR-200M: 使用 OCR 引擎对 2 亿高分辨率图像进行标注。

    • BLIP3-GROUNDING-50M: 对 5000 万张图像进行标注,添加对象位置信息。

    • 其他公开数据集包括 Datacomp-1B、CC12M、CC3M、VG 和 SBU 等。

监督式微调数据集

这个阶段的数据集主要包括:

  • 指令式微调数据集(Instruction-Following Dataset)
    • 来自不同领域的公开数据集,包括多模态对话、图像标注、视觉问答、图表/文档理解以及科学与数学数据。
    • 加入纯文本指令数据进行视觉指令微调,收集了 100 万条公开指令数据,进行一次完整训练(1 epoch)。
  • 多图像指令微调数据集(Interleaved Multi-Image Instruction Dataset)
    • 从单图像微调模型开始,加入多图像/交错图像-文本指令数据进行训练。
    • 为防止模型在单图像能力上退化,将部分单图像数据混入多图像训练数据中。

后训练数据集

后训练又分成两个部分:

  1. 直接偏好优化(Direct Preference Optimization, DPO)

    使用 VLFeedback 数据集的 8 万条多模态指令,按回应评分构成偏好配对并滤去低分首选回应,得到 62,600 条偏好样本。训练 1 个 epoch,使用低秩适应(LoRA)更新约 2.5% 的 LLM 骨干权重;另以模型对加噪声图像的回应构成额外的负偏好样本。

  1. 安全性微调(Safety Fine-tuning)

    使用 VLGuard 训练集(约 2000 条不安全图像与指令例子)微调 3 个 epoch。其类型包含隐私泄露、敏感话题(政治、性、暴力等)、欺骗与歧视等不安全例子。此外,为平衡安全性与有用性,随机抽取 5000 条指令微调数据混入训练集。

讨论

预训练模型表现

首先作者比较了 BLIP-3 与其他多模态模型在多个基准测试上的表现,在图像描述(Captioning)和视觉问答(VQA)任务中,评估预训练模型的少量样本学习能力。

这里主要比较零样本(zero-shot)与少量样本(4-shots 和 8-shots)的性能。

在 4-shot/8-shot 条件下,xGen-MM-base 的 TextCaps、TextVQA 与 VQAv2 表列分数高于 MM1-3B、Idefics-9B 与 MM1-7B;但 8-shot 的 Idefics2-8B 在 VQAv2、TextVQA 更高,MM1-7B 在 COCO Captioning 也较高。零样本分数受提示词影响,应与少样本结果分开看。

实验测试增加样本数(shots)能进一步提升性能,显示出模型适应上下文分布的能力。

微调模型表现

作者在多模态(图像-文本)基准测试上的全面评估,涵盖以下能力:

  • 一般视觉问答(VQA):评估模型回答图像相关问题的能力。
  • 视觉感知能力:测试对图像理解和解析的能力。
  • 领域知识测试:在数学和科学相关领域的数据集表现。
  • OCR 能力:处理文本丰富图像(如文件和图表)的能力。
  • 幻觉抑制:减少生成不实内容的能力。

表格主要比较约 3B–4B 的闭源与开源模型;GPT-4V 仅列为参考,未被归入小于 5B 的同级比较。

在同一评估程序重测的可比模型中,xGen-MM-instruct 的一般 VQA/视觉感知平均分数为 64.8;加入多图像微调后,interleave 版本的单图像全部指标平均分数由 66.9 升至 67.3。不过个别项目如 TextVQA 与 MMMU 略降;它在多图像 BLINK、QBench-2、Mantis-eval 的分数则由 46.6/52.4/42.4 升至 49.7/75.1/56.7。

预训练数据规模

作者探讨多模态训练token数量(2B 至 100B)对预训练评估指标的影响,结果如上图所示。

  • 60B token:相较 2B,图中 COCO-Caps、Text-Caps 与 OK-VQA 的少样本分数均提升;此图未画出 TextVQA。
  • 100B token:对少量样本评估指标(few-shot metrics)有温和的额外增益,但效益减少。

这组图的曲线在 60B 到 100B 间增幅缩小;论文没有计入训练成本,因此不能从图中定出最佳投入产出点。

任意分辨率训练策略

对于图像降采样的策略选择上,作者设计了三种不同的策略:

  • 任意分辨率(any-resolution):将图像分块并另保留缩小的全图,对每组嵌入分别用 Perceiver Resampler 采样,再串接输入 LLM,以保留较多细节。
  • 固定分辨率(fixed-resolution):将所有图像调整至视觉编码器的预设尺寸,保持原始宽高比。
  • 固定采样(anyres-fixed-sampling):将所有图像嵌入(embeddings)串接成一个序列,再进行统一降采样。

在图中的 DocVQA、ChartQA 与 OCRBench 三个文本丰富任务,逐块采样版本得分最高;这是简化的 SFT 消融设定,不能直接与前面的完整微调主结果相比。

指令感知设计

作者为测试在图像的降采样过程中,加入文本指令token是否能增强模型性能,进行了指令感知的视觉 token采样实验。

实验结果如上图,与基线模型相比,指令感知版本在基准测试中的性能差异不显著。作者推测,Perceiver重采样器的架构(仅有交叉注意力层)无法完全复制 Q-Former 的指令感知效果。

有鉴于性能差异较小,为简化模型设计,作者最终保留原始的Perceiver重采样器,并建议未来工作进一步探索指令感知 VL 连接器的改进潜力。

纯文本数据多样性

作者探讨纯文本数据的多样性如何影响多模态模型的性能,特别是在多模态数学和代码相关基准上的表现。

实验设计比较以下两种纯文本数据集:

  • 多样化数据:涵盖对话、数学、代码等多领域数据。
  • 单一类型数据:仅涵盖一般对话数据。

表中加入纯文字数学与代码后,MMMU 由 39.1 升至 40.9、MathVista 由 37.1 升至 38.9;但 ScienceQA 从 84.8 降至 81.4,MMStar 从 46.1 降至 45.3,不能说所有知识任务都改善。

这组消融支持纯文字数据组成会改变某些多模态指标;维持语言能力是作者混入纯文字数据的动机,但本表没有直接测量语言能力。

结论

作者提出了一个全面性的框架 xGen-MM(BLIP-3),用于训练一系列开源的大型多模态模型。其训练模组基于精心设计的大规模数据集混合,展现多模态情境学习等新兴能力,在多模态基准测试中取得了令人印象深刻的结果。

开源与闭源之间的竞争还是水深火热,作者希望通过开源模型、经过整理的数据集,以及微调代码,为研究社群提供可访问的多模态基础模型与数据集,鼓励研究人员进一步探索并推进 LMMs 的潜力与新兴能力。