返回论文笔记资料库
arXiv 2023NeurIPS 2023多模态学习论文笔记

LLaVA

看不见的老师

原始论文

Visual Instruction Tuning

论文作者

Haotian Liu · Chunyuan Li · Qingyang Wu · Yong Jae Lee

发表版本
NeurIPS 2023会议
arXiv 首次提交
arXiv:2304.08485
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multimodalityllava2023,
  title = {{Visual Instruction Tuning}},
  author = {Haotian Liu and Chunyuan Li and Qingyang Wu and Yong Jae Lee},
  year = {2023},
  eprint = {2304.08485},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2304.08485}
}
本页内容

OpenAI 在 2023 年 3 月发布的 GPT-4 技术报告里,有几个看图回答的例子。其中一张照片是一名男子站在出租车后面熨衣服,GPT-4 被问「这张图哪里不寻常」,回答得很到位。但那时看图的功能没有开放,大家只能看报告里的截图。

开源这边,LLaMA 刚发布不久,Alpaca、Vicuna 用机器生成的指令数据微调 LLaMA,做出了还不错的聊天模型。这些全都只有文字。

一个月后,威斯康星大学、微软研究院与哥伦比亚大学的 Liu、Li 等人发表了 LLaVA(Large Language and Vision Assistant),把指令微调搬到了图文多模态上。这篇最有意思的地方在数据,他们请 GPT-4 帮忙生成「看图对话」的训练数据,但当时的 GPT-4 看不到图,用的是只吃文字的版本。

定义问题

在这之前,视觉模型大多是一个任务一个模型。分类、检测、分割、看图说话各自训练,语言只用来描述图片内容,用户能下的指令很有限。

另一边,Flamingo、BLIP-2 这类图文模型已经能把图像接上大语言模型,在看图说话、视觉问答上表现不错。但它们用的是大量图文对训练,没有专门练过「按用户的指令回答」,问它「这张图哪里不寻常」,它多半只会描述图片。

要让模型学会按指令看图,就需要「图片 + 指令 + 回答」这种数据。网上的图文对很多,从 CC 到 LAION 都是,但图文指令数据几乎没有,请人写又很花时间,要写成什么样子也没有定论。

解决问题

让看不见图的 GPT-4 出题

最简单的做法,是把图文对直接改写成指令格式。图片 Xv\mathbf{X}_v 配说明文字 Xc\mathbf{X}_c,再随机挑一个「请简短描述这张图」之类的问题 Xq\mathbf{X}_q:

text
Human : X_q X_v <STOP>
Assistant : X_c <STOP>

这很便宜,但问题和答案都很单调,没有任何推理。

作者改请只接受文字的 GPT-4(或 ChatGPT)当老师。既然它看不到图,就把图翻译成文字给它看,用两种符号表示:

  • 说明文字:COCO 的每张图都有好几句人写的描述,从不同角度说明画面。
  • 边界框:每个物体的类别和位置,坐标归一化到 0 到 1。

论文的例子是一张地下停车场的照片:

原论文 Table 1:一张地下停车场照片的指令数据示例。上半部分是交给只吃文字的 GPT-4 的内容,包括五句 COCO 说明文字,以及 person、backpack、suitcase 等物体的边界框坐标;右上角的照片只是放给读者参考。下半部分是 GPT-4 据此写出的三种回答:对话(图中是什么车)、详细描述(地下停车场里三个人正把行李装进黑色 SUV)、复杂推理(他们要把很多行李箱和背包塞进这辆 SUV)。
原论文 Table 1(Liu 等人),取自 PDF 第 3 页,学术引用;表中照片为 COCO 数据集的图像。

上半部分就是 GPT-4 收到的全部内容,五句说明文字加上一串边界框。右上角那张照片是论文放给读者看的,GPT-4 本身看不到。下半部分是它照着这些文字写出来的三种回答。

然后请它生成三种数据:

  • 对话:模拟用户问、助手答,语气要像助手真的看着这张图。问题涵盖物体种类、数量、动作、位置、相对位置,只问有明确答案的事。例如「图中是什么车?」「一辆黑色的运动型多用途车(SUV)……」。
  • 详细描述:从事先整理好的一串问题里随机抽一个,例如「详细描述这张图」,请它写出完整描述,例如「这是一个地下停车场,有一辆黑色 SUV 停着。画面里有三个人……他们正一起把行李装进 SUV,准备出门。」
  • 复杂推理:需要一步步推理的问题,例如「这些人遇到了什么困难?」答案是「他们周围有好几个行李箱和背包,要全部塞进这辆 SUV 不容易……」。

每一种都先由作者手写几个示例,当作 GPT-4 的少样本提示,这是整个数据收集过程中唯一的人工标注。最后得到 158K 条:对话 58K、详细描述 23K、复杂推理 77K。作者在早期实验中比较过 ChatGPT 和 GPT-4,GPT-4 生成的数据一直更好,空间推理尤其明显。

老师看不到图,只读过图的文字描述,学生却要真的看图作答。这一点后面还会再回来。

架构:一层线性投影

原论文 Figure 1:LLaVA 的架构。图片 X_v 经过视觉编码器得到特征 Z_v,再由投影矩阵 W 转成视觉 token H_v;语言指令 X_q 转成文本 token H_q。两者一起送进语言模型 f_φ,生成回答 X_a。
原论文 Figure 1(Liu 等人),取自 PDF 第 4 页,CC BY 4.0。

架构非常简单,三个零件:

  1. 视觉编码器:预训练好的 CLIP ViT-L/14,把图片切成小块,每块输出一个特征向量 Zv\mathbf{Z}_v。作者用的是最后一层 Transformer 之前那一层的特征。
  2. 投影矩阵 W\mathbf{W}:一个线性层,把每个图像特征转成和语言模型词嵌入一样的维度,Hv=W⋅Zv\mathbf{H}_v = \mathbf{W}\cdot\mathbf{Z}_v。
  3. 语言模型:Vicuna,也就是用 ShareGPT 上用户分享的 ChatGPT 对话微调 LLaMA 得到的聊天模型。作者选它,是因为它是当时开放权重模型里最会按指令回答的。

转完之后,图像特征就和文字的词嵌入长得一样,可以直接拼在一起送进语言模型。以 224×224 的图为例,CLIP ViT-L/14 每 14×14 像素切一块,得到 256 个 1024 维的特征;投影矩阵把它们变成 256 个 5120 维的视觉 token,连同偏置约 525 万个参数。这 256 个 token 接在指令文字的 token 前面,对语言模型来说,它们只是一串意思比较特别的「字」。

连接两边的只有这个 525 万参数的线性层。作者也提到可以用更复杂的接法,例如 Flamingo 的门控交叉注意力或 BLIP-2 的 Q-Former,但简单的投影让他们能快速做数据方面的实验,就先用了这个。

训练:两阶段

每张图的多轮对话组成一条序列。第一轮随机决定图放在问题前面还是后面,之后各轮只放问题;损失只算助手的回答,包括该在哪里停下来的 <STOP>(实现上是 ###)。

第一阶段,对齐特征。 从 CC3M 筛出 59.5 万组图文对,用前面那个简单的改写方式变成单轮对话。视觉编码器和语言模型都冻结,只训练投影矩阵 W\mathbf{W}。作者的说法是,这一步相当于为冻结的语言模型训练一个兼容的「视觉分词器」。在 8 张 A100 上跑 1 个 epoch,4 小时内完成。

第二阶段,端到端微调。 视觉编码器仍然冻结,投影层和语言模型一起训练。聊天版用前面的 158K 指令数据训练 3 个 epoch,约 10 小时;另外也训练了一个 ScienceQA 版本,把问题和上下文当指令,推理过程和答案当回答。

讨论

熨衣服的男人

作者先拿 GPT-4 报告里那张图来试,问「这张图哪里不寻常?」。

原论文 Table 3:一名男子在行驶中的黄色出租车后方熨衣服的照片,以及各模型对「这张图哪里不寻常?」的回答。LLaVA 指出有人在面包车后面熨衣服,既不安全也不寻常;开新对话只问发生了什么事时,也提到他因为在行驶中的车上熨衣服而引人注目。GPT-4 指出熨衣板绑在行驶中出租车的车顶;BLIP-2 回答一名男子坐在黄色出租车后面;OpenFlamingo 回答他在引擎盖上晾衣服。
原论文 Table 3(Liu 等人),取自 PDF 第 6 页,学术引用;照片来源以原论文标注为准。

各模型的回答节选如下:

  • LLaVA:不寻常的是一名男子在小型面包车的后面熨衣服,一般人会在家里用熨衣板熨……也不清楚他在这么不稳的地方要怎么保持平衡。
  • GPT-4:这张图不寻常的地方是,一名男子在一辆行驶中的出租车车顶上,用绑着的熨衣板熨衣服。
  • BLIP-2:一名男子坐在黄色出租车的后面。
  • OpenFlamingo:这名男子在自己车子的引擎盖上晾衣服。

BLIP-2 和 OpenFlamingo 都只是在描述画面,而且描述得不太对。LLaVA 回答了问题,和 GPT-4 抓到的重点一样。

作者另外开一段新对话,只问「画面里发生了什么事」,LLaVA 在描述完街景后,也主动提到这名男子因为在行驶中的车顶上熨衣服而引人注目。训练数据只有约 8 万张不重复的图,这张图也不在其中。

用 GPT-4 当评委

光看几个例子不够,作者也设计了量化评估。做法是让 LLaVA 看图作答,同时让只吃文字的 GPT-4 读标准的文字描述作答,当作近似的上限;再把问题、文字描述和两个答案交给 GPT-4 评分,从有用、相关、正确和细节四个方面给 1 到 10 分。报告的「相对分数」,是 LLaVA 的分数除以 GPT-4 的分数。

第一个评测集取 COCO 验证集的 30 张图,每张图用同样的方式出三种题,共 90 题。用不同的训练数据比较:

训练数据对话详细描述复杂推理全部
全部数据83.175.396.585.1
详细描述 + 复杂推理81.573.390.881.9
对话 + 5% 详细描述 + 10% 复杂推理81.068.491.580.5
只用对话76.559.884.973.8
不做指令微调22.024.018.521.5

整理自原论文 Table 4。

没有指令微调的模型只有 21.5,微调之后超过 70,差了 50 分以上。只用对话数据是 73.8,加入一小部分详细描述和复杂推理就升到 80.5,而且连对话题的分数也跟着上升。三种数据全用最好,85.1。

第二个评测集更难,24 张图、60 题,包括室内外场景、梗图、画作、素描,每张图都附上了非常详细的人工描述:

模型对话详细描述复杂推理全部
OpenFlamingo19.319.019.119.1
BLIP-254.629.132.938.1
LLaVA57.352.581.767.3

整理自原论文 Table 5(三次推理运行的平均)。

LLaVA 整体 67.3,比 BLIP-2 高 29 分,比 OpenFlamingo 高 48 分。

这两个评测的评委和参考答案都是 GPT-4,分数只适合拿来比较模型之间的相对高低。

看不清楚的地方

作者也挑了两个 LLaVA 答不好的例子:

  • 一兰拉面:问「这是哪家餐厅?」,要答对得认得出这家店,还要看得懂日文;问配菜,可能还得上网查。
  • 打开的冰箱:问「蓝莓口味的酸奶是什么牌子?」要看清楚 Fage 的商标,需要高分辨率的图像和足够的知识。

最有意思的是第三题。冰箱里有酸奶,也有一盒草莓,但没有草莓口味的酸奶;问「冰箱里有草莓口味的酸奶吗?」,LLaVA 回答有。作者形容,它有时把图片当成「一袋小图块」,看到了酸奶、看到了草莓,却没弄懂两者之间的关系。

这和老师看不见图的训练方式脱不了干系。GPT-4 写的答案再好,也只根据文字描述和边界框;图里有、但描述没写到的细节,学生没机会学。

ScienceQA

ScienceQA 是 21,000 道科学选择题,涵盖自然、社会和语言科学,有的题目附图,有的只有文字。LLaVA 先写推理过程再写答案,训练 12 个 epoch,准确率 90.92%,接近当时最佳的 91.68%。

只吃文字的 GPT-4 用两个示例的少样本提示,可以拿到 82.69%,失败的题目很多是因为它回答「缺少图片或图表」。作者试了两种组合:

  • GPT-4 补位:GPT-4 答不出来时改用 LLaVA 的答案,90.97%,和 LLaVA 单独作答差不多。
  • GPT-4 当裁判:两者答案不同时,把题目和两个答案再交给 GPT-4,请它给出最后的答案,92.53%,刷新了当时的最佳成绩。

看不到图的 GPT-4,连附图的题目都能帮上忙。作者的解释是,有些附图的题目其实不看图也答得出来,GPT-4 能认出这类题目,修正 LLaVA 的一些错误。

ScienceQA 上的几个消融实验:

  1. 用最后一层的 CLIP 特征是 89.96%,比倒数第二层低 0.96。作者推测最后一层偏向整体、抽象的图像性质,倒数第二层保留了较多局部细节。
  2. 推理和答案谁先写,这组比较用的是最后一层的特征。先写答案、训练 12 个 epoch 是 89.77%;先写推理只要 6 个 epoch 就到了 89.77%,之后几乎不再进步。作者的结论是,先推理能加快收敛,对最终成绩的帮助不大。
  3. 跳过第一阶段的特征对齐、直接训练,掉到 85.81%。
  4. 模型从 13B 换成 7B,掉到 89.84%。

后来的事

半年后,同一组作者发表了 LLaVA-1.5。改动不多:图像分辨率提高到 336 像素,线性投影换成 MLP,再加入学术界的视觉问答数据,配上简单的回答格式提示。13B 的版本只用了 120 万条公开数据,在一台 8 卡 A100 的机器上约一天就能训练完,在 11 个评测上拿到了当时最好的成绩。

「视觉编码器 + 投影层 + 语言模型」这个骨架很好上手,后来不少开源多模态模型都沿用了;用 GPT-4 当评委打分的做法,也在之后的模型评测里越来越常见。

结论

指令数据不一定要人写,连多模态的也不用。LLaVA 把图片翻译成文字交给 GPT-4 出题,得到 158K 条数据,再用一层线性投影把 CLIP 接上 Vicuna,两阶段训练加起来,在 8 张 A100 上半天多就完成了,看图聊天的能力却已经能和 GPT-4 报告里的例子相比。

这篇的训练顺序很值得照抄。先冻结两端只训练投影层,让图像特征对上语言模型的词嵌入;再放开语言模型做指令微调。跳过第一步,ScienceQA 就少了 5 个百分点。

冰箱里到底有没有草莓口味的酸奶?LLaVA 很肯定地说有。大概是老师只告诉过它,「冰箱里有酸奶,也有草莓」。