Visual Instruction Tuning
- 發表版本
- NeurIPS 2023會議
- arXiv 首次提交
- arXiv:2304.08485
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multimodalityllava2023,
title = {{Visual Instruction Tuning}},
author = {Haotian Liu and Chunyuan Li and Qingyang Wu and Yong Jae Lee},
year = {2023},
eprint = {2304.08485},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2304.08485}
}
OpenAI 在 2023 年 3 月發表的 GPT-4 技術報告裡,有幾個看圖回答的例子。其中一張照片是一名男子站在計程車後面燙衣服,GPT-4 被問「這張圖哪裡不尋常」,回答得很到位。但那時看圖的功能沒有開放,大家只能看報告裡的截圖。
開源這邊,LLaMA 剛釋出不久,Alpaca、Vicuna 用機器產生的指令資料微調 LLaMA,做出還不錯的聊天模型。這些全都只有文字。
一個月後,威斯康辛大學、微軟研究院與哥倫比亞大學的 Liu、Li 等人發表 LLaVA(Large Language and Vision Assistant),把指令微調搬到圖文多模態上。這篇最有意思的地方在資料,他們請 GPT-4 幫忙產生「看圖對話」的訓練資料,但當時的 GPT-4 看不到圖,用的是只吃文字的版本。
定義問題
在這之前,視覺模型大多一個任務一個模型。分類、偵測、分割、看圖說話各自訓練,語言只用來描述圖片內容,使用者能下的指令很有限。
另一邊,Flamingo、BLIP-2 這類圖文模型已經能把影像接上大型語言模型,在看圖說話、視覺問答上表現不錯。但它們用的是大量圖文配對訓練,沒有特別練過「照使用者的指令回答」,問它「這張圖哪裡不尋常」,它多半只會描述圖片。
要讓模型學會照指令看圖,就需要「圖片 + 指令 + 回答」這種資料。網路上的圖文配對很多,從 CC 到 LAION 都是,但圖文指令資料幾乎沒有,請人寫又很花時間,要寫成什麼樣子也沒有定論。
解決問題
讓看不見圖的 GPT-4 出題
最簡單的做法,是把圖文配對直接改寫成指令格式。圖片 配說明文字 ,再隨機挑一個「請簡短描述這張圖」之類的問題 :
Human : X_q X_v <STOP>
Assistant : X_c <STOP>
這很便宜,但問題和答案都很單調,沒有任何推理。
作者改請只接受文字的 GPT-4(或 ChatGPT)當老師。既然它看不到圖,就把圖翻譯成文字給它看,用兩種符號表示:
- 說明文字:COCO 的每張圖都有好幾句人寫的描述,從不同角度說明畫面。
- 定界框:每個物件的類別和位置,座標正規化到 0 到 1。
論文的例子是一張地下停車場的照片:

上半部就是 GPT-4 收到的全部內容,五句說明文字加上一串定界框。右上角那張照片是論文放給讀者看的,GPT-4 本身看不到。下半部是它照著這些文字寫出來的三種回答。
然後請它產生三種資料:
- 對話:模擬使用者問、助理答,語氣要像助理真的看著這張圖。問題涵蓋物件種類、數量、動作、位置、相對位置,只問有明確答案的事。例如「圖中是什麼車?」「一輛黑色的運動型多用途車(SUV)……」。
- 詳細描述:從事先整理好的一串問題裡隨機抽一個,例如「詳細描述這張圖」,請它寫出完整描述,例如「這是一個地下停車場,有一輛黑色 SUV 停著。畫面裡有三個人……他們正一起把行李裝進 SUV,準備出門。」
- 複雜推理:需要一步步推論的問題,例如「這些人遇到了什麼困難?」答案是「他們周圍有好幾個行李箱和背包,要全部塞進這輛 SUV 不容易……」。
每一種都先由作者手寫幾個範例,當作 GPT-4 的少樣本提示,這是整個資料收集過程中唯一的人工標註。最後得到 158K 筆:對話 58K、詳細描述 23K、複雜推理 77K。作者在早期實驗比較過 ChatGPT 和 GPT-4,GPT-4 產生的資料一直比較好,空間推理尤其明顯。
老師看不到圖,只讀過圖的文字描述,學生卻要真的看圖作答。這一點後面會再回來。
架構:一層線性投影

架構非常簡單,三個零件:
- 視覺編碼器:預訓練好的 CLIP ViT-L/14,把圖片切成小塊,每塊輸出一個特徵向量 。作者用的是最後一層 Transformer 之前那一層的特徵。
- 投影矩陣 :一層線性層,把每個圖像特徵轉成和語言模型詞嵌入一樣的維度,。
- 語言模型:Vicuna,也就是用 ShareGPT 上使用者分享的 ChatGPT 對話微調 LLaMA 得到的聊天模型。作者選它,是因為它是當時公開權重裡最會照指令回答的。
轉完之後,圖像特徵就和文字的詞嵌入長得一樣,可以直接接在一起送進語言模型。以 224×224 的圖為例,CLIP ViT-L/14 每 14×14 像素切一塊,得到 256 個 1024 維的特徵;投影矩陣把它們變成 256 個 5120 維的視覺 token,連同偏差約 525 萬個參數。這 256 個 token 接在指令文字的 token 前面,對語言模型來說,它們只是一串意思比較特別的「字」。
連接兩邊的只有這個 525 萬參數的線性層。作者也提到可以用更複雜的接法,例如 Flamingo 的門控交叉注意力或 BLIP-2 的 Q-Former,但簡單的投影讓他們能快速做資料方面的實驗,就先用這個。
訓練:兩階段
每張圖的多輪對話組成一條序列。第一輪隨機決定圖放在問題前面還是後面,之後各輪只放問題;損失只算助理的回答,包括該在哪裡停下來的 <STOP>(實作上是 ###)。
第一階段,對齊特徵。 從 CC3M 篩出 59.5 萬組圖文配對,用前面那個簡單的改寫方式變成單輪對話。視覺編碼器和語言模型都凍結,只訓練投影矩陣 。作者的說法是,這一步等於替凍結的語言模型訓練一個相容的「視覺分詞器」。在 8 張 A100 上跑 1 個 epoch,4 小時內完成。
第二階段,端到端微調。 視覺編碼器仍然凍結,投影層和語言模型一起訓練。聊天版用前面的 158K 指令資料訓練 3 個 epoch,約 10 小時;另外也訓練一個 ScienceQA 版本,把問題和上下文當指令,推理過程和答案當回答。
討論
燙衣服的男人
作者先拿 GPT-4 報告裡那張圖來試,問「這張圖哪裡不尋常?」。

各模型的回答節錄如下:
- LLaVA:不尋常的是一名男子在小型廂型車的後面燙衣服,一般人會在家裡用燙衣板燙……也不清楚他在這麼不穩的地方要怎麼保持平衡。
- GPT-4:這張圖不尋常的地方是,一名男子在一輛行駛中的計程車車頂上,用綁著的燙衣板燙衣服。
- BLIP-2:一名男子坐在黃色計程車的後面。
- OpenFlamingo:這名男子在自己的車子引擎蓋上晾衣服。
BLIP-2 和 OpenFlamingo 都只是在描述畫面,而且描述得不太對。LLaVA 回答了問題,和 GPT-4 抓到的重點一樣。
作者另外開一段新對話,只問「畫面裡發生什麼事」,LLaVA 在描述完街景後,也主動提到這名男子因為在行駛中的車頂上燙衣服而引人注目。訓練資料只有約 8 萬張不重複的圖,這張圖也不在其中。
用 GPT-4 當評審
光看幾個例子不夠,作者也設計了量化評估。做法是讓 LLaVA 看圖作答,同時讓只吃文字的 GPT-4 讀標準的文字描述作答,當作近似的上限;再把問題、文字描述和兩個答案交給 GPT-4 評分,從有用、相關、正確和細節四方面給 1 到 10 分。報告的「相對分數」,是 LLaVA 的分數除以 GPT-4 的分數。
第一個評測集取 COCO 驗證集的 30 張圖,每張圖用同樣的方式出三種題,共 90 題。用不同的訓練資料比較:
| 訓練資料 | 對話 | 詳細描述 | 複雜推理 | 全部 |
|---|---|---|---|---|
| 全部資料 | 83.1 | 75.3 | 96.5 | 85.1 |
| 詳細描述 + 複雜推理 | 81.5 | 73.3 | 90.8 | 81.9 |
| 對話 + 5% 詳細描述 + 10% 複雜推理 | 81.0 | 68.4 | 91.5 | 80.5 |
| 只用對話 | 76.5 | 59.8 | 84.9 | 73.8 |
| 不做指令微調 | 22.0 | 24.0 | 18.5 | 21.5 |
整理自原論文 Table 4。
沒有指令微調的模型只有 21.5,微調之後超過 70,差了 50 分以上。只用對話資料是 73.8,加入一小部分詳細描述和複雜推理就升到 80.5,而且連對話題的分數也跟著上升。三種資料全用最好,85.1。
第二個評測集更難,24 張圖、60 題,包括室內外場景、迷因、畫作、素描,每張圖都附上非常詳細的人工描述:
| 模型 | 對話 | 詳細描述 | 複雜推理 | 全部 |
|---|---|---|---|---|
| OpenFlamingo | 19.3 | 19.0 | 19.1 | 19.1 |
| BLIP-2 | 54.6 | 29.1 | 32.9 | 38.1 |
| LLaVA | 57.3 | 52.5 | 81.7 | 67.3 |
整理自原論文 Table 5(三次推論的平均)。
LLaVA 整體 67.3,比 BLIP-2 高 29 分,比 OpenFlamingo 高 48 分。
這兩個評測的評審和參考答案都是 GPT-4,分數只適合拿來比較模型之間的相對高低。
看不清楚的地方
作者也挑了兩個 LLaVA 答不好的例子:
- 一蘭拉麵:問「這是哪家餐廳?」,要答對得認得出這家店,還要看得懂日文;問配菜,可能還得上網查。
- 打開的冰箱:問「藍莓口味的優格是什麼牌子?」要看清楚 Fage 的商標,需要高解析度的影像和足夠的知識。
最有意思的是第三題。冰箱裡有優格,也有一盒草莓,但沒有草莓口味的優格;問「冰箱裡有草莓口味的優格嗎?」,LLaVA 回答有。作者形容,它有時把圖片當成「一袋小圖塊」,看到了優格、看到了草莓,卻沒弄懂兩者之間的關係。
這和老師看不見圖的訓練方式脫不了關係。GPT-4 寫的答案再好,也只根據文字描述和定界框;圖裡有、但描述沒寫到的細節,學生沒機會學。
ScienceQA
ScienceQA 是 21,000 道科學選擇題,涵蓋自然、社會和語言科學,有的題目附圖,有的只有文字。LLaVA 先寫推理過程再寫答案,訓練 12 個 epoch,準確率 90.92%,接近當時最佳的 91.68%。
只吃文字的 GPT-4 用兩個範例的少樣本提示,可以拿到 82.69%,失敗的題目很多是因為它回答「缺少圖片或圖表」。作者試了兩種組合:
- GPT-4 補位:GPT-4 答不出來時改用 LLaVA 的答案,90.97%,和 LLaVA 單獨作答差不多。
- GPT-4 當裁判:兩者答案不同時,把題目和兩個答案再交給 GPT-4,請它給出最後的答案,92.53%,刷新當時的最佳成績。
看不到圖的 GPT-4,連附圖的題目都能幫上忙。作者的解釋是,有些附圖的題目其實不看圖也答得出來,GPT-4 能認出這類題目,修正 LLaVA 的一些錯誤。
ScienceQA 上的幾個消融:
- 用最後一層的 CLIP 特徵是 89.96%,比倒數第二層低 0.96。作者推測最後一層偏向整體、抽象的影像性質,倒數第二層保留較多局部細節。
- 推理和答案誰先寫,這組比較用的是最後一層的特徵。先寫答案、訓練 12 個 epoch 是 89.77%;先寫推理只要 6 個 epoch 就到了 89.77%,之後幾乎不再進步。作者的結論是,先推理能加快收斂,對最終成績的幫助不大。
- 跳過第一階段的特徵對齊、直接訓練,掉到 85.81%。
- 模型從 13B 換成 7B,掉到 89.84%。
後來的事
半年後,同一組作者發表 LLaVA-1.5。改動不多:影像解析度提高到 336 像素,線性投影換成 MLP,再加入學術界的視覺問答資料,配上簡單的回答格式提示。13B 的版本只用了 120 萬筆公開資料,在一台 8 張 A100 的機器上約一天就能訓練完,在 11 個評測上拿到當時最好的成績。
「視覺編碼器 + 投影層 + 語言模型」這個骨架很好上手,後來不少開源多模態模型都沿用;用 GPT-4 當評審打分的做法,也在之後的模型評測裡愈來愈常見。
結論
指令資料不一定要人寫,連多模態的也不用。LLaVA 把圖片翻成文字交給 GPT-4 出題,得到 158K 筆資料,再用一層線性投影把 CLIP 接上 Vicuna,兩階段訓練加起來,在 8 張 A100 上半天多就完成,看圖聊天的能力卻已經能和 GPT-4 報告裡的例子相比。
這篇的訓練順序很值得照抄。先凍結兩端只訓練投影層,讓圖像特徵對上語言模型的詞嵌入;再放開語言模型做指令微調。跳過第一步,ScienceQA 就少了 5 個百分點。
冰箱裡到底有沒有草莓口味的優格?LLaVA 很肯定地說有。大概是老師只告訴過它,「冰箱裡有優格,也有草莓」。