SimVLM: Simple Visual Language Model Pretraining with Weak Supervision
- 發表版本
- ICLR 2022會議
- arXiv 首次提交
- arXiv:2108.10904
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multimodalitysimvlm2021,
title = {{SimVLM: Simple Visual Language Model Pretraining with Weak Supervision}},
author = {Zirui Wang and Jiahui Yu and Adams Wei Yu and Zihang Dai and Yulia Tsvetkov and Yuan Cao},
year = {2021},
eprint = {2108.10904},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2108.10904}
}
當一件事情發展得太過複雜,就會讓人望之卻步:
一定要搞成這樣嗎?
在這個當下, GPT3 已經問世了,並且取得相當不錯的表現,而且他們並沒有把整件事情搞得這麼複雜呀!
本論文的作者基於這個想法,認為不要再拘泥於原本的編碼器的架構了。
或許,我們可以讓整件事情簡單一點?
定義問題
作者定義的問題包括以下幾點:
-
預訓練微調範式的缺陷
- 雖然利用掩碼語言建模 (MLM) 在大規模未標記文字語料庫上預訓練模型(例如 BERT)後進行微調已成為主流,但近期的自回歸語言模型,如:GPT-3,顯示出在無需微調的情況下,使用少量資料即能達到強大的性能。
-
多模式對應的挑戰
- 嘗試建立視覺和文字的多模式對應,但要捕捉影像和文字之間的對齊並不容易。早期的方法通常依賴於人工標記的資料集,進行物件偵測和融合模型的 MLM 預訓練。
- 由於人類註釋資料的規模有限,先前的方法不僅需要使用複雜的預訓練方案,還要引入特定於任務的輔助損失,使整個 VLP 的預訓練協議變得更為複雜。
-
缺乏零樣本能力
- 目前基於預訓練微調的方法在零樣本能力方面表現不佳,即模型在沒有看過的新任務上的泛化能力受限。
- 一些方法只關注特定的任務,因此不容易被用作通用的預訓練微調表示。例如:某些方法只專注於影像分類或圖文檢索的特定任務。
解決問題
SimVLM 模型設計
-
PrefixLM
受到單向語言模型所帶來的零樣本能力啟發,作者提出了一種新的方法,稱為「前綴語言建模」或「PrefixLM」。與傳統的單向語言模型不同,PrefixLM 有幾個特性:
-
雙向關注於前綴序列:
PrefixLM 讓前綴內的 token 雙向關注彼此;前綴後的生成部分則可看完整前綴與先前生成的 token,不能看未來的輸出。
-
自迴歸分解的範圍:
只有在前綴之後的部分,PrefixLM 進行自迴歸分解,也就是嘗試預測接下來的序列。
-
圖像作為文字的前綴:
在視覺語言任務中,PrefixLM 將影像 patch 放在文字之前,並隨機選取包含全部影像 patch 的前綴長度;預測損失只作用於前綴之後的文字。這是基於觀察到圖像往往在文本描述之前出現。
-
-
架構設計
使用 Transformer 作為核心架構,用 Encoder-Decoder 的序列到序列語言模型,結合了視覺模塊和文本模塊:
-
視覺模塊
這裡借用 ViT 的 patch 序列設計,但影像 patch 先經過 ResNet 前三個區塊組成的卷積階段,而不是直接用線性投影。之後再把影像 patch 與文字 token 串成前綴序列,交給 Transformer 編碼。
-
文本模塊
這裡遵循 SentencePiece 的子詞切分方式,將文字轉為固定詞彙表中的 token;原論文沒有指定所用的子詞演算法就是 Byte-Pair Encoding (BPE)。
-
接著回來看 SimVLM,他並沒有把問題都留在 Encoder,在我們看來,他更像是營造了一個「案發現場」,在這裡的 Decoder 像是偵探的角色,他必須透過 Encoder 留下來的蛛絲馬跡,試著推理出後續的結果。
甚至,根據作者所言:這裡的提到「前綴」的影像線索,甚至可以不用來自影像,你要輸入一段用來「描述影像的文字」作為線索,也是完全沒問題的!
在後續的下游任務中,表列 SimVLM-Base 的 VQA test-std 為 78.14,VL-T5 為 70.30,相差約 7.8 個百分點;但兩者的預訓練資料、影像輸入和模型設定都不同,不能把差距只歸因於 Decoder 設計。
預訓練策略
這裡沒有 MLM,沒有 ITM,沒有那些你以為應該要有的東西。
作者在這邊的預訓練就只是採用「PrefixLM」策略:對圖文資料,影像 patch 與一段文字可作為雙向注意力的前綴,再自迴歸預測剩餘文字;純文字資料也用相同目標。這比單純的 GPT 文字接龍多了前綴內的雙向資訊。
哎呀!簡單到讓我們措手不及……
資料集
- ALIGN 訓練資料集:一個涵蓋圖像與其相關描述或文字標註,且帶有「大量雜訊」的大型資料集。這種圖像-文字配對的資料集通常用於視覺語言預訓練,支持多模態學習任務。
- Colossal Clean Crawled Corpus (C4):C4 是一個大型的文本資料集,主要用於預訓練語言模型。該資料集是從網頁文本中整理和淨化的,並專為高效和大規模的預訓練而設計。
討論
模型效果如何?
SimVLM 可以利用其簡化的預訓練和微調方法來達到出色的性能,它可以無縫地應用於預訓練微調的流程中:
-
模型比較
- SimVLM 被與多個先進的視覺語言預訓練 (VLP) 方法比較,這包括:LXMERT、VL-T5、UNITER、OSCAR、Villa、SOHO、UNIMO 和 VinVL。
- SimVLM-Huge 在表列 VQA、NLVR2、SNLI-VE、NoCaps 與 Multi30k 等指標有高分,但並非每一個欄位都超越比較模型;例如 COCO 字幕的 BLEU@4 為 40.6,低於 OSCAR 的 41.7。
- 這些跨論文比較支持生成式預訓練具有競爭力;各模型的資料和設定並不完全相同,不能把分數差都歸因於 PrefixLM。
-
特定任務上的表現
-
判別任務
SimVLM-Base 在 VQA test-std 為 78.14,高於表中 VinVL 的 76.60;但 SNLI-VE test 為 84.15,低於 SOHO 的 84.95。SimVLM-Huge 的 VQA test-std 為 80.34,比 VinVL 高 3.74 個百分點,達到單模型超過 80% 的結果。
-
複雜的視覺語言推理
SimVLM-Huge 在 NLVR2 test-P/SNLI-VE test 分別為 85.15/86.32,高於表列先前方法;這是各論文結果的比較。
-
生成任務
SimVLM-Huge 在 COCO 字幕的 Karpathy 5k 測試分割中,METEOR/CIDEr/SPICE 高於表列 CIDEr 優化模型,但 BLEU@4 的 40.6 低於 OSCAR 的 41.7;NoCaps 的 CIDEr/SPICE 則為 110.3/14.5,高於 VinVL 的 92.5/13.1。
-
圖像翻譯
SimVLM 也在 Multi30k 的英語到德語的圖像翻譯任務上展現出效果。
-
Zero-shot 的表現?
作者在這邊主要探索了三種零樣本的應用方式,具體如下:
-
零樣本/少樣本圖片標題生成
SimVLM 的預訓練過程可視為帶雜訊的網頁影像字幕學習。零樣本時直接生成;少樣本時用 1% 訓練資料微調 5 個 epoch。表中 SimVLM-Huge 零樣本 COCO CIDEr 僅 32.2,低於完全監督模型;NoCaps 零樣本 CIDEr 為 101.4,少樣本 COCO CIDEr 則升至 131.3。作者也發現前綴提示「A picture of」可改善字幕品質,並展示部分定性生成例子。
-
零樣本跨模態傳輸
作者只用純文字的下游資料微調 SimVLM,再直接以影像加文字測試,不在目標圖文資料上微調;分別用 SNLI-VE 與 Multi30k 檢查這種跨模態遷移。
在 SNLI-VE 上,SimVLM-Huge 由純文字 SNLI 微調後,圖文 test 準確率為 73.86,低於完全監督 UNITER 的 78.28;只給假設、不給圖像時約為 34%,接近三類隨機猜測,支持模型確實使用了圖像。由 MNLI 微調的 test 為 66.97;Multi30k 的跨語言、跨模態遷移 BLEU@4/METEOR 為 18.2/32.6,低於表中 LIUM 的 23.8/35.1。這說明遷移可行,各任務與完全監督方法仍有差距。
-
開放式視覺問答
在視覺問答(VQA)任務上,傳統方法通常將問題表述為對一套預定義的 3,129 個候選答案進行多標籤分類。然而,這種方法在現實應用中受到限制,因為固定的答案集很難涵蓋所有可能的情境,這使得開放式 VQA 變得具有挑戰性。
在 Karpathy-test 中,答案不在 3129 個候選集的問題上,生成式 SimVLM-Huge 為 30.3,高於其判別式版本 17.5;只用其中 2085 個候選答案微調時,未見答案組為 28.8。這兩項都經過 VQA 微調。作者也試過完全不在 VQA 微調,發現直接問真實問題時常無法生成有意義的答案;少數提示句的定性例子不能代替這項限制。
誰的貢獻?
首先,這組小模型的 VQA 分數由 Encoder-Decoder 的 67.43 降至僅 Decoder 的 65.23,支持在所測設定下保留雙向前綴編碼。
接著,僅 Decoder 改用單向 LM 為 64.48;完整小模型改用 span corruption 為 66.23,都低於 PrefixLM 的 67.43。這支持 PrefixLM 在這幾個受測設定中的效果。
另外,移除圖文資料後 VQA 從 67.43 降到 49.23,移除純文字資料後降到 65.25。兩類資料在本實驗都有貢獻。
最後,移除卷積階段後 VQA 為 63.11;兩個、三個、四個 ResNet 卷積區塊分別為 65.57、67.43、66.55。三個在所測設定中最好;表格本身沒有單獨驗證影像與文字粒度差異是成因。
結論
透過一個如此簡單的架構,居然能達到如此的結果。
這篇論文所展示的,不僅是一種效果卓越的技術策略,更重要的是,它告訴我們即使在當今這個看似複雜的技術世界中,仍有可能找到簡單而直接的解決方案。
很多時候,人們都會自然而然地認為複雜的問題需要複雜的解決方案。當 SimVLM 以其簡潔的「PrefixLM」策略出現,它打破了這一固有的思維模式,並為後續的研究提供了一個清晰的方向。
我們可以試著發想一下,基於 SimVLM 的優異性能,未來的研究者可以嘗試從 ViT 的角度進行優化,畢竟 ViT 已經有了這麼多的進化形態;或者從 GPT 的策略上進一步深化,都有可能再繼續推動整個視覺語言預訓練領域的進一步發展。