返回論文筆記資料庫
arXiv 2021ICLR 2022多模態學習論文筆記

SimVLM

簡單一點

原始論文

SimVLM: Simple Visual Language Model Pretraining with Weak Supervision

論文作者

Zirui Wang · Jiahui Yu · Adams Wei Yu · Zihang Dai · Yulia Tsvetkov · Yuan Cao

發表版本
ICLR 2022會議
arXiv 首次提交
arXiv:2108.10904
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multimodalitysimvlm2021,
  title = {{SimVLM: Simple Visual Language Model Pretraining with Weak Supervision}},
  author = {Zirui Wang and Jiahui Yu and Adams Wei Yu and Zihang Dai and Yulia Tsvetkov and Yuan Cao},
  year = {2021},
  eprint = {2108.10904},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2108.10904}
}
本頁內容

當一件事情發展得太過複雜,就會讓人望之卻步:

一定要搞成這樣嗎?

在這個當下, GPT3 已經問世了,並且取得相當不錯的表現,而且他們並沒有把整件事情搞得這麼複雜呀!

本論文的作者基於這個想法,認為不要再拘泥於原本的編碼器的架構了。

或許,我們可以讓整件事情簡單一點?

定義問題

作者定義的問題包括以下幾點:

  1. 預訓練微調範式的缺陷

    • 雖然利用掩碼語言建模 (MLM) 在大規模未標記文字語料庫上預訓練模型(例如 BERT)後進行微調已成為主流,但近期的自回歸語言模型,如:GPT-3,顯示出在無需微調的情況下,使用少量資料即能達到強大的性能。
  2. 多模式對應的挑戰

    • 嘗試建立視覺和文字的多模式對應,但要捕捉影像和文字之間的對齊並不容易。早期的方法通常依賴於人工標記的資料集,進行物件偵測和融合模型的 MLM 預訓練。
    • 由於人類註釋資料的規模有限,先前的方法不僅需要使用複雜的預訓練方案,還要引入特定於任務的輔助損失,使整個 VLP 的預訓練協議變得更為複雜。
  3. 缺乏零樣本能力

    • 目前基於預訓練微調的方法在零樣本能力方面表現不佳,即模型在沒有看過的新任務上的泛化能力受限。
    • 一些方法只關注特定的任務,因此不容易被用作通用的預訓練微調表示。例如:某些方法只專注於影像分類或圖文檢索的特定任務。

解決問題

SimVLM 模型設計

  1. PrefixLM

    受到單向語言模型所帶來的零樣本能力啟發,作者提出了一種新的方法,稱為「前綴語言建模」或「PrefixLM」。與傳統的單向語言模型不同,PrefixLM 有幾個特性:

    • 雙向關注於前綴序列:

      PrefixLM 讓前綴內的 token 雙向關注彼此;前綴後的生成部分則可看完整前綴與先前生成的 token,不能看未來的輸出。

    • 自迴歸分解的範圍:

      只有在前綴之後的部分,PrefixLM 進行自迴歸分解,也就是嘗試預測接下來的序列。

    • 圖像作為文字的前綴:

      在視覺語言任務中,PrefixLM 將影像 patch 放在文字之前,並隨機選取包含全部影像 patch 的前綴長度;預測損失只作用於前綴之後的文字。這是基於觀察到圖像往往在文本描述之前出現。

  1. 架構設計

    使用 Transformer 作為核心架構,用 Encoder-Decoder 的序列到序列語言模型,結合了視覺模塊和文本模塊:

    • 視覺模塊

      這裡借用 ViT 的 patch 序列設計,但影像 patch 先經過 ResNet 前三個區塊組成的卷積階段,而不是直接用線性投影。之後再把影像 patch 與文字 token 串成前綴序列,交給 Transformer 編碼。

    • 文本模塊

      這裡遵循 SentencePiece 的子詞切分方式,將文字轉為固定詞彙表中的 token;原論文沒有指定所用的子詞演算法就是 Byte-Pair Encoding (BPE)。

接著回來看 SimVLM,他並沒有把問題都留在 Encoder,在我們看來,他更像是營造了一個「案發現場」,在這裡的 Decoder 像是偵探的角色,他必須透過 Encoder 留下來的蛛絲馬跡,試著推理出後續的結果。

甚至,根據作者所言:這裡的提到「前綴」的影像線索,甚至可以不用來自影像,你要輸入一段用來「描述影像的文字」作為線索,也是完全沒問題的!

在後續的下游任務中,表列 SimVLM-Base 的 VQA test-std 為 78.14,VL-T5 為 70.30,相差約 7.8 個百分點;但兩者的預訓練資料、影像輸入和模型設定都不同,不能把差距只歸因於 Decoder 設計。

預訓練策略

這裡沒有 MLM,沒有 ITM,沒有那些你以為應該要有的東西。

作者在這邊的預訓練就只是採用「PrefixLM」策略:對圖文資料,影像 patch 與一段文字可作為雙向注意力的前綴,再自迴歸預測剩餘文字;純文字資料也用相同目標。這比單純的 GPT 文字接龍多了前綴內的雙向資訊。

哎呀!簡單到讓我們措手不及……

資料集

  • ALIGN 訓練資料集:一個涵蓋圖像與其相關描述或文字標註,且帶有「大量雜訊」的大型資料集。這種圖像-文字配對的資料集通常用於視覺語言預訓練,支持多模態學習任務。
  • Colossal Clean Crawled Corpus (C4):C4 是一個大型的文本資料集,主要用於預訓練語言模型。該資料集是從網頁文本中整理和淨化的,並專為高效和大規模的預訓練而設計。

討論

模型效果如何?

SimVLM 可以利用其簡化的預訓練和微調方法來達到出色的性能,它可以無縫地應用於預訓練微調的流程中:

  1. 模型比較

    • SimVLM 被與多個先進的視覺語言預訓練 (VLP) 方法比較,這包括:LXMERT、VL-T5、UNITER、OSCAR、Villa、SOHO、UNIMO 和 VinVL。
    • SimVLM-Huge 在表列 VQA、NLVR2、SNLI-VE、NoCaps 與 Multi30k 等指標有高分,但並非每一個欄位都超越比較模型;例如 COCO 字幕的 BLEU@4 為 40.6,低於 OSCAR 的 41.7。
    • 這些跨論文比較支持生成式預訓練具有競爭力;各模型的資料和設定並不完全相同,不能把分數差都歸因於 PrefixLM。
  2. 特定任務上的表現

    • 判別任務

      SimVLM-Base 在 VQA test-std 為 78.14,高於表中 VinVL 的 76.60;但 SNLI-VE test 為 84.15,低於 SOHO 的 84.95。SimVLM-Huge 的 VQA test-std 為 80.34,比 VinVL 高 3.74 個百分點,達到單模型超過 80% 的結果。

    • 複雜的視覺語言推理

      SimVLM-Huge 在 NLVR2 test-P/SNLI-VE test 分別為 85.15/86.32,高於表列先前方法;這是各論文結果的比較。

    • 生成任務

      SimVLM-Huge 在 COCO 字幕的 Karpathy 5k 測試分割中,METEOR/CIDEr/SPICE 高於表列 CIDEr 優化模型,但 BLEU@4 的 40.6 低於 OSCAR 的 41.7;NoCaps 的 CIDEr/SPICE 則為 110.3/14.5,高於 VinVL 的 92.5/13.1。

    • 圖像翻譯

      SimVLM 也在 Multi30k 的英語到德語的圖像翻譯任務上展現出效果。

Zero-shot 的表現?

作者在這邊主要探索了三種零樣本的應用方式,具體如下:

  1. 零樣本/少樣本圖片標題生成

    SimVLM 的預訓練過程可視為帶雜訊的網頁影像字幕學習。零樣本時直接生成;少樣本時用 1% 訓練資料微調 5 個 epoch。表中 SimVLM-Huge 零樣本 COCO CIDEr 僅 32.2,低於完全監督模型;NoCaps 零樣本 CIDEr 為 101.4,少樣本 COCO CIDEr 則升至 131.3。作者也發現前綴提示「A picture of」可改善字幕品質,並展示部分定性生成例子。

  2. 零樣本跨模態傳輸

    作者只用純文字的下游資料微調 SimVLM,再直接以影像加文字測試,不在目標圖文資料上微調;分別用 SNLI-VE 與 Multi30k 檢查這種跨模態遷移。

    在 SNLI-VE 上,SimVLM-Huge 由純文字 SNLI 微調後,圖文 test 準確率為 73.86,低於完全監督 UNITER 的 78.28;只給假設、不給圖像時約為 34%,接近三類隨機猜測,支持模型確實使用了圖像。由 MNLI 微調的 test 為 66.97;Multi30k 的跨語言、跨模態遷移 BLEU@4/METEOR 為 18.2/32.6,低於表中 LIUM 的 23.8/35.1。這說明遷移可行,各任務與完全監督方法仍有差距。

  3. 開放式視覺問答

    在視覺問答(VQA)任務上,傳統方法通常將問題表述為對一套預定義的 3,129 個候選答案進行多標籤分類。然而,這種方法在現實應用中受到限制,因為固定的答案集很難涵蓋所有可能的情境,這使得開放式 VQA 變得具有挑戰性。

    在 Karpathy-test 中,答案不在 3129 個候選集的問題上,生成式 SimVLM-Huge 為 30.3,高於其判別式版本 17.5;只用其中 2085 個候選答案微調時,未見答案組為 28.8。這兩項都經過 VQA 微調。作者也試過完全不在 VQA 微調,發現直接問真實問題時常無法生成有意義的答案;少數提示句的定性例子不能代替這項限制。

誰的貢獻?

首先,這組小模型的 VQA 分數由 Encoder-Decoder 的 67.43 降至僅 Decoder 的 65.23,支持在所測設定下保留雙向前綴編碼。

接著,僅 Decoder 改用單向 LM 為 64.48;完整小模型改用 span corruption 為 66.23,都低於 PrefixLM 的 67.43。這支持 PrefixLM 在這幾個受測設定中的效果。

另外,移除圖文資料後 VQA 從 67.43 降到 49.23,移除純文字資料後降到 65.25。兩類資料在本實驗都有貢獻。

最後,移除卷積階段後 VQA 為 63.11;兩個、三個、四個 ResNet 卷積區塊分別為 65.57、67.43、66.55。三個在所測設定中最好;表格本身沒有單獨驗證影像與文字粒度差異是成因。

結論

透過一個如此簡單的架構,居然能達到如此的結果。

這篇論文所展示的,不僅是一種效果卓越的技術策略,更重要的是,它告訴我們即使在當今這個看似複雜的技術世界中,仍有可能找到簡單而直接的解決方案。

很多時候,人們都會自然而然地認為複雜的問題需要複雜的解決方案。當 SimVLM 以其簡潔的「PrefixLM」策略出現,它打破了這一固有的思維模式,並為後續的研究提供了一個清晰的方向。

我們可以試著發想一下,基於 SimVLM 的優異性能,未來的研究者可以嘗試從 ViT 的角度進行優化,畢竟 ViT 已經有了這麼多的進化形態;或者從 GPT 的策略上進一步深化,都有可能再繼續推動整個視覺語言預訓練領域的進一步發展。