返回論文筆記資料庫
arXiv 2022ICML 2022多模態學習論文筆記

BLIP

合成文本技術

原始論文

BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation

論文作者

Junnan Li · Dongxu Li · Caiming Xiong · Steven Hoi

發表版本
ICML 2022會議
arXiv 首次提交
arXiv:2201.12086
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multimodalityblip2022,
  title = {{BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation}},
  author = {Junnan Li and Dongxu Li and Caiming Xiong and Steven Hoi},
  year = {2022},
  eprint = {2201.12086},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2201.12086}
}
本頁內容

多模態的模型在這個時候已經站穩在人們的視野內。

攤開 ImageNet 的排行榜,上面大概都已經被多模態的架構所占滿。

定義問題

作者回顧了近幾年的研究文獻,發現近期的多模態模型大多有幾個缺點:

  1. 訓練資料品質不佳:

    除了 CLIP 之外,比較有名的論文就是 ALIGN,也就是基於非常龐大的嘈雜資料集所訓練的多模態模型。雖然許多研究都指出使用這種訓練方式同樣可以得到不錯的結果。但作者認為這只是因為沒有一個合適的處理方式,所得到妥協的結果。

  2. 架構決定命運:

    多模態的架構的選擇通常就兩種:其一是使用基於編碼器的模型,其二是使用基於編碼器-解碼器的模型。

    基於編碼器的模型不容易轉移到文字生成任務,像是圖像字幕的任務之類的;如果是採用編碼器-解碼器的模型,則是在文字檢索的任務上表現不佳。

難道就沒有一舉兩得的方法嗎?

解決問題

模型架構

根據上圖,我們從左到右來看:

首先作者採用 ViT 架構做為視覺輸入的編碼器,並在輸出的序列中加入一個特殊的 token [CLS] 來表示整個影像的特徵。

接著為了訓練一個具有「理解」與「生成」能力的統一模型,作者提出了一個多模態編解碼混合模型 (Multimodal Mixture of Encoder-Decoder, MED)。

這個模型具有三個功能:

  1. 文字編碼器:上圖中,從左邊數來第二個。

    文字編碼器與 BERT 相同,文字輸入的開頭會附加一個 [CLS] 標籤來總結句子。

  2. 基於影像的文字編碼器:上圖中,從左邊數來第三個。

    透過在每個 Transformer 區塊的自注意力(SA)層與前饋網路(FFN)之間插入一層額外的交叉注意力(CA)層來注入視覺訊息。

    文字末尾會附加一個 [Encode] 標籤,其輸出嵌入作為影像與文字的多模態表示。

  1. 基於影像的文字解碼器:

    將基於影像的文字編碼器中的雙向自注意力層替換為因果自注意力層(Causal Self-Attention)。

    解碼過程使用 [Decode] 標籤來表示序列的開始,並用結束標籤來表示序列結束。

預訓練目標

架構完成了,現在要來定義預訓練的目標。

在預訓練過程中,BLIP 要共同優化三個目標,包含兩個理解任務的目標與一個生成任務的目標。

  1. 影像-文字對比損失 (ITC):

    這個目標是讓正確配對的影像與文字在特徵空間中具有相似的表示,而錯誤配對的影像與文字之間的特徵應該相差較大。透過這種方式,模型能夠學會將相關的影像與文字匹配起來,並區分出不相關的配對。

    ITC 使用單模態編碼器來分別處理影像和文字,並引入動量編碼器生成特徵。為了提升效果,ITC 還會考慮負樣本中可能存在的正樣本,使用軟標籤來進行訓練,使得模型能更準確地學習到影像和文字之間的對應關係。

  2. 影像-文字匹配損失 (ITM):

    為了強化模型的鑑別能力,ITM 使用正負圖文配對做二元分類。負例不是以 0.5 機率隨機替換影像;作者依批次內的對比相似度挑選較難的負例。模型以 [Encode] 的多模態表示經線性分類頭預測是否匹配,並最小化分類損失。

  3. 語言模型損失 (LM):

    啟用基於影像的文字解碼器,目的是生成影像的文本描述。此損失透過優化交叉熵損失來訓練模型,以自迴歸的方式最大化文本生成的機率。相比於已被廣泛使用的掩蔽語言模型(MLM)損失,LM 損失使模型能夠更具生成能力,能夠將視覺信息轉化為連貫的文字描述。作者在計算損失時應用了 0.1 的標籤平滑技術。


為了提升多任務學習中的訓練效率:

  • 作者讓文字編碼器與解碼器共享除自注意力 (SA) 層外的所有參數。

這是因為編碼與解碼任務的主要差異集中在自注意力層上,編碼器採用雙向自注意力,構建當前輸入的整體表示;而解碼器則使用因果自注意力,根據上下文來預測下一個 token。

另一方面,嵌入層、交叉注意力層以及前饋網路在編碼和解碼過程中的功能相似,因此共享這些層不僅能提升訓練效率,還能在多任務學習中實現參數的充分利用。

CapFilt

剛才也提到了,作者一開始就認為使用嘈雜的資料集來訓練模型對模型的表現是有損害的。

為了提升文本資料的品質,作者提出了「Captioning and Filtering (CapFilt)」方法。

如上流程圖所示,CapFilt 包含兩個模組:

  1. 生成影像描述的「captioner」:captioner 從已預訓練的 MED 初始化,以人工標註的 COCO 資料和語言模型目標微調;它使用基於影像的文字解碼器,為每張網路影像生成一條合成描述 (Ts)。

  2. 過濾雜訊影像-文本配對的「filter」:filter 也從相同的預訓練 MED 初始化,但獨立用 COCO 與 ITC/ITM 目標微調;它使用基於影像的文字編碼器,判斷文本是否與影像匹配。

filter 會移除原始網路文本 (Tw) 和合成文本 (Ts) 中的雜訊文本,這些文本如果經 ITM 預測為不匹配即視為雜訊。

最終,作者將保留下來的原始網頁文本、合成文本配對與人工標註配對結合,形成新資料集,再預訓練一個新的 BLIP 模型。

模型訓練配置

作者使用 PyTorch 實現模型,並在兩台 16-GPU 節點上進行預訓練。

  • 影像 Transformer 從在 ImageNet 上預訓練的 ViT 初始化
  • 文字 Transformer 則從 BERTbase 初始化。

作者探索了兩種 ViT 的變體:ViT-B/16 和 ViT-L/16,除非特別說明,本文中的「BLIP」結果均使用 ViT-B。模型預訓練了 20 個 epoch,批次大小為 2880(ViT-B)和 2400(ViT-L)。

優化器採用 AdamW,權重衰減設置為 0.05,學習率經過熱身階段分別提升至 3e-4(ViT-B)和 2e-4(ViT-L),並以 0.85 的速率線性衰減。預訓練期間隨機裁剪影像至 224×224 的解析度,微調時則將影像解析度提高到 384×384。

作者使用兩個人工標註的資料集(COCO 和 Visual Genome)以及三個網路資料集(Conceptual Captions、Conceptual 12M、SBU captions),總共包含 1400 萬張影像,來訓練模型。

討論

CapFilt 的效果

這個模組是這篇論文的主要貢獻之一,因此必須立刻檢查一下它的效果。

作者比較了不同資料集上預訓練的模型,來展示 CapFilt 在下游任務中的效果,包括圖像-文本檢索與圖像描述,分別在微調與零樣本設置下進行評估。

在相同的 1400 萬影像、ViT-B 設定下,單用 captioner 或 filter,各項表列指標都比未使用時高;兩者結合後又進一步提升。例如 COCO 微調的文字/影像檢索 R@1 從 78.4/60.7 升至 80.6/63.1。

在 1.29 億影像與 ViT-L 設定下,CapFilt 相對同資料、同骨幹的未使用版本也有提升;這是作者對資料與模型規模擴展的實驗證據。

不過,若固定 ViT-B 主模型與 1.29 億影像,只把 captioner 和 filter 換成 ViT-L,COCO 檢索 R@1 反而從 81.9/64.3 降為 81.2/64.1;字幕指標則提高。效果不是每項都單調增加。

在下圖中,作者展示了一些影像與其對應的生成文本範例,質性上展示了 captioner 在生成新文本描述上的效果,以及 filter 在去除原始網路文本和合成文本中的雜訊能力:

綠色文字表示被 filter 接受的文本;紅色文字表示被 filter 拒絕的文本。

CapFilt 合成文本多樣性

在 CapFilt 中,作者使用 nucleus sampling 來生成合成的描述文本。

Nucleus sampling 是一種隨機解碼方法,其中每個 token 是從累積機率超過閾值 pp 的 token 集合中抽取的(實驗中設置 p=0.9p = 0.9)。

在上表中,作者將其與 beam search 進行比較,後者是一種確定性的解碼方法,會生成機率最高的描述文本。Nucleus 產生的描述被 filter 判為不匹配的比例是 25%,高於 beam 的 19%;但在表列檢索與字幕指標中都較高。作者推測原因在於 nucleus sampling 生成的文本更多樣,包含更多的新資訊;表格本身未單獨測量「驚喜性」或資訊量。

與 SOTA 模型的比較

這裡作者針對不同的資料集與其他 SOTA 模型進行了比較,這邊我們僅挑出幾個資料集來看看。

  • 圖像-文本檢索

    作者在 COCO 和 Flickr30K 資料集上評估了 BLIP 的圖像到文本檢索(TR)與文本到圖像檢索(IR)能力。

    預訓練模型通過 ITC 和 ITM 損失進行微調。為了加快推理速度,首先基於圖像與文本的特徵相似性選出 k 個候選配對,然後根據兩者的 ITM 分數對候選進行重新排序。接著將 k 值設為 256(COCO)和 128(Flickr30K)。Flickr30K 的「零樣本」表則是先在 COCO 微調,再直接轉移測試,並非完全未經檢索微調。

    如上表所示,使用相同的 1400 萬張預訓練影像,BLIP 在 COCO 的文字/影像檢索 R@1 分別為 80.6/63.1,ALBEF 為 77.6/60.7;兩項平均提高 2.7 個百分點。Flickr30K 上有些 R@5/R@10 已接近飽和,不能把每個欄位都說成顯著提升。

  • 圖像描述

    作者在 NoCaps 和 COCO 兩個資料集上進行圖像描述任務的評估,並使用在 COCO 上微調的模型進行測試,採用 LM 損失。 根據過去的文獻,作者在每個描述開頭添加了提示詞 "a picture of",這能帶來輕微的性能提升。

    如上表所示,BLIP 使用 1400 萬張預訓練影像時,COCO CIDEr 為 129.7,略高於 VinVL 的 129.3;NoCaps overall CIDEr 為 105.1,高於 LEMON-base 1200 萬影像的 100.4。使用 1.29 億張影像的 BLIP 在多項指標接近 LEMON-base 的 2 億影像設定。

  • 視覺問答 VQA

    視覺問答要求模型根據圖像和問題生成答案。這裡作者沒有將 VQA 表述為多答案分類任務。(過去的研究中,VQA 通常被表述為多答案分類任務)

    而是將其表述為答案生成任務,從而實現開放式 VQA。如上圖所示,在微調過程中,作者將預訓練模型重新排列,首先將圖像-問題編碼為多模態嵌入,然後輸入答案解碼器。

    VQA 模型使用 LM 損失進行微調,以真實答案作為目標進行訓練。表中 1400 萬影像的 BLIP 在 VQA test-std 為 77.62,ALBEF 為 76.04,相差 1.58 個百分點;原論文正文寫 1.64,但與表格算式不同。1.29 億影像的 BLIP 為 78.17,僅比 SimVLM-base 的 78.14 高 0.03 個百分點;不同模型的訓練資料與架構也不相同。

結論

作者在論文中提出的 CapFilt 方法有效地解決了網路影像-文本數據中的雜訊問題,並通過實驗證明,自動生成描述和過濾噪聲文本對模型性能有顯著提升。

此外,BLIP 在多個下游任務中的表現優異,涵蓋了圖像-文本檢索、圖像描述、視覺問答等領域,展示了其強大的多任務適應能力。不僅展現了在多樣化數據生成和雜訊處理方面的潛力,也為提升多模態模型的性能提供了新的思路,指引了未來多模態模型的發展方向。