VL-BERT: Pre-training of Generic Visual-Linguistic Representations
- 發表版本
- ICLR 2020會議
- arXiv 首次提交
- arXiv:1908.08530
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multimodalityvlbert2019,
title = {{VL-BERT: Pre-training of Generic Visual-Linguistic Representations}},
author = {Weijie Su and Xizhou Zhu and Yue Cao and Bin Li and Lewei Lu and Furu Wei and Jifeng Dai},
year = {2019},
eprint = {1908.08530},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1908.08530}
}
我們之前提到了 VisualBERT,它算是 One-Tower Encoder 的架構,但是在訓練的過程中他們沒有對影像進行監督,他們只監督了文字的部分。
另外,也提到了 ViLBERT,它算是 Two-Tower Encoder 的架構,文字和影像之間各自擁有一個 Encoder 可以使用,而是透過跨注意力機制來交換彼此的訊息,但是略為複雜。
- 欸,等等!什麼 One-Tower,Two-Tower?
這個名詞定義我們之前沒有特別提到,主要因為對事情沒什麼幫助,徒增煩惱而已。現在我們有了比較不同架構的需求了,正好可以拿出來說一說。
當我們討論視覺和語言多模態學習的模型時,常常會遇到 One-Tower 和 Two-Tower 兩種主要的架構(其實不止,我們之後遇上了再聊)。
這兩種架構主要描述了如何整合和交互不同模態的資訊。
-
Single-Tower Architecture (One-Tower)
在這種架構中,一個單一的 Transformer 編碼器操作於視覺和文字輸入表示的連接上。
優勢在於視覺和文字的 token 都被嵌入到單一的輸入中,這使得模態之間的交互無約束且自由。此外,它相對於 Two-Tower 架構需要較少的參數。
常見模型包括 ViLT、VL-BERT、UNITER、OSCAR 等。其中,很多模型如 VisualBERT 和 VL-BERT 基於 BERT 模型進行變化。
-
Two-Tower Architecture (Dual-Tower)
這種架構不直接對視覺和文字輸入進行連接,而是在分開的 Transformer 堆疊中對每種模態進行編碼。然後,這些模態之間的交互是通過一個跨注意力機制實現的。
優勢在於這種架構允許模態之間的交互更加明確和有序。這種結構通常更容易理解,因為每個模態都有自己的編碼器。
常見模型像是 ViLBERT、LXMERT 和 BridgeTower 都是此類型的代表。
定義問題
當我們面對這兩種不同的架構時,難免會感到迷惘。
一方面,One-Tower Encoder 的架構提供了較為直觀的訓練方法,但可能無法充分挖掘影像與文字之間的關聯;另一方面,Two-Tower Encoder 雖然有能力深入挖掘這兩者之間的關系,但過程相對複雜,且需要更多的計算資源。
而這篇論文作者嘗試整合這兩種架構的優點,創建一種真正具有通用性的視覺語言表示。這種表示不僅能夠應對單一的視覺語言任務,而且在多種視覺語言任務上都表現出色。
解決問題
模型架構
同樣是來自 BERT 的啟示,VL-BERT 模型的基礎是原始的 BERT 架構,該架構是基於多層雙向 Transformer 編碼器,這種設計允許模型捕獲所有輸入元素之間的依賴性。
為了要同時可以接受視覺和語言的輸入,模型的輸入始於特殊的 [CLS] 標記,接著是語言元素,然後是視覺元素,並以 [END] 標記結束。為了清晰區分語言和視覺信息,這裡使用 [SEP] 標記被插入在語言元素和視覺元素之間。
VL-BERT 的每個輸入元素的編碼特徵是由四種編碼類型合成的:Token 編碼、視覺特徵編碼、片段編碼和序列位置編碼。其中,視覺特徵編碼特別被引入用於捕捉視覺線索,而其他三種編碼模式是基於原始 BERT 的設計。
視覺特徵編碼包含了視覺外觀特徵和幾何特徵:影像區域使用 Fast R-CNN 從 RoI 提取的外觀與位置資訊;文字等非影像元素則使用整張影像區域的外觀特徵。
預訓練機制
上圖展示 VCR、VQA、RefCOCO+ 的下游微調輸入與輸出格式,不是預訓練流程。在本文中,作者通過以下任務預訓練 VL-BERT,使其能夠捕獲視覺和語言間的關係;圖文樣本來自 Conceptual Captions,另加入 BooksCorpus 和 Wikipedia 的純文字樣本。
- 任務#1:使用視覺線索的掩碼語言建模:這是基於 BERT 中的掩碼語言建模(MLM)的修改。例如:假設有一句描述「小狗正在[MASK]裡玩耍」,並且相應的圖片中有一個小狗在水池中玩耍,模型需要根據未被屏蔽的部分和視覺資訊預測出被屏蔽的詞是「水池」。
- 任務#2:使用語言線索的掩碼 RoI 分類:隨機選取約 15% 的 RoI,在送入 Fast R-CNN 前將該區域的原始像素設為零,再預測被遮區域的物件類別。以架構圖為例,被遮的是貓的區域,文字「kitten drinking from bottle」可提示模型預測「貓」;監督標籤來自預先訓練的偵測器。
討論
和其他模型的比較
使用的資料集是 VQA v2.0,基於 COCO 影像集建構。資料集包括訓練集、驗證集和測試集,分別有 83k、41k 和 81k 的影像,以及 444k、214k 和 448k 的問題。
在 VQA test-dev 上,VL-BERT-BASE 預訓練後從 69.58% 提升到 71.16%,約高 1.6 個百分點。與 BUTD(專為此任務設計的一個流行模型)的 65.32% 相比,VL-BERT-BASE 高 5.84 個百分點。表中 VL-BERT-LARGE 為 71.79%,高於 ViLBERT 和 VisualBERT,低於 LXMERT 的 72.42%;LXMERT 在更大的圖像問答資料集上進行了預訓練。
本實驗確認了預訓練的重要性,特別是在視覺問答任務上。儘管 VL-BERT 的訓練資料集不如 LXMERT 那麼豐富,但它仍然展現了與當前最佳模型相當的性能。
模型懂自然語言嗎?
為了回答這個問題,作者選用了 RefCOCO+ 資料集。
RefCOCO+ 是一個參考式物件檢索(referential object retrieval)的資料集。它的主要目的是進行視覺基礎的參照理解,也就是給予一個圖像和一段描述(通常是自然語言描述),系統需要定位或辨識該描述所參照的特定物件在圖像中的位置。
實驗結果顯示,使用預訓練的 VL-BERT 可以提高指代表達理解的效能。以偵測區域的 val 欄為例,VL-BERT-BASE 從 66.03% 提升到 71.60%;表中另列使用真值區域的結果,兩組條件不能混為一談。
當與其他著名的模型如 MAttNet 進行比較時,VL-BERT 表現出了其簡潔和強大的效能。在同樣使用偵測區域的比較中,VL-BERT-LARGE 與 ViLBERT 的 val/testA 相近,testB 則略低;VL-BERT 不依賴額外的任務專用模組。
消融實驗
作者做了大量的實驗,來測試不同的設計選擇對模型性能的影響。
-
預訓練的重要性
這張表只用 VL-BERT-BASE,且微調 epoch 是主實驗的一半。比較「無預訓練」和完整設定時,VCR、VQA、RefCOCO+ 的表列結果都有提升,幅度依任務而不同。
-
任務特定的效益
不同的預訓練任務對不同的下游任務有不同的影響。例如:在 (a) 的遮罩語言任務上加入遮罩 RoI 分類後,RefCOCO+ 從 69.1% 升至 70.7%;VCR 和 VQA 則大致持平。
-
句子-圖像關係的影響
在這組消融中,從 (b) 再加入句子-圖像關係預測的 (c),VCR、VQA 和 RefCOCO+ 的數字都下降。作者推測不匹配的圖文負例可能干擾其他任務;這是本實驗的觀察。
-
純文字語料庫的加入
從 (b) 到 (d) 加入純文字語料後,VCR 兩項分數提升;VQA 的 71.1% 和 RefCOCO+ 的 70.7% 都持平。作者認為這對涉及較長、較複雜句子的 VCR 有幫助。
-
端到端的訓練
從 (d) 到最後一列,將產生視覺特徵的 Fast R-CNN 一起更新,VCR、VQA、RefCOCO+ 的表列數字都再小幅提升。
根據實驗結果,作者認為 VL-BERT 模型的最重要的設計是其預訓練策略,這不僅提高了其在特定任務上的效能,而且還使其在多種下游任務上都具有出色的泛化能力。同時,模型的設計還考慮到了不同預訓練任務對下游效能的不同影響,並透過端到端的訓練來進一步優化其表現。
結論
VL-BERT 最大的賣點是它採用了基於 Transformer 的架構,避免了特定任務的臨時模組,達到了簡單且高效的效果。其在大型概念字幕資料集和純文字語料庫的預訓練,進一步鞏固了其在視覺與語言線索對齊的能力。
作者透過對於更多預訓練任務的探索,為後續的研究者提供了後續的研究方向。