ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
- 發表版本
- ICML 2021會議
- arXiv 首次提交
- arXiv:2102.03334
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multimodalityvilt2021,
title = {{ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision}},
author = {Wonjae Kim and Bokyung Son and Ildoo Kim},
year = {2021},
eprint = {2102.03334},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2102.03334}
}
你可能會記得 Transformer 提出來的年代是 2017 年。
專攻影像的 Vision Transformer (ViT) 則是在 2020 年底才提出來,中間隔了三年多。
這次就不用等這麼久了,不用半年,ViT 就被用來抽換 VLP 的視覺架構了。
在過去幾年間的研究,主要都是專注於提升 VL 模型的視覺表示能力,來達到提高模型整體表現的結果。但大家始終不願意面的真相是:物件偵測的預訓練模型,真的很沉重!
而 ViLT 這篇論文的作者說,整件事情不應該是這樣的,我們應該要:
- 完全捨棄這種架構設計!
定義問題
作者主要定義的問題及挑戰,大致上可以概括為以下幾點:
-
複雜的視覺編碼過程
目前的視覺和語言預訓練(VLP)模型在處理視覺編碼時經常採用深層卷積網路或預訓練的物件偵測器。這一流程通常相當複雜和計算密集,特別是在需要處理大量圖像時,將對計算資源和運行時間帶來重大挑戰。
-
重型的視覺編碼器的使用
現有的 VLP 模型通常依賴於重型的視覺編碼器來提取圖像的特徵,這對計算資源來說是一個重大的負擔。儘管在學術實驗中,區域特徵的提取過程通常可以通過預先緩存的方式來減輕這一負擔,但在實際應用中,特別是在需要處理現場即時查詢的情況下,這一方法並不可行。
-
編碼效率與性能的平衡
在很多研究中,如何在保證模型性能的同時,提高編碼的效率並降低計算和儲存成本,始終是一個難以平衡的問題。而且,過去的大多數研究並未著重於探索能夠在視覺和語言任務上實現良好性能的同時,也提供更輕量級和快速編碼的方法和模型架構。
-
傳統模型架構的局限性
傳統的 VLP 模型在視覺輸入處理上,通常使用深層、有卷積的編碼方法。這不僅增加了模型的複雜度和運行時間,也在一定程度上限制了模型的靈活性和適應性。
解決問題
ViLT 設計理念
作者基於兩個維度對視覺和語言模型進行了分類:
- 兩種模態(視覺和語言)是否具有均勻的表達水平(專用參數和/或計算)。
- 這兩種模式是否在深層網路中相互作用。
結合這兩點,作者得到了四個原型:
- (a) 類型:視覺語義編碼(VSE)模型,如:VSE++ 和 SCAN,具有分開的視覺和語言編碼器,其中視覺編碼較重;兩者之間的交互作用相對淺層,通常基於簡單的點積或淺層注意力層。
- (b) 類型:例如 CLIP,它對於兩種模態使用單獨但計算上相等的編碼器,並在相對淺層處進行交互作用。
- (c) 類型:深度交互的模型,例如一些最新的 VLP 模型,它們利用深度轉換器模型在深層次上建模兩種模態的交互作用,但對於視覺信息的編碼仍然依賴於計算密集型的卷積神經網路。
- (d) 類型:ViLT 模型,將大多數計算集中在模態交互建模上,並對原始像素的編碼層做得相對淺層,計算量輕,類似於處理文本的計算量。
這四種模型原型每一種都反映了不同的設計和計算的權衡:
- (a) 類型:可能在計算上較為輕量,但犧牲了模態間深層交互作用的能力。
- (b) 類型:將計算資源均等分配給了視覺和語言編碼,但依然保持較為淺層的交互。
- (c) 類型:在模態間的交互上投入了較多的計算資源,但在處理視覺輸入時可能過於依賴計算密集的卷積神經網路。
- (d) 類型:將多數計算資源用在深度模態交互,視覺與文字的專用嵌入層都相對輕量。
每一種設計選擇都帶來不同的優勢和挑戰。例如:2b 類型的模型(如 CLIP)在某些零樣本學習的場景中表現卓越,但在其他需要深度模態交互的任務上可能效果有限。這些分類提供了一個視覺語言模型設計的框架,指明了不同設計選擇和方法在實際應用中可能的優缺點。當然,這也暗示著在實際應用中,可能需要根據具體的應用場景和需求來選擇和設計模型。
ViLT 設計細節
ViLT 嘗試通過簡化視覺編碼流程,使用 Patch 投影策略,並從具有視覺特徵處理能力的 ViT 初始化,希望能在 VLP 任務上達到更高效且資源消耗更低的表現。整體模型架構強調在保持表現的同時,盡可能降低計算複雜度和資源需求,展示了一種輕量化的多模態學習策略。
-
視覺編碼的方法
ViLT 與其他視覺語言預訓練(VLP)模型共享相似的文字編碼方式,通常借鑒 BERT 的分詞器與編碼技術,但在視覺編碼的部分有所區別。
ViLT 的設計強調在視覺編碼上的簡單化,比較以下幾種策略:
- Region Feature
雖然傳統方法經常利用來自物體偵測器(例如 Faster R-CNN)的區域特徵,ViLT 不依賴這種方法,傾向更直接和簡單的方式。
- Grid Feature
網格特徵是另一種視覺特徵提取方法,通常使用卷積神經網路的輸出特徵網格作為視覺特徵,但 ViLT 也沒有主要使用這種特徵。
- Patch Projection
ViLT 採用了 ViT 引入的 Patch 投影編碼方法。這種方法直接將影像區塊進行線性投影,大大簡化了視覺編碼步驟。本文 32×32 的 patch 投影層約有 2.4M 參數;圖表中的整個 ViLT-B/32 則有 87.4M 參數。
-
模型架構
- ViLT 具有精簡的架構,並且在視覺編碼方面使用單流方法。
- 雖然以往的許多 VLP 模型從 BERT 進行權重初始化,ViLT 選擇從 ViT 初始化交互變換器權重。這是基於 ViT 已經具有處理視覺特徵的能力的考慮,希望運用 ViT 的這一特點優化模型效果。
- ViT 堆疊組成,包括多頭自注意力(MSA)層和 MLP 層,而 ViLT 在這個基礎上結合文字信息進行多模態的預訓練。
- ViLT 使用 32×32 的 patch 投影,並以先在 ImageNet-21K 預訓練、再於 ImageNet-1K 微調的 ViT-B/32 權重初始化交互 Transformer;隨後進行圖文預訓練及下游任務微調。
-
編碼細節
- 輸入文字使用了詞編碼矩陣和位置編碼矩陣進行加總。
- 輸入影像被切片成圖塊並展平,然後進行線性投影和位置編碼。
- 文字和圖像編碼分別加上對應的模態類型編碼向量,再串接成組合序列,通過多個 Transformer 層疊代更新。
預訓練策略
作者以影像文字匹配(含單字與 patch 對齊)及遮罩語言建模作預訓練目標;全字遮蔽是遮罩策略,影像增強則用在下游微調。
-
影像文字匹配 (Image Text Matching, ITM)
- 隨機替換圖像:為了強化模型的鑑別能力,使用 0.5 的機率隨機替換對齊的圖像。換句話說,有一半的機會,圖像和其相對應的文字描述不會匹配。
- ITM 頭:模型使用單一線性層,將池化後的特徵投影成匹配/不匹配的兩類 logits,並計算負對數似然損失。
-
單字 Patch 對齊 (WPA)
假設一個圖像,它展示了一個吃蘋果的男人,其中文字描述可能是 “A man is eating an apple”。在通常的影像-文字匹配(ITM)目標下,模型只需要關心整體圖像和整句話的關聯性,例如:整張圖像和整句話之間的相關性。
然而,WPA 強調在更細微的層次上對齊視覺和語言信息:以 Transformer 輸出的文字 token 與影像 patch 表示估計對齊,而不是使用標註的「蘋果區域」作監督。作者將近似 Wasserstein 距離乘以 0.1,加到 ITM 損失。
-
遮罩語言建模 (Masked Language Modeling, MLM)
- 隨機遮罩:受到 BERT 的啟發,作者選擇隨機遮蔽文本中的部分內容,並嘗試根據上下文預測被遮蔽的部分。實驗中有 0.15 的機率對文字進行隨機屏蔽。
- MLM 頭:模型透過兩層的 MLP 來預測被遮蔽的標記,最終的目標是最小化該預測與真實標記之間的負對數似然損失。
-
全字屏蔽 (Whole Word Masking)
- 這是一種專門遮蔽整個單詞的策略,而不僅僅是單詞中的某一部分或子字。例如:考慮單詞「giraffe」,在 BERT 的分詞中可能會被拆分為 [“gi”、“##raf”、“##fe”]。全字屏蔽會確保整個「giraffe」都被遮蔽,而不僅僅是其中的某一部分;作者認為這可減少模型只憑殘留子字猜答案的捷徑。
- 這個操作參考了:Pre-training with whole word masking for chinese bert。
-
影像增強 (Image Augmentation)
作者在下游微調時使用 RandAugment,但排除了顏色反轉和 Cutout 遮除策略。顏色反轉不被使用,因為文字中也可能包含顏色信息;Cutout 不被使用,因為它可能抹去圖像中的重要小物件。
透過結合上述策略,作者希望提供一種更強大和全面的 VLP 預訓練方法,充分利用圖像和文字之間的相互作用。
討論
在本研究中,模型首先在多個資料集上進行預訓練,包括 MSCOCO、Visual Genome、SBU Captions 和 Google Conceptual Captions,旨在捕捉豐富的圖像和語言特徵。
在訓練過程中,ViLT 使用了 AdamW 優化器,並運用了學習率預熱和線性衰減策略來適應性地調整學習率。圖像輸入在維持原始縱橫比的前提下,通過調整大小並選擇相應的片段來進行處理,而文字輸入則使用 BERT 分詞器進行處理,並從頭開始學習與文本相關的參數。
在預訓練後,模型在各種視覺和語言的下游任務上進行評估,包括使用 VQAv2 和 NLVR2 進行分類任務,以及使用 MSCOCO 和 Flickr30K 進行檢索任務。分類任務以三次不同初始化與資料順序回報平均分數,消融表並列標準差;檢索任務只微調一次。
這整個過程運行在 64 個 NVIDIA V100 GPU 上,預訓練過程涵蓋了 100K 或 200K 步,而下游任務的訓練則持續 10 個時期,以期達到視覺和語言任務的效能最優化。
效果表現如何?
在 VQAv2 的情境下,ViLT-B/32 的 test-dev 分數為 70.33,加入微調影像增強與較長預訓練後為 71.26;表中 Pixel-BERT-R50 為 71.35,VinVL-Base 為 75.95。作者推測,VQA 問題常與物件有關,物件偵測器產生的分離物件表示可能有利於此任務;這仍是解釋,不是本表直接驗證的原因。
對於 NLVR2 的任務,ViLT-B/32 模型面對的挑戰包括處理來自兩個不同圖像的信息,並根據這些信息和自然語言問題進行二元分類。透過一個配對策略,模型將每一個圖像和問題組合成單一的輸入對,並對這些輸入對進行處理。在頭部,兩個來自不同圖像的池化表示被串聯起來,用以作出最終的二元預測。ViLT-B/32 在 NLVR2 的 dev/test-P 上分別為 74.41/74.57;較長預訓練與微調增強後為 75.70/76.13,與部分模型相近,但仍低於表中的 VinVL-Base 82.05/83.08。
誰是最主要的貢獻?
根據上面的表格,作者提出了三個主要的操作:
-
更多的訓練步驟
在前三列未使用全字遮蔽、MPP 或影像增強的設定下,預訓練從 25K 增至 100K 步,表列指標都提高。從 100K 增至 200K 的另一組設定中,分類分數繼續提高,但 Flickr30K 與 MSCOCO 的微調後文字檢索 R@1 分別從 83.69/62.88 降到 83.50/61.49,不能說所有指標都持續提升;括號中的零樣本分數則另有改善。
-
全字遮蔽
在同為 100K 步的對照下,全字遮蔽使 VQAv2 從 70.16 升到 70.33、NLVR2 dev 從 73.54 升到 74.41;這支持它在所測任務中的效果,並未測試語言生成能力。同表另顯示,加入 masked patch prediction(MPP)後,多數指標反而下降。
-
影像增強:
微調階段加入 RandAugment 後,100K 步模型的 VQAv2 從 70.33 升到 70.85、NLVR2 dev 從 74.41 升到 74.91;表中的零樣本檢索括號數值未因此改變。
複雜度分析
對 VLP 模型的複雜度分析可以從幾個不同的角度進行,具體涉及到參數數量、浮點運算(FLOP)數量,以及推理延遲等。以下是一些關鍵點的詳細討論:
-
參數數量
表中不計文字嵌入時,ViLT-B/32 為 87.4M 參數,Pixel-BERT-R50 為 94.9M,UNITER-Base 為 154.7M;參數量只描述模型大小。
-
FLOPs(浮點運算)數量
FLOPs 數量估計前向傳播的計算成本:表中 ViLT-B/32 為 55.9G,Pixel-BERT-R50 為 136.8G,UNITER-Base 為 949.9G。不過,各模型的影像解析度和輸入 token 數不同,這些數字不是同輸入設定的純架構消融。
-
推理延遲
作者以 Xeon E5-2650 CPU 與 NVIDIA P40 GPU 測量視覺嵌入器及 Transformer 的推理延遲,ViLT-B/32 約 15 ms、Pixel-BERT-R50 約 60 ms、UNITER-Base 約 900 ms;文字嵌入不計入,逐類 NMS 的延遲也不包含在 FLOPs 內。
-
輸入解析度和長度
不同的 VLP 模型使用了不同的影像解析度,這可能是基於模型設計的不同目標和適應的應用場景。更高的解析度通常意味著更多的細節,但也帶來了更大的計算成本。
-
輸入序列的處理
作者測得,在此硬體上的 BERT-base 類 Transformer,輸入序列長度低於 300 時,執行時間差不到 1 ms。表中的 ViLT-B/32 使用 200 個影像 patch 加 40 個文字 token;影像 patch 最多可達 240 個,總長度仍須再計入文字 token。
綜合以上分析,VLP 模型的複雜度是多方面的,不僅關聯到計算成本和資源使用,也涉及到模型的應用場景和效能。理解這些複雜度的來源和影響,對於模型的選擇和優化,以及它在實際應用中的部署,都有著重要的指導意義。
結論
這篇論文提出來的當下,是 ViT 剛提出來不久的時刻,很多事情和理論都還在摸索。
ViT 提出來之後,有非常多的討論和改善論文,對於該如何提高訓練效率,提高準確率等,相關的研究和理論爭辯,又維持了好長一段時間。
然而,ViLT 也在某些應用場景中展現出的優越性能,以及 ViT 在推論速度上的驚人提升。對於實時應用來說,推論速度的提升極為關鍵,它可以大大提高模型在現實場景下的適用性,從而為未來更多應用的拓展鋪平道路。
ViLT 的提出不僅為當前的模型設計和預訓練提供了新的方向,而且也給未來的工作提出了一個非常明確的要求:更加專注於模型內部的模態交互,而非單一地追求模型規模的擴展或者網路結構的複雜化。這提供了一種嶄新的思路,指向模型發展的可能新方向:即在不增加過多計算負擔的前提下,通過更加精妙的設計來實現模型性能的提升。
這樣的模型指向了一個專注於模態交互、模型內部結構優化的發展方向。未來的研究不僅可以深入探索 ViLT 的潛能和局限性,更能從中找到靈感,發展出更多創新的模型和應用策略。