返回論文筆記資料庫
arXiv 2022CVPR 2023多模態學習論文筆記

BEiT-3

英雄所見略同

原始論文

Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks

論文作者

Wenhui Wang · Hangbo Bao · Li Dong …

查看全部 11 位作者

Wenhui Wang · Hangbo Bao · Li Dong · Johan Bjorck · Zhiliang Peng · Qiang Liu · Kriti Aggarwal · Owais Khan Mohammed · Saksham Singhal · Subhojit Som · Furu Wei

發表版本
CVPR 2023會議
arXiv 首次提交
arXiv:2208.10442
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multimodalitybeitv32022,
  title = {{Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks}},
  author = {Wenhui Wang and Hangbo Bao and Li Dong and Johan Bjorck and Zhiliang Peng and Qiang Liu and Kriti Aggarwal and Owais Khan Mohammed and Saksham Singhal and Subhojit Som and Furu Wei},
  year = {2022},
  eprint = {2208.10442},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2208.10442}
}
本頁內容

大家都知道 BEiT 的經典標誌叫做「離散編碼」。

所以看到這篇論文,我們會下意識地期待 BEiT-3 會有什麼新的「離散編碼」技巧。

但實際上,BEiT-3 只是「應用」了「離散編碼」的方式在影像預訓練上,這篇論文主要想討論的主題是:如何用一個統一的方式來處理文字、圖像與多模態的預訓練任務?

不過緬懷一下過去的成功是人之常情,我們就不要太糾結了。

定義問題

把「圖像和文字一起預訓練」的想法,已經不是什麼新鮮事了。

之前常見的做法相信你也略有耳聞:一次使用好幾個預訓練任務,例如:圖文對齊(image-text matching)、圖文檢索(retrieval)、多種 mask 設計等等。

如果你不記得,我們先拿之前讀過的 BLIP 架構來看一下:

模型分為影像分支,文字分支等,中間透過多個任務來學習跨模態關係。這種方法雖然有效,但隨著模型和資料規模越來越大,整個訓練過程就會變得複雜、甚至難以維護或擴充。

既然影像可以變成 token,文字也可以變成 token,那為什麼我們不用一個統一的方式來處理呢?全部一起視為文字進行處理不就好了嗎?

之前的研究者肯定也想過了,但既然沒有做出什麼有效的架構,這其中顯然存在某些困難。

作者認為,我們應該用「多路徑架構」來解決這個問題。

解決問題

模型架構

這裡的多路徑架構沿用 VLMo 的 Mixture-of-Modality-Experts 思路:共用自注意力,讓不同模態走各自的前饋網路。在 BEiT-3 提出之前,VLMo 已將這個設計用在多模態預訓練。

因此 BEiT-3 的架構直接參考 VLMo 的 Multiway Transformers。

每個 Multiway Transformer 模組包含一個共用的自注意力模組,以及一組前饋網路(即模態專家),用於不同的模態。根據輸入 token 的模態,使用對應的專家進行特徵計算。

在作者的實作中,每一層都包含一個視覺專家和一個語言專家;此外,最上面的三層配置了視覺-語言專家,用於融合編碼器(fusion encoders)。

使用一組模態專家能讓模型捕捉到更多針對特定模態的資訊。而共用的自注意力模組則學習不同模態間的對齊,並在多模態(如視覺-語言)任務中進行深度融合。

多模態適應

如上圖,作者展示了 BEiT-3 這個「共享 Multiway Transformer」架構,可以因應不同下游任務而「靈活切換」或「組合」成所需的模型形式。

  • (a) Vision Encoder (影像編碼器):用於各種只需要影像特徵表示的視覺任務,例如影像分類、物件偵測、實例分割,以及語義分割等。
  • (b) Language Encoder (語言編碼器):可取出只處理文字的路徑;圖中示範的是遮罩語言建模,本文沒有列出文本分類或對話任務的成績。
  • (c) Fusion Encoder (融合編碼器):需要同時考量圖像和文本之間深度交互的任務,例如視覺問答(VQA)、視覺推理(NLVR2)、圖文推理等,需要「同時」看到圖像和文字並進行融合理解。
  • (d) Dual Encoder (雙編碼器):用於跨模態檢索(image-text retrieval)等需要「高效率匹配」的任務。例如從一大批候選圖像中,快速找出與特定文本最相關的那張圖像,或反過來,從一大批文本中找出與特定圖像最相關的那段文字。圖中的對比學習屬於檢索任務的微調,不是 BEiT-3 的遮罩式預訓練目標。
  • (e) Sequence-to-Sequence Learning (影像到文字的序列生成):用於圖像描述;微調時以注意力遮罩讓文字只看影像與左側文字,再預測被遮住的描述 token,推論時逐字生成。

不管是影像編碼、文字編碼,還是各種需要圖文融合、檢索或生成的複雜應用,都能在同一個架構之上進行配置,無須再切換成截然不同的模型。

預訓練任務

在 BEiT-3 的預訓練訓練過程中,模型會隨機遮罩部分文字 token 或圖像 patch,並訓練模型去恢復這些被遮罩的 token。透過這種方式來學習文字與圖像各自的表示,同時也能夠學習到圖文對應關係。

訓練時,文字資料是透過 SentencePiece tokenizer 進行分詞;影像以 patch embedding 作為模型輸入,BEiT v2 tokenizer 產生的離散視覺 token 則作為被遮 patch 的預測目標。作者隨機遮罩 15% 的單模態文字 token,並對圖文配對中的文字 token 遮罩 50%。對圖像而言,則以 BEiT 中的區塊遮罩策略,遮罩 40% 的圖像 patch。

作者使用 6144 的預訓練批次,小於文中列舉的 CoCa/CLIP/Florence 對比式預訓練批次;這是不同模型的配置比較,沒有單獨控制其他因素來證明批次差只來自目標函數。

模型與訓練資料

BEiT-3 的參數量約為 19 億(1.9 B),其中,視覺專家佔 6.92 億、語言專家佔 6.92 億、視覺-語言專家佔 5200 萬,共用自注意力模組佔 3.17 億。在架構設定上參考了 ViT-giant。

整個模型包含 40 層的 Multiway Transformer。每層的隱層維度是 1408、中間層維度是 6144、注意力頭數則是 16。在每一層裡面,模型都各自有「視覺專家」與「語言專家」。此外,在最上面的三層 Multiway Transformer 中,還加入了「視覺-語言專家」,用於更深層次的跨模態融合。

BEiT-3 同時使用「單模態」與「多模態」的資料進行預訓練,單模態指只包含「純影像」或「純文字」的資料;多模態則指「圖像 + 文字」配對的資料。

多模態資料來源:總共有大約 1500 萬張圖像、2100 萬組圖文配對,資料集包括五個公開資料集:Conceptual 12M (CC12M)、Conceptual Captions (CC3M)、SBU Captions (SBU)、COCO、Visual Genome (VG)。

單模態資料則包含來自 ImageNet-21K 的 1400 萬張影像和 160GB 的文字語料,來源有英語維基百科、BookCorpus、OpenWebText、CC-News、以及 Stories。

訓練策略

BEiT-3 預訓練共進行 100 萬步(steps)。每個訓練批次(batch)包含 6144 個樣本,其中包含:2048 張圖片、2048 篇文本,以及 2048 組圖文配對。

模型使用每塊 14×14 像素的 patch,預訓練時採用 224×224 的解析度。圖像增強策略與 BEiT 一致,包含隨機縮放裁剪、水平翻轉,以及顏色抖動等。

文字資料的分詞器(tokenizer)採用 SentencePiece,詞彙大小是 64k。

其他超參數設定還包含以下:

  • 使用 AdamW 優化器,超參數設定:β1=0.9,β2=0.98,ϵ=1e−6\beta_1=0.9, \beta_2=0.98, \epsilon=1e-6。
  • 學習率調度採用餘弦退火,最高學習率為 1e-3,在前 1 萬個步驟線性升到該最高學習率。
  • 權重衰減設定為 0.05。
  • 採用隨機深度技巧,比例為 0.1,用於減少過擬合並增強模型泛化能力。

討論

與其他模型的比較

作者在視覺-語言以及視覺任務的多個公開基準上,對 BEiT-3 進行了廣泛的評估。

BEiT-3 在圖中列出的多項視覺與視覺語言基準上高於所選的先前成績;這是不同模型與訓練設定的比較。詳細彙整表格如下:

表中的 ImageNet 89.6% 限於只使用公開影像標籤資料的對照;COCO 字幕 CIDEr 147.6 未使用 CIDEr 優化;檢索 R@1 是影像找文字與文字找影像兩個方向的平均。檢索主表成績還包含以圖文對比目標做的中間微調,不能說所有下游結果都只靠遮罩式訓練。

模組貢獻分析

論文沒有把資料規模、Multiway 專家與遮罩目標逐項拆開消融;附錄只比較檢索任務有無中間微調。我們無從從這些數據判定「哪個模組」最關鍵,所以以下還是作者的推測性分析:

  • 「龐大的資料量」是不是核心貢獻?

    BEiT-3 透過大規模單模態與多模態資料進行預訓練,包括 14M 的 ImageNet-21K 影像、160GB 的文字資料,以及 15M 圖片/21M 圖文配對。

    大量資料確實是現今主流大模型取得高效能的一個關鍵;但論文本身「並非只強調資料量」,也沒有獨家私有資料。作者強調的是使用公開可取得的資料,仍能在表列多項指標高於使用私有資料的部分模型;不同模型的資料量與微調設定不完全一致。

    龐大資料提供了基礎,但並非唯一創新,論文真正的焦點還是「方法的統一性與有效性」。


  • 專家模型的架構

    BEiT-3 在每一層 Transformer 中,都包含 vision expert、language expert;只有最上面三層另有 vision-language expert,同時共享自注意力模組。

    這裡依 token 模態選擇前饋專家,並共用自注意力,不是 Switch Transformer 那種學習式路由。Multiway 使得同一模型能一體多用:純視覺路徑、純文字路徑、跨模態路徑……但論文沒有單獨消融這項共享設計,無法量出它對各任務的增益。

    但是這個「多路徑架構」的設計畢竟是來自於 VLMo 的創新,因此這個部分應該不算是 BEiT-3 的關鍵貢獻。


  • 統一的訓練目標函數

    作者改進以往多模態預訓練時「多任務並行」的複雜做法,轉而只用一個遮罩式預測(masked data modeling)來學到跨模態對齊。

    這個想法並非全新(BERT、BEiT 等都已採用類似 Mask-Then-Predict),但在多模態領域,很多先前模型都需要顯式的對比損失(contrastive loss)或圖文匹配(ITM)等多任務。BEiT-3 的預訓練只用一類遮罩預測目標,在純圖像、純文字及圖文配對上學習表示與對齊;但三類資料仍按固定比例組成批次,檢索任務也另做對比式微調,不能說完全不需調整任務設定。

    作者對「簡化預訓練任務」的堅持是文章主張的核心之一;表格驗證了整體方法的效果,未單獨證明簡化目標造成多少增益。


  • 基於 BEiT 的離散影像編碼

    BEiT 系列使用離散視覺 token(類似 NLP 中的詞彙 token)作為遮罩影像建模的預測目標;模型輸入仍是影像 patch 的連續嵌入。

    這項技術本身源自早期的 BEiT v1, v2,並非 BEiT-3 這篇論文才提出的,但這次進一步證明了「圖像就像另一種語言」的可行性。透過離散化的圖像編碼,模型可用同一套 BERT-like 預訓練機制同時處理文字與圖像。

    這裡的離散化取代的是被遮 patch 的目標表示,沒有取代 patch embedding;它沿用 BEiT v2 的 tokenizer,創新性主要來自前作 BEiT。


雖然大規模資料與使用離散視覺 token 確實是支撐整體方法的基礎,但若要挑出最關鍵的貢獻,我們傾向歸給 Multiway Transformers 與統一的遮罩式預訓練目標的結合;論文未提供足以分離兩者貢獻的消融。

作者以「簡化預訓練任務設計」與「靈活共享的多專家路徑」組成大規模模型,在表列多種下游應用取得高分;資料量、模型大小與各任務微調也同時影響結果。

結論

在這篇論文中,作者提出了通用的多模態基礎模型:BEiT-3。

透過將影像視為一種「外語」的概念,作者能將文字、影像,以及圖文配對都用同一種遮罩式「語言建模」方法進行訓練,並且使用 Multiway Transformers 架構,讓模型能夠在不同模態下進行靈活切換。

和現在大多數的多模態預訓練方法相比,BEiT-3 的訓練流程更簡潔,能夠更輕鬆地進行大規模擴充,是個非常吸引人的設計方式。