返回論文筆記資料庫
arXiv 2022NeurIPS 2022多模態學習論文筆記

Flamingo

圖文並茂

原始論文

Flamingo: a Visual Language Model for Few-Shot Learning

論文作者

Jean-Baptiste Alayrac · Jeff Donahue · Pauline Luc …

查看全部 27 位作者

Jean-Baptiste Alayrac · Jeff Donahue · Pauline Luc · Antoine Miech · Iain Barr · Yana Hasson · Karel Lenc · Arthur Mensch · Katie Millican · Malcolm Reynolds · Roman Ring · Eliza Rutherford · Serkan Cabi · Tengda Han · Zhitao Gong · Sina Samangooei · Marianne Monteiro · Jacob Menick · Sebastian Borgeaud · Andrew Brock · Aida Nematzadeh · Sahand Sharifzadeh · Mikolaj Binkowski · Ricardo Barreira · Oriol Vinyals · Andrew Zisserman · Karen Simonyan

發表版本
NeurIPS 2022會議
arXiv 首次提交
arXiv:2204.14198
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multimodalityflamingo2022,
  title = {{Flamingo: a Visual Language Model for Few-Shot Learning}},
  author = {Jean-Baptiste Alayrac and Jeff Donahue and Pauline Luc and Antoine Miech and Iain Barr and Yana Hasson and Karel Lenc and Arthur Mensch and Katie Millican and Malcolm Reynolds and Roman Ring and Eliza Rutherford and Serkan Cabi and Tengda Han and Zhitao Gong and Sina Samangooei and Marianne Monteiro and Jacob Menick and Sebastian Borgeaud and Andrew Brock and Aida Nematzadeh and Sahand Sharifzadeh and Mikolaj Binkowski and Ricardo Barreira and Oriol Vinyals and Andrew Zisserman and Karen Simonyan},
  year = {2022},
  eprint = {2204.14198},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2204.14198}
}
本頁內容

以前的論文流行硬湊標題,弄出個芝麻街的人物名稱,作為自己的模型名字。

現在都不演了,就直接找個喜歡的名詞就行了,如本文標題:紅鶴。

定義問題

近年來最有名的架構 CLIP,使用對比學習的方式,將圖像和文本嵌入空間對齊,得到了很好的效果。但是 CLIP 只能用來做圖文檢索,如果要用在開放式的任務,像是「圖像問答」或是「圖像描述生成」,就會有困難。

另一方面,GPT-3 已經在多個領域取得驚人的成績,但是 GPT-3 並不支持圖像輸入。

能不能找個方法,把這些預訓練的圖像模型和語言模型結合起來,並基於圖文交錯的輸入格式,來生成多模態的輸出呢?

解決問題

模型架構

上圖是 Flamingo 模型的架構示意圖,藍色的部分是預訓練模型,參數是凍結的;紫羅蘭色的部分是新加入的模塊,這些模塊要從頭開始訓練。

接著,我們跟著資料流的方向,來看看 Flamingo 模型的運作方式。

首先是準備輸入的圖片,這裡的範例中是一隻狗和一隻貓。這些圖片會經過一個視覺編碼器,得到一個視覺特徵向量。

視覺編碼器的部分,作者使用先經圖文對比學習預訓練、再凍結參數的 Normalizer-Free ResNet(NFNet-F6)。圖像經過視覺編碼器之後,得到空間特徵,再輸入到感知重取樣器(Perceiver Resampler)。

在這裡,感知重取樣器將數量可變的圖像或影片特徵,轉換為每個視覺輸入固定 64 個視覺標籤(visual tokens),減少後續圖文交叉注意力的計算量。


另外一邊,也就是上圖的右手邊。

輸入的格式為交錯的圖像和文本序列,這裡的範例是:

  • <image> This is a very cute dog. <image> This is"

把這一串圖文序列丟進語言模型,然後經過一個「交叉注意力層」,這裡作者對這個模塊做了一些改進,並取名為「GATED XATTN-DENSE」。

在這個過程中混合語言特徵和圖像特徵,最後輸出的結果為:

  • "a very serious cat."

交叉注意力層

剛才提到了「GATED XATTN-DENSE」,這裡我們仔細看一下這個模塊的設計。

你會發現這好像跟傳統的 Transformer decoder 架構沒什麼區別?

這個新加入的模塊包含交叉注意力與前饋層,兩者都加上 tanh gate;作者有在旁邊附上實作程式碼,讓讀者可以更容易地理解。

簡單來說,每個新層都有從 0 初始化、可學習的閘門參數;tanh 讓新層的輸出先乘上對應權重,再透過殘差連接加回語言特徵。這樣模型一開始維持原語言模型的輸出,再於訓練中逐步學會使用視覺資訊。

訓練數據集與策略

作者以每圖像/影片注意力遮罩,讓每個文字 token 直接關注序列中最近的一個視覺輸入;較早圖像的資訊仍可經語言模型的自注意力傳遞。M3W 訓練序列最多取 5 張圖像,但模型在評估中能從最多 32 對圖像/影片和對應文本受益。

使用的訓練數據集包括:

  • M3W(MultiModal Massive-Web)數據集:從約 4300 萬網頁中提取交錯的圖像與文本。
  • ALIGN 數據集:18 億張圖像與其 alt 文本對。
  • LTIP(Long Text & Image Pairs)數據集:3.12 億張圖像及更高品質、長描述的文本對。
  • VTP(Video & Text Pairs)數據集:2700 萬段短影片及其對應的文本描述。

目標函數最小化多數據集的加權負對數似然:

∑m=1Mλm⋅E(x,y)∼Dm[−∑ℓ=1Llog⁡p(yℓ∣y<ℓ,x≤ℓ)],\sum_{m=1}^{M} \lambda_m \cdot \mathbb{E}_{(x, y) \sim \mathcal{D}_m} \left[ -\sum_{\ell=1}^{L} \log p(y_\ell | y_{<\ell}, x_{\leq \ell}) \right],

其中 Dm\mathcal{D}_m 是第 mm 個數據集,λm\lambda_m 是其加權係數。

討論

這篇論文一開始,作者就展示了大量的實驗成果,我們一起來感受一下。

結果展示

最一開始的那一頭紅鶴,就是這篇論文的吉祥物。

這兩張圖分別展示少樣本提示下的文字續寫,以及多圖對話的例子;它們能幫助理解模型怎麼使用圖文交錯輸入,但不能代替下方的基準測試。

和其他模型的比較

Flamingo 在有先前零樣本或少樣本結果可比較的任務上,僅使用 4 個範例就取得較好的成績;表中的 16 個任務並非每項都有可比的先前結果,RareAct 也只列零樣本。整體上,模型規模與範例數增加時,少樣本成績多有提升(類似於 GPT-3),但個別任務並非單調上升。

雖然 M3W 訓練序列最多取 5 張圖像,但評估結果顯示,模型仍能從最多 32 個圖像或影片範例中受益。

微調模型

取得較多任務標註後,作者以低學習率短期微調,並解凍視覺編碼器以適應較高解析度輸入。表中 Flamingo 在 5 個原先少樣本結果未達最佳的任務上取得新最佳成績,包括 VQAv2、VATEX、VizWiz、MSRVTTQA 和 HatefulMemes;COCO、VisDial 等其餘欄位仍有差距。

在 6 個基準測試上,Flamingo 僅使用單一模型權重和 32 個任務特定範例,就超越了最佳微調方法(Fine-Tuned SotA)。

消融實驗

消融實驗在 Flamingo-3B 模型上進行,使用 5 個 DEV 基準測試的驗證子集(4-shot);下方綜合分數是各任務成績除以先前最佳成績後的平均值。

  • 訓練數據組成的重要性
    • 移除交錯的圖像-文本數據集 M3W,綜合分數由 70.7 降至 53.4。
    • 移除傳統圖像-文本配對數據集,綜合分數由 70.7 降至 60.9。
    • 移除影片-文本配對數據集,表中兩個影片任務 MSVDQA 與 VATEX 的成績都下降。
  • 梯度累積策略
    • 梯度累積策略比 round-robin 更新策略效果更佳。
  • 冷啟動 tanh 閘門的作用
    • 移除 tanh 閘門機制,綜合分數由 70.7 降至 66.5;作者也觀察到訓練較不穩定。
  • 條件架構的選擇
    • 結果 GATED XATTN-DENSE 比原生交叉注意力性能更好。
  • 計算/記憶體與性能的折衷
    • 在每層插入 GATED XATTN-DENSE,性能最好但計算成本最高。
    • 改為每 4 層插入時,每步時間由 1.74 秒降至 1.02 秒,綜合分數由 70.7 降至 68.8。
  • 感知重取樣器的優勢
    • 比較 Perceiver Resampler vs. MLP vs. Transformer。
    • 這組設定下,Perceiver Resampler 的綜合分數與每步時間都優於 MLP 和 Transformer。
  • 視覺編碼器的選擇
    • 比較 NFNet-F6 vs. CLIP ViT-L/14 vs. NFNet-F0。
    • 綜合分數分別為 NFNet-F6 的 70.7、CLIP ViT-L/14 的 64.9 和 NFNet-F0 的 62.7;這些替換也改變了參數量與每步時間。
  • 凍結語言模型的必要性
    • 從零訓練語言模型,綜合分數由 70.7 降至 57.8。
    • 不凍結預訓練語言模型,綜合分數降至 62.7;這個消融無法單獨證明下降是由「災難性遺忘」造成。

結論

Flamingo 是一個通用型模型,適用於影像與影片任務,對特定任務的訓練數據需求極低,而且這個架構展現出靈活的互動能力,突破傳統視覺基準的限制。

作者結合了預訓練大型語言模型與強大的視覺模型,朝通用視覺理解邁出了重要一步,為之後的研究提供了相當的參考價值。