Large-Scale Adversarial Training for Vision-and-Language Representation Learning
- 發表版本
- NeurIPS 2020會議
- arXiv 首次提交
- arXiv:2006.06195
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multimodalityvilla2020,
title = {{Large-Scale Adversarial Training for Vision-and-Language Representation Learning}},
author = {Zhe Gan and Yen-Chun Chen and Linjie Li and Chen Zhu and Yu Cheng and Jingjing Liu},
year = {2020},
eprint = {2006.06195},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2006.06195}
}
這次我們來看一篇有趣的論文。
作者在這邊論文中引入了對抗性訓練的概念,但這個概念很容易跟降噪(Denoising)搞混。
所以我們可以先聊聊,對抗性訓練和降噪有什麼不同:
-
降噪 (Denoising)
目的是清除圖片或數據中的雜訊,恢復原始的、未被雜訊干擾的數據。
假設你有一張受到雜訊影響的圖片,降噪的過程會試圖去除這些雜訊,使圖片更接近原始、乾淨的狀態。
-
對抗性訓練 (Adversarial Training)
目的是使模型在面對「對抗性攻擊」時仍然能夠正確地進行預測。
假設你有一個模型,它在面對一些特意製造出來的、可能引導模型做出錯誤預測的數據時,對抗性訓練的目的是讓模型學會應對這些情況,提高其泛化性。
降噪主要關心的是如何恢復原始的、乾淨的數據,而對抗性訓練的目的是增強模型的泛化性,使其能夠抵抗敵意的、試圖欺騙模型的輸入。另外降噪通常涉及到的是已知的雜訊模式,並試圖去除它。而對抗性訓練是故意創造新的、可能導致模型錯誤的「敵意」輸入。
在訓練模型時,我們不僅讓它看標準的、熟悉的圖像和文本,還要給它一些「假想的對手」,就是那些「被特意修改過,旨在迷惑模型」的輸入內容。這些「假想的對手」就像那些訓練中的突如其來的挑戰,迫使模型學會應對各種不同的情況。
定義問題
之前沒人嘗試過在 VLM 預訓練模型中引入對抗性訓練,這就是個顯而易見的問題!
作者想要探討該如何有效的將對抗性訓練的概念應用於多模態的任務上,並且效果要好。
除了要提升模型的穩健性之外,還要保持甚至增強其對乾淨資料的泛化能力。這是一個很有挑戰性的問題,因為對抗性訓練通常伴隨著高昂的運算成本和時間消耗。
解決問題
這邊會比較艱澀一點,但我們還是可以一起來讀讀看。
作者分為三個部分來構建整個模型。
VILLA 模型設計
這個階段的主要目的是學習能夠在不同的下游任務中適用的通用的圖像和文字表示。
-
資料集
使用資料集 (論文中,給定 Dp 來表示預訓練的資料集))進行預訓練,該資料集由影像文字對(X_img,X_txt)組成。
-
特徵表示
- 影像(X_img)首先通過固定的自下而上特徵提取器 (g_bu(·)) 轉換為區域特徵向量。
- 文字(X_txt)則通過一個可學習的詞編碼函數 (g_emb(·)) 轉換為特徵向量。
-
多模態融合
為了融合影像和文字的特徵,使用了多層的 Transformer 結構,這種結構在自然語言處理和其他多模態任務中非常流行。其中,[CLS] 標記在這裡有特別的意義,其編碼被用作多模態任務的聯合表示。
預訓練任務
其中,MLM 和 ITM 在之前看的論文中有講過很多次了,這邊簡單帶過,並詳細講講 MRM 的策略。
-
掩碼語言模型 (MLM)
在進行遮罩語言建模的過程中,模型的輸入標記中約有 15% 會被隨機選擇並遮罩。遮罩的意義是將特定標記的原始值隱藏,使模型不能直接看到它。此後,模型的工作就是嘗試恢復這些遮罩標記的真實值,它必須依賴於其他非遮罩的語言標記以及所提供的視覺標記來做出恢復的預測。
-
影像文字匹配 (ITM)
影像文字匹配(ITM)讓模型判斷輸入的影像與文字是否配對,是一個二元分類任務。
-
掩蔽區域建模 (MRM)
MRM 的主要目的是讓模型根據其餘影像區域與文字資訊,預測被遮蔽的影像區域。這種方法與自然語言處理中的「掩碼語言建模」(Masked Language Modeling, MLM)相似,但它是應用於圖像區域而非文字標記。這裡介紹的是常見的預訓練任務;本文套用到 UNITER 的 VILLA 預訓練實驗使用的是 MLM 和 ITM。
在影像資料 X_img 中,選擇一些區域並將其特徵設置為零。這些被掩蔽的區域可以視為模型需要預測的部分。
給定其他未被掩蔽的多模態資訊(如影像的其他部分和相關的文本描述),模型的任務是預測被掩蔽區域的正確內容。這種預測可以通過交叉熵損失、KL 散度損失或對照學習等方式來量化。
兩階段的對抗性訓練
這裡的兩階段指的就是預訓練和微調。
這部分的論述是探討預訓練和微調兩個階段如何進行對抗性訓練,以及它們之間的關係。
-
預訓練和微調的連接
預訓練和微調是大多數深度學習流程中的兩個主要階段。預訓練階段是為了獲得模型的基本理解和基本的特徵提取能力。而微調階段則是對特定任務進行專業化訓練。這兩個階段有著密不可分的關係,因為預訓練為微調階段提供了必要的基礎。
-
跨模態聯合理解的重要性
模型在不同的任務上,如 MLM 或 VQA,都需要進行跨模態的理解,意即同時理解圖像和文本的內容。舉例來說,如果在圖片中看到了一隻狗,模型需要能夠將這個視覺資訊和文本「狗」相互聯結。
-
對抗性訓練的假設
- 第一個假設是進行對抗性預訓練能夠增強模型的泛化能力,這將對微調階段十分有利。泛化能力是指模型在未見過的數據上的表現。
- 第二個假設是在微調階段,當有了特定任務的訓練數據,可以再次使用對抗性訓練方法,進一步提高模型的性能。
-
共享的數學公式
預訓練和微調這兩個階段在數學上是相似的,所以它們都可以使用相同的對抗性訓練方法。
這裡要強調的是:兩個階段都可以進行對抗性訓練;本文主要以乾淨輸入上的下游任務成績檢驗泛化效果,沒有以對抗攻擊成功率衡量韌性。
對抗性訓練在預訓練階段有助於增強模型的基本泛化能力,而在微調階段則可以根據特定任務進一步提高模型的性能。
微擾動(Perturbations)
這段主要探討了如何在影像和文字的編碼空間(embedding space)中加入對抗性擾動來進行對抗性訓練。
-
影像模態的擾動
在當時的 V+L 模型中,模型通常將預訓練物件偵測器得到的影像區域特徵作為輸入。與在像素空間添加擾動不同,本文直接在區域特徵上加入有界擾動。例如:考慮一張狗的圖片,這裡不是修改原始像素,而是微調送入多模態模型的區域特徵;它不會產生一張肉眼可見的「受攻擊圖片」。
-
文字模態的擾動
與影像像素的連續值不同,文字的標記是離散的,因此更難以操控。傳統上,製作保留原始語義的對抗性範例在文字模態中是困難的。然而,本文的方法選擇在單詞的編碼空間中加入擾動,而不是直接在單詞上。這樣可以避免直接改變原始的文本內容,但仍能影響模型的預測。
例如:考慮句子 「The dog barks.」,作者不是替換或修改其中的字,而是對「dog」這個詞的編碼表示施加有界擾動;擾動後的向量不一定對應到另一個可讀的詞。
-
位置編碼
在預訓練的 V+L 模型中,位置編碼被用來編碼影像區域和子詞標記的位置。在這裡的對抗性訓練方法中,僅修改圖像和單詞編碼,而保持其他特徵不變。
-
同時擾動的考量
作者讓影像或文字模態分別接受擾動,再把兩者的訓練損失合併;不是永遠只訓練其中一種模態。在添加擾動後,目標是保留原標籤,並約束預測分佈接近乾淨輸入。
多模態「自由」對抗訓練
這一節主要闡述了 VILLA 模型中使用的多模態「自由」對抗訓練方法,其中涉及了多個數學公式與技術詳情,別怕,我們詳細地來看一下:
-
訓練目標
在 VILLA 模型中,「對抗訓練」是一項核心技術:對影像區域特徵或詞嵌入加入有界擾動,讓模型在訓練時維持原標籤的預測,並改善乾淨資料上的下游泛化。論文沒有直接測試實際攻擊下的模型穩健性。
為了達到這一目標,訓練過程中要考慮三個主要的損失項:
-
標準的交叉熵損失(L-std)
這是在乾淨輸入上計算的交叉熵損失;預訓練與微調分別使用各自任務的監督標籤。
-
標籤保存的對抗訓練損失(R-at)
這一項分別尋找使損失增大的影像與文字嵌入擾動,再用原標籤訓練模型;它是訓練目標。
-
細粒度的對抗正則化項(R-kl)
這一項用對稱 KL 散度,比較受擾動與乾淨輸入的預測機率分佈,鼓勵兩者接近。
-
-
多模態的對抗擾動
VILLA 模型在訓練時,不僅使用原始的影像區域特徵和詞嵌入,還分別對這兩種表示加入對抗性擾動,藉此改善下游任務上的泛化表現。
然而,這些對抗性擾動不是隨意添加的。它們有明確的「範數限制」,意思是這些擾動的強度或大小受到了一定的控制,以確保它們不會造成模型完全無法辨識的重大變動。
接著,模型的訓練涉及到兩個主要的優化步驟:外部的最小化和內部的最大化。外部的最小化主要是指在整體的訓練過程中,希望模型的預測錯誤(即損失)盡可能小,這一步可以通過常見的梯度下降方法如 SGD (Stochastic Gradient Descent) 來達成。而內部的最大化則是在尋找對抗性擾動時,希望這些擾動可以使模型的損失最大化,這樣找到的擾動就是最有可能干擾模型的。這一步的優化是通過一種稱為 PGD (Projected Gradient Descent) 的方法完成。
考慮到影像模態,每進行一次迭代更新擾動時,PGD 會先計算當前擾動對損失的影響,即計算損失對擾動的梯度。接著,它會在這一梯度的方向上進行一個小步驟,以嘗試找到一個可以最大化損失的新擾動。這個過程會反覆進行,直到達到預定的迭代次數或擾動大小的限制。
想像你正在訓練一個機器學習模型,它的任務是分辨照片中的物體是「狗」還是「貓」。原始的影像編碼就是從照片中提取的特徵或資訊。
-
對抗性擾動的加入
假設在訓練過程中,有人微調了照片經物件偵測器抽出的區域特徵,使模型更難分辨貓和狗。本文擾動的是這些特徵,不是照片的像素。
-
範數限制
但是,這些微調不是隨意的。它們有一個限制,確保變動不會太大。例如:擾動的大小不會使貓的整張臉完全變形,只是微調到足以混淆模型的程度。
-
優化
在每次訓練迭代中,模型都試圖找出這些微調是如何進行的,然後學習如何儘量忽略它們,專注於真正區分狗和貓的特徵。使用 SGD,模型會根據這些微調的影響,調整自己的參數,使得在這些被微調的圖片上的錯誤率減少。而使用 PGD,模型會在每次迭代中,嘗試找出最可能使自己出錯的那些微調,然後針對這些最壞情況進行學習和調整。
-
-
對抗正則化的進一步增強
對抗正則化是機器學習中的一種技巧,旨在提高模型的泛化性,使其在面對對抗性擾動時仍能夠進行正確的預測。在某些情境中,對抗性擾動可能會使模型的預測產生很大的偏差,而這種正則化的方法則試圖限制這種偏差。
這種增強型的對抗正則化在原標籤損失之外,還鼓勵模型受擾動前後的預測機率分佈接近。這是訓練時的約束,並非逐筆預測都不會變動的保證。
自由的對抗訓練策略
對抗訓練 (Adversarial Training, 簡稱 AT) 是一種強化模型泛化性的方法,通常使用擾動數據進行訓練以提高模型對對抗攻擊的抵抗能力。在這裡,作者提到了一種稱為 “Free” 的對抗訓練策略。(原文是 free,我也不確定要翻譯成免費或是自由,意義上感覺都可以呢?)
-
K-step PGD 的計算成本
PGD (Projected Gradient Descent) 是進行對抗訓練時常用的方法。當使用 K-step PGD 時,需要通過模型進行 K 次的前向和反向傳播,這是非常耗時的。此外,只有在 K 步之後的最後一步中產生的擾動被用於模型訓練,這意味著先前的所有步驟都只是為了產生這最後一次的擾動。
-
解決方法:FreeLB
為了克服上述的計算問題並有效地執行大規模的訓練,作者採用了一種名為 FreeLB 的方法。FreeLB 的方法不只進行多次的 PGD 迭代以製作對抗性編碼,而且在每次迭代中都累積了「自由」參數的梯度 ∇θL。這意味著,不是在每次迭代後都更新模型參數,而是在多次迭代後一次性使用累積的梯度進行更新。
這種策略的優點是它可以模擬一個更大的「虛擬」小批量 (mini-batch)。換句話說,它有效地模擬了一個 K 倍大小的小批量,使得每次更新更為豐富和多樣。
不免俗的,再來舉個例子:
想像你正在組裝一台自行車,每一步都有特定的組件需要安裝。
-
傳統的 K-step PGD 方法
這就好像你組裝自行車的每一步都去檢查它是否能夠正常運作。例如:在安裝踏板之後,你騎了一小段,然後又裝上車鍊再騎一段,再次檢查,這樣每加一個部分都去測試。雖然這可以確保每一部分都被正確安裝,但它非常耗時。
然而,你發現最後只有你組裝完所有部分後的那次騎行測試是最重要的,因為它告訴你整台自行車是否完全組裝正確。
-
FreeLB 策略
現在,想象另一種組裝策略。
你仍然分步組裝自行車,但不是在每一步都去騎它測試。相反,你每組裝一部分都記下可能會遇到的問題或考慮的事項(這相當於累積梯度)。當所有部分都裝好之後,你再一次性地根據累積的所有問題和考慮事項去做一個全面的測試和調整。
這種方法允許你更高效地組裝,因為你不再浪費時間在每一步都測試,而是集中精力於最後的全面調整。
當然,所有比喻都有其局限性,不可能完美地映射到目標概念,就加減看看,感覺一下就好。
討論
這篇的重點其實都圍繞到對抗性訓練的設計上了。
不過我們還是要看一下,這樣的設計好嗎?又好多少?
實驗配置
為了驗證 VILLA 的功能與效果,作者進行了一系列的實驗應用。這些應用主要集中在 V+L 的預訓練模型上,並進行了多種下游任務的綜合評估。這些任務包括視覺問答 (VQA)、視覺常識推理 (VCR)、引用表達 (RE) 壓縮、視覺蘊涵、圖像文字檢索以及 NLVR2。
主要的驗證過程分為兩個階段:首先,作者將 VILLA 納入目前領先的 UNITER 模型,進行下游任務評估和消融分析。其次,為了展示 VILLA 的廣泛適用性,作者選擇了另一 V+L 模型,名為 LXMERT,進行更全面的測試。
如果這兩個模型還沒有看過,可以參考以下:
-
主要模型配置:UNITER 和 LXMERT
-
UNITER
- UNITER-base:這是一種單流模型,包含 12 個層,每層有 768 個隱藏單元和 12 個注意力頭。
- UNITER-large:更大的版本,包含 24 層,每層有 1024 個隱藏單元和 16 個注意力頭。
- 與 BERT 結構相同,但其輸入結合了兩種模態(視覺和語言)的混合序列。
-
LXMERT
- LXMERT 是一種雙流模型,先透過獨立的自我注意力在每個模態上進行多層處理(文字有 9 層,圖像有 5 層),然後融合兩個流的輸出,進一步進行 5 層的處理,其中包括交叉注意力和自注意力。
-
-
設置細節
- 對於 UNITER 的實驗,作者選用了四個主要的大型資料集進行預訓練,分別是 COCO、Visual Genome (VG)、Conceptual Captions 以及 SBU Captions。
- VILLA 在 UNITER 的 MLM 和 ITM 上進行對抗性預訓練。UNITER-base 的 20 萬步分為 10 萬步標準訓練與 10 萬步對抗訓練;UNITER-large 的 50 萬步分為 42.5 萬與 7.5 萬步。總步數相同,但對抗步驟需要額外計算。
VILLA 在 UNITER 的效果及分析
-
VILLA 對比其他預訓練 V+L 模型
- VILLA 在表列多數指標優於先前模型,但不是每個欄位都是最高,例如 VILLA-base 的 Flickr30k 影像檢索 R@10 為 95.82,低於 UNITER-base 的 96.08。
- VILLA-base 相對 UNITER-base 的提升需對準相同的測試切分與指標:
-
在 VQA:test-std 比 UNITER-base 提高 0.76 個百分點
- 在 VCR 的 Q→AR:若採表中括號內的集成結果,60.6 對 58.2,提高 2.4 個百分點;單模型為 59.75 對 57.76,提高 1.99 個百分點。
- 在 NLVR2 test-P:79.30 對 77.85,提高 1.45 個百分點。
- 在 SNLI-VE test:79.03 對 78.28,提高 0.75 個百分點。
- 在 Flickr30k 圖像/文字擷取:比 UNITER-base 提高 +2.22/+0.70(R@1)
- 在三個 RE 資料集的平均值提升了 0.99 個百分點;各切分的增益不相同。
-
VILLA-large 模型效果提升
- 在整體性能上呈現相似的提升趨勢。
- 在 VCR 的 Q→AR 指標:括號內的集成結果為 65.7 對 62.8,提高 2.9 個百分點;單模型為 65.18 對 62.59,提高 2.59 個百分點。作者推測這類任務的社會動態與常識推理較複雜,可能使對抗訓練的增益更大。
- 在 VQA 基準:從 74.02 提高到 74.87。
- 通過集成策略,VILLA-large 的 VQA test-std 達到 75.85;這與前述 74.87 的單模型結果不同。
深入分析 VILLA
-
預訓練 vs. 微調
以 UNITER-base 模型來研究對抗性訓練在預訓練和微調階段的效果。
- UNITER (reimp.):透過標準訓練重新實現的 UNITER-base 模型。
- VILLA-pre vs. VILLA-fine:分別只在預訓練或微調階段應用對抗性訓練的模型。
- 效果:VILLA-pre 和 VILLA-fine 在六個評估任務中平均帶來 +0.51 和 +0.82 的效能增益。兩者合併可得到 +1.15 的增益。
從上圖來看,在這三項任務的訓練曲線中,完整 VILLA 後期的驗證成績高於原始 UNITER;VQA 初期仍有 UNITER 較高的區間,差距也不是每一步都持續擴大。
-
影像 vs. 文字模式(表 3a)
這裡的對抗性範例是影像區域特徵或詞嵌入上的擾動,沒有產生供人目視比較的圖片或句子;表 3a 比較只擾動文字、只擾動影像,以及兩種模態都納入訓練。
- 實驗與結果
- 獨立的影像擾動:單獨對圖像特徵加擾動可以顯著提高模型的效能。這與傳統的認知可能有些相反,因為在影像領域,對抗性訓練常常會對乾淨影像的模型準確性產生負面影響。
- 直覺與實際結果:起初,可能會認為影像和文字都加入擾動會帶來更多好處。表中單一模態已有增益,但兩種模態合用仍在 VILLA-base 的 VQA/VCR Q→AR、VILLA-large 的四個欄位取得最高分;原論文另註記同時擾動與交替擾動的結果相近。
VCR(視覺常識推理)任務需要模型理解圖像中的社會動態與常識。它在這組消融中的增益比 VQA 大;作者推測與任務較複雜有關,但表格沒有單獨驗證這個成因。
- 實驗與結果
-
FreeLB vs. VILLA(表 3b)
作者比較 FreeLB 和 VILLA-fine 在 VQA 和 VCR 上的效果。表 3b 中 VILLA-fine 的各欄位均高於 FreeLB,支持加入細粒度對抗正規化的效果;這裡都是微調階段的比較。
不過等等,之前不就有提到 VILLA 所採用的策略是 FreeLB,為何又要拿出來比?
VILLA 沿用 FreeLB 的對抗性訓練策略,並加入細粒度的對抗正則化項,以優化和增強模型的效能。
在「FreeLB vs. VILLA」這個部分,作者展示 VILLA-fine 在 FreeLB 的梯度累積策略上加入額外正規化後,表列 VQA/VCR 成績又提高了一些。
所以這裡能支持的是這組模型與任務的消融結果。
-
在 LXMERT 上的結果
作者為了檢查是否只在 UNITER 上有效,把 VILLA-fine 應用到 LXMERT。表 5 的 VQA test-dev 從 72.50 升至 73.02、GQA test-dev 從 59.92 升至 60.98、NLVR2 test-P 從 74.75 升至 75.73;這是相對 LXMERT 重作版的比較。VQA 可與表 1 的 UNITER-base 72.70 相比,但 NLVR2 仍低於 UNITER-base 的 77.85。
這組結果支持 VILLA-fine 可移植到 LXMERT,三項任務的 Meta-Ave. 從 69.12 升至 70.00,提高 0.88 個百分點;LXMERT 並未接受 VILLA 的對抗性預訓練。
結論
在探索深度學習模型的穩健性方面,對抗性攻擊是一個熱門且重要的領域。本研究特別探討了視覺和語言模型(簡稱 V+L 模型)的對抗性穩健性。儘管這是一個新興領域,目前文獻中關於如何針對這些模型進行對抗性攻擊的策略還相對稀缺。其中,如何從多模態 Transformer 模型中反向傳播梯度到 CNN 主幹以產生影像對抗,以及如何合成與視覺情境相符的文字對抗,都是目前面臨的挑戰。
VILLA 作為一個專為提升視覺與語言的表示學習而設計新型的對抗訓練框架。其中的獨特之處在於它不僅在預訓練階段,而且在微調階段都採用了對抗訓練。此外,透過在編碼空間中添加對抗性擾動,VILLA 還實現了在各種評估基準上的效能一致性提升。
這邊可以看出來,作者把 VILLA 看成是一種 plug-in 的概念,這表示當你做好了一份模型之後,大可不必更換你的模型結構,只需要在最後的時刻加入 VILLA 所指導的對抗性訓練的技法,就能提升模型 1~3 個百分點。
最後,作者提到了儘管 VILLA 的效果顯著,對抗訓練的耗時性仍是一大挑戰。在未來,作者也期許將尋找更有效率的對抗訓練方法,希望能夠使大規模預訓練在日常實踐中更具可行性。