{"notes":[{"id":"multimodality/ernie-vil","category":"multimodality","legacyPath":"multimodality/2006-ernie-vil","legacySlug":"2006-ernie-vil","legacyPaths":["multi-model/ernievil"],"title":"ERNIE-ViL","subtitle":"知識的雙面刃","author":"Z. Yuan","paperDate":"2020-06-30","publishedOn":"2024-04-05","paperTitle":"ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph","paperUrl":"https://arxiv.org/abs/2006.16934","bibliography":{"title":"ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph","authors":["Fei Yu","Jiji Tang","Weichong Yin","Yu Sun","Hao Tian","Hua Wu","Haifeng Wang"],"url":"https://arxiv.org/abs/2006.16934","pdfUrl":"https://arxiv.org/pdf/2006.16934","codeUrl":null,"preprint":{"id":"2006.16934","submittedOn":"2020-06-30","url":"https://arxiv.org/abs/2006.16934"},"publication":{"venue":"AAAI","year":2021,"kind":"conference","url":"https://arxiv.org/abs/2006.16934"},"citation":"@misc{multimodalityernievil2020,\n  title = {{ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph}},\n  author = {Fei Yu and Jiji Tang and Weichong Yin and Yu Sun and Hao Tian and Hua Wu and Haifeng Wang},\n  year = {2020},\n  eprint = {2006.16934},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2006.16934}\n}\n","citationPath":"/content/papers/citations/multimodality/ernie-vil.ae54a4ffdeb6.bib"},"thumbnail":{"src":"/content/papers/assets/e59513b3c738e3b5a4f5fa4775c355f3e400801648d5a94e8695db61d024556e.jpg","width":1680,"height":776},"locale":"zh-hant","path":"/content/papers/zh-hant/multimodality/ernie-vil.92dcffce07f0.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"ernie-vil-模型設計","text":"ERNIE-ViL 模型設計","depth":3},{"id":"雙流跨模態網路","text":"雙流跨模態網路","depth":3},{"id":"場景圖預測任務","text":"場景圖預測任務","depth":3},{"id":"語義對齊","text":"語義對齊","depth":3},{"id":"編碼方法","text":"編碼方法","depth":3},{"id":"預訓練任務","text":"預訓練任務","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"域外訓練資料的優勢","text":"域外訓練資料的優勢","depth":3},{"id":"場景圖預測的重要性","text":"場景圖預測的重要性","depth":3},{"id":"完形填空測驗","text":"完形填空測驗","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"multimodality/oscar","relation":"comparison","topic":"圖文預訓練裡的物件與結構化語意"}]},{"id":"multimodality/oscar","category":"multimodality","legacyPath":"multimodality/2004-oscar","legacySlug":"2004-oscar","legacyPaths":[],"title":"Oscar","subtitle":"奧斯卡的錨點","author":"Z. Yuan","paperDate":"2020-04-13","publishedOn":"2024-06-04","paperTitle":"Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks","paperUrl":"https://arxiv.org/abs/2004.06165","bibliography":{"title":"Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks","authors":["Xiujun Li","Xi Yin","Chunyuan Li","Pengchuan Zhang","Xiaowei Hu","Lei Zhang","Lijuan Wang","Houdong Hu","Li Dong","Furu Wei","Yejin Choi","Jianfeng Gao"],"url":"https://arxiv.org/abs/2004.06165","pdfUrl":"https://arxiv.org/pdf/2004.06165","codeUrl":null,"preprint":{"id":"2004.06165","submittedOn":"2020-04-13","url":"https://arxiv.org/abs/2004.06165"},"publication":{"venue":"ECCV","year":2020,"kind":"conference","url":"https://arxiv.org/abs/2004.06165"},"citation":"@misc{multimodalityoscar2020,\n  title = {{Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks}},\n  author = {Xiujun Li and Xi Yin and Chunyuan Li and Pengchuan Zhang and Xiaowei Hu and Lei Zhang and Lijuan Wang and Houdong Hu and Li Dong and Furu Wei and Yejin Choi and Jianfeng Gao},\n  year = {2020},\n  eprint = {2004.06165},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2004.06165}\n}\n","citationPath":"/content/papers/citations/multimodality/oscar.f753816326f7.bib"},"thumbnail":{"src":"/content/papers/assets/a3a3bdfd3ba2e6387f71c701021f8048603307f1ed8674c75f2fae390cd34238.jpg","width":1224,"height":484},"locale":"zh-hant","path":"/content/papers/zh-hant/multimodality/oscar.be78a998c33c.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"oscar-模型設計","text":"Oscar 模型設計","depth":3},{"id":"預訓練目標","text":"預訓練目標","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"參數效率比較","text":"參數效率比較","depth":3},{"id":"模型性能比較","text":"模型性能比較","depth":3},{"id":"定性研究","text":"定性研究","depth":3},{"id":"消融研究","text":"消融研究","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"multimodality/vinvl","relation":"next","topic":"圖文預訓練如何使用物件資訊"},{"id":"multimodality/ernie-vil","relation":"comparison","topic":"圖文預訓練裡的物件與結構化語意"}]}],"text":"在 BERT 之後的許多故事，你大概也都略有耳聞，能多少說出幾個差異，例如：\n\nERNIE 模型在預訓練時融合了豐富的先驗知識，像是實體知識圖，從而獲得更好的語義理解。另外，ERNIE 採用了片段級的 masking。除了常見的 Masked Language Model (MLM) 任務，ERNIE 還加入了其他的預訓練任務，進一步提高模型的表示能力等。\n\n既然 ERNIE 都優化了 BERT，那研究者們肯定是要把這份優化理念，同理類推到其他領域，也是個意料之內的操作了。\n\n## 定義問題\n\n作者著重於視覺語言預訓練模型的問題，特別是當前模型在詳細語義對齊方面的不足。\n\n目前的模型往往無法區分常見詞和描述詳細語義的詞，如對象、屬性對象、物件之間的關係等。這使得這些模型在處理真實場景時，難以有效地表示和捕捉到細微語義。\n\n作者定義並試圖解決的幾個要點：\n\n1. **當前視覺語言預訓練模型的不足**\n\n   現有模型常基於隨機屏蔽和預測子詞的方法，而沒有有效地區分常見詞和描述詳細語義的詞，如對象、屬性對象、物件之間的關係等。\n\n2. **詳細語義對齊的重要性**\n\n   當前的方法往往忽略了跨視覺和語言建構詳細語義對齊的重要性。這意味著模型在處理真實場景時，可能無法充分捕捉和表示細微的語義差異。\n\n3. **視覺語言預訓練的資料來源問題**\n\n   與文字預訓練模型不同，視覺語言模型需要高品質對齊的圖像文字資料，這些資料通常難以獲得。\n\n## 解決問題\n\n### ERNIE-ViL 模型設計\n\n![ERNIE-ViL 模型架構](/content/papers/assets/e59513b3c738e3b5a4f5fa4775c355f3e400801648d5a94e8695db61d024556e.jpg)\n\n### 雙流跨模態網路\n\n雙流跨模態 Transformer 結構確保了這兩種模態的資訊能夠有效地組合在一起，提供一個全面的、統一的視覺語言表示。\n\n1. **雙流結構**\n\n   「雙流」意味著有兩個獨立的數據流或途徑。在 ERNIE-ViL 的情境中，這兩個流分別為文本（或語言）和圖像。這兩種模態都有其自己的 Transformer 結構，這意味著模型可以分別專注於每種模態的特定特徵，而不是混合它們在一起。\n\n2. **處理文本和圖像資料**\n\n   因為視覺和語言資料的性質有很大的差異（例如：文本是序列化的，而圖像是二維的），所以分別處理它們使得模型可以專注於每種模態的獨特性質，然後使用專門設計的方法來解析和學習這些資料。\n\n3. **跨模態 Transformer 區塊**\n\n   這些區塊的目的是促進視覺和語言數據之間的互動和對齊。一旦文本和圖像都被它們各自的 Transformer 結構處理，跨模態的區塊就會開始工作，將這兩種模態的資訊融合在一起。這是通過注意力機制和其他特定的策略來完成的，目的是找到文本和圖像之間的相關性和語境。\n\n整個雙流結構的主要目的。當你有一個圖像和一個相關的句子或描述，理想的情況是你的模型能夠理解它們之間的關聯性。例如：如果文本說「紅色的球」，模型應該能夠辨識圖像中的紅色球體。\n\n### 場景圖預測任務\n\n場景圖（Scene Graph）本身不是一個可訓練的模型，而是一種資料結構或表示法。本文先從配對的文字描述解析場景圖，用它標出物件、物件屬性與物件之間的關係。\n\n場景圖是一種視覺表示法，描述了圖像中物件的存在、物件之間的關係以及物件的特定屬性。舉例來說，對於一張有「紅蘋果在桌子上」的圖片，場景圖將會包含：「蘋果」這個物件、「桌子」這個物件、蘋果的屬性「紅色」、以及蘋果和桌子之間的關係「在…上」。\n\n三大預測任務：\n\n1. **物件預測**：從文字解析出的物件節點中，隨機選取 30% 並遮蔽對應的文字片段，再結合其餘文字和圖像區域預測原詞。例如遮住「蘋果」或「桌子」。\n2. **屬性預測**：從物件與屬性的配對中選取 30%，保留物件詞、遮住對應的屬性詞。例如保留「蘋果」，預測「紅色」。\n3. **關係預測**：保留關係兩端的物件詞，遮住文字中的關係片段，再根據文字和圖像區域預測。例如保留「蘋果」與「桌子」，預測「在…上」。\n\n藉由這三個預測任務，ERNIE-ViL 被訓練去深入地對視覺（圖像）和語言（文本描述）之間的語義進行建模。這意味著模型不僅僅辨識圖像中的物件和其描述，還能夠理解物件之間的關係以及它們的特定屬性，從而提供更豐富、更深入的視覺語言表示。\n\n### 語義對齊\n\nERNIE-ViL 的核心目標之一是確保視覺（即圖像）和語言（即文本）之間存在深入的語義對齊。語義對齊可以理解為模型對圖像中的物件和它在句子中的語義描述之間的深入理解。\n\n例如：當圖像中有一只貓在汽車上，模型不僅要辨識出圖像中的「貓」和「汽車」，還要理解「在…之上」這一關係。這樣的語義理解確保模型能夠在描述和圖像之間建立正確的連接。\n\n物件、屬性和關係的預測任務在此過程中起到了關鍵作用。這些任務要求模型不僅要辨識圖像中的物件和其屬性，還要理解物件之間的關係，這有助於建立更強大的跨模態理解。\n\n### 編碼方法\n\n編碼在這裡是將輸入轉成可供模型處理的向量表示。ERNIE-ViL 分別處理其輸入的文本和圖像數據：\n\n1. **句子編碼**\n\n   - 使用 WordPiece 方法進行句子分解。這是一種將詞語分解成更小的子單位或片段的方法。例如：「playing」可以分解為「play」和「ing」。\n   - 生成的每個子詞的編碼是基於多種信息源的組合，包括：原始的詞編碼（基於詞的語義）、分段編碼（區分不同的句子或段落）以及序列位置編碼（確定詞在句子中的位置）。\n\n2. **圖像編碼**\n   - 使用預訓練的物件偵測器來辨識圖像中的主要物件和特征。例如：它可以辨識圖像中的「貓」或「汽車」。\n   - 對於每個辨識出的物件或區域，模型以 5 維向量編碼其在圖像中的位置與面積，並加入代表整張圖像的 [IMG] 特徵。\n\n### 預訓練任務\n\n在深度學習的領域中，預訓練任務是一種常見的策略，旨在利用大量未標記的數據提前訓練模型，使其在後續的特定任務上具有更好的泛化能力。ERNIE-ViL 針對視覺語言模型提出了一系列預訓練任務，包括物件預測、屬性預測、關係預測以及掩碼語言建模，以下我們進一步探討每一個預訓練任務的特點及其意義：\n\n1. **物件預測**\n\n   物件作為視覺場景的核心元素，對於理解該場景的重要性極高。想像一張有蘋果和桌子的圖片：此任務遮住的是描述中的「蘋果」等物件詞，不是圖片中的蘋果區域；模型根據其餘文字和圖像區域預測被遮住的詞。\n\n2. **屬性預測**\n\n   物件除了基本的概念外，還有許多相關的屬性，如顏色、大小和形狀。例如：「紅色的蘋果」中的「紅色」就是蘋果的一個屬性。屬性預測任務保留文字中的物件詞，遮住其屬性詞，要求模型結合圖像預測該詞。\n\n3. **關係預測**\n\n   物件之間的關係提供了更多的場景信息。例如：在「蘋果在桌子上」中，「在…之上」描述了蘋果和桌子之間的相對位置關係。在關係預測任務中，文字保留兩個物件詞、遮住關係詞，模型結合圖像區域與上下文預測這段文字。\n\n4. **掩碼語言建模 (MLM)**\n\n   MLM 是一種文本預訓練任務。例如：從「蘋果是紅色的」這句話中，隨機遮住「紅色」，然後要求模型結合其餘文字與圖像區域填補遺失的部分；它與依場景圖節點選詞的 SGP 任務不同。\n\n5. **掩碼區域預測和圖像文字匹配**\n\n   這些是另外兩種預訓練任務：MRP (Masked Region Prediction) 遮蔽部分圖像區域特徵並預測它們；ITM (Image-Text Matching) 判斷圖片和文字是否配對。它們與前述遮蔽文字節點的 SGP 任務分開。論文只對正確配對的圖文樣本計算 token 與區域預測損失。\n\n## 討論\n\nERNIE-ViL 的實驗結果在多種視覺語言任務上展現了其卓越的性能，特別是當它和其他先進的跨模態預訓練模型進行比較時。以下幾點為作者對此模型的主要觀察和討論：\n\n### 域外訓練資料的優勢\n\n![ERNIE-ViL 在不同資料集上的性能](/content/papers/assets/93433c53b7ce9d8a961e2d30a0771510f61e5942904a94002fc80b6403460a2a.jpg)\n\n根據表 3 的數據，ERNIE-ViL 模型在多個視覺語言任務上展現出卓越的性能，特別是當它在域外的大型資料集 CC 和 SBU 上進行預訓練時。\n\n以下是一些主要的亮點：\n\n1. 比較其他在相同域外資料集上預訓練的方法，ERNIE-ViL 在 5 個主要方面上均取得了最佳性能。\n2. 在視覺推理部分，ERNIE-ViL-large 相比 VL-BERT-large，VCR 的 Q→AR **測試集**從 59.7 到 66.3，提升 6.60 個百分點；VQA test-std 從 72.22 到 73.96，提升 1.74 個百分點。\n3. 對於視覺定位任務，ERNIE-ViL-large 在 RefCOCO+ 的 testA／testB，相比 VL-BERT-large 分別從 78.57／62.30 提高到 80.97／64.70，各提升 2.40 個百分點。\n4. 在 Flickr30K 跨模態檢索上，ERNIE-ViL-base 相比 Unicoder-VL-base，圖像檢索與文字檢索的 R@1 分別提高 2.94 與 0.50 個百分點。\n5. 當使用域外和域內的所有資料集進行預訓練時，ERNIE-ViL-large 依然在多個任務上超越了其他先進模型，如 UNITER、OSCAR 和 VILLA。\n\n### 場景圖預測的重要性\n\n![ERNIE-ViL 在不同任務上的性能](/content/papers/assets/dffdccd969daebdbf36127702b64a2ac3d552250cedf0d61aea1811374fdf957.jpg)\n\n場景圖預測（Scene Graph Prediction, SGP）任務在模型的表現中起到了重要的作用。從實驗中可以觀察到：\n\n1. **場景圖預測的引入**\n   - 在同樣以 BERT 初始化文字流的前兩列比較下，加入 SGP 後表中的 VCR、VQA、RefCOCO+、圖像檢索及文字檢索分數均提高；例如 VCR Q→AR dev 為 59.06→59.92。\n2. **對特定任務的改進**\n   - 在 RefCOCO+ val 上，SGP 使準確率從 72.81 提高到 73.50，增加 0.69 個百分點。\n   - 對於圖像檢索任務，Flickr30K 的 R@1 從 70.74 提高到 72.96，增加 2.22 個百分點。\n3. **ERNIE 2.0 的影響**\n   - 把文字流初始化從 BERT 改為 ERNIE 2.0，且兩者都使用 SGP 時，表中 VCR Q→AR dev 從 59.92 到 61.24。作者推測 ERNIE 2.0 的其他預訓練任務可能帶來更多常識知識。\n\nERNIE-ViL 在加入 SGP 任務後，其性能有顯著的提升，尤其是在需要詳細語義對齊的任務上，如基礎引用表達和跨模態檢索。這突顯了場景圖的建模對於理解圖像和文本之間的關聯的重要性。\n\n### 完形填空測驗\n\n![ERNIE-ViL 完形填空測驗的例子](/content/papers/assets/078907accdb941702e6734dd39d37f57e3af40b1bcae7846cde7244166affa5d.jpg)\n\n使用視覺模態為條件的語言完形填空測驗來評估 SGP 任務的效果。此測驗需要模型根據文字和圖像的上下文推斷被隱藏的詳細語意標記。\n\n1. **數據集構建**\n   - 從 Flickr30K 資料集中隨機選取了 15,000 個圖像文字對。分別選擇了 5,000 個物件、屬性和關係標記作為隱藏目標。\n2. **評估指標**\n   - 使用前一準確率（ACC@1）和前五準確率（ACC@5）作為評估標準。\n3. **比較結果（論文表 6；上圖是表 5 的定性例子）**\n   - 使用 SGP 預訓練的模型相比不使用 SGP 的模型，在 ACC@1 上物件提高 1.20、關係提高 3.08、屬性提高 1.84 個百分點；整體由 49.75 到 51.75。\n   - 兩個模型的文字參數都是基於 BERT 初始化的。\n4. **觀察結果**\n   - 有些情況下，不使用 SGP 任務預訓練的模型無法正確預測，因其沒有學習詳細語義對齊且在預訓練時無法區分常用詞和詳細語義詞。在其他情境下，儘管模型能夠進行預測，但其置信度低於使用 SGP 任務預訓練的模型。\n\n作者從完形填空測驗表明，引入 SGP 任務可以使 ERNIE-ViL 模型更有效地學習跨模式的詳細語義對齊。\n\n## 結論\n\nERNIE 架構在多模態學習的過程中，雖然能有效提取知識，但其計算量和存儲需求都相對較大。這意味著需要更多的計算資源，這在部分設備或情境中可能會受到限制。其次，儘管 ERNIE 有能力利用事先學習的知識，但它的泛化能力在一些特定的、較為罕見的跨模態場景中可能仍有待加強。\n\n延伸至 ERNIE-ViL，該模型雖然成功地引入了場景圖預測任務以優化跨模態詳細語義對齊，但同時也帶來了新的挑戰。舉例來說，如果場景圖中的物件如「樹」和「人」之間的關係被錯誤地標記為「坐在」而非「站在」，這種誤解可能會導致模型在下游任務上的失效。\n\n\n> [!TIP]\n> \n> 場景圖的準確性和完整性都會直接影響模型的性能！\n\n\n這增加了在實際應用中的不確定性。再者，考慮一個照片中呈現的是一個模糊的背影，或是多重重疊的物件，模型可能難以確定那是「人」還是「影子」或其他物體。在這些情況下，模型在遇到複雜或模糊的場景時，可能會面臨解讀困難，這也限制了其在某些特定場合，例如當需要精確物件辨識或場景解讀時的適用性。\n\n使用場景圖，其實背後隱含的意涵就是：「人類理解知識的方式」比「模型理解知識的方式」還要好，所以讓模型來學習人類理解世界的方式。\n\n但，這樣好嗎？\n\n我們也建議你也可以試著想想，這樣好在哪裡？不好在哪裡？想清楚之後，你就會更清楚地認識到本篇文章中使用的「知識增強」技法會遇到的機遇與困難。\n\n儘管如此，ERNIE-ViL 在跨模態預訓練的領域仍展現出令人矚目的優勢。它不僅優化了詳細語義的對齊，而且還提供了新的方向，譬如：我們能進一步整合從影像中提取的場景圖，以及利用圖神經網路（GNN）來整合更多的結構化知識。這不僅是技術進步的象徵，也為未來的研究者提供了新的研究方向和思考空間。\n","imageSizes":{"/content/papers/assets/e59513b3c738e3b5a4f5fa4775c355f3e400801648d5a94e8695db61d024556e.jpg":{"width":1680,"height":776},"/content/papers/assets/93433c53b7ce9d8a961e2d30a0771510f61e5942904a94002fc80b6403460a2a.jpg":{"width":1024,"height":656},"/content/papers/assets/dffdccd969daebdbf36127702b64a2ac3d552250cedf0d61aea1811374fdf957.jpg":{"width":1024,"height":151},"/content/papers/assets/078907accdb941702e6734dd39d37f57e3af40b1bcae7846cde7244166affa5d.jpg":{"width":1024,"height":398}}}
