返回論文筆記資料庫
arXiv 2021ICCV 2021多模態學習論文筆記

MDETR

連續之藝

原始論文

MDETR - Modulated Detection for End-to-End Multi-Modal Understanding

論文作者

Aishwarya Kamath · Mannat Singh · Yann LeCun · Gabriel Synnaeve · Ishan Misra · Nicolas Carion

發表版本
ICCV 2021會議
arXiv 首次提交
arXiv:2104.12763
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multimodalitymdetr2021,
  title = {{MDETR - Modulated Detection for End-to-End Multi-Modal Understanding}},
  author = {Aishwarya Kamath and Mannat Singh and Yann LeCun and Gabriel Synnaeve and Ishan Misra and Nicolas Carion},
  year = {2021},
  eprint = {2104.12763},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2104.12763}
}
本頁內容

在近年的電腦視覺領域,物件偵測一直站在前線,扮演著眾多先進多模態理解系統的核心角色。然而,傳統的方法將偵測系統作為一個黑盒子,進行固定概念的影像偵測,這樣的方法明顯受到了其固有局限性。

一個很明顯的問題,就是它不能有效地利用多模態上下文進行協同訓練,下游模型也只能存取已偵測到的對象。而且,這樣的偵測系統往往是凍結不變的,意味著它們缺乏進一步的細化和適應性。更重要的是,這些偵測系統的詞彙受到嚴重的限制,對於以自由格式文字表達的新穎概念組合通常是盲目的。

簡單來說,本論文的作者也想要把 VL 模型裡的物件偵測的架構換掉。

你應該還記得之前有一篇論文是用 ViT 來換,但結果沒有很好。

既然抽換 ViT 感覺不是很好(畢竟 ViT 不是專職用來做物件偵測的),所以這次就用另外一個「專職」做物件偵測模型,DETR,來進行抽換吧!

定義問題

目前大多數先進的多模態理解系統依賴於物件偵測作為其核心部分,但這些設計明顯充滿了各種問題:

  1. 協同訓練的局限性

    在多模態系統中,協同訓練意味著同時使用來自多種輸入源(例如:影像、文字、聲音等)的資料進行模型訓練。當一個系統的部分無法與其他部分進行這種協同訓練時,它可能無法充分利用所有可用的資訊。

    試想如果有一個影像和語音輸入的模型,只獨立地訓練影像偵測器而不考慮語音輸入,那麼當語音輸入提供有關影像中對象的重要資訊時,模型可能無法正確地辨識該對象。

  2. 偵測範圍的限制

    偵測系統的主要目的是辨識影像中的特定對象。但是,如果這些系統只專注於已知對象,並忽略了影像的其他部分,則可能會遺漏重要的上下文資訊。像是在一張含有多人和一隻狗的圖片中,偵測器可能只辨識人和狗,但忽略了背景中的公園場景,這個場景可能提供了有關為什麼人和狗在那裡的重要資訊。

  3. 模型固化

    一旦模型訓練完成並「凍結」,它就不再更新或學習。這可能會阻礙模型在面對新的情境或資料時適應和優化。如果你的偵測器是在夏天的圖片上訓練的。如果它在冬天的圖片上不能進行微調,它可能會在雪地或穿著厚重外套的人上表現不佳。

  4. 詞彙局限性

    物件偵測系統基於其訓練資料辨識特定的類別或屬性。如果遇到未在訓練資料中見過的新對象或概念,它可能無法辨識。

  5. 不是端對端的設計

    端對端系統允許從輸入直接到輸出的連續學習和優化,沒有中間步驟。如果偵測器不是端對端的,那麼它和其他任務之間的協同訓練可能會受到限制。就數學上來說,這個系統無法微分呀,不能微分就沒機會優化啦!

解決問題

MDETR 模型設計

這個模型很簡單,首先文字的部分,用改良後的 Encoder 模型, RoBERTa。

產出文字的特徵編碼之後,先把影像與文字特徵分別投影到同一維度,再沿序列維度 Concat,送進 DETR 式的聯合 Transformer 編碼器與物件查詢解碼器。

整體結構分為幾個部分:

  • 主幹卷積編碼:圖像首先由卷積主幹編碼並攤平。
  • 空間訊息:透過將二維位置編碼加到攤平的向量中,模型保存了空間信息。
  • 文字編碼:使用預先訓練的 Transformer 語言模型對文字進行編碼,產生與輸入 token 對應的隱藏向量序列。
  • 模態相關的線性投影:對影像和文字特徵應用模態相關的線性投影,將這些特徵投影到一個共享的編碼空間。
  • 交叉編碼器:串聯影像和文字特徵的序列被饋送到一個聯合 Transformer Encoder,這是模型中的核心部分。
  • 物件查詢解碼器:和 DETR 一樣,物件查詢對聯合編碼結果做交叉注意力,再預測框及其對應文字。

訓練方式

  1. Soft token 預測

Soft token 的想法很有趣,soft token 關注於預測原始文本中對應於每個匹配到真值框的物件的 token 位置分布,而不是預測固定的物件分類類別;對應文字範圍內的 token 會分到均勻的目標機率,未匹配的查詢則學習「無物件」。這是該方法與標準物件檢測的主要區別。

假設描述句子為「一隻黑貓和一隻白狗」,模型在檢測到黑色動物時,會試圖預測其與「黑貓」這部分文本的關聯性。這不是僅僅關於一個獨立的 Token 或類別標籤,而是關於文本中一系列的 Token,這些 Token 合在一起形成一個「範圍」,一起描述一個特定的物件。

這種方法的好處是它可以處理同一文本中對同一物件的多次引用,或者多個物件對應於同一段文字的情況。

對比對齊

對比對齊旨在確保視覺對象的編碼表示與其相應的文本 Token 在特徵空間中是接近的。這種對齊比僅基於位置信息的”Soft token prediction”更強大,因為它直接運作在特徵表示上。

參考論文中所提供的數學式,其中:

  • L:最大的 Token 數量。
  • N:最大的物件數量。
  • T+​i:給定物件 oi​ 應對齊的 Token 集合。
  • Oi+​:與給定 Token ti​ 對齊的物件集合。
  • τ:是溫度參數,直接設定為 0.07。

圖中的式子是「物件找 token」方向:一個物件可能對應多個正 token,因此先對正樣本數量取平均;論文還有對稱的「token 找物件」方向,兩項平均才是完整的對比對齊損失。整個概念很簡單:物件和文字,你們倆要好好對齊,長得愈像愈好。

所有損失

MDETR 先以二分匹配將預測框對上真值;匹配成本包含 soft token、L1 與 GIoU。匹配後的訓練損失則包含框的 L1/GIoU、soft token 交叉熵,以及上面的對比對齊損失,不能把二分匹配本身當成另一個框預測損失。

資料集

  • CLEVR:用於評估方法的結果。
  • Flickr30k:被用於建立組合資料集的影像。
  • MS COCO:被用於建立組合資料集的影像。
  • Visual Genome (VG):被用於建立組合資料集的影像。
  • 註釋資料來自於引用表達式資料集、VG 區域、Flickr 實體和 GQA 訓練平衡集。

技術細節

  • Pre-training Modulated Detection

    預訓練階段,目標是檢測對齊的自由形式文字中引用的所有物件。

  • 資料組合技巧與其重要性

    • 對於每一張圖片,從所提到的資料集中取得其所有相關的文本註釋。若不同的註釋引用了相同的圖片,則這些註釋會被合併。為了保證訓練集和驗證/測試集的獨立性,所有出現在驗證或測試集中的圖像都從訓練集中移除。
    • 作者用圖著色演算法組合句子,只把所指邊界框之間 GIoU ≤ 0.5 的短語放在同一組,而不是計算文字區塊的重疊;組合後的句子總長度被限制在 250 個字元以下。透過這種方法,從約 20 萬張影像形成了 130 萬對齊的圖像-文字對。
    • 使用這種資料組合技巧有兩個主要原因:
      • 資料效率:通過將更多的信息打包到單一的訓練樣本中,可以更有效地利用資料。
      • 更好的學習信號:
        • 當模型在學習時,需要辨識和解決文本中多次出現的相同物件類別之間的歧義。
        • 在只有一個句子的情境中,「Soft Token 預測」的任務變得相對簡單,因為模型通常可以輕易地預測該句子的主題或核心意義,而無需太多依賴圖像。
        • 通過組合多個句子,模型被迫更加深入地探索圖像和文字之間的關聯,從而提高其預測能力。
  • 模型架構選用

    • 文字編碼器使用的是預先訓練的 RoBERTa-base,具有 12 個 Transformer 編碼器層。
    • 視覺主幹有兩種選擇:
      • ResNet-101:這是從 Torchvision 獲得的,並在 ImageNet 上預先訓練的。
      • EfficientNet 系列:使用了 EfficientNetB3 和 EfficientNetB5。其中 EfficientNetB3 在 ImageNet 上達到了 84.1% 的 top 1 準確率,而 EfficientNetB5 達到了 86.1%的準確率。
    • 上述 EfficientNet-B3/B5 主幹使用了經 Noisy-Student 偽標記方法、在 ImageNet 及大量未標記資料上預訓練的權重,並非 MDETR 額外增加一條獨立模型分支。
    • 訓練的細節:使用 32 個 V100 GPU,進行了 40 個 epoch 的預訓練,有效批量大小為 64,訓練時間大約需要一周。

討論

下游任務表現分析

  1. Phrase grounding

    作者使用了 Flickr30k 數據集和特定的訓練/驗證/測試分割。在進行評估時,他們採用了兩種不同的評估協議,這兩種評估協議都旨在解決當一個短語參考圖片中的多個物件時的問題,但它們採取了不同的方法,並具有各自的優點和缺點。

    1. ANY-BOX-Protocol(任意協議)

      在這個協議下,當給定的短語參考圖片中的多個不同物件時,只要排名前 kk 的預測框中有一個與任一真值框的交並比(IoU)超過 0.5,就算 Recall@kk 命中。但此方法無法評估模型是否找到了所有被參考的實例。

    2. MERGED-BOXES-Protocol(合併框協議)

      在這個協議下,如果一個短語參考圖片中的多個物件,那麼所有與該短語相關的真值框會先合併成一個最小外接框,再以它計算 IoU。MDETR 原本預測各個實例框,因此論文為這個協議另用合併框標註微調;不能把它當成與 ANY-BOX 完全相同的模型輸出。此方法可能失去對單獨實例的細緻了解,尤其當它們相距很遠時,合併框會太大。

    3. 結果比較

      • 在 ANY-BOX 設定下,未做額外圖文配對預訓練的 MDETR-R101,驗證集 Recall@1 為 78.9,較 VisualBERT† 的 70.4 高 8.5 個百分點;這不排除 RoBERTa/影像主幹原有的預訓練,兩者條件也不同,不能把差距全歸給架構。
      • 加入 COCO、VG 與 Flickr30k 預訓練後,MDETR-R101 的測試集 Recall@1 為 83.4,較同為 ResNet-101 主幹的 VisualBERT† 71.3 高 12.1 個百分點;圖中的 ENB5 最佳列又換了主幹。
  2. Referring expression comprehension

    大部分之前的研究和方法針對這項任務都是對一組預先提取的、與圖像相關的邊界框進行排序。這些邊界框是透過使用預先訓練好的對象檢測器得到的。

    相對於先前的方法,本文提出了更具挑戰性的目標:在給定引用表達式和相應的圖像下,直接訓練模型去預測邊界框,而不是簡單地排序預先提取的框。

    本文的模型在預訓練期間已被訓練以辨識文本中所引用的每一個對象。例如:對於標題「穿著藍色連衣裙的女人站在玫瑰叢旁邊。」,模型會被訓練去預測所有引用的對象(如女人、藍色連衣裙和玫瑰叢)的框。然而,當涉及到引用表達式時,任務的目的僅僅是返回一個邊界框,代表整個表達式所引用的物件。為了適應這種變化,模型在 RefCOCO、RefCOCO+、RefCOCOg 各資料集上微調 5 個 epoch,推論時以 1−P(∅)1-P(\varnothing) 排序候選框。

    上表中展示的 R101/ENB3 列在所報的 RefCOCO、RefCOCO+、RefCOCOg 分割上都高於列出的先前方法;但各列預訓練資料量不同,帶星號的部分先前方法還使用了與驗證/測試集重疊的偵測器特徵,不能當成完全同條件消融。

  3. Visual Question Answering

    這個模型架構也是可以應用到 VQA 的任務,但需要經過一些設計。

    • 模型設計
      • 查詢類型:除了用於檢測的 100 個查詢之外,還引入了針對問題類型的查詢和用於預測問題類型的查詢。在 GQA 中,這些問題類型被定義為 REL、OBJ、GLOBAL、CAT 和 ATTR。
      • 訓練:進行了 40 個 epoch 的預訓練,然後在不平衡的 GQA 分割上微調 125 個 epoch,最後在平衡分割上進行了 10 個 epoch 的微調。
      • 損失策略:在前 125 個 epoch 中,同時訓練偵測與 QA 損失,但對 QA 損失給予更大的權重;最後 10 個 epoch 只使用 QA 損失。

    模型利用物件查詢作為輸入到解碼器的學習編碼。這些編碼被用於物件檢測。在推理時,模型的特定部分會預測問題的類型並從該部分獲得答案。

  1. 效能比較

    • 在 GQA test-std,使用 ResNet-101 主幹的 MDETR 為 61.99,高於 LXMERT 的 60.33 與 VL-T5 的 60.80。
    • 該模型也高於使用更多預訓練影像資料的 OSCAR(61.62),但這是跨方法、跨預訓練設定比較。
    • 換用 EfficientNet-B5 主幹後,MDETR 提高至 62.45;表中的 NSM 63.17 與 VinVL 64.65 仍較高,不能稱為整張表的最佳結果。

Few-shot 可以做得到嗎?

作者們受到 CLIP 在 Zero-shot 影像分類的成功啟發,進一步探索了如何基於預訓練的 MDETR 模型在少量標記資料上進行物件偵測。不同於 CLIP,MDETR 的預訓練資料集存在目標類別不平衡的情況;更關鍵的是,預訓練時沒有「文字給了某類別、卻沒有任何對應框」的負例,使模型傾向於對每段給定文字都預測框。預訓練資料中的框與文字已有對齊。

由於這種設計,論文沒有把預訓練 MDETR 直接當成可靠的真正零樣本偵測器評估,而改用少樣本設定。此次實驗選擇 LVIS 資料集,它包含約 1.2k 個類別,其中許多類別的訓練樣本很少,呈現長尾分佈。

為了適應這種分佈,MDETR 的訓練策略是:對於每一個正類別,它採用圖像和該類別的文字名稱作為訓練實例,同時使用該類別的所有框註解;對於已知為負的類別,則提供類別名稱和空註解。在推論時,MDETR 對每一個可能的類別名稱分別查詢,再合併各文字提示偵測到的框。論文報告這種逐類查詢在 GPU 上約需 10 秒/張影像。

作者在 LVIS 訓練集的 1%、10% 和 100% 影像子集上微調 MDETR,其中 1% 子集經平衡抽樣,確保每類至少一個正例與負例。結果與兩個基線比較:直接在 LVIS 全訓練集訓練的 Mask R-CNN,以及先在 MS COCO 預訓練、再於各 LVIS 子集微調的 DETR。表中用每類限制預測數的 box AP fixed,並只評估未與預訓練重疊的 5,000 張 minival 影像。MDETR 只用 1% LVIS 資料時,稀有類別 AP 為 11.2,高於用 100% 微調的 DETR 的 3.2;但仍低於全資料 Mask R-CNN 的 26.3。

此外,有一個顯著的觀察是:MDETR 稀有類別 AP 從使用 10% 資料時的 20.9,降到使用 100% 資料時的 7.4;論文正文寫 7.5,但圖中的 Table 6 列 7.4,這裡依圖表。作者推測大幅下降與極端類別不平衡有關,尚未在這組實驗中單獨驗證原因。

結論

MDETR 最吸引人的特點之一就是它的「完全可微性」。

這種設計讓整個模型可以進行端到端的訓練,這種一致性帶來的效果是:更緊密的模型協同工作,進而有機會提高整體性能和訓練效率。其次,在實際的性能表現上,它在多種資料集上都展現出了令人難以置信的效果,這使得它在多模態學習的領域中站穩了腳跟。

再者,MDETR 的多功能性也是一大亮點。它不僅在調製檢測上展現出色,還在其他如 Few-show 偵測和視覺問答等下游應用中證明了自己的價值。

MDETR 提供了一條道路,在其不依賴黑盒物件偵測器的設計思路可能會啟發更多的研究者去創建準確且高效的模型。