DINOv2: Learning Robust Visual Features without Supervision
- arXiv 首次提交
- arXiv:2304.07193
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{contrastivelearningdinov22023,
title = {{DINOv2: Learning Robust Visual Features without Supervision}},
author = {Maxime Oquab and Timothée Darcet and Théo Moutakanni and Huy V. Vo and Marc Szafraniec and Vasil Khalidov and Pierre Fernandez and Daniel Haziza and Francisco Massa and Alaaeldin El-Nouby and Mahmoud Assran and Nicolas Ballas and Wojciech Galuba and Russell Howes and Po-Yao Huang and Shang-Wen Li and Ishan Misra and Michael Rabbat and Vasu Sharma and Gabriel Synnaeve and Hu Xu and Hervé Jégou and Julien Mairal and Patrick Labatut and Armand Joulin and Piotr Bojanowski},
year = {2023},
eprint = {2304.07193},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2304.07193}
}
第一代的 DINO 我們已經看完了。
時隔兩年,我們來看看 Meta AI Research 在這個架構上做了什麼改進。
定義問題
近年來,視覺模型的主流發展趨勢漸趨兩極:
一方面,CLIP、ALIGN 等方法透過圖文對齊學習,將語言作為語意的監督軸線,成功訓練出具語義理解能力的基礎模型。在分類、檢索與多模態任務中,這類方法確實展現了強勁表現。
然而,另一條路線選擇不依賴語言,甚至拒絕任何外部標註。這是一種更純粹的自監督觀點,讓影像自己說話,讓模型在無聲中學會辨識、記憶、抽象與歸納。
這條路線,試圖回答一個更根本的問題:
在沒有語言的世界裡,影像是否仍能理解自己?
這正是自監督學習(Self-Supervised Learning, SSL)技術的核心追求。
這些方法大致可分為兩類:
-
影像內部的預測任務(intra-image pretext task),如預測遮蔽區塊、重建原始圖片、修復色彩、判斷 patch 順序等,這類方法與語言模型的「填空任務」形式相近,典型代表包括 MAE、BEiT 等。
-
辨識式學習(discriminative self-supervision),強調不同影像之間的區別性訓練,如對比學習、實例分類或聚類學習,代表方法包括 SimCLR、MoCo、BYOL、DINO 等。
這些方法在 ImageNet-1k 等標準資料集上證實可學得具備泛化能力的 frozen 特徵,甚至能媲美監督式訓練效果。然而,當進一步擴大模型規模、延長訓練時間或嘗試使用未經挑選的資料集時,這些方法往往面臨效能崩壞、訓練不穩、特徵退化等挑戰。
或許,資料的品質與多樣性更是關鍵的因素?
自監督學習雖然不依賴人工標註,卻更依賴輸入資料本身的廣度與結構平衡。當資料集中存在主題偏移、長尾失衡或重複過高等現象,模型往往會傾向學習到片面且難以遷移的表徵。
儘管這類方法在學術與產業上已累積許多亮眼成果,真正要將其推向穩定可用的視覺基礎模型,仍有數個關鍵問題尚未解決:
- 在規模放大的情境下,現有自監督技術是否具備足夠的穩定性與延展性?
- 完全不依賴語言與標註訊號,是否仍能學得可直接下游應用的泛用特徵?
- 當面對龐大、未篩選的圖像集合,我們該如何有效自動化地進行資料篩選與分布平衡?
這些問題至今仍未有明確解答。
DINOv2 的出發點,正是試圖在第一代基礎上,進一步調整資料策略、強化架構穩定性,並重新思考自監督學習的系統性設計。如果資料能更好、架構更穩,也許我們就能走得更遠,讓不依賴語言的模型,也能成為現代視覺系統的通用地基。
資料收集
若要讓模型學得穩固、可泛化的視覺特徵,資料品質是優先要考慮的因素。
而當目標是「不依賴標註、完全自監督」,那麼挑選資料的責任,就不再落在標籤上,而是落在圖像本身的多樣性與代表性上。
作者規劃的資料處理流程,可以大概分為三個步驟,如下圖所示:
1. 準備資料池
這裡選定的目標資料集 LVD-142M,是由兩部分資料組合而成:
- curated 部分:以 ImageNet-1k / 22k、Google Landmarks、以及多個細粒度資料集為基準,作為「代表性樣本」的來源;
- uncurated 部分:從公開網頁爬蟲資料庫取得圖片,排除不安全網址、NSFW 內容,並模糊可辨識的人臉等;去除重複後,形成約 12 億張的候選池。
這些 uncurated 圖像未依語意類別人工挑選,但已經過上述安全過濾與初步去重。
2. 去除重複
為避免訓練資料重複造成偏差,作者引入了專門的 copy detection 流程,移除高相似度影像,不僅針對 uncurated 集合內部,連與測試資料集相似的樣本也一併剔除,以免資料洩漏。
這道步驟的實作細節來自 Pizzi 等人(2022)的演算法,確保資料集多樣且乾淨。
3. 自監督檢索
真正精妙的設計在這裡。
作者先利用一個先前在 ImageNet-22k 上自監督訓練過的 ViT-H/16 模型,為所有圖像計算嵌入表示,再以 cosine similarity 為距離指標,找出那些「長得像 curated 資料」的 uncurated 圖像。
這既不是人工標記,也不是靠關鍵字過濾,而是完全基於圖像特徵進行的視覺相似性檢索。
接著,作者將 uncurated 圖像做 K-means 聚類,依照不同情境(query dataset 大或小)選取每張基準圖像的前 N 個近鄰(N=4)或對應 cluster 中的 M 張影像。
這個選擇權衡了資料間重疊與檢索多樣性的平衡。
工程規模與效率
如此大規模的資料處理與檢索,背後也需要強大的計算資源支撐。
整個流程基於 FAISS 架構,使用 GPU 加速的倒排索引與量化編碼法,分散式運行在 20 台配備 8 張 V100 GPU 的計算節點上,僅耗費不到兩天時間,便完成了 1.42 億張高品質訓練資料的整理。
整體來看,DINOv2 的資料準備過程巧妙結合「現有高品質資料」與「視覺語意相近的網路影像」,用自監督的方式自動挑選出訓練樣本,為後續模型學習打下基礎。
解決方法
DINOv2 所採用的訓練策略,屬於辨識式自監督學習(Discriminative Self-Supervised Learning),整體可視為 DINO 與 iBOT 搭配 SwAV 的 centering 機制所構成的混合式設計,並在此基礎上加入正則化項與高解析度訓練策略。
圖像層級的特徵對齊
這個部分是基於 DINO 方法的核心思想,如上圖所示。
採用 DINO 損失函數,目的是讓不同視角(augmentation)下的圖像,經由 student / teacher 網路後,其語意表徵應該一致。
具體作法如下:
-
對同一張圖片取兩個不同 crop(稱為 view),分別送入 student 與 teacher 模型;
-
這兩個模型都是 Vision Transformer,取其 class token 作為代表該圖的整體語意向量;
-
接著將 class token 分別通過一個 MLP head,輸出稱為「prototype scores」的向量。student 以 softmax 得到預測分布;teacher 則經過 Sinkhorn-Knopp(SK)取得目標分布:
-
DINOv2 使用 SK 在批次內平衡 teacher 的目標分布;這取代了 DINO 與 iBOT 的滑動平均 centering,並非對 softmax 結果再做一次平滑。
-
最後的 loss 為兩者之間的交叉熵:
這裡 student 是訓練對象,而 teacher 是 student 權重的滑動平均(Exponential Moving Average, EMA),不參與反向傳播。
區塊層級的預測任務
為了鼓勵模型學習細節與局部語意,作者加入 iBOT 的「patch 層級預測任務」,架構如上:
-
在 student 輸入中隨機遮蔽若干 patch,形成 masked token;
-
在 teacher 輸入中,這些 patch 是完整顯示的;
-
對每個被遮蔽的 patch,我們計算 student 的預測分布 ,與 teacher 對應可見 patch 的目標分布 ;student 使用 softmax,teacher 使用上述 SK:
其中 為所有 masked patch 的索引集合。這個任務在空間層級提供更精細的監督,有助於後續的分割等像素層級的任務。
Head 設計
DINOv2 與 iBOT 都需要額外的 MLP projection head 來將 transformer 輸出映射成 logits。
雖然 iBOT 原論文指出共享 head 會有較好效果,但在 DINOv2 的大規模實驗中,作者發現獨立使用兩組 head 效果更佳,因此全程將兩者拆分處理。
Sinkhorn-Knopp Centering
為了穩定 teacher 的預測分佈,DINOv2 採用來自 SwAV 的 Sinkhorn-Knopp Normalization(SK) 方法來平衡 batch 分佈。
該方法是一種對行與列進行標準化的迭代演算法,使輸出接近雙重 stochastic 的平衡狀態。實作上執行 3 輪 normalization 即可。
SK 的使用可降低模型 collapse 的風險,使模型不會將所有輸出集中在單一原型上。
KoLeo 正則化
DINOv2 引入一項鮮少出現在此領域的正則化技術:KoLeo 正則化(Kozachenko-Leonenko Regularizer),目的是鼓勵特徵分佈在 embedding 空間中保持均勻、分散。
這個項目源自微分熵的估計量,其形式如下:
其中:
- ,即第 個向量與其他樣本的最近距離;
- 所有向量 都會先經過 normalization。
這項正則化可以避免特徵在訓練過程中過度集中,有助於提升特徵表示的覆蓋性與多樣性。
高解析度訓練階段
雖然高解析度影像對 segmentation 與 detection 等任務關鍵,但在預訓練階段直接使用高解析度會造成龐大計算成本。因此作者採用折衷做法:在預訓練後期短暫切換到 518×518 的高解析度影像,以補充細節訊號。
這與 UniViT、FlexiViT 等方法中的 resolution ramp-up 思路類似,實測證明能有效提升像素層級表現,幾乎無需額外訓練時間。
整體看來,DINOv2 的訓練目標融合了語意一致性、區塊預測、分佈平衡與空間正則化等多重元素,並在效率與泛化力間取得穩定平衡。
工程實作
作者在論文中特別寫了一個章節,用來向讀者介紹該如何在加速訓練流程,並壓縮了記憶體使用。與 iBOT 相比,同樣的硬體資源下,DINOv2 可達成約 2 倍速度提升,僅需 1/3 記憶體使用量。
FlashAttention
在 ViT 架構中,自注意力層是最大計算瓶頸。
作者團隊自製一套改良版 FlashAttention,在記憶體使用與速度上均優於原始實作,並且能支援更多硬體平台與變形架構。
他們發現,在 embedding 維度上若能符合 GPU 操作的最佳條件(例如:每個 head 的維度為 64 的倍數、整體維度為 256 的倍數),可進一步提升運算效率。
因此在 ViT-g 設計上,他們採用了 1536 維、24 個 head 的組合(每 head 為 64 維),取代過往常見的 1408 維/16 head 結構。
實驗顯示兩者精度差異不大,但新設計具備更佳效能。
Sequence Packing
ViT 接收的輸入為 patch tokens,DINO 類方法需同時處理兩種 crop:
- 大 crop(解析度 224)產生長序列;
- 小 crop(解析度 98)產生短序列。
過去的做法是分別 forward,不僅造成 batch size 不一致,也浪費計算資源。
DINOv2 引入來自 NLP 的技巧:Sequence Packing。
方法是將多個不同長度的 token 序列串接成一條長序列,再用 block-diagonal attention mask 防止不同序列之間互相注意,效果上等同於分開 forward,但能大幅提升運算效率。
這個設計仰賴低階支援,具體實作建構於 xFormers 函式庫之上。
Stochastic Depth
Stochastic Depth 是在訓練時隨機略過部分樣本的 residual branch 的正規化手法。
傳統作法是先計算 residual branch,再遮蔽被 drop 的結果;DINOv2 則略過這些樣本的 residual 計算,保留原本的捷徑連接,以節省記憶體與算力。
這個實作依賴特殊 kernel 設計:將 batch 維度上樣本隨機排列,只選取前 個樣本進行該層計算。以本論文 drop rate 為例,相當於每層平均少算四成資料,大幅減少負擔。
分散式訓練
在訓練 billion-scale 模型(如 ViT-g, 參數量約 11 億)時,記憶體成為主要瓶頸。
DINOv2 使用 Fully-Sharded Data Parallel (FSDP) 來跨 GPU 分散模型的各個副本,包括:
- Student network
- Teacher network
- Optimizer 一階與二階動量參數(AdamW)
以約十億參數估算,這四組 float32 張量共需約 16 GB;FSDP 將其分散到不同 GPU,降低單卡的模型狀態記憶體需求。
此外,為了降低 GPU 間通訊開銷模型權重與梯度的傳輸會以 float16 精度進行(MLP head 除外)。這比 DDP(Distributed Data Parallel)下的 float32 gradient all-reduce 至少節省 50% 傳輸量。
在論文測試的訓練配置中,PyTorch FSDP 搭配 mixed precision 的擴展效率幾乎都優於 DDP 搭配 autocast。
模型蒸餾
在訓練大型模型(如 ViT-g)完成後,DINOv2 並非直接訓練 ViT-B、ViT-L 等較小模型,而是透過知識蒸餾技術,讓小模型模仿大模型的輸出。
訓練策略沿用原本的 teacher-student 框架,不同處在於:
- 將訓練好的 ViT-g 作為 frozen teacher;
- 不使用 masking 與 stochastic depth,簡化訓練流程;
- 將 iBOT loss 應用於兩個 global crops;
- 訓練過程中保留 student 的 EMA 作為最終模型輸出。
這個設計接近 Duval 等人提出的方法,但 DINOv2 不調整損失函數結構,而是直接 reuse 原始 pipeline,達到簡潔實用的目的。實驗結果顯示,即便是 ViT-L,也能透過蒸餾獲得明顯優於從零訓練的表現。
消融實驗
為了測試每個組件設計是否有效,作者準備了幾個實驗來進行驗證,包含訓練策略、資料來源、模型尺寸、損失組件與解析度等面向。
模型訓練流程
作者以 iBOT 作為 baseline,依序加入 DINOv2 的各項技術組件(如雙 head、Sinkhorn centering、KoLeo 正則化等),並觀察在 ImageNet-1k 上的表現(包含 k-NN 與 linear probe)。
結果顯示,大多數步驟能提升至少一種評估方式的表現;但表中是逐步加入組件,不能把每一行都視為獨立消融。LayerScale 與 Stochastic Depth 一起加入時,linear probing 從 83.2 降至 82.0,作者指出這組改動可避免訓練出現 NaN loss;最後拆開兩組 head 則讓 k-NN 從 81.7 升至 82.0,linear probe 從 84.7 降至 84.5。
預訓練資料
為檢驗資料品質對特徵的影響,作者比較三組資料:
- LVD-142M(經視覺檢索擴充的資料集)
- ImageNet-22k(傳統有標註大規模資料集)
- Uncurated-142M(從相同來源中隨機抽樣的原始網路資料)
三者皆用 ViT-g/14 訓練,條件一致。
實驗顯示如上表:
- LVD-142M 在多數指標優於隨機抽樣的 uncurated 資料,但 ADE-20k 例外(47.7 對 48.5 mIoU);
- LVD-142M 在大多數 benchmark(除 ImageNet-1k 外)都超越 ImageNet-22k;
- 在未納入資料篩選參考的領域(如 iNaturalist、Places205)中,LVD-142M 相較 ImageNet-22k 也有較高成績。
這一實驗證實了自監督學習下,「資料規劃」依然是非常重要的設計參數。
損失組件的重要性
作者接續驗證各損失項對最終表現的實質貢獻,針對以下兩點進行消融:
-
KoLeo 正則化的效果
在 Oxford-M 圖像檢索任務上,啟用 KoLeo 讓 mAP 從 55.6 升至 63.9,增加 8.3 個百分點;ImageNet-1k 分類也提高 0.5 個百分點,ADE-20k 則從 47.2 小幅降至 47.1 mIoU;
結果顯示該項正則化成功鼓勵了特徵分佈的分散性,特別有利於 retrieval 這類需要區分特徵細節的任務。
-
iBOT 式遮蔽預測(Masked Image Modeling)
在 ADE-20k segmentation 任務中,去除該 loss 後,mIoU 從 47.1 降至 44.2,相差 2.9 個百分點。這組消融顯示 patch-level 預測有助於此分割設定。
知識蒸餾的效果
為降低小模型的訓練成本,DINOv2 採用 ViT-g 作為 frozen teacher 對 ViT-L/14 進行蒸餾,並與從頭訓練版本進行比較。
結果顯示,經蒸餾的 ViT-L 在 12 個 benchmark 上全面超越從零訓練的模型,這不僅簡化小模型的訓練流程,也證明 DINOv2 訓練框架具備良好的「以大教小」遷移能力。
高解析度訓練
最後,作者針對「是否有必要從頭使用高解析度訓練」進行測試:
- 在這組 ViT-L/16、ImageNet-1k 的消融中,比較全程 224、全程 416,以及先用 224、最後再以 416 訓練 10k 次迭代;前述最終模型則在尾段使用 518;
- 評估指標包含 ImageNet 分類與 ADE segmentation;
- 全程使用 416 在圖中多數評估解析度表現最佳,但訓練計算量約為全程 224 的三倍;尾段切換 416 的曲線接近全程 416,額外訓練成本只需承擔最後 10k 次迭代的高解析度計算。
因此,DINOv2 採用後者作為折衷方案,既保留解析度帶來的效益,又避免冗長昂貴的全程高解析訓練。
討論
ImageNet Classification
在 ImageNet-1k 的線性分類任務中,DINOv2 展現出極為強勁的特徵表現力。
以 frozen backbone 搭配線性分類器,ViT-g/14 在 ImageNet-1k validation 得到 86.5% Top-1,比表中先前最佳自監督 iBOT 的 82.3% 高 4.2 個百分點,也略高於 OpenCLIP ViT-G/14 的 86.2% 與 EVA-CLIP ViT-g/14 的 86.4%。這些模型的架構與預訓練資料各不相同,不能把差距全歸因於訓練方法。
不使用文字監督的 ViT-g/14 在 ImageNet-ReaL 與 V2 分別得到 89.6% 與 78.4%,表中也列出 83.5% 的 k-NN 成績;這些是同一套評估中的分類結果。
同表的 DINOv2 ViT-S/B/L/g 線性分類成績依序為 81.1%、84.5%、86.3%、86.5%,顯示這組預訓練模型隨規模增加的表現;表格本身沒有控制各架構之外的所有成本條件。
這張表支持 DINOv2 在 ImageNet 線性評估上已接近或略超過表列弱監督模型;其他任務的遷移能力還要看後面的下游實驗。
Video classification
在其他影像與影片分類任務中,作者沿用 frozen 影像特徵,訓練下游分類器。上表列出 iNaturalist、Places205,以及三個影片分類資料集;下方另一張表才是 12 個影像分類基準。
DINOv2 ViT-g/14 在 iNaturalist 2018/2021 分別得到 81.6%/85.7%,高於 OpenCLIP ViT-G/14 的 73.0%/76.0%;Places205 則是 67.5%,低於 OpenCLIP 的 69.8%。
影片評估時,作者取 8 個等距影格:K400 與 UCF-101 平均影格特徵,SSv2 則串接特徵,再訓練線性分類器。ViT-g/14 在 K400、UCF-101、SSv2 分別為 78.4%、91.2%、38.3%,與 OpenCLIP 的 78.3%、90.7%、35.8% 相比,SSv2 高 2.5 個百分點。
最後,上表的 12 個影像分類任務中,DINOv2 ViT-g/14 平均為 92.1%,OpenCLIP ViT-G/14 為 91.9%。DINOv2 在 Aircraft 為 87.2% 對 80.2%,但 Cars 是 91.4% 對 96.1%,SUN 是 78.7% 對 84.0%;它在不同資料集各有勝負。
Instance Recognition
在 instance-level recognition 任務中,DINOv2 同樣展現極強的辨識能力。
此處採用非參數檢索方式,根據 query 與資料庫圖像間的餘弦相似度進行排序,比較對象涵蓋自監督與弱監督模型。
結果顯示,DINOv2 ViT-L/14 在 Oxford-Hard 的 mAP 為 54.0,高於表列 iBOT 的 12.7 與 OpenCLIP 的 19.7;Paris-Hard 為 83.5,AmsterTime 為 50.0。ViT-g/14 並非每欄最高,例如 Oxford-Hard 為 52.3,低於 ViT-L/14。
這些檢索結果與前述類別分類結果一起,顯示 frozen 特徵在不同任務粒度都有可用表現;表格沒有直接測量模型辨識微小差異的機制。
Semantic segmentation
在語意分割與單眼深度估計等 dense-level 任務中,作者固定 backbone、訓練下游預測器,以檢驗 patch-level 特徵。
語意分割方面,「lin.」以線性層從 patch tokens 預測低解析度 logits,再上採樣;「+ms」串接最後四層特徵,使用較高輸入解析度與多尺度測試。DINOv2 ViT-g/14 在 ADE-20k 的 +ms 成績為 53.0 mIoU,接近論文引用的全模型微調 MAE + UperNet 的 53.6;在 Pascal VOC 為 86.2,仍低於表列最佳結果 89.0。
將 frozen ViT-g/14 backbone 接入 ViT-Adapter + Mask2Former 時,作者仍訓練 adapter 與 head,約 66% 的權重保持凍結。這組設定在 ADE-20k 得到 60.2 mIoU,接近論文引用的 62.9 mIoU;不能把結果解讀成完全不訓練下游模組。
Qualitative Results
在量化評估之外,作者也展示分割、深度預測與特徵視覺化範例,供讀者觀察模型輸出。
首先是語意分割與深度估計的視覺比較:
圖中 ADE20K 的分割結果顯示,在 frozen backbone 搭配線性預測器的設定下,DINOv2 的連通區域與物件邊界比 OpenCLIP 的示例較完整;這是質性範例,整體比較仍要看前述 mIoU 表格。
深度預測的示例也顯示 DINOv2 的圖較平滑、雜訊較少;例如 SUN RGB-D 的椅子在 DINOv2 圖中有較清楚的位置。這裡是深度估計,並非椅子類別辨識。
接著,下圖將已訓練的分割與深度線性預測器用於繪畫、素描及其他不同風格的影像:
這些影像中的預測仍能呈現部分物件輪廓與深度結構,提供跨影像風格轉移的質性例子;單憑圖片無法斷定模型預訓練時是否見過某一類動物或畫風。
最後,作者針對特徵空間結構進行分析,如下圖:
特徵空間結構分析方面,作者先依第一主成分的正負值區分主要物件與背景,再對留下的 patch 特徵做 PCA;圖中顏色對應後一次 PCA 的前三個主成分。
相近類別圖像的相似部位常呈現相近顏色,是作者觀察到的特徵結構;部件辨識能力仍需量化評估。
結論
從一個工程實作者的角度來看,DINOv2 帶來的最大價值在於:「高品質、通用性強的視覺特徵,已可在不微調的情況下,直接應用於多種任務。」
這意味著,我們可以用更低的資源成本、更簡單的下游模組,解決原本需要微調或額外監督才能達成的目標。無論是分類、分割、深度估計還是實例檢索,DINOv2 都能提供可立即上線使用的 frozen features,與其搭配的 downstream module 可以是極簡的 linear head,這大幅降低了部署與維護的複雜度。
此外,DINOv2 在跨領域表現與細節結構的辨識上展現出強健性,這讓它非常適合作為骨幹網路,用於那些資料稀少、變異性大、但又需要準確語意分辨的任務中。
更重要的是,它不是黑盒。
透過 PCA 與 patch matching 的分析,我們可以具體理解特徵中所包含的語意結構與物件分區能力,這對模型解釋性與錯誤排查帶來極大的幫助。
如果你今天想要做醫療影像、衛星圖像、零售商品辨識、甚至是無人車的感知模組,DINOv2 都可能是值得考慮的通用基底。