論文ノートライブラリに戻る
arXiv 2023TMLR 2024対照学習論文ノート

DINOv2

汎用特徴鍛錬法

原論文

DINOv2: Learning Robust Visual Features without Supervision

論文の著者

Maxime Oquab · Timothée Darcet · Théo Moutakanni …

著者全 26 名を表示

Maxime Oquab · Timothée Darcet · Théo Moutakanni · Huy V. Vo · Marc Szafraniec · Vasil Khalidov · Pierre Fernandez · Daniel Haziza · Francisco Massa · Alaaeldin El-Nouby · Mahmoud Assran · Nicolas Ballas · Wojciech Galuba · Russell Howes · Po-Yao Huang · Shang-Wen Li · Ishan Misra · Michael Rabbat · Vasu Sharma · Gabriel Synnaeve · Hu Xu · Hervé Jégou · Julien Mairal · Patrick Labatut · Armand Joulin · Piotr Bojanowski

arXiv への初回投稿
arXiv:2304.07193
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{contrastivelearningdinov22023,
  title = {{DINOv2: Learning Robust Visual Features without Supervision}},
  author = {Maxime Oquab and Timothée Darcet and Théo Moutakanni and Huy V. Vo and Marc Szafraniec and Vasil Khalidov and Pierre Fernandez and Daniel Haziza and Francisco Massa and Alaaeldin El-Nouby and Mahmoud Assran and Nicolas Ballas and Wojciech Galuba and Russell Howes and Po-Yao Huang and Shang-Wen Li and Ishan Misra and Michael Rabbat and Vasu Sharma and Gabriel Synnaeve and Hu Xu and Hervé Jégou and Julien Mairal and Patrick Labatut and Armand Joulin and Piotr Bojanowski},
  year = {2023},
  eprint = {2304.07193},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2304.07193}
}
このページの内容

第一世代の DINO は既に確認済みです。

2 年の時を経て、Meta AI Research がこのアーキテクチャにどのような改良を加えたのか見てみましょう。

問題定義

近年の視覚モデルには、大きく二つの流れが見られます。

一方で、CLIP や ALIGN などの手法は画像と言語の整合を通じて、言語を意味の監督軸として利用し、意味理解能力を持つ基盤モデルを成功裏に訓練しました。分類、検索、多モーダルタスクにおいて、これらの手法は確かな強さを示しています。

一方、事前学習の損失関数にクラスラベルや画像とテキストの対応を使わず、画像の異なる view や局所パッチから表現を学ぶ路線もあります。DINOv2 はこの路線で、データ分布やタスクをまたいで使える視覚特徴を目指します。

この路線は、より根本的な問いに挑みます:

言語なき世界で、画像は自身を理解できるのか?

この問いを自己教師あり学習(Self-Supervised Learning, SSL)に投げかけるのが本論文です。「理解」の範囲は下流評価で確かめる必要があります。

これらの手法は大きく二つに分類されます:

  1. 画像内部の予測タスク(intra-image pretext task)  マスクされた領域の予測、原画像の再構築、色の修復、パッチの順序判定など、言語モデルの「穴埋めタスク」に似た形式であり、代表的な手法に MAE や BEiT があります。

  2. 識別的自己教師あり学習(discriminative self-supervision)  インスタンス識別、view 間の一致、クラスタ割り当てなどから学びます。SimCLR と MoCo は明示的な負例を使いますが、BYOL と DINO は使いません。すべてを「異なる画像を引き離す手法」とは説明できません。

ImageNet-1k などでは、これらの手法で転用可能な frozen 特徴が得られています。しかし、モデルとデータを大規模化すると、訓練の安定性や画像分布の扱いが課題になります。

もしかすると、データの質と多様性こそが鍵かもしれません。

自己教師あり学習は人工的なラベルに依存しませんが、入力データの広がりと構造的バランスに強く依存します。データセットにトピックの偏りやロングテールの不均衡、過剰な重複がある場合、モデルは偏った移植困難な表現を学習しがちです。

これらの手法は学術的・産業的に多くの成果を積み重ねてきましたが、安定的かつ実用的な視覚基盤モデルとして展開するには、いくつかの重要課題が未解決です:

  • 大規模化の環境下で、既存の自己教師あり技術は十分な安定性と拡張性を持つか?
  • 言語やクラスラベルを用いない事前学習で、下流タスクに役立つ特徴を得られるか? なお、評価用の分類 head にはラベルを使う場合があります。
  • 巨大で未選別の画像集合に対して、効果的かつ自動的にデータ選別や分布バランスを取るにはどうすればよいか?

これらは、論文が発表された 2023 年時点の大規模自己教師あり学習における重要な問いでした。

DINOv2 はデータ選別、学習目標、大規模モデルの訓練コストをまとめて扱います。まず LVD-142M の作り方を見てから、得られた特徴が下流タスクでどこまで使えるか確認します。

データ収集

モデルが堅牢かつ汎用的な視覚特徴を学ぶために、データ品質は最優先事項です。

事前学習で目的タスクのクラスラベルを使わない場合、画像の多様性と網羅性が重要です。ただし、この選別処理の起点には既存のデータセットも使われます。

著者らが設計したデータ処理の流れは大まかに 3 段階で示され、下図のようになっています:

上図は原論文の Figure 3 です。二つの画像群を特徴ベクトルに写し、重複を除いた後、curated 側の画像を手掛かりにウェブ画像を検索します。赤い印は重複除去、薄くなった候補は検索で選ばれなかった画像を示します。モデル本体の構造図ではありません。

1. データプールの準備

対象データセット LVD-142M は二つの部分から構成されます:

  • curated 部分:ImageNet-1k / 22k、Google Landmarks、複数の細粒度データセットを基準とし、「代表的サンプル」の源泉とする。
  • uncurated 部分:公開ウェブクロールから得た画像です。危険または制限対象の URL を除き、PCA ハッシュによる重複除去と NSFW フィルタリングを行い、識別可能な顔はぼかします。この段階で固有画像が 12 億枚あります。

ここでの uncurated は、目的とする視覚分布に合わせてまだ選別していないという意味です。

2. 重複除去

訓練データの重複によるバイアスを避けるため、著者らはコピー検出専用の処理を導入し、高類似度画像を除去します。これは uncurated 集合内だけでなく、テストデータセットと似たサンプルも一緒に除外し、データリークを防ぎます。

このコピー検出処理は Pizzi ら(2022)に基づきます。重複と評価データ漏洩のリスクを下げますが、すべての近似重複を発見した保証はありません。

3. 自己教師あり検索

本当に巧妙な設計はここにあります。

著者はまず、ImageNet-22k 上で自己教師あり訓練された ViT-H/16 モデルを用い、すべての画像に対して埋め込み表現を計算し、コサイン類似度を距離指標として、「curated データに似ている」uncurated 画像を抽出しました。

これは人工のラベル付けでもキーワードフィルタリングでもなく、完全に画像特徴に基づく視覚的類似性検索です。

続いて、著者は uncurated 画像を K-means クラスタリングし、状況に応じて(クエリデータセットが大きいか小さいかで)基準画像ごとに上位 N 個(N=4)の近傍画像、または対応クラスタの M 枚の画像を選択しました。

この選択は、データ間の重複と検索多様性のバランスをとるものです。

エンジニアリング規模と効率

このような大規模データ処理と検索には強力な計算資源が必要です。

全体のプロセスは FAISS フレームワークを基盤とし、GPU アクセラレーションされた倒立索引と量子化符号化を用い、20 台の計算ノード(各 8 基の V100 GPU 搭載)に分散処理されました。約 2 日未満で 1.42 億枚の高品質訓練データの整備を完了しました。

得られた LVD-142M は既存データセットと、視覚特徴に基づいて検索したウェブ画像を組み合わせたものです。検索は自動でも、その範囲は基準データセットに左右されます。効果は後のデータ消融で確認します。

解決策

DINOv2 が採用する訓練戦略は、識別的自己教師あり学習(Discriminative Self-Supervised Learning)に属し、DINO と iBOT に SwAV のセンタリング機構を組み合わせたハイブリッド設計であり、そこに正則化項と高解像度訓練戦略を追加しています。

画像レベルの特徴アライメント

これは前作 DINO の Figure 2 で、student、teacher、EMA の関係を示します。DINOv2 では teacher の正規化が Sinkhorn–Knopp に変わるため、DINOv2 全体の構造図ではありません。

この部分は DINO 手法の核心思想に基づいています。上図の通りです。

DINO 損失関数を用い、異なる視点(augmentation)による画像が、student/teacher ネットワークを通した後、意味表現が一致することを目的とします。

具体的な手順は以下の通りです:

  • 同一画像から異なる 2 つのクロップ(view)を取り、それぞれstudent モデルと teacher モデルに入力する;

  • 両モデルは Vision Transformer で、class token を画像全体の意味ベクトルとして使用;

  • class token はそれぞれ MLP ヘッドに通し、「prototype scores」と呼ばれるベクトルを出力します。student は softmax、teacher は Sinkhorn–Knopp(SK)で目標分布を得ます:

    ps=softmax(hs(zs)),pt=SK(ht(zt))\mathbf{p}_s = \mathrm{softmax}(h_s(z_s)), \quad \mathbf{p}_t = \mathrm{SK}(h_t(z_t))
  • DINOv2 は SK によりバッチ内で teacher の目標分布を均衡化します。これは DINO と iBOT の移動平均による centering に代わるもので、softmax の結果を後から平滑化する処理ではありません;

  • 最終的な損失は両者間の交差エントロピー:

    LDINO=−∑kpt(k)log⁡ps(k)\mathcal{L}_{\text{DINO}} = - \sum_{k} p_t^{(k)} \log p_s^{(k)}

ここで student が訓練対象、teacher は student の重みの指数移動平均(EMA)であり、逆伝播には参加しません。

パッチレベルの予測タスク

これは前作 iBOT の Figure 3 です。右側の MIM 経路がマスクされたパッチの予測を示します。DINOv2 はこの目標を取り入れ、head と teacher の均衡化方法を変更します。

局所的な情報を学ぶため、著者らは iBOT のパッチレベルのマスク予測を加えます:

  • student の入力でランダムにいくつかのパッチをマスクし、masked token を形成;

  • teacher の入力ではこれらのパッチは完全に表示される;

  • マスクされた各パッチについて student の予測分布 ps(i)\mathbf{p}_{s}^{(i)} と teacher の対応する可視パッチの目標分布 pt(i)\mathbf{p}_{t}^{(i)} を比較します。student は softmax、teacher は前述の SK を使います:

    LiBOT=−∑i∈M∑kpt(i,k)log⁡ps(i,k)\mathcal{L}_{\text{iBOT}} = - \sum_{i \in \mathcal{M}} \sum_{k} p_t^{(i, k)} \log p_s^{(i, k)}

ここで M\mathcal{M} はマスクされたパッチのインデックス集合です。このタスクは空間レベルでより細かい監督を提供し、後続のセグメンテーション等ピクセルレベルタスクに貢献します。

ヘッド設計

DINOv2 と iBOT は共に、Transformer の出力をロジットにマッピングする追加の MLP プロジェクションヘッドを必要とします。

iBOT 論文では共有ヘッドが良好とされていますが、DINOv2 の大規模実験では二組のヘッドを独立使用した方が性能良好と判明し、常に分離して処理しています。

Sinkhorn-Knopp Centering

teacher の予測分布を安定化させるため、DINOv2 は SwAV 由来の Sinkhorn-Knopp 正規化(SK)を用いてバッチ分布を均衡化します。

この手法は行と列を反復的に正規化し、batch と prototype の周辺和を指定した値に近づけます。実装では 3 回反復します。

SK の利用によりモデルの collapse リスクが低減し、すべての出力が単一プロトタイプに集中することを防ぎます。

KoLeo 正則化

DINOv2 はあまり見られない正則化技術 KoLeo 正則化(Kozachenko-Leonenko Regularizer)を導入し、特徴が embedding 空間で均一かつ分散的になるよう促します。

これは微分エントロピーの推定量に基づき、以下の形で表されます:

LKoLeo=−1n∑i=1nlog⁡dn,i\mathcal{L}_{\text{KoLeo}} = -\frac{1}{n} \sum_{i=1}^{n} \log d_{n,i}

ここで:

  • dn,i=min⁡j≠i∥xi−xj∥d_{n,i} = \min_{j \ne i} \| \mathbf{x}_i - \mathbf{x}_j \| は ii 番目のベクトルと同じ batch 内の最近傍との距離;
  • 全ベクトル xi\mathbf{x}_i は ℓ2\ell_2 正規化済み。

この正則化により特徴の過度な集中が防がれ、特徴表現のカバレッジと多様性向上に寄与します。

高解像度訓練フェーズ

高解像度画像はセグメンテーションや検出タスクで重要ですが、事前学習段階で直接使うと計算コストが高いため、著者は折衷案として事前学習の後期に一時的に 518×518 の高解像度画像に切り替えています。

解像度を後半で上げる考え方は UniViT や FlexiViT と似ています。後述の小規模な消融では 224 と 416 を比べ、最終的な学習設定では 518 を使います。短期間でも追加の計算は必要ですが、全期間を高解像度にするより低コストです。

DINOv2 は画像レベルの整合、マスクされたパッチの予測、teacher 目標の均衡化、KoLeo 正則化を組み合わせます。それぞれの寄与は後の消融で見ます。

エンジニアリング実装

論文中、著者は訓練速度の向上とメモリ使用圧縮の方法を詳細に説明しています。iBOT と比較し、同じハードウェアで約 2 倍の速度向上、1/3 のメモリ使用量を達成しています。

FlashAttention

ViT アーキテクチャで最大の計算ボトルネックは自己注意層です。

著者チームは改良版 FlashAttention を自作し、メモリ使用と速度両面で元実装を上回り、多くのハードウェアと変種構造に対応可能としました。

embedding 次元が GPU 操作に最適(例えば各 head が 64 の倍数、全体が 256 の倍数)になるよう調整するとさらに効率化可能です。

そのため ViT-g 設計では 1536 次元・24head(各 head64 次元)を採用し、従来の 1408 次元・16head 構成に替えました。

実験では精度差は僅少ですが、新設計の方が計算効率に優れます。

Sequence Packing

ViT の入力は patch tokens であり、DINO 系手法は大きなクロップ(解像度 224)と小さなクロップ(解像度 98)を同時処理します。

従来は別々に forward していましたが、これにより batch size 不一致や計算資源浪費が生じていました。

DINOv2 は NLP 由来のSequence Packingを導入し、異なる長さの token 列を連結し、block-diagonal attention mask で互いの注意を遮断しつつ、一度に処理しています。

これにより計算効率が大幅に改善されます。

この設計は低レベルサポートを必要とし、xFormersライブラリで実装されています。

Stochastic Depth

Stochastic Depth は訓練時に一部のサンプルの residual branch を確率的にスキップする正則化手法です。

従来は計算結果に 0 を掛けて出力を遮断していましたが、DINOv2 はドロップされた block の計算自体を飛ばし、メモリと計算を節約します。

これは専用の fused kernel を使い、batch 内のサンプルをランダムに並べ替えて、先頭の (1−d)⋅B(1-d) \cdot B 個だけで該当する残差分岐を計算します。論文の d=40%d=40\% は、その分岐で約 4 割のサンプルをスキップする設定です。

分散訓練

億規模パラメータ(例:ViT-g 約 11 億)のモデル訓練ではメモリが主要制約です。

DINOv2 は Fully-Sharded Data Parallel (FSDP) を使い、GPU 間でモデル複製を分割管理します。対象は:

  • Student ネットワーク
  • Teacher ネットワーク
  • AdamW オプティマイザの 1 次・2 次モーメントパラメータ

10 億パラメータの float32 テンソル 4 組で約 16 GB です。11 億なら約 17.6 GB で、勾配、activation、一時領域は含みません。FSDP はこれらを GPU 間で分割します。

backbone の重みと勾配は float16 で通信し、MLP head の勾配は安定性のため float32 で集約します。論文は比較した float32 DDP 設定に対して通信量が約半分と報告しています。効果は構成に依存します。

著者らが計測した設定では、PyTorch FSDP と混合精度の組み合わせは概ね DDP と autocast より速い結果でした。

モデル蒸留

大型モデル(ViT-g)訓練後、DINOv2 は直接小型モデル(ViT-B や ViT-L)を訓練せず、知識蒸留で大モデルの出力を模倣させます。

訓練は teacher-student フレームワークを踏襲しつつ、

  • 訓練済み ViT-g を固定 teacher とする;
  • マスキングや stochastic depth は使わず、訓練を簡素化;
  • iBOT 損失を 2 つの global crop に適用;
  • 学習中に student の EMA を保持し最終モデルとする。

この設計は Duval らの手法に近いですが、DINOv2 は損失関数の構造を変更せず、既存パイプラインを再利用しシンプルにまとめています。

実験により、ViT-L でもスクラッチ学習より蒸留モデルの方が明確に優れることが示されています。

アブレーション実験

各構成要素の有効性を検証するために、著者は訓練戦略、データソース、モデルサイズ、損失項目、解像度など複数の観点で実験を行いました。

モデル訓練フロー

iBOT をベースラインとして、DINOv2 の技術要素(双ヘッド、Sinkhorn センタリング、KoLeo 正則化など)を順次追加し、ImageNet-1k 上の k-NN と linear probe での性能を観察しました。

これは原論文の Table 1 です。ImageNet-22k で訓練した ViT-L を用い、ImageNet-1k の k-NN と線形分類の精度を比較しています。多くの段階で少なくとも一方の指標は改善しますが、各行は前の設定への追加であり、独立した消融ではありません。LayerScale と stochastic depth を一緒に加えると線形分類は 83.2 から 82.0 に下がりますが、著者らは NaN loss の防止に役立つと述べています。最後に head を分離すると k-NN は 81.7 から 82.0 に上がる一方、線形分類は 84.7 から 84.5 に下がります。

事前学習データ

データ品質が特徴学習に与える影響を検証するため、著者は以下 3 種のデータを比較しました:

  • LVD-142M(視覚検索で選別された curated データ集合)
  • ImageNet-22k(従来の大規模有ラベルデータセット)
  • Uncurated-142M(同一ソースからランダム抽出した未選別ネットワーク画像)

いずれも ViT-g/14 で同条件で訓練。

上表は原論文の Table 2 です。各モデルの訓練イテレーション数は同じで、uncurated の行は同じウェブ画像群から 1.42 億枚を無作為抽出しています。ImageNet-1k と転移先の列を合わせて見ます:

  • LVD-142M は uncurated データより大半の指標で優れるが、ADE-20k では 47.7 対 48.5 mIoU と逆転します
  • LVD-142M は多くのベンチマーク(ImageNet-1k を除く)で ImageNet-22k を上回る
  • データ選別を参照しないドメイン(INaturalist、Places205)でも LVD-142M は優れた転移性能を示す

LVD-142M の ImageNet-1k 精度は 85.8 で ImageNet-22k の 85.9 よりわずかに低く、表中の他のベンチマークでは高い値です。この条件ではデータ選別の効果が見えますが、あらゆるデータ分布での保証ではありません。

損失項の重要性

原論文の Table 3(a) と 3(b) です。左表は Oxford-M の mAP、右表は ADE-20k の mIoU に注目してください。各モデルの訓練イテレーション数は同じですが、最終モデルより短い設定です。

各損失項の最終性能への寄与を検証。以下の 2 点をアブレーションしました:

  • KoLeo 正則化の効果  Oxford-M の検索 mAP は 55.6 から 63.9 へ 8.3 ポイント上昇します。ImageNet-1k 分類も 0.5 ポイント上がり、ADE-20k は 47.2 から 47.1 mIoU へわずかに下がります。特徴の分散を促す設計が、特に検索に役立つことを示す結果です。

  • iBOT 式マスク予測(Masked Image Modeling)  この損失を外すと、ADE-20k の mIoU は 47.1 から 44.2 へ 2.9 ポイント低下します。少なくともこの設定では、パッチレベルの学習目標が分割に役立ちます。

知識蒸留の効果

小型モデルの訓練コスト削減のため、DINOv2 は ViT-g を固定 teacher として ViT-L/14 へ蒸留を実施し、スクラッチ学習モデルと比較。

原論文の Figure 5 は、左に 12 ベンチマーク、右に八つの視覚タスク群の平均を示します。この比較では蒸留した ViT-L/14 がスクラッチ学習版を 12 項目すべてで上回りました。結果の範囲は比較したモデルと訓練条件に限られます。

高解像度訓練

「最初から高解像度で訓練すべきか」検証:

  • ImageNet-1k で訓練した ViT-L/16 を使い、固定 224、固定 416、224 の後に 416 で 1 万イテレーション追加する設定を比較
  • 評価は ImageNet 分類と ADE セグメンテーション
  • 終始 416 は図中の多くの評価解像度で最も良いが、訓練計算量は終始 224 の約 3 倍
  • 「最後の 1 万イテレーションで高解像度切替」の曲線は終始 416 に近く、高解像度の追加計算は最後の 1 万イテレーション分で済む

原論文の Figure 6 では、橙線が固定 224、桃色の線が固定 416、青線が最後に 416 へ切り替える設定です。横軸は評価時の解像度で、左が ImageNet-1k の精度、右が ADE-20k の mIoU です。最終的な DINOv2 の高解像度フェーズは 518 を用い、この 416 の消融とは区別します。

考察

ImageNet 分類

ImageNet-1k の線形分類で、DINOv2 の特徴は高い性能を示します。原論文の Table 4 は、凍結した backbone に線形分類器を訓練した結果です。

ViT-g/14 の ImageNet-1k validation Top-1 は 86.5% で、表中の先行自己教師あり手法 iBOT の 82.3% を 4.2 ポイント上回ります。OpenCLIP ViT-G/14 の 86.2%、EVA-CLIP ViT-g/14 の 86.4% もわずかに超えます。ただし、モデルの構造と事前学習データは異なります。

言語による事前学習の監督を使わない ViT-g/14 は、ImageNet-ReaL で 89.6%、ImageNet-V2 で 78.4% です。同じ表には k-NN の 83.5% も載っています。いずれもこの評価設定での分類結果です。

DINOv2 の ViT-S/B/L/g の線形分類精度は順に 81.1%、84.5%、86.3%、86.5%。このモデル群では規模とともに性能が上がりますが、表は構造以外の費用や条件をすべて統制した比較ではありません。

この表から、ImageNet 線形評価で DINOv2 が掲載された弱教師ありモデルに近づき、一部をわずかに上回ることが分かります。他のタスクへの転用は、続く下流評価で見ましょう。

動画分類

他の画像・動画分類では、凍結した画像特徴の上に下流分類器を訓練します。原論文の Table 7 は iNaturalist、Places205 と三つの動画分類データセットを示します。後述する別の表が、12 の画像分類ベンチマークです。

DINOv2 ViT-g/14 は iNaturalist 2018/2021 で 81.6%/85.7% と、OpenCLIP ViT-G/14 の 73.0%/76.0% を上回ります。一方 Places205 は 67.5% で、OpenCLIP の 69.8% より低い値です。

動画では等間隔に 8 フレームを取り、K400 と UCF-101 はフレーム特徴を平均、SSv2 は連結してから線形分類器を訓練します。ViT-g/14 の K400、UCF-101、SSv2 はそれぞれ 78.4%、91.2%、38.3%。OpenCLIP の 78.3%、90.7%、35.8% と比べると、SSv2 では 2.5 ポイント高くなります。ただし、事前学習で動画の時間的変化を学んだことを意味する結果ではありません。

原論文の Table 8 にある 12 の画像分類タスクでは、DINOv2 ViT-g/14 の平均が 92.1%、OpenCLIP ViT-G/14 が 91.9% です。Aircraft は 87.2% 対 80.2% で DINOv2 が高い一方、Cars は 91.4% 対 96.1%、SUN は 78.7% 対 84.0% で OpenCLIP が高く、データセットによって優劣が分かれます。

インスタンス認識

インスタンスレベルの認識でも、DINOv2 は強い結果を示します。原論文の Table 9 は、凍結した特徴について、query とデータベース画像のコサイン類似度で順位を付ける非パラメトリック検索の比較です。

DINOv2 ViT-L/14 の Oxford-Hard mAP は 54.0 で、表中の iBOT の 12.7、OpenCLIP の 19.7 を上回ります。Paris-Hard は 83.5、AmsterTime は 50.0。ViT-g/14 の Oxford-Hard は 52.3 で、ViT-L/14 より低い値です。

分類と検索の結果を合わせると、凍結特徴が異なる粒度のタスクで役立つことが分かります。

セマンティックセグメンテーション

セグメンテーションや単眼深度推定などの dense task では、backbone を凍結して下流の予測器を訓練し、パッチレベルの特徴を調べます。

原論文の Table 10 では、lin. はパッチトークンから線形層で低解像度の logits を予測して拡大する設定です。+ms は最後の 4 層の特徴を連結し、より高い入力解像度とマルチスケール推論を使います。DINOv2 ViT-g/14 の ADE-20k での +ms は 53.0 mIoU で、論文が引用する全モデル微調整の MAE + UperNet の 53.6 に近い値です。Pascal VOC では 86.2 で、表中の最高値 89.0 を下回ります。

著者らは凍結した ViT-g/14 backbone を ViT-Adapter + Mask2Former にも組み込みます。この設定では adapter と head を訓練し、約 66% の重みが凍結されています。ADE-20k の 60.2 mIoU は引用された 62.9 mIoU に近づきます。

質的評価

数値評価に加え、著者らはセグメンテーション、深度推定、特徴の可視化を示します。

まず、セグメンテーションと深度推定の例を見ましょう。

原論文の Figure 7 では、凍結 backbone と線形予測器を用いた ADE20K の例で、DINOv2 の連続した領域や物体の境界が OpenCLIP の例より整って見えます。これは質的な例であり、全体的な比較には前述の mIoU を見る必要があります。

深度予測の例も DINOv2 の方が滑らかで、ノイズが少なく見えます。たとえば SUN RGB-D の椅子の位置がより明瞭です。ここでの課題は深度推定であり、椅子のカテゴリ認識ではありません。

次は、訓練済みのセグメンテーション・深度予測器を絵画やスケッチなど、異なる画風の画像に適用した例です。

原論文の Figure 8 では、物体の輪郭や奥行きの構造が一部保たれています。下流予測器にとって分布外の質的な例ですが、画像だけから backbone が似た動物や画風を事前学習時に見ていないと断定はできません。

最後に特徴空間の構造を見ます。

原論文の Figure 9 では、最初の主成分の正負値で主要な物体と背景を分けた後、残ったパッチ特徴に再び PCA を適用し、その最初の 3 成分を色に対応させます。

近いカテゴリの画像で似た部位が似た色になることがあります。これは著者らが観察した特徴構造ですが、PCA の可視化だけで部位認識を定量的に証明したことにはなりません。

結論

エンジニア視点での最大の価値は、「高品質で汎用性の高い視覚特徴が微調整なしに多様なタスクへ直接応用可能」と言えます。

論文の分類、分割、深度推定、インスタンス検索の結果は、凍結した DINOv2 特徴を試す理由になります。ただし下流の分類器や adapter にはラベル付きデータでの訓練が必要な場合があり、導入前には対象ドメインで評価すべきです。

報告された転移性能を踏まえると、タスク固有の訓練データが少ない場合の backbone 候補になります。ただし、あらゆるドメインでの性能を保証する結果ではありません。

PCA とパッチマッチングから、特徴が表す構造の一部を観察できます。誤りを調べる助けにはなります。

医療・衛星画像、商品認識、車両の知覚などに使うなら、まず目的のドメインで、使う下流 head と訓練予算を固定した評価を行いたいところです。