返回论文笔记资料库
arXiv 2023TMLR 2024对比学习论文笔记

DINOv2

通用特征锻造法

原始论文

DINOv2: Learning Robust Visual Features without Supervision

论文作者

Maxime Oquab · Timothée Darcet · Théo Moutakanni …

查看全部 26 位作者

Maxime Oquab · Timothée Darcet · Théo Moutakanni · Huy V. Vo · Marc Szafraniec · Vasil Khalidov · Pierre Fernandez · Daniel Haziza · Francisco Massa · Alaaeldin El-Nouby · Mahmoud Assran · Nicolas Ballas · Wojciech Galuba · Russell Howes · Po-Yao Huang · Shang-Wen Li · Ishan Misra · Michael Rabbat · Vasu Sharma · Gabriel Synnaeve · Hu Xu · Hervé Jégou · Julien Mairal · Patrick Labatut · Armand Joulin · Piotr Bojanowski

arXiv 首次提交
arXiv:2304.07193
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{contrastivelearningdinov22023,
  title = {{DINOv2: Learning Robust Visual Features without Supervision}},
  author = {Maxime Oquab and Timothée Darcet and Théo Moutakanni and Huy V. Vo and Marc Szafraniec and Vasil Khalidov and Pierre Fernandez and Daniel Haziza and Francisco Massa and Alaaeldin El-Nouby and Mahmoud Assran and Nicolas Ballas and Wojciech Galuba and Russell Howes and Po-Yao Huang and Shang-Wen Li and Ishan Misra and Michael Rabbat and Vasu Sharma and Gabriel Synnaeve and Hu Xu and Hervé Jégou and Julien Mairal and Patrick Labatut and Armand Joulin and Piotr Bojanowski},
  year = {2023},
  eprint = {2304.07193},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2304.07193}
}
本页内容

第一代的 DINO 我们已经看完了。

时隔两年,我们来看看 Meta AI Research 在这个架构上做了什么改进。

定义问题

近年来,视觉模型的主流发展趋势渐趋两极:

一方面,CLIP、ALIGN 等方法通过图文对齐学习,将语言作为语义的监督轴线,成功训练出具语义理解能力的基础模型。在分类、检索与多模态任务中,这类方法确实展现了强劲表现。

然而,另一条路线选择不依赖语言,甚至拒绝任何外部标注。这是一种更纯粹的自监督观点,让图像自己说话,让模型在无声中学会识别、记忆、抽象与归纳。

这条路线,试图回答一个更根本的问题:

在没有语言的世界里,图像是否仍能理解自己?

这正是自监督学习(Self-Supervised Learning, SSL)技术的核心追求。

这些方法大致可分为两类:

  1. 图像内部的预测任务(intra-image pretext task),如预测遮蔽区块、重建原始图片、修复色彩、判断 patch 顺序等,这类方法与语言模型的「填空任务」形式相近,典型代表包括 MAE、BEiT 等。

  2. 识别式学习(discriminative self-supervision),强调不同图像之间的区别性训练,如对比学习、实例分类或聚类学习,代表方法包括 SimCLR、MoCo、BYOL、DINO 等。

这些方法在 ImageNet-1k 等标准数据集上已展示具备迁移能力的 frozen 特征,在部分评估中甚至接近监督式训练。然而,当进一步扩大模型规模、延长训练时间或使用未经筛选的数据集时,也可能出现训练不稳和特征质量下降。

或许,数据的质量与多样性更是关键的因素?

自监督学习虽然不依赖人工标注,却更依赖输入数据本身的广度与结构平衡。当数据集中存在主题偏移、长尾失衡或重复过高等现象,模型往往会倾向学习到片面且难以迁移的表征。

尽管这类方法在学术与产业上已累积许多亮眼成果,真正要将其推向稳定可用的视觉基础模型,仍有数个关键问题尚未解决:

  • 在规模放大的情境下,现有自监督技术是否具备足够的稳定性与延展性?
  • 完全不依赖语言与标注信号,是否仍能学得可直接下游应用的泛用特征?
  • 当面对庞大、未筛选的图像集合,我们该如何有效自动化地进行数据筛选与分布平衡?

这些问题至今仍未有明确解答。

DINOv2 的出发点,正是试图在第一代基础上,进一步调整数据策略、强化架构稳定性,并重新思考自监督学习的系统性设计。如果数据能更好、架构更稳,也许我们就能走得更远,让不依赖语言的模型,也能成为现代视觉系统的通用地基。

数据收集

若要让模型学得稳固、可泛化的视觉特征,数据质量是优先要考虑的因素。

而当目标是「不依赖标注、完全自监督」,那么挑选数据的责任,就不再落在标签上,而是落在图像本身的多样性与代表性上。

作者规划的数据处理流程,可以大概分为三个步骤,如下图所示:

1. 准备数据池

这里选定的目标数据集 LVD-142M,是由两部分数据组合而成:

  • curated 部分:以 ImageNet-1k / 22k、Google Landmarks、以及多个细粒度数据集为基准,作为「代表性样本」的来源;
  • uncurated 部分:从公开网页爬虫数据库取得图片,排除不安全网址、NSFW 内容,并模糊可识别的人脸等;去除重复后,形成约 12 亿张的候选池。

这些 uncurated 图像未依语义类别人工挑选,但已经过上述安全过滤与初步去重。

2. 去除重复

为避免训练数据重复造成偏差,作者引入了专门的 copy detection 流程,移除高相似度图像,不仅针对 uncurated 集合内部,连与测试数据集相似的样本也一并剔除,以免数据泄漏。

这道步骤的实现细节来自 Pizzi 等人(2022)的算法,确保数据集多样且干净。

3. 自监督检索

真正精妙的设计在这里。

作者先利用一个先前在 ImageNet-22k 上自监督训练过的 ViT-H/16 模型,为所有图像计算嵌入表示,再以 cosine similarity 为相似度指标,找出那些「长得像 curated 数据」的 uncurated 图像。

这既不是人工标记,也不是靠关键字过滤,而是完全基于图像特征进行的视觉相似性检索。

接着,作者将 uncurated 图像做 K-means 聚类,依照不同情境(query dataset 大或小)选取每张基准图像的前 N 个近邻(N=4)或对应 cluster 中的 M 张图像。

这个选择权衡了数据间重叠与检索多样性的平衡。

工程规模与效率

如此大规模的数据处理与检索,背后也需要强大的计算资源支撑。

整个流程基于 FAISS 架构,使用 GPU 加速的倒排索引与量化编码法,分布式运行在 20 台配备 8 张 V100 GPU 的计算节点上,仅耗费不到两天时间,便完成了 1.42 亿张高质量训练数据的整理。

整体来看,DINOv2 的数据准备过程巧妙结合「现有高质量数据」与「视觉语义相近的网络图像」,用自监督的方式自动挑选出训练样本,为后续模型学习打下基础。

解决方法

DINOv2 所采用的训练策略,属于判别式自监督学习(Discriminative Self-Supervised Learning),整体可视为 DINO 与 iBOT 搭配 SwAV 的 centering 机制所构成的混合式设计,并在此基础上加入正则化项与高分辨率训练策略。

图像层面的特征对齐

这个部分是基于 DINO 方法的核心思想,如上图所示。

采用 DINO 损失函数,目的是让不同视角(augmentation)下的图像,经由 student / teacher 网络后,其语义表征应该一致。

具体作法如下:

  • 对同一张图片取两个不同 crop(称为 view),分别送入 student 与 teacher 模型;

  • 这两个模型都是 Vision Transformer,取其 class token 作为代表该图的整体语义向量;

  • 接着将 class token 分别通过一个 MLP head,输出称为「prototype scores」的向量。student 以 softmax 得到预测分布;teacher 则经过 Sinkhorn-Knopp(SK)取得目标分布:

    ps=softmax(hs(zs)),pt=SK(ht(zt))\mathbf{p}_s = \mathrm{softmax}(h_s(z_s)), \quad \mathbf{p}_t = \mathrm{SK}(h_t(z_t))
  • DINOv2 使用 SK 在批次内平衡 teacher 的目标分布;这取代了 DINO 与 iBOT 的滑动平均 centering,并非对 softmax 结果再做一次平滑。

  • 最后的 loss 为两者之间的交叉熵:

    LDINO=−∑kpt(k)log⁡ps(k)\mathcal{L}_{\text{DINO}} = - \sum_{k} p_t^{(k)} \log p_s^{(k)}

这里 student 是训练对象,而 teacher 是 student 权重的滑动平均(Exponential Moving Average, EMA),不参与反向传播。

区块层面的预测任务

为了鼓励模型学习细节与局部语义,作者加入 iBOT 的「patch 层面预测任务」,架构如上:

  • 在 student 输入中随机遮蔽若干 patch,形成 masked token;

  • 在 teacher 输入中,这些 patch 是完整显示的;

  • 对每个被遮蔽的 patch,我们计算 student 的预测分布 ps(i)\mathbf{p}_{s}^{(i)},与 teacher 对应可见 patch 的目标分布 pt(i)\mathbf{p}_{t}^{(i)};student 使用 softmax,teacher 使用上述 SK:

    LiBOT=−∑i∈M∑kpt(i,k)log⁡ps(i,k)\mathcal{L}_{\text{iBOT}} = - \sum_{i \in \mathcal{M}} \sum_{k} p_t^{(i, k)} \log p_s^{(i, k)}

其中 M\mathcal{M} 为所有 masked patch 的索引集合。这个任务在空间层面提供更精细的监督,有助于后续的分割等像素层面的任务。

Head 设计

DINOv2 与 iBOT 都需要额外的 MLP projection head 来将 transformer 输出映射成 logits。

虽然 iBOT 原论文指出共享 head 会有较好效果,但在 DINOv2 的大规模实验中,作者发现独立使用两组 head 效果更佳,因此全程将两者拆分处理。

Sinkhorn-Knopp Centering

为了稳定 teacher 的预测分布,DINOv2 采用来自 SwAV 的 Sinkhorn-Knopp Normalization(SK) 方法来平衡 batch 分布。

该方法迭代归一化行与列,使输出接近双随机矩阵的平衡状态。实现上执行 3 轮 normalization 即可。

SK 的使用可降低模型 collapse 的风险,使模型不会将所有输出集中在单一原型上。

KoLeo 正则化

DINOv2 引入一项鲜少出现在此领域的正则化技术:KoLeo 正则化(Kozachenko-Leonenko Regularizer),目的是鼓励特征分布在 embedding 空间中保持均匀、分散。

这个项目源自微分熵的估计量,其形式如下:

LKoLeo=−1n∑i=1nlog⁡dn,i\mathcal{L}_{\text{KoLeo}} = -\frac{1}{n} \sum_{i=1}^{n} \log d_{n,i}

其中:

  • dn,i=min⁡j≠i∥xi−xj∥d_{n,i} = \min_{j \ne i} \| \mathbf{x}_i - \mathbf{x}_j \|,即第 ii 个向量与其他样本的最近距离;
  • 所有向量 xi\mathbf{x}_i 都会先经过 ℓ2\ell_2 normalization。

这项正则化可以避免特征在训练过程中过度集中,有助于提升特征表示的覆盖性与多样性。

高分辨率训练阶段

虽然高分辨率图像对 segmentation 与 detection 等任务关键,但在预训练阶段直接使用高分辨率会造成庞大计算成本。因此作者采用折衷做法:在预训练后期短暂切换到 518×518 的高分辨率图像,以补充细节信号。

这与 UniViT、FlexiViT 等方法中的 resolution ramp-up 思路类似,实测证明能有效提升像素层面表现,几乎无需额外训练时间。

整体看来,DINOv2 的训练目标融合了语义一致性、区块预测、分布平衡与空间正则化等多重元素,并在效率与泛化力间取得稳定平衡。

工程实现

作者在论文中特别用一个章节介绍如何加速训练流程并降低内存占用。与 iBOT 相比,同样的硬件资源下,DINOv2 可达成约 2 倍速度提升,仅需 1/3 内存使用量。

FlashAttention

在 ViT 架构中,自注意力层是最大计算瓶颈。

作者团队自制一套改良版 FlashAttention,在内存使用与速度上均优于原始实现,并且能支持更多硬件平台与变形架构。

他们发现,在 embedding 维度上若能符合 GPU 操作的最佳条件(例如:每个 head 的维度为 64 的倍数、整体维度为 256 的倍数),可进一步提升运算效率。

因此在 ViT-g 设计上,他们采用了 1536 维、24 个 head 的组合(每 head 为 64 维),取代过往常见的 1408 维/16 head 结构。

实验显示两者精度差异不大,但新设计具备更佳性能。

Sequence Packing

ViT 接收的输入为 patch tokens,DINO 类方法需同时处理两种 crop:

  • 大 crop(分辨率 224)产生长序列;
  • 小 crop(分辨率 98)产生短序列。

过去的做法是分别 forward,不仅造成 batch size 不一致,也浪费计算资源。

DINOv2 引入来自 NLP 的技巧:Sequence Packing。

方法是将多个不同长度的 token 序列串接成一条长序列,再用 block-diagonal attention mask 防止不同序列之间互相注意,效果上等同于分开 forward,但能大幅提升运算效率。

这个设计仰赖低阶支持,具体实现建构于 xFormers 函数库之上。

Stochastic Depth

Stochastic Depth 是在训练时随机略过部分样本的 residual branch 的归一化手法。

传统作法是先计算 residual branch,再遮蔽被 drop 的结果;DINOv2 则略过这些样本的 residual 计算,保留原本的捷径连接,以节省内存与算力。

这个实现依赖特殊 kernel 设计:将 batch 维度上样本随机排列,只选取前 (1−d)⋅B(1-d) \cdot B 个样本进行该层计算。以本论文 drop rate d=40%d = 40\% 为例,相当于每层平均少算四成数据,大幅减少负担。

分布式训练

在训练 billion-scale 模型(如 ViT-g, 参数量约 11 亿)时,内存成为主要瓶颈。

DINOv2 使用 Fully-Sharded Data Parallel (FSDP) 来跨 GPU 分散模型的各个副本,包括:

  • Student network
  • Teacher network
  • Optimizer 一阶与二阶动量参数(AdamW)

以约十亿参数估算,这四组 float32 张量共需约 16 GB;FSDP 将其分散到不同 GPU,降低单卡的模型状态内存需求。

此外,为了降低 GPU 间通讯开销模型权重与梯度的传输会以 float16 精度进行(MLP head 除外)。这比 DDP(Distributed Data Parallel)下的 float32 gradient all-reduce 至少节省 50% 传输量。

在论文测试的训练配置中,PyTorch FSDP 搭配 mixed precision 的扩展效率几乎都优于 DDP 搭配 autocast。

模型蒸馏

在训练大型模型(如 ViT-g)完成后,DINOv2 并非直接训练 ViT-B、ViT-L 等较小模型,而是通过知识蒸馏技术,让小模型模仿大模型的输出。

训练策略沿用原本的 teacher-student 框架,不同处在于:

  • 将训练好的 ViT-g 作为 frozen teacher;
  • 不使用 masking 与 stochastic depth,简化训练流程;
  • 将 iBOT loss 应用于两个 global crops;
  • 训练过程中保留 student 的 EMA 作为最终模型输出。

这个设计接近 Duval 等人提出的方法,但 DINOv2 不调整损失函数结构,而是直接 reuse 原始 pipeline,达到简洁实用的目的。实验结果显示,即便是 ViT-L,也能通过蒸馏获得明显优于从零训练的表现。

消融实验

为了测试每个组件设计是否有效,作者准备了几个实验来进行验证,包含训练策略、数据来源、模型尺寸、损失组件与分辨率等面向。

模型训练流程

作者以 iBOT 作为 baseline,依序加入 DINOv2 的各项技术组件(如双 head、Sinkhorn centering、KoLeo 正则化等),并观察在 ImageNet-1k 上的表现(包含 k-NN 与 linear probe)。

结果显示,大多数步骤能提升至少一种评估方式的表现;但表中是逐步加入组件,不能把每一行都视为独立消融。LayerScale 与 Stochastic Depth 一起加入时,linear probing 从 83.2 降至 82.0,作者指出这组改动可避免训练出现 NaN loss;最后拆开两组 head 则让 k-NN 从 81.7 升至 82.0,linear probe 从 84.7 降至 84.5。

预训练数据

为检验数据质量对特征的影响,作者比较三组数据:

  • LVD-142M(经视觉检索扩充的数据集)
  • ImageNet-22k(传统有标注大规模数据集)
  • Uncurated-142M(从相同来源中随机抽样的原始网络数据)

三组数据都用于训练 ViT-g/14,迭代次数相同;表中还包括去掉 ImageNet-1k 类别后的 ImageNet-22k 变体。

实验显示如上表:

  • LVD-142M 在多数指标优于随机抽样的 uncurated 数据,但 ADE-20k 例外(47.7 对 48.5 mIoU);
  • LVD-142M 在大多数 benchmark(除 ImageNet-1k 外)都超越 ImageNet-22k;
  • 在未纳入数据筛选参考的领域(如 iNaturalist、Places205)中,LVD-142M 相较 ImageNet-22k 也有较高成绩。

这一实验证实了自监督学习下,「数据规划」依然是非常重要的设计参数。

损失组件的重要性

作者接续验证各损失项对最终表现的实质贡献,针对以下两点进行消融:

  • KoLeo 正则化的效果

    在 Oxford-M 图像检索任务上,启用 KoLeo 让 mAP 从 55.6 升至 63.9,增加 8.3 个百分点;ImageNet-1k 分类也提高 0.5 个百分点,ADE-20k 则从 47.2 小幅降至 47.1 mIoU;

    结果显示该项正则化成功鼓励了特征分布的分散性,特别有利于 retrieval 这类需要区分特征细节的任务。

  • iBOT 式遮蔽预测(Masked Image Modeling)

    在 ADE-20k segmentation 任务中,去除该 loss 后,mIoU 从 47.1 降至 44.2,相差 2.9 个百分点。这组消融显示 patch-level 预测有助于此分割设置。

知识蒸馏的效果

为降低小模型的训练成本,DINOv2 采用 ViT-g 作为 frozen teacher 对 ViT-L/14 进行蒸馏,并与从头训练版本进行比较。

结果显示,经蒸馏的 ViT-L 在 12 个 benchmark 上全面超越从零训练的模型,这不仅简化小模型的训练流程,也证明 DINOv2 训练框架具备良好的「以大教小」迁移能力。

高分辨率训练

最后,作者针对「是否有必要从头使用高分辨率训练」进行测试:

  • 在这组 ViT-L/16、ImageNet-1k 的消融中,比较全程 224、全程 416,以及先用 224、最后再以 416 训练 10k 次迭代;前述最终模型则在尾段使用 518;
  • 评估指标包含 ImageNet 分类与 ADE segmentation;
  • 全程使用 416 在图中多数评估分辨率表现最佳,但训练计算量约为全程 224 的三倍;尾段切换 416 的曲线接近全程 416,额外训练成本只需承担最后 10k 次迭代的高分辨率计算。

因此,DINOv2 采用后者作为折衷方案,既保留分辨率带来的效益,又避免冗长昂贵的全程高解析训练。

讨论

ImageNet Classification

在 ImageNet-1k 的线性分类任务中,DINOv2 展现出极为强劲的特征表现力。

以 frozen backbone 搭配线性分类器,ViT-g/14 在 ImageNet-1k validation 得到 86.5% Top-1,比表中先前最佳自监督 iBOT 的 82.3% 高 4.2 个百分点,也略高于 OpenCLIP ViT-G/14 的 86.2% 与 EVA-CLIP ViT-g/14 的 86.4%。这些模型的架构与预训练数据各不相同,不能把差距全归因于训练方法。

不使用文字监督的 ViT-g/14 在 ImageNet-ReaL 与 V2 分别得到 89.6% 与 78.4%,表中也列出 83.5% 的 k-NN 成绩;这些是同一套评估中的分类结果。

同表的 DINOv2 ViT-S/B/L/g 线性分类成绩依序为 81.1%、84.5%、86.3%、86.5%,显示这组预训练模型随规模增加的表现;表格本身没有控制各架构之外的所有成本条件。

这张表支持 DINOv2 在 ImageNet 线性评估上已接近或略超过表列弱监督模型;其他任务的迁移能力还要看后面的下游实验。

Video classification

在其他图像与视频分类任务中,作者沿用 frozen 图像特征,训练下游分类器。上表列出 iNaturalist、Places205,以及三个视频分类数据集;下方另一张表才是 12 个图像分类基准。

DINOv2 ViT-g/14 在 iNaturalist 2018/2021 分别得到 81.6%/85.7%,高于 OpenCLIP ViT-G/14 的 73.0%/76.0%;Places205 则是 67.5%,低于 OpenCLIP 的 69.8%。

视频评估时,作者取 8 个等距帧:K400 与 UCF-101 平均帧特征,SSv2 则串接特征,再训练线性分类器。ViT-g/14 在 K400、UCF-101、SSv2 分别为 78.4%、91.2%、38.3%,与 OpenCLIP 的 78.3%、90.7%、35.8% 相比,SSv2 高 2.5 个百分点。

最后,上表的 12 个图像分类任务中,DINOv2 ViT-g/14 平均为 92.1%,OpenCLIP ViT-G/14 为 91.9%。DINOv2 在 Aircraft 为 87.2% 对 80.2%,但 Cars 是 91.4% 对 96.1%,SUN 是 78.7% 对 84.0%;它在不同数据集各有胜负。

Instance Recognition

在 instance-level recognition 任务中,DINOv2 同样展现极强的识别能力。

此处采用非参数检索方式,根据 query 与数据库图像间的余弦相似度进行排序,比较对象涵盖自监督与弱监督模型。

结果显示,DINOv2 ViT-L/14 在 Oxford-Hard 的 mAP 为 54.0,高于表列 iBOT 的 12.7 与 OpenCLIP 的 19.7;Paris-Hard 为 83.5,AmsterTime 为 50.0。ViT-g/14 并非每栏最高,例如 Oxford-Hard 为 52.3,低于 ViT-L/14。

这些检索结果与前述类别分类结果一起,显示 frozen 特征在不同任务粒度都有可用表现;表格没有直接测量模型识别微小差异的机制。

Semantic segmentation

在语义分割与单目深度估计等 dense-level 任务中,作者固定 backbone、训练下游预测器,以检验 patch-level 特征。

语义分割方面,「lin.」以线性层从 patch tokens 预测低分辨率 logits,再上采样;「+ms」串接最后四层特征,使用较高输入分辨率与多尺度测试。DINOv2 ViT-g/14 在 ADE-20k 的 +ms 成绩为 53.0 mIoU,接近论文引用的全模型微调 MAE + UperNet 的 53.6;在 Pascal VOC 为 86.2,仍低于表列最佳结果 89.0。

将 frozen ViT-g/14 backbone 接入 ViT-Adapter + Mask2Former 时,作者仍训练 adapter 与 head,约 66% 的权重保持冻结。这组设置在 ADE-20k 得到 60.2 mIoU,接近论文引用的 62.9 mIoU;不能把结果解读成完全不训练下游模块。

Qualitative Results

在量化评估之外,作者也展示分割、深度预测与特征可视化示例,供读者观察模型输出。

首先是语义分割与深度估计的视觉比较:

图中 ADE20K 的分割结果显示,在 frozen backbone 搭配线性预测器的设置下,DINOv2 的连通区域与物体边界比 OpenCLIP 的示例较完整;这是质性示例,整体比较仍要看前述 mIoU 表格。

深度预测的示例也显示 DINOv2 的图较平滑、杂讯较少;例如 SUN RGB-D 的椅子在 DINOv2 图中有较清楚的位置。这里是深度估计,并非椅子类别识别。

接着,下图将已训练的分割与深度线性预测器用于绘画、素描及其他不同风格的图像:

这些图像中的预测仍能呈现部分物体轮廓与深度结构,提供跨图像风格转移的质性例子;单凭图片无法断定模型预训练时是否见过某一类动物或画风。

最后,作者针对特征空间结构进行分析,如下图:

特征空间结构分析方面,作者先依第一主成分的正负值区分主要物体与背景,再对留下的 patch 特征做 PCA;图中颜色对应后一次 PCA 的前三个主成分。

相近类别图像的相似部位常呈现相近颜色,是作者观察到的特征结构;部件识别能力仍需量化评估。

结论

从工程实践的角度看,DINOv2 的价值在于:在论文评估的多种任务中,它能提供无需微调整个骨干网络的高质量视觉特征。

这意味着,在论文评估的分类、分割、深度估计与实例检索任务中,我们可以固定骨干网络,训练较简单的下游模块,而不必总是微调整个模型。线性头仍可能需要标注数据训练;实际部署也需要在目标场景验证。

此外,DINOv2 在论文测试的多个领域与细节结构任务中表现强劲,值得作为数据较少或变化较大的任务之候选骨干网络。

这些特征也可以做局部可视化分析。

通过 PCA 与 patch matching,我们可以观察部分特征结构与物体区域的对应关系,辅助错误分析;这些图像无法解释每次预测的原因。

如果你正在处理医疗图像、卫星图像、零售商品识别或无人车感知,DINOv2 可以列入候选骨干,但仍须针对目标数据和应用要求单独评估。