Emerging Properties in Self-Supervised Vision Transformers
- 发表版本
- ICCV 2021会议
- arXiv 首次提交
- arXiv:2104.14294
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{contrastivelearningdino2021,
title = {{Emerging Properties in Self-Supervised Vision Transformers}},
author = {Mathilde Caron and Hugo Touvron and Ishan Misra and Hervé Jégou and Julien Mairal and Piotr Bojanowski and Armand Joulin},
year = {2021},
eprint = {2104.14294},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2104.14294}
}
这篇论文与 MoCo v3 发表于相近时期;在文中部分 ViT 评估设定下,DINO 得到了更好的结果。
论文名称的缩写虽然是来自于 self-distillation with no labels,简称 DINO。但是读音却是要按照恐龙的英文来读,叫做 DI-NO,而不是 Dee-No。
定义问题
还记得 BYOL 吗?
不记得没关系,简单介绍一下, BYOL 的架构长这样:
BYOL 是展示表征学习可不依赖负样本的一篇重要论文。
其中的核心要素有三个:
- 孪生网络:线上网络与目标网络,其中目标网络通过指数移动平均(exponential moving average, EMA)进行参数更新。
- 停止梯度:目标网络在训练过程中不回传梯度。
- 额外 MLP 层:线上网络与目标网络的架构差异只在于线上网络多了一层额外的 MLP 预测。
在这篇论文中,作者受到 BYOL 的启发,决定对这个结构稍作修改。
改动的地方也不多,就两个:
- 换个损失函数:BYOL 比较归一化向量的均方误差,这里改为匹配教师与学生输出分布的交叉熵。
- 移除额外 MLP 层:也就是说,这里的孪生网络的架构是一模一样的神经网络。
看起来好像没什么,但这个形式并非毫无根据,而是作者参考了这篇论文:
这篇论文研究了 Teacher-Student 架构,发现以学生参数的移动平均更新 Teacher,在其半监督实验中比固定 Teacher 更有效。
解决问题
把刚才提到的 BYOL 架构修改后,就成了上面这个样子。
给定一张输入图像 ,两个网络会分别输出一个 维的特征向量,并通过 softmax 函数转换为概率分布。对于学生网络(上图左),其第 个维度的概率 定义为:
其中, 是温度参数,用于控制输出分布的锐利度;同理,教师网络(上图右) 的概率分布 也按类似公式定义,但使用的温度为 。
在教师网络不接受此损失的梯度更新的前提下,我们希望学生网络的输出分布 与教师网络的输出分布 尽可能一致,这通过最小化它们之间的交叉熵损失来实现,即:
其中,交叉熵 用来衡量两个分布之间的差异。
由于自监督学习不使用标签,作者在这里也是利用对比学习的常用的方法,即同一图像套用不同的影像增强,来生成不同的「视角」视图。
在这个架构中,所有的视图都会输入学生网络,只有全局视图会输入教师网络,这样设计可以鼓励「局部到全局」的对应关系。
针对每一个全局视图 ,以及学生网络处理的其他视图 (要求 ),计算交叉熵损失,并最小化总损失:
此损失函数在视图数量上是通用的,即使只有两个视图也可以使用;在本论文的标准设定下会使用两个全局视图及多个局部视图作为基本参数化设定。
学生网络的参数 通过梯度最佳化来最小化上述损失函数;论文中的 ViT 实验使用 AdamW。
教师网络的参数 通过学生网络参数 的 EMA 更新,具体更新规则为:
这种更新方法与动量编码器(momentum encoder)类似,其中系数 在训练过程中按照 cosine schedule 从 0.996 变化到 1。
避免模型崩溃
这种孪生网络的自监督方法的问题通常是:模型一言不合就崩溃。之前的研究中大多使用对比损失、聚类等方法来防止模型崩塌到常数解。不过这里作者采用了中心化与锐化策略。
-
中心化(Centering):
中心化操作是在教师网络的 logits 进入 softmax 前减去中心向量 ,公式为:
这样可以防止某个维度过度主导输出,但同时可能促使输出趋向均匀分布。另外,为了让中心化操作能够在不同批次大小下稳定工作,中心 使用指数移动平均进行更新:
其中, 是移动平均系数, 为批次大小。这样更新后,中心 只依赖于批次的一阶统计量。论文正文将偏置写为 ,但其 Algorithm 1 与作者程式均对这个由平均值更新的 做减法。
-
锐化(Sharpening):
锐化操作通过在教师 softmax 正规化中采用较低的温度 实现,使得教师输出的概率分布更为锐利,这与中心化的均匀倾向相互平衡,共同避免模型崩溃。
讨论
和其他方法的比较
根据实验结果,作者这里分成对「同架构」的比较和「跨架构」的比较:
-
同一架构下的比较:
- ResNet-50 架构: DINO 在 ResNet-50 上的效果与现有最佳自监督方法相当,验证了 DINO 在标准设定下能达到与现有方法媲美的表现。
- ViT-S 架构:
当采用 ViT-S(设计参照 DeiT-S)时,DINO 的表现明显超越了 BYOL、MoCov2 和 SwAV。
- 线性分类为 77.0%,比表中 ViT-S 的 SwAV 73.5% 高 3.5 个百分点。
- k-NN 为 74.5%,比表中 ViT-S 的 BYOL 66.6% 高 7.9 个百分点。 此外,DINO ViT-S 的 k-NN 分类器成绩(74.5%)与线性分类器(77.0%)相差 2.5 个百分点;这个接近程度在表中的其他方法及 DINO ResNet-50 上未见。
-
跨架构的比较:
此部分主要探讨 DINO 训练的 ViT 模型在不同规模架构下的极限表现,而非直接比较各种方法。
从实验结果看来,扩大 ViT 模型确实能进一步提升性能,但减少 patch 尺寸(即“/8”变体)的影响更显著。对同一个 ViT 架构而言,缩小 patch 不增加模型参数量,却会使 token 数增加、推论吞吐量下降,记忆体用量也较高。
ViT-B/8 以 DINO 训练后,线性分类 top-1 达到 80.1%,k-NN 达到 77.4%。与表中的 SimCLRv2 RN152w3+SK 相比,其特征抽取器参数量为 85M 对 794M,推论吞吐量为 63 对 46 im/s;这是跨架构比较。
DINO 在标准 ResNet-50 架构下与 SwAV 同为 75.3% 线性分类准确率;在 ViT 架构中,较小的 patch 提升了表中准确率,但同一架构的推论吞吐量也随之下降。
不同组件的重要性
作者做了一系列的实验来探讨不同组件的重要性:
- 无动量(Momentum)的情况(表格第 2 行): 在第 2 行只移除动量教师、其余设定维持不变时,k-NN 与线性评估都降至 0.1%。
- 防止崩溃的操作(例如 SK): 第 9 行的 SwAV 不使用动量,但有 Sinkhorn-Knopp(SK)约束,仍得到 71.8% 线性准确率;第 1 与第 3 行则显示,DINO 已使用动量时,再加入 SK 的变化很小。不同列还有方法配置差异,不能单凭第 3 与第 9 行把差距全归因于动量。
- 多视图(multi-crop)与交叉熵损失: 与第 1 行相比,第 4 行移除多重裁切后线性准确率由 76.1% 降至 72.5%;第 5 行改用 MSE 后降至 62.4%。这两项消融分别对应多重裁切与交叉熵损失的影响。
- Predictor 的影响: 第 6 行在学生网络中加入 predictor,线性准确率为 75.6%,比第 1 行低 0.5 个百分点;BYOL 的 predictor 则是另一套方法中的关键组件。
模型崩溃测试
一般来说,常见的崩溃形式有两种:
- 其一是模型对不同输入都输出相同的均匀分布。
- 其二是模型对不同输入都集中在同一个维度。
中心化(Centering)的操作是在教师 logits 上减去中心向量 (即 ),可防止单一维度过于主导,但单独使用时可能使输出趋向均匀。搭配锐化(Sharpening),在教师 softmax 中采用较低的温度 ,使输出分布更尖锐,对抗中心化带来的均匀倾向。
从数学上来看, 将交叉熵 分解为教师输出熵 与 KL 散度 :
当 收敛到 0 时,只表示损失所比较的教师与学生输出分布趋于一致;是否不随不同输入变化,仍须结合教师输出的熵与跨输入变化判断。
上图的实验表明:若仅使用其中一项操作,KL 会收敛到 0,而熵 则呈现不同极限(无中心化时趋向 0,无锐化时趋向 );前者对应集中在单一维度,后者对应均匀分布。同时使用两者时,图中的熵与 KL 均未落到上述两种退化状态。
结论
论文的多组实验显示,DINO 自监督预训练的 ViT 在所测试的分类与迁移任务中具有竞争力,并可与部分 CNN 基线比较。
这些结果支持 DINO 预训练能帮助 ViT 学到有用的表征;与监督式 ViT 或 CNN 的比较仍取决于数据、骨干和下游评估协议。
上图比较监督式预训练与 DINO 预训练 ViT 的自注意力可视化;红色区域表示选取的注意力区域,不是图像分割任务的预测结果。在这些示例中,DINO 的注意力更集中于主要物体,呈现一定的语义对应;该图本身不能量化下游任务的性能提升。
这些结果提示,自监督预训练是发挥 ViT 潜力的一条有效路径,值得在更多任务和条件下继续验证。