返回论文笔记资料库
arXiv 2020ICML 2020对比学习论文笔记

SimCLR v1

一力降十会

原始论文

A Simple Framework for Contrastive Learning of Visual Representations

论文作者

Ting Chen · Simon Kornblith · Mohammad Norouzi · Geoffrey Hinton

发表版本
ICML 2020会议
arXiv 首次提交
arXiv:2002.05709
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{contrastivelearningsimclrv12020,
  title = {{A Simple Framework for Contrastive Learning of Visual Representations}},
  author = {Ting Chen and Simon Kornblith and Mohammad Norouzi and Geoffrey Hinton},
  year = {2020},
  eprint = {2002.05709},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2002.05709}
}
本页内容

对比学习的研究约莫过了五年,整个场面已经变得非常复杂与混乱。不光是架构设计复杂,具体的模型训练方法也是百家争鸣。

本篇论文的作者认为,对比学习的核心应该要简单一点。

定义问题

回想一下对比学习的必备要素:

  • 要有好的结果,一个记忆库 (memory bank) 似乎是一件必要的事情?

因为我们需要大量的负样本来引导模型学到更好的表示方式,而记忆库确实能够提供这样的功能。一开始的 InstDisc 是这样做,后来的 MoCo 也是。

但是很烦!训练过程中还要额外维护一个记忆库,显然是个不友善的设计。

作者在这篇文章中,决定直接舍弃记忆库的设计,取而代之的是更大的批次大小。只要我们给出足够多的负样本,模型就有机会学到有用的表示!

解决问题

模型架构

这个架构真的非常简单,没有多个编码器,没有记忆库。

流程是先对同一张影像做两种随机增强,得到两个「看似不同、但其实来自同源」的影像。

接着,把这两张影像分别丢到「同一个」编码器网络,取得两个潜在向量 (latent vectors)。

然后再用小型的投影网络把这些潜在向量映射到对比学习的空间,最后使用对比损失函数让「同源」的增强影像在表示空间中彼此相近。

恩?就这样?

对!就这样,我们又看完一篇论文了!(并没有)

影像增强

在 SimCLR 中,作者认为增强方式多样且强力,比起监督式学习更加重要。

上图展示论文考察的多种影像增强;SimCLR 预设组合中比较重要的有:

  • 随机裁切(random crop)
  • 颜色扭曲(color distortion)
  • 高斯模糊(Gaussian blur)

两张增强后的影像被视为「正样本对」,因为它们其实来自同一张原始影像。

细部设计

首先是编码器的部分,这里使用了 ResNet-50 作为基础编码器,将增强后的影像输入,得到一个向量 hih_i。这个向量的维度通常很大,例如对 ResNet-50 而言,通过平均池化层后可能是 2048 维。

接著是投影头的部分,作者发现直接在 hih_i 上做对比损失效果不如先加一个小型 MLP。这个投影网络 g(⋅)g(·) 通常有一层 hidden layer,然后 ReLU,最后投影到一个 128 维的向量 ziz_i,用来计算对比损失。

最关键的部分就是如何定义对比损失。

核心概念是:同一对 (i,j)(i, j)(它们来自同一张原图)要在向量空间越靠近越好,而与其他不相干的样本要尽量远离。在这里,作者引用了 NT-Xent (Normalized Temperature-scaled Cross Entropy Loss) 这个形式。

NT-Xent 损失函数

这和我们之前看过的 InfoNCE 一样,是从正例与负例中辨认正例的 softmax 损失;SimCLR 使用同一批次的两个增强视图来构造候选项,并对两个方向的损失取平均。这里对输入特征做 ℓ₂ normalization,再以余弦相似度计算分数。

NT-Xent 损失函数的计算方式如下:

ℓi,j=−log⁡(exp⁡(sim(zi,zj)/τ)∑k=12N1[k≠i]exp⁡(sim(zi,zk)/τ)).ℓ_{i,j} = - \log \left( \frac{\exp(\text{sim}(z_i, z_j)/τ)}{\sum_{k=1}^{2N} \mathbf{1}[k \neq i] \exp(\text{sim}(z_i, z_k)/τ)} \right).

其中:

  • zizᵢ 为第 ii 个增强影像经投影头后得到的 128 维向量。
  • sim(u,v)=u⊤v∥u∥∥v∥\text{sim}(u, v) = \frac{u^\top v}{\|u\|\|v\|} 表示 cosine similarity(余弦相似度)。
  • ττ(tau)为温度(temperature)超参数,控制相似度分数的放大程度。
  • 分子 exp⁡(sim(zi,zj)/τ)\exp(\text{sim}(z_i, z_j)/τ) 代表 ziz_i 与正样本 zjz_j 之间相似度的指数化分数。
  • 分母为 ziz_i 与 batch 内所有其他向量(不包含自身)相似度的指数化总和。

在一个 batch 中,假设有 NN 张原始影像,每张影像经过两次不同的增强,总共产生 2N2N 张增强影像。对于一对正样本 (i,j)(i, j)(即同一张原图的两次不同增强),计算损失时,将其余 2(N−1)2(N - 1) 张增强影像视为负样本。

目标是提高正样本 (zi,zj)(z_i, z_j) 之间的相似度,同时让其余负样本的相似度较低,即希望 sim(zi,zj)\text{sim}(z_i, z_j) 高于 sim(zi,zk)\text{sim}(z_i, z_k)(对负例 k≠i,jk \neq i,j)。如此一来,模型能学习到更具判别力的表征。

在整个 batch 中,对于每对正样本 (i,j)(i, j),会同时计算 (i,j)(i, j) 与 (j,i)(j, i) 两项损失,对全部 2N2N 项取平均后进行反向传播。

讨论

最有用的增强组合

为了观察「不同资料增强方式(个别或组合)对模型所学到表征品质的影响」,作者在这里使用 线性评估 (linear evaluation) 的方式,将自行训练好的 encoder 冻结,然后在上面叠一个线性分类器(通常是一层线性全连接),并在 ImageNet 做 top-1 accuracy 的评估。

实验中,模型输入端有两个「平行的增强管道」。在这里,作者特意只对「其中一个管道」套用要测试的增强,另一个分支则不做该增强(只做最基础的随机裁切 + resize)。 这样可以更直接观察个别增强或不同增强组合「本身」的影响,而不会全部混在一起。

上图中的表格解读方式为:

  • 对角线 (diagonal entries):单一转换(如高斯模糊、颜色扭曲等),代表只施加该增强到一个分支。
  • 非对角线 (off-diagonals):两种增强的组合(例如先做高斯模糊,再做颜色扭曲)。
  • 最后一栏 (the last column):每个 row 的平均值,也就是在该 row 增强组合之下,所有设定的平均表现。

实验结果显示:

  • 单一增强(对角线)通常并不足以让模型学到非常强的表征,因为只要依靠这个单一变化,模型仍可能利用其他不变的线索来判断「正样本对」。
  • 组合增强(非对角线)的效果依组合而异;其中「裁切 + 颜色扭曲」明显优于只用其中一种。

这意味著,适当的增强组合能让对比任务更难,并在这个实验中得到更好的线性评估结果。

增强的强度影响

我们可以调整增强的强度,例如让亮度、对比度、饱和度、色相的变化幅度更大或更小,因此作者进一步探讨了「增强强度」对模型表现的影响。

在训练 ImageNet 上的监督式分类模型时,我们常会使用 AutoAugment 这样的自动增强策略。然而,作者在这里发现,AutoAugment 并不一定比「简单的裁切 + 强力颜色扭曲」更好。

实验结果如上表,对于无监督的对比学习,加大颜色扭曲的强度能明显提升模型最终学到的特征品质。这表示,对于无监督对比学习来说,需要的增强手段跟监督式学习并不相同。很多在监督情境下「很有效」的增强策略,未必能同样提升对比学习的效果。

扩大模型规模

上图显示了不同模型深度与宽度下的线性评估结果:蓝点是 SimCLR 训练 100 个 epoch、红星是训练 1000 个 epoch,绿色叉号是监督式 ResNet 训练 90 个 epoch。作者发现,在这些设定下增加深度或宽度能改善 SimCLR 的表现。

这个结果和我们在监督式学习中的经验相似:加大模型容量,通常能容纳更丰富的特征表征能力。在图中比较的规模内,无监督模型与监督式模型的准确率差距也随模型变大而缩小。

批次大小影响

上图是在不同批次大小和训练周期下的表现,每根柱子代表从头训练的单次实验结果。

传统上,批次大小的选择主要考量计算效率和梯度稳定性,但在对比学习中,批次大小还有一个关键作用:影响可用的负样本数量。

  • 批次越大,单次训练中可用的负样本越多,这使得模型能够学习到更丰富的对比资讯,提高样本区分能力。
  • 较少 epoch 时的优势:例如训练 100 个 epoch,图中较大的批次通常有较高的线性评估准确率;这里比较的是 epoch,并非实际训练时数。

这点与监督式学习的情况不同。在监督式学习中,使用大批次的主要目的是:「让梯度估计更稳定、训练更高效」,但在对比学习中,「更多负样本」才是大批次带来的核心优势。

另一个有趣的发现是,较长的训练时间可以在一定程度上弥补小批次的缺点:

  • 当训练 epoch 增加、批次持续重新随机抽样时,较小批次与大批次的准确率差距会缩小,部分设定甚至接近。
  • 图中没有比较相同训练时数或总运算量下的效率,因此不能单凭它判定哪一种批次大小更省资源。

和其他方法的比较

作者比较各种自我监督学习方法的线性评估结果(即冻结 backbone,仅在最后叠一层线性分类器)。

结果显示,即使使用标准的 ResNet 架构(没有特殊设计),SimCLR 也能达到或超越过去一些需要特别设计网路结构的方法。标准 ResNet-50 的 SimCLR 为 69.3%;扩张到 4× 后为 76.5%,与图中的监督式 ResNet-50 接近,但两者模型大小不同(约 375M 与 24M 参数)。

如果把 ImageNet 的标签数量压缩到 1% 或 10%,且采用类别平衡方式进行微调,如下表:

以 Top-5 准确率来看,SimCLR 4× 在 1%/10% 标签下分别为 85.8%/92.6%,是表中最高值;标准 ResNet-50 的 SimCLR 则为 75.5%/87.8%,并未超过每个比较方法。这显示预训练表征在少量标签微调下仍有用,读表时也要留意模型大小。

结论

在这项研究中,作者提出了一个简单而有效的对比学习框架,并透过一系列实验,深入分析了不同设计选择对学习效果的影响。

结果显示,透过数据增强策略、非线性投影头以及 NT-Xent 损失函数,SimCLR 在自监督学习、半监督学习及迁移学习任务上均显著优于先前技术。