A Simple Framework for Contrastive Learning of Visual Representations
- 发表版本
- ICML 2020会议
- arXiv 首次提交
- arXiv:2002.05709
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{contrastivelearningsimclrv12020,
title = {{A Simple Framework for Contrastive Learning of Visual Representations}},
author = {Ting Chen and Simon Kornblith and Mohammad Norouzi and Geoffrey Hinton},
year = {2020},
eprint = {2002.05709},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2002.05709}
}
对比学习的研究约莫过了五年,整个场面已经变得非常复杂与混乱。不光是架构设计复杂,具体的模型训练方法也是百家争鸣。
本篇论文的作者认为,对比学习的核心应该要简单一点。
定义问题
回想一下对比学习的必备要素:
- 要有好的结果,一个记忆库 (memory bank) 似乎是一件必要的事情?
因为我们需要大量的负样本来引导模型学到更好的表示方式,而记忆库确实能够提供这样的功能。一开始的 InstDisc 是这样做,后来的 MoCo 也是。
但是很烦!训练过程中还要额外维护一个记忆库,显然是个不友善的设计。
作者在这篇文章中,决定直接舍弃记忆库的设计,取而代之的是更大的批次大小。只要我们给出足够多的负样本,模型就有机会学到有用的表示!
解决问题
模型架构
这个架构真的非常简单,没有多个编码器,没有记忆库。
流程是先对同一张影像做两种随机增强,得到两个「看似不同、但其实来自同源」的影像。
接着,把这两张影像分别丢到「同一个」编码器网络,取得两个潜在向量 (latent vectors)。
然后再用小型的投影网络把这些潜在向量映射到对比学习的空间,最后使用对比损失函数让「同源」的增强影像在表示空间中彼此相近。
恩?就这样?
对!就这样,我们又看完一篇论文了!(并没有)
影像增强
在 SimCLR 中,作者认为增强方式多样且强力,比起监督式学习更加重要。
上图展示论文考察的多种影像增强;SimCLR 预设组合中比较重要的有:
- 随机裁切(random crop)
- 颜色扭曲(color distortion)
- 高斯模糊(Gaussian blur)
两张增强后的影像被视为「正样本对」,因为它们其实来自同一张原始影像。
细部设计
首先是编码器的部分,这里使用了 ResNet-50 作为基础编码器,将增强后的影像输入,得到一个向量 。这个向量的维度通常很大,例如对 ResNet-50 而言,通过平均池化层后可能是 2048 维。
接著是投影头的部分,作者发现直接在 上做对比损失效果不如先加一个小型 MLP。这个投影网络 通常有一层 hidden layer,然后 ReLU,最后投影到一个 128 维的向量 ,用来计算对比损失。
最关键的部分就是如何定义对比损失。
核心概念是:同一对 (它们来自同一张原图)要在向量空间越靠近越好,而与其他不相干的样本要尽量远离。在这里,作者引用了 NT-Xent (Normalized Temperature-scaled Cross Entropy Loss) 这个形式。
NT-Xent 损失函数
这和我们之前看过的 InfoNCE 一样,是从正例与负例中辨认正例的 softmax 损失;SimCLR 使用同一批次的两个增强视图来构造候选项,并对两个方向的损失取平均。这里对输入特征做 ℓ₂ normalization,再以余弦相似度计算分数。
NT-Xent 损失函数的计算方式如下:
其中:
- 为第 个增强影像经投影头后得到的 128 维向量。
- 表示 cosine similarity(余弦相似度)。
- (tau)为温度(temperature)超参数,控制相似度分数的放大程度。
- 分子 代表 与正样本 之间相似度的指数化分数。
- 分母为 与 batch 内所有其他向量(不包含自身)相似度的指数化总和。
在一个 batch 中,假设有 张原始影像,每张影像经过两次不同的增强,总共产生 张增强影像。对于一对正样本 (即同一张原图的两次不同增强),计算损失时,将其余 张增强影像视为负样本。
目标是提高正样本 之间的相似度,同时让其余负样本的相似度较低,即希望 高于 (对负例 )。如此一来,模型能学习到更具判别力的表征。
在整个 batch 中,对于每对正样本 ,会同时计算 与 两项损失,对全部 项取平均后进行反向传播。
讨论
最有用的增强组合
为了观察「不同资料增强方式(个别或组合)对模型所学到表征品质的影响」,作者在这里使用 线性评估 (linear evaluation) 的方式,将自行训练好的 encoder 冻结,然后在上面叠一个线性分类器(通常是一层线性全连接),并在 ImageNet 做 top-1 accuracy 的评估。
实验中,模型输入端有两个「平行的增强管道」。在这里,作者特意只对「其中一个管道」套用要测试的增强,另一个分支则不做该增强(只做最基础的随机裁切 + resize)。 这样可以更直接观察个别增强或不同增强组合「本身」的影响,而不会全部混在一起。
上图中的表格解读方式为:
- 对角线 (diagonal entries):单一转换(如高斯模糊、颜色扭曲等),代表只施加该增强到一个分支。
- 非对角线 (off-diagonals):两种增强的组合(例如先做高斯模糊,再做颜色扭曲)。
- 最后一栏 (the last column):每个 row 的平均值,也就是在该 row 增强组合之下,所有设定的平均表现。
实验结果显示:
- 单一增强(对角线)通常并不足以让模型学到非常强的表征,因为只要依靠这个单一变化,模型仍可能利用其他不变的线索来判断「正样本对」。
- 组合增强(非对角线)的效果依组合而异;其中「裁切 + 颜色扭曲」明显优于只用其中一种。
这意味著,适当的增强组合能让对比任务更难,并在这个实验中得到更好的线性评估结果。
增强的强度影响
我们可以调整增强的强度,例如让亮度、对比度、饱和度、色相的变化幅度更大或更小,因此作者进一步探讨了「增强强度」对模型表现的影响。
在训练 ImageNet 上的监督式分类模型时,我们常会使用 AutoAugment 这样的自动增强策略。然而,作者在这里发现,AutoAugment 并不一定比「简单的裁切 + 强力颜色扭曲」更好。
实验结果如上表,对于无监督的对比学习,加大颜色扭曲的强度能明显提升模型最终学到的特征品质。这表示,对于无监督对比学习来说,需要的增强手段跟监督式学习并不相同。很多在监督情境下「很有效」的增强策略,未必能同样提升对比学习的效果。
扩大模型规模
上图显示了不同模型深度与宽度下的线性评估结果:蓝点是 SimCLR 训练 100 个 epoch、红星是训练 1000 个 epoch,绿色叉号是监督式 ResNet 训练 90 个 epoch。作者发现,在这些设定下增加深度或宽度能改善 SimCLR 的表现。
这个结果和我们在监督式学习中的经验相似:加大模型容量,通常能容纳更丰富的特征表征能力。在图中比较的规模内,无监督模型与监督式模型的准确率差距也随模型变大而缩小。
批次大小影响
上图是在不同批次大小和训练周期下的表现,每根柱子代表从头训练的单次实验结果。
传统上,批次大小的选择主要考量计算效率和梯度稳定性,但在对比学习中,批次大小还有一个关键作用:影响可用的负样本数量。
- 批次越大,单次训练中可用的负样本越多,这使得模型能够学习到更丰富的对比资讯,提高样本区分能力。
- 较少 epoch 时的优势:例如训练 100 个 epoch,图中较大的批次通常有较高的线性评估准确率;这里比较的是 epoch,并非实际训练时数。
这点与监督式学习的情况不同。在监督式学习中,使用大批次的主要目的是:「让梯度估计更稳定、训练更高效」,但在对比学习中,「更多负样本」才是大批次带来的核心优势。
另一个有趣的发现是,较长的训练时间可以在一定程度上弥补小批次的缺点:
- 当训练 epoch 增加、批次持续重新随机抽样时,较小批次与大批次的准确率差距会缩小,部分设定甚至接近。
- 图中没有比较相同训练时数或总运算量下的效率,因此不能单凭它判定哪一种批次大小更省资源。
和其他方法的比较
作者比较各种自我监督学习方法的线性评估结果(即冻结 backbone,仅在最后叠一层线性分类器)。
结果显示,即使使用标准的 ResNet 架构(没有特殊设计),SimCLR 也能达到或超越过去一些需要特别设计网路结构的方法。标准 ResNet-50 的 SimCLR 为 69.3%;扩张到 4× 后为 76.5%,与图中的监督式 ResNet-50 接近,但两者模型大小不同(约 375M 与 24M 参数)。
如果把 ImageNet 的标签数量压缩到 1% 或 10%,且采用类别平衡方式进行微调,如下表:
以 Top-5 准确率来看,SimCLR 4× 在 1%/10% 标签下分别为 85.8%/92.6%,是表中最高值;标准 ResNet-50 的 SimCLR 则为 75.5%/87.8%,并未超过每个比较方法。这显示预训练表征在少量标签微调下仍有用,读表时也要留意模型大小。
结论
在这项研究中,作者提出了一个简单而有效的对比学习框架,并透过一系列实验,深入分析了不同设计选择对学习效果的影响。
结果显示,透过数据增强策略、非线性投影头以及 NT-Xent 损失函数,SimCLR 在自监督学习、半监督学习及迁移学习任务上均显著优于先前技术。