返回论文笔记资料库
arXiv 2020NeurIPS 2020对比学习论文笔记

BYOL

不需要负样本

原始论文

Bootstrap your own latent: A new approach to self-supervised Learning

论文作者

Jean-Bastien Grill · Florian Strub · Florent Altché …

查看全部 14 位作者

Jean-Bastien Grill · Florian Strub · Florent Altché · Corentin Tallec · Pierre H. Richemond · Elena Buchatskaya · Carl Doersch · Bernardo Avila Pires · Zhaohan Daniel Guo · Mohammad Gheshlaghi Azar · Bilal Piot · Koray Kavukcuoglu · Rémi Munos · Michal Valko

发表版本
NeurIPS 2020会议
arXiv 首次提交
arXiv:2006.07733
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{contrastivelearningbyol2020,
  title = {{Bootstrap your own latent: A new approach to self-supervised Learning}},
  author = {Jean-Bastien Grill and Florian Strub and Florent Altché and Corentin Tallec and Pierre H. Richemond and Elena Buchatskaya and Carl Doersch and Bernardo Avila Pires and Zhaohan Daniel Guo and Mohammad Gheshlaghi Azar and Bilal Piot and Koray Kavukcuoglu and Rémi Munos and Michal Valko},
  year = {2020},
  eprint = {2006.07733},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2006.07733}
}
本页内容

当大家还在如火如荼地讨论该如何设计负样本的时候,这篇论文的作者独排众议,提出了一个不需要负样本的方法。

作者说:只要自己跟自己学,模型就可以突破自己的极限。

定义问题

对比学习的核心概念是通过拉近相同图像不同视角的表示(称为「正样本对」),同时推开不同图像之间的表示(称为「负样本对」)来学习表征。

但是这些方法需要精心设计的负样本处理策略,像是我们之前看过的大批次训练(SimCLR)或者是记忆库(MoCo)的设计来确保学习效果。

不仅如此,这些方法还高度依赖于图像增强(image augmentation)的选择,像是随机裁剪是实验证实非常有效的方法。

既然负样本的设计这么麻烦,那我们有没有机会可以不用负样本呢?

解决问题

模型架构

作者提出了 BYOL 架构,整体包含线上网络(online network)和目标网络(target network)两部分:

  • 线上网络:如上图的上半部,包含三个部分:

    1. 编码器(encoder) fθf_{\theta}:将输入图像转换为特征。
    2. 投影器(projector) gθg_{\theta}:将特征映射到一个高维度空间,这个部分和 SimCLR 等对比学习方法类似。
    3. 预测器(predictor) qθq_{\theta}:在投影空间内进一步学习一个非线性映射,用于预测目标网络的输出。
  • 目标网络:

    包含编码器与投影器,没有线上网络的预测器;其参数 ξ\xi 是对应线上网络参数 θ\theta 的指数移动平均(exponential moving average, EMA),更新方式如下:

    ξ←τξ+(1−τ)θ\xi \leftarrow \tau \xi + (1 - \tau) \theta

    其中 τ\tau 是衰减系数,控制目标网络更新的速度。

训练方式

BYOL 训练过程首先是给定一组图片数据集 DD,随机从中抽取一张图片 x∼Dx \sim D,并应用两种不同的图像增强方式 TT 和 T′T' 来生成两个不同视角:

v=t(x),v′=t′(x)v = t(x), \quad v' = t'(x)

其中 t∼Tt \sim T,t′∼T′t' \sim T'。

对于第一个增强视角 vv,线上网络计算:

yθ=fθ(v),zθ=gθ(yθ)y_{\theta} = f_{\theta}(v), \quad z_{\theta} = g_{\theta}(y_{\theta})

对于第二个增强视角 v′v',目标网络计算:

yξ′=fξ(v′),zξ′=gξ(yξ′)y'_{\xi} = f_{\xi}(v'), \quad z'_{\xi} = g_{\xi}(y'_{\xi})

到这边,两个分支产生了投影表示,但 BYOL 没有负样本;若只把两边的表示拉近,可能得到所有图片都一样的退化解。作者在线上分支再加入一个预测器 qθq_{\theta},让它预测目标网络的投影:

z^θ=qθ(zθ)\hat{z}_{\theta} = q_{\theta}(z_{\theta})

然后将 zξ′z'_{\xi} 和 z^θ\hat{z}_{\theta} 进行比对并拉近,也就是说把整个架构改成是一个「预测」的问题,而不是「对比」的问题;目标分支在损失计算时停止梯度,仅线上分支由反向传播更新。

最后,为了确保数值稳定性,在比对这些向量时,都会进行 L2L_2 归一化(使其范数为 1):

z^θ=qθ(zθ)∥qθ(zθ)∥2,zξ′=zξ′∥zξ′∥2\hat{z}_{\theta} = \frac{q_{\theta}(z_{\theta})}{\|q_{\theta}(z_{\theta})\|_2}, \quad z'_{\xi} = \frac{z'_{\xi}}{\|z'_{\xi}\|_2}

损失函数

这里作者就没有使用 InfoNCE,而是使用两个归一化向量的平方距离作为损失函数:

Lθ,ξ=∥z^θ−zξ′∥22L_{\theta, \xi} = \|\hat{z}_{\theta} - z'_{\xi}\|_2^2

展开计算:

Lθ,ξ=2−2⋅⟨z^θ,zξ′⟩L_{\theta, \xi} = 2 - 2 \cdot \langle \hat{z}_{\theta}, z'_{\xi} \rangle

其中 ⟨z^θ,zξ′⟩\langle \hat{z}_{\theta}, z'_{\xi} \rangle 是两个单位向量的内积,表示它们之间的余弦相似度。

此外,为了让学习对称化(symmetrize),训练的时候会对调视角,让 v′v' 经过线上网络,vv 经过目标网络,再计算一次相同的损失:

Lθ,ξ′=∥z^θ′−zξ∥22L'_{\theta, \xi} = \|\hat{z}'_{\theta} - z_{\xi}\|_2^2

最终的 BYOL 总损失为:

Lθ,ξBYOL=Lθ,ξ+Lθ,ξ′L^{BYOL}_{\theta, \xi} = L_{\theta, \xi} + L'_{\theta, \xi}

实作细节

BYOL 采用与 SimCLR 相同的图像增强策略:

  1. 随机裁剪并调整至 224×224224 \times 224 的分辨率。
  2. 随机水平翻转。
  3. 颜色扭曲(随机改变亮度、对比度、饱和度、色相)。
  4. 灰阶转换(可选)。
  5. 高斯模糊。
  6. 太阳化(solarization)。

网络架构的部分,BYOL 使用 ResNet-50 作为基础编码器 fθf_{\theta} 和 fξf_{\xi},并在不同实验中测试了更深的 ResNet(50、101、152、200 层)以及更宽的变体(1× 至 4×)。

网络的详细结构如下:

  • 输出特征维度:2048(当宽度倍数为 1×)。
  • 投影层(MLP):
    • 第一层:线性层,输出维度 4096。
    • 批次归一化(Batch Normalization)。
    • ReLU 激活函数。
    • 最终线性层:输出维度 256。
  • 预测器(Predictor):结构与投影层相同。

与 SimCLR 不同的是,BYOL 不对投影层的输出进行批次归一化;论文没有把这个选择归因于是否使用负样本。


最后,BYOL 使用 LARS 优化器,并采用余弦学习率衰减(cosine decay learning rate schedule):

  • 训练 1000 个 epoch,前 10 个 epoch 进行学习率预热。
  • 基础学习率为: η=0.2×BatchSize256\eta = 0.2 \times \frac{\text{BatchSize}}{256}
  • weight decay:1.5×10−61.5 \times 10^{-6}。
  • 指数移动平均参数 τ\tau:起始值为 0.996,随训练逐步增加至 1: τ=1−(1−τbase)⋅cos⁡(πk/K)+12\tau = 1 - (1 - \tau_{\text{base}}) \cdot \frac{\cos(\pi k/K) + 1}{2} 其中 kk 为当前步数,KK 为最大步数。

讨论

为什么 BYOL 不会崩溃?

在对比学习中,负样本对的设计是为了确保模型不会收敛到一个无信息量的恒定表示(constant representation)。

BYOL 在训练时没有显式的正则化项来避免崩溃解,为什么它不会崩溃呢?

针对这个议题,作者提出了详细的说明:

  1. BYOL 的目标网络参数 ξ\xi 并非通过梯度下降来更新,因此它的参数更新方向并不是最小化损失函数 Lθ,ξL_{\theta, \xi} 的梯度方向:

    ξ←τξ+(1−τ)θ.\xi \leftarrow \tau \xi + (1 - \tau) \theta.

    作者以生成对抗网络(GANs)的学习动力学类比:两组参数并非共同对同一个损失做梯度下降。因此,不能只看损失函数有恒定表示的最低点,就断言 BYOL 会收敛到那里;这是作者的解释,并非避免崩溃的完整证明。


  1. 进一步分析,作者暂时不考虑归一化与对称损失,并假设 预测器 qθq_{\theta} 是最优的(optimal predictor),即:

    q∗=arg⁡min⁡qE[∥q(zθ)−zξ′∥22],q^* = \arg \min_{q} \mathbb{E} \left[ \| q(z_{\theta}) - z'_{\xi} \|_2^2 \right],

    则最优的 q∗q^* 应满足:

    q∗(zθ)=E[zξ′∣zθ].q^*(z_{\theta}) = \mathbb{E}[z'_{\xi} | z_{\theta}].

    在这种情况下,可以推导出 BYOL 的参数更新方向,它对 θ\theta 的梯度更新与条件变异数(conditional variance)相关:

    ∇θE[∥q∗(zθ)−zξ′∥22]=∇θE[∑iVar(zξ,i′∣zθ)],\nabla_{\theta} \mathbb{E} \left[ \| q^*(z_{\theta}) - z'_{\xi} \|_2^2 \right] = \nabla_{\theta} \mathbb{E} \left[ \sum_{i} \text{Var}(z'_{\xi, i} | z_{\theta}) \right],

    其中 zξ,i′z'_{\xi, i} 代表 zξ′z'_{\xi} 的第 ii 个特征分量。

    在上述假设下,这个更新方向可写成预期条件变异数的梯度。而根据条件变异数的基本性质,对于任意随机变量 X,Y,ZX, Y, Z,在取期望后有:

    E[Var(X∣Y,Z)]≤E[Var(X∣Y)].\mathbb{E}[\text{Var}(X | Y, Z)] \leq \mathbb{E}[\text{Var}(X | Y)].

    如果我们令:

    • X=zξ′X = z'_{\xi}(目标投影表示)
    • Y=zθY = z_{\theta}(当前的线上投影表示)
    • ZZ 为训练动态中的额外变异性

    则可得:

    E[Var(zξ′∣zθ,Z)]≤E[Var(zξ′∣zθ)].\mathbb{E}[\text{Var}(z'_{\xi} | z_{\theta}, Z)] \leq \mathbb{E}[\text{Var}(z'_{\xi} | z_{\theta})].

    在这个最优预测器假设下,单靠从线上表示丢弃信息,无法降低预期的条件变异数。作者因此推测恒定表示不会是实际训练会趋近的稳定解;这段推理没有排除所有退化情况。


  1. 最后再分析一下目标网络参数 ξ\xi 的更新方式。

    假设我们直接将线上网络参数 θ\theta 覆盖到目标网络:

    ξ←θ.\xi \leftarrow \theta.

    这样确实能够快速将线上网络的新变异性传递到目标网络,但这可能会破坏预测器的最优性假设,从而导致训练不稳定。因此,BYOL 使用指数移动平均来更新目标网络:

    ξ←τξ+(1−τ)θ.\xi \leftarrow \tau \xi + (1 - \tau) \theta.

    这种平滑更新策略让目标网络的变化较为缓慢。作者推测这有助于让预测器维持接近最优状态;论文的实验支持此解释,但没有证明它是唯一原因。

在 ImageNet 上的表现

作者依照标准的线性评估协议(linear evaluation protocol),在 BYOL 预训练后的固定表示上训练一个线性分类器,并测量 Top-1 和 Top-5 准确率。

在 ResNet-50(1×) 架构上,BYOL 达到了 74.3% Top-1 准确率(91.6% Top-5 准确率),比表中先前最佳的自监督方法高出 1.3 个百分点(Top-1)和 0.5 个百分点(Top-5)。

BYOL 缩小了与监督学习基线(76.5%)的差距,但仍然低于更强的监督学习基线(78.9%)。

在更深、更宽的 ResNet 架构上,BYOL 继续超越表中其他自监督学习方法;ResNet-50(4×) 为 78.6%,最佳的 79.6% 来自 ResNet-200(2×),已接近相应的监督式结果。

BYOL 在无需负样本的情况下,达到了与对比学习方法相当甚至更好的表现,并接近监督学习的基准,详细表格数据如下:

消融实验 - Part 1

作者进行了一系列的消融实验,探讨 BYOL 设计中的关键因素对最终模型表现的影响:

  1. 批量大小对性能的影响:

    在对比学习方法中,训练批量大小直接影响负样本数量。若批量大小减少,负样本数量下降,则训练效果会变差。而 BYOL 不依赖负样本,因此理论上应该更具稳健性。

    作者比较了 BYOL 与其重现的 SimCLR 在批量大小 128 - 4096、训练 300 个 epoch 下的线性评估降幅。BYOL 在 256 - 4096 的范围内变动较小,到 128 才明显下降;作者指出小批次的降幅与网络中的 BN 有关。SimCLR 随批量缩小下降较多,作者认为与可用负样本减少有关。


  1. 图像增强的影响:

    对比学习方法高度依赖图像增强,特别是颜色失真。这是因为随机裁剪的视角通常共享颜色信息,但来自不同图像的视角颜色变化较大。若不加入颜色增强,对比学习可能只学到基于颜色直方图的区别性,而非更深入的特征。

    作者比较了 BYOL 与其重现的 SimCLR 在逐步移除图像增强后的性能。只保留裁剪时,BYOL 相对基线仍下降约 13.1 个百分点(至 59.4%),但 SimCLR 下降约 27.6 个百分点(至 40.3%);因此这张图支持的是 BYOL 在这些设定下较不敏感。


  1. 自引导学习(Bootstrapping)的影响:

    BYOL 的核心机制之一是使用目标网络来提供学习目标,其中目标网络的权重是线上网络权重的指数移动平均(EMA)。若衰减率设为 1,则目标网络从不更新,相当于使用固定的随机网络。若衰减率设为 0,则目标网络每个步骤都与线上网络同步更新。

    作者测试不同的目标网络更新速率,结果显示:

    • 若目标网络更新过快,学习过程变得不稳定,因为学习目标变动过快。
    • 若目标网络更新过慢,则学习进展缓慢,最终学到的特征品质不佳。
    • 在这组 300-epoch 消融中,τbase=0.99\tau_{\text{base}}=0.99 的 72.5% 高于 0.9 与 0.999;主实验使用的起始值则为 0.996。

消融实验 - Part 2

作者进一步探讨 BYOL 与其他对比学习方法的关系,并分析 BYOL 能超越 SimCLR 的原因:

首先,从 InfoNCE 出发,考虑一个扩展的目标函数;下式采最大化分数的写法:

InfoNCEα,βθ=2B∑i=1BSθ(vi,vi′)−β⋅2αB∑i=1Bln⁡(∑j≠iexp⁡(Sθ(vi,vj)α)+∑jexp⁡(Sθ(vi,vj′)α)).\begin{aligned} \text{InfoNCE}_{\alpha, \beta}^{\theta} &= \frac{2}{B} \sum_{i=1}^{B} S_{\theta}(v_i, v'_i) \\ &\quad - \beta \cdot \frac{2\alpha}{B} \sum_{i=1}^{B} \ln \left( \sum_{j \neq i} \exp\left(\frac{S_{\theta}(v_i, v_j)}{\alpha}\right) + \sum_{j} \exp\left(\frac{S_{\theta}(v_i, v'_j)}{\alpha}\right) \right). \end{aligned}

其中:

  • α>0\alpha > 0:温度超参数(temperature)。
  • β∈[0,1]\beta \in [0,1]:负样本影响系数。
  • BB:批量大小。
  • v,v′v, v':批量中的增强视角,对于任意索引 ii,viv_i 和 vi′v'_i 来自同一图片的不同增强版本。
  • Sθ(u1,u2)S_{\theta}(u_1, u_2):衡量视角相似性的函数,定义如下: Sθ(u1,u2)=⟨ϕ(u1),ψ(u2)⟩∥ϕ(u1)∥2⋅∥ψ(u2)∥2S_{\theta}(u_1, u_2) = \frac{\langle \phi(u_1), \psi(u_2) \rangle}{\|\phi(u_1)\|_2 \cdot \|\psi(u_2)\|_2} 其中:
    • SimCLR:
      • ϕ(u)=zθ(u)\phi(u) = z_{\theta}(u)(不使用预测器)。
      • ψ(u)=zθ(u)\psi(u) = z_{\theta}(u)(不使用目标网络)。
      • β=1\beta = 1(使用负样本)。
    • BYOL:
      • ϕ(u)=pθ(zθ(u))\phi(u) = p_{\theta}(z_{\theta}(u))(使用预测器)。
      • ψ(u)=zξ(u)\psi(u) = z_{\xi}(u)(使用目标网络)。
      • β=0\beta = 0(不使用负样本)。

根据以上设置,实验结果如下表:

首先测试不同的 β\beta 值,来验证负样本对是否必要:

  • 当 β=1\beta = 1 且不使用预测器与目标网络时,可对应 SimCLR 的目标;单独调整 β\beta 并不会把任何架构都变成 SimCLR。
  • 当 β=0\beta = 0(不使用负样本对):表中只有同时包含目标网络和预测器的 BYOL 仍然能够有效学习。

在这组消融变体中,BYOL 是唯一能在不使用负样本对时仍保持良好性能的方法。

接着将目标网络添加到 SimCLR,观察其对性能的影响。表中准确率由 69.4% 到 70.9%,约提升 1.5 个百分点,显示这组设定下目标网络也有帮助。

最后测试仅对 SimCLR 添加预测器,结果并未优于表中的 SimCLR。作者认为预测器与目标网络的结合,是 BYOL 在这组无负样本设定下避免崩溃的重要因素。

结论

BYOL 的创新在于完全不使用负样本对,并通过目标网络和预测器的结合,在论文实验中避免了表示坍塌。在 ImageNet 上,BYOL 取得了最先进的自监督学习结果,并接近监督学习基线。此外,BYOL 的表现超越了许多现有的对比学习方法。