返回论文笔记资料库
arXiv 2019CVPR 2020对比学习论文笔记

MoCo v1

动量对比学习

原始论文

Momentum Contrast for Unsupervised Visual Representation Learning

论文作者

Kaiming He · Haoqi Fan · Yuxin Wu · Saining Xie · Ross Girshick

发表版本
CVPR 2020会议
arXiv 首次提交
arXiv:1911.05722
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{contrastivelearningmocov12019,
  title = {{Momentum Contrast for Unsupervised Visual Representation Learning}},
  author = {Kaiming He and Haoqi Fan and Yuxin Wu and Saining Xie and Ross Girshick},
  year = {2019},
  eprint = {1911.05722},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1911.05722}
}
本页内容

已经有这么多机构在对比学习这个方向上提出了自己的见解,Facebook AI Research (FAIR) 肯定也不会缺席。

他们也在这个时候加入讨论,认为对比学习的关键可能在于:动量!

定义问题

在 NLP 领域中,文本空间的本质是离散的,可以轻易地把字或 sub-word tokens 当作「字典」。对比之下,图像空间是连续且高维的,没有像文本那样的自然分段。要在图像上套用类似 Tokenize 的流程,需要考量如何动态构建「字典」并从中抽取负例 (negative) 与正例 (positive)。

我们也读过了之前几篇论文,虽然效果不错,但仍然存在几个问题:

  1. 字典大小往往受限于 batch size 或 GPU 内存。
  2. 当网络参数不断更新时,字典中「旧」的特征向量与「新」的特征向量可能不一致。

一种可行的做法是使用很大的字典,像之前那篇提出 memory bank 的论文这般,但因为网络参数持续更新,memory bank 中存的特征向量会与新参数不相符,导致对比时不够「一致」。

既然不够「一致」,我们能不能将字典局限在当前 mini-batch 里呢?

也不行。

这种做法虽然能确保一次拿到的特征能保持一致;可是在视觉上,batch size 通常有限,导致可用的负例样本很少。由于负样本不足,对比学习的效果就会变差。

作者希望能找到一个方法,同时扩大字典规模,并且维持字典内特征向量的一致性,因此提出了 Momentum Contrast (MoCo)。

简单来说,就是使用一个队列(queue)来保存大量的负例,并且以动量更新(momentum update)的方式让 key encoder 慢速演化,维持与历史负例的一致性。

真的有这么简单?

我们这就来看一下这篇方法的细节。

解决问题

MoCo 的核心假设是:若字典的负例数量越多(表示能够涵盖越广的多样性),并且在训练过程中保持编码的「一致性」(consistency)越高,就能学到较好的特征表示。

设计概念如下图所示:

在 MoCo 的设计中,查询(query)和键(key)分别由两个编码器进行编码。其中 query encoder 负责编码当前批量的查询,而 key encoder 负责编码当前批量的正例 key;先前批量编码的 key 则保存在队列中,作为负例。为了减少队列中旧 key 与新 key 的编码差异,作者提出了 慢速动量更新:

θk←mθk+(1−m)θq\theta_k \leftarrow m \theta_k + (1 - m)\theta_q

其中 θq\theta_q 与 θk\theta_k 分别代表 query encoder 与 key encoder 的参数,mm 为动量系数(如 0.999)。通过这种方式,key encoder 的参数能够在训练过程中以较缓慢、平滑的方式跟上 query encoder 的最新状态,降低因编码器更新过于剧烈而造成的字典内特征差异。

同时,作者在这里设计了一个「队列」来保存大量的负例。

这个队列的大小可以远大于 batch size,因此能够保存更多的负例样本。每次训练读入的新 batch 会被编码后,enqueue 到队列尾端;同时最旧的一批 key 会被 dequeue 出去。如此一来,就能持续保存大量、多样化的负例,而每次更新仅需对新的 batch 做编码,计算量相对可控。

算法设计

作者可能也知道读者没有耐心读完整篇论文,所以提供了完整算法流程,看完就相当于读完了这篇论文。

我们逐行拆解一下:


python
# f_q, f_k: encoder networks for query and key
# queue: dictionary as a queue of K keys (CxK)
# m: momentum
# t: temperature

f_k.params = f_q.params # initialize
  1. 这行将 key encoder (f_k) 的参数初始化为 query encoder (f_q) 的参数。
    • 一开始两个编码器一致,之后训练过程中会用动量更新来让 key encoder 慢速演化。
python
for x in loader: # load a minibatch x with N samples
  1. 使用一个 数据加载器 (loader) 读取一个含 N 笔样本的 minibatch。
    • 通常 loader 是 PyTorch 的 DataLoader,会不断从数据集里取出 batch。
python
x_q = aug(x) # a randomly augmented version
x_k = aug(x) # another randomly augmented version
  1. 对同一批图像 x,各做一次随机增强 (augmentation)。
    • x_q 与 x_k 虽然来自同一张原图,但经过随机裁切、翻转、颜色抖动等操作后,形成两个不同的「视图 (views)」。
    • x_q 接下来会进 query encoder,x_k 进 key encoder,用于构成「正例」对(positive pair)。
python
q = f_q.forward(x_q) # queries: NxC
k = f_k.forward(x_k) # keys: NxC
  1. 分别通过 query encoder (f_q) 与 key encoder (f_k) 对增强后的图像做前向传播。
    • q 形状为 N x C,表示 N 笔样本,每笔样本的特征向量维度为 C。
    • k 同理,也是 N x C。
python
k = k.detach() # no gradient to keys
  1. k.detach() 表示不对 k 做梯度追踪。
    • 因为 key encoder 的更新并不是通过反向传播,而是通过「动量更新」(momentum update)。
    • 这可避免计算图 (computational graph) 自动回溯到 key encoder 的参数。
python
# positive logits: Nx1
l_pos = bmm(q.view(N,1,C), k.view(N,C,1))
  1. 算出 正例 (positive) 的 logits。
    • q.view(N,1,C) 表示把 q reshape 成 (N, 1, C),k.view(N,C,1) 为 (N, C, 1),以便做「批量矩阵乘法 (batch matrix multiplication)」。
    • bmm 会针对 batch 维度一一做内积,结果形状是 (N,1,1),可以视为 (N,1),对应每一笔样本的正例相似度(点积)。
python
# negative logits: NxK
l_neg = mm(q.view(N,C), queue.view(C,K))
  1. 算出 负例 (negative) 的 logits。
    • 这里 queue 大小为 (C x K),表示队列中有 K 个键向量,每个维度 C。
    • q.view(N,C) 与 queue.view(C,K) 做矩阵乘法,结果为 (N, K),代表每个 query 与所有队列中的 K 个键之内积。
    • 这些键被视为「负例」,因为它们来自先前批量的其他图像;这是前置任务对正、负例的定义。
python
# logits: Nx(1+K)
logits = cat([l_pos, l_neg], dim=1)
  1. 将正例的 logits (l_pos) 和负例的 logits (l_neg) 做拼接 (concatenation)。
    • 最后得到 (N, 1+K) 的张量,每一笔样本有 1 个正例(位置 0)和 K 个负例(位置 1 ~ K)。
python
# contrastive loss, Eqn.(1)
labels = zeros(N) # positives are the 0-th
loss = CrossEntropyLoss(logits/t, labels)
  1. 这一行计算 对比损失 (contrastive loss),类似于 InfoNCE。
    • labels = zeros(N) 表示对于 N 笔样本,正例的标签都是 0。因为在 logits 的拼接结果里,每笔样本的正例 logit 都在第 0 个位置。
    • logits/t 则把整个 logits 除以一个温度参数 t (temperature),控制 softmax 的平滑度。
    • CrossEntropyLoss 会把 logits 做 softmax,计算把每个样本分到正例位置 (0-th) 的交叉熵损失。
python
# SGD update: query network
loss.backward()
update(f_q.params)
  1. 用反向传播 (back-propagation) 来更新 query encoder 的参数。
    • loss.backward() 计算梯度,update(f_q.params) 表示通过优化器(如 SGD)运行权重更新。
python
# momentum update: key network
f_k.params = m*f_k.params + (1-m)*f_q.params
  1. 使用 动量更新(momentum update) 来更新 key encoder 的参数: θk←m θk  +  (1−m) θq\theta_k \leftarrow m\,\theta_k \;+\;(1 - m)\,\theta_q
    • 这里 m 是动量系数(通常设为接近 1,如 0.999)。
    • 因此 key encoder 的参数会更平滑地跟随 query encoder 变动,使得旧的 key 向量和新的 query 向量间的「不一致」(inconsistency) 可以降低。
python
# update dictionary
enqueue(queue, k) # enqueue the current minibatch
dequeue(queue) # dequeue the earliest minibatch
  1. 更新字典(队列):
    • enqueue(queue, k):把当前批量 k(形状 N x C)加入队列末端。
    • dequeue(queue):从队列前端移除最早的一批 key(同样 N x C 大小),确保队列大小维持在预先设置的 K。
    • 借此队列可不断滚动地保留最近编码到的 key,提供大量而多样化的负例给下次训练循环使用。

读完代码,我们最后总结几个重点:

  1. 双编码器架构 (f_q, f_k): Query encoder (f_q) 负责当前 batch 的查询;Key encoder (f_k) 计算当前批量的正例 key,先前批量的 key 留在队列中作为负例;它不直接接受反向传播梯度。
  2. 动量更新 (Momentum Update):Key encoder 以慢速方式贴近 Query encoder 的参数,可降低网络快速变动带来的「不一致性」。
  3. 大型字典 (Queue) 机制:每次只需编码当前 batch 的 key,然后把它们 enqueue;再 dequeue 掉最旧的一批 key。可以借此保留大量负例(keys),增强对比学习效益,同时避免像 memory bank 那样存整个数据集而造成巨量内存需求。
  4. 对比损失 (Contrastive Loss):通过正例 ℓpos\ell_{\text{pos}} 与负例 ℓneg\ell_{\text{neg}} 的内积得到 logits,接着用 softmax + cross entropy 的形式实现 InfoNCE 损失。

整个算法核心目的在于利用大规模且动态更新的队列做对比学习,同时藉动量更新减少各批量 key 编码器的差异,学到可用于下游任务的图像表征。

前置任务

这篇论文的重点不是在于设计「新的前置任务」,而是提出一种通用机制 MoCo 来建构「大且一致」的字典,以利于各种对比式学习。

作者在实验中使用了 instance discrimination 这种常见且简单的做法,将同一张图像的不同增强版本视为正例,其他图像的增强版本视为负例。

值得一提的是作者在实验中遇到了「BN 作弊 (Batch Normalization Cheating)」的问题。

所谓 BN 作弊,是指在对比式学习时,由于 Batch Normalization 会在同一个 batch 里共享统计量,query 与其正例 key 可能通过批量统计量交换信息,让模型找到损失低、但表示品质不佳的解。

为了避免这种情况,作者引入了「Shuffling BN」:在多 GPU 训练时,先打乱 key 批量的样本顺序,再分配到各 GPU 编码,编码后将顺序还原;query 批量则不打乱。如此一来,对应的 query 与正例 key 会使用不同子批量的 BN 统计量,减少信息泄漏。

讨论

我们挑几个重点图表来看看 MoCo 的效果,完整的实验结果请读者参考原论文。

特征稳健性

作者采用 线性分类 (linear classification) 来验证 MoCo 所学到的特征好坏。

  • 自我监督预训练:在 ImageNet-1M (IN-1M) 上进行 MoCo 的无监督训练,得到一个特征抽取网络。
  • 冻结 (freeze) 特征:接着固定该网络的卷积层权重,只在最后接上一个全连接层 (fully-connected layer + softmax) 进行有监督的线性分类,训练 100 个 epoch。
  • 评估:在 ImageNet 验证集上量测 Top-1 分类准确率 (1-crop)。

此流程是电脑视觉中常用的「检验自监督特征表示」方法,能排除较复杂的微调因素。

比较的对象是三种常见的对比损失机制:

  1. End-to-end:将 query encoder 与 key encoder 同时用反向传播更新。
  2. Memory bank:特征向量事先存于记忆库;但随训练更新,新旧特征容易不一致。
  3. MoCo:使用动量更新之 key encoder + 大规模队列管理负例。

实验结果如下图:

  • 三者都随着字典大小 KK 变大而准确率提升,显示大字典能捕捉更多样本多样性。
  • End-to-end 机制只能受限于 mini-batch 的大小(作者用 8 卡 Volta 32GB,可支持 batch size 约 1024)。但要更进一步扩大 batch size 会遇到大批量训练的困难。
  • Memory bank 虽可扩充更大字典,但在 K=65536K=65536 时为 58.0%,比 MoCo 的 60.6% 低 2.6 个百分点;作者认为原因与旧特征的编码差异有关。
  • MoCo 在图中较大字典设置下表现最好,支持作者兼顾「大字典」与「一致性」的设计动机。

动量系数的影响

作者进一步探讨了动量系数 mm 对 MoCo 的影响。

下表格中列出了不同 mm 值在预训练 (K = 4096) 下对 ResNet-50 的影响:

momentum mm00.90.990.9990.9999
accuracy (%)fail55.257.859.058.9

实验结果显示,动量系数 mm 对 MoCo 的性能有着明显影响:

  • mm 太小 (如 0.9) 会导致表示学习失准,正确率大幅下降。
  • m=0m=0 更是无法收敛。

相反地,0.99~0.9999 区间都能学到不错的表示,其中 0.999 附近效果最佳。这说明「慢速演化的 key encoder」有助于维持字典的一致性并让训练稳定收敛。

和其他方法之比较

为了更全面的比较,作者将 ResNet-50 (R50) 与其加宽版本 (2×, 4×) 都拿来做 MoCo 预训练,并报告模型大小 (#params) 与线性分类准确率的关系。

  • MoCo + R50:达到 60.6% Top-1 accuracy
  • MoCo + R50w4×:更大模型,达到 68.6% accuracy

详细比较数据如下表,若只看 标准 ResNet-50(参数量约 24M),MoCo 的 60.6% 准确率已经「优于」其他同级模型:

结论

MoCo 是一个简单而有效的对比式学习机制,通过动量更新与队列管理,实现了在无监督情境下同时获得「大字典」与「一致性」的目标。

整体而言,MoCo 的核心机制展现了很高的普适性及扩充性,为无监督视觉表示学习提供了一个兼顾效率与性能的解决方案。