返回论文笔记资料库
arXiv 2018CVPR 2018对比学习论文笔记

InstDisc

多多益善

原始论文

Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination

论文作者

Zhirong Wu · Yuanjun Xiong · Stella Yu · Dahua Lin

发表版本
CVPR 2018会议
arXiv 首次提交
arXiv:1805.01978
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{contrastivelearninginstdisc2018,
  title = {{Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination}},
  author = {Zhirong Wu and Yuanjun Xiong and Stella Yu and Dahua Lin},
  year = {2018},
  eprint = {1805.01978},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1805.01978}
}
本页内容

抓个开发的空档,赶紧来看一些对比学习的相关论文。

虽然之前已经听过大师课,但还是自己读过一遍感觉比较扎实。

在对比学习的概念开始流行之前,度量学习(Metric Learning)已经在业界得到广泛应用。最广为人知的就是人脸辨识,没有之一。

度量学习的核心在于通过学习特征表示 FF,从而在样本 xx 和 yy 之间创建一种度量:

dF(x,y)=∥F(x)−F(y)∥d_F(x, y)=\|F(x)-F(y)\|

在测试类别与训练类别不同的任务中,模型主要依靠学到的特征进行推断,针对训练类别的线性分类器不能直接沿用。

定义问题

但作者这里对比的度量学习方法使用「类别」层级的监督信号,需要知道训练图像属于哪个类别。

这些方法依赖监督信号;现实应用中我们却常有大量「无标签」数据,因此不能直接采用这类有监督的训练方式。

于是研究者们找出了各式各样的解决方式:

生成模型

生成模型(Generative Models)的概念也很吸引人:通过学习数据分布来生成或重建图像。Autoencoder 和 VAE 常通过编码器、解码器学习隐藏表示;GANs 则使用生成器和判别器。

优点是不需要人工类别标签,有图像就可以训练;但生成或重建高分辨率图像也可能带来很高的计算成本。

此外,生成质量与学到的表示取决于数据分布和训练过程;某些模型还可能遇到训练不稳定的问题。

自监督结构学习

自监督学习(Self-supervised Learning)的概念是利用数据内部的结构,构建一个预测任务,然后训练模型。

我们看几个有趣的例子:


看了这么多代理任务,好像每个都很有道理,但是我们无法解释为什么这些任务能帮助语义辨识,也无法确定最佳的自监督任务。

既然大家没有共识,那就来创造共识,作者从度量学习中得到启发,希望在没有人工标签的条件下,提出了一个全新特征学习的训练方法。

解决问题

为了得到一个「好的」特征表示方式,作者采用了「实例级别的区分」策略:把每张图像都视为一个独立的「类别」,并训练一个分类器来分辨每张图像是否属于自己的那个「类别」。

我们来看一下这个模型架构。

模型架构

如上图,左边是一个标示为「Backbone CNN」的深度卷积神经网络。它的功能是把输入的图像 xx(例如 224×\times224 图片)转成较高层次的语义特征。对于常见的 CNN 网络,可能包含多层卷积、批量归一化、池化等运算。最后一层一般会输出一个较高维度的向量,作为「视觉特征表示」。

从 Backbone CNN 输出的高端特征,通常维度还很大(例如 2048 维)。为了在大规模数据中运行,需要更压缩、更抽象的特征描述,所以作者加了一个「Projection Head」,把 CNN 输出的向量投影到 128 维 的向量空间。

投影完成后,再对输出的 128 维向量做 L2 Norm(∥v∥2=1\|\mathbf{v}\|_2 = 1),因此每个样本都会被约束到单位长度。这在计算相似度时特别有用,因为此时向量内积 viTvj\mathbf{v}_i^T \mathbf{v}_j 刚好代表这两个向量在球面上夹角余弦值的大小,数值范围在 [−1,1][-1, 1] 之间,比较直观也比较稳定。

传统分类器的问题

在传统的 Softmax 分类模型中,每个类别 jj 都会对应一个权重向量 wj\mathbf{w}_j。假设我们总共有 nn 张图像(也就等于 nn 个「类别」),对应的权重向量为 w1,w2,…,wn\mathbf{w}_1, \mathbf{w}_2, \dots, \mathbf{w}_n。对于某张图像 xx,经过神经网络得到的特征向量是 v=fθ(x)\mathbf{v} = f_\theta(x),那么这张图像被判断为第 ii 个图像(即第 ii 个「类别」)的条件概率可以写成:

P(i∣v)  =  exp⁡(wiTv)∑j=1nexp⁡(wjTv)P(i \mid \mathbf{v}) \;=\; \frac{\exp(\mathbf{w}_i^T \mathbf{v})}{\sum_{j=1}^{n} \exp(\mathbf{w}_j^T \mathbf{v})}

这个式子里,wiTv\mathbf{w}_i^T \mathbf{v} 用来衡量特征 v\mathbf{v} 与类别 ii 的相符程度;分母则是对所有类别(1 到 nn)做指数函数的加总,确保所有类别概率总和为 1。

在一般的分类问题中,类别数固定且不算太大,这种参数式 softmax 很常见。但此处把「每张图像」都视为一个新类别,代表类别数可以非常庞大(上万、上百万甚至更多),这样一来,每个类别都需要一个独立的权重向量 wj\mathbf{w}_j,不仅保存空间大,计算也很昂贵。

简单来说,就是 Train 不动。

非参数式分类器

为了改善上述问题,作者提出「非参数式」的做法:

  • 把公式里的 wj\mathbf{w}_j 换成「在内存(memory bank)里存的特征向量」vj\mathbf{v}_j。

也就是说,第 jj 个图像的「类别权重」不再是独立的 wj\mathbf{w}_j,而是直接使用第 jj 张图像本身的特征向量 vj\mathbf{v}_j。另外,作者强制将这些特征向量归一化成单位向量(即长度为 1),方便做相似度计算。

如此一来,Softmax 公式可改写为:

P(i∣v)=exp⁡ ⁣(viTv/τ)∑j=1nexp⁡ ⁣(vjTv/τ)P(i \mid \mathbf{v}) = \frac{\exp\!\bigl(\mathbf{v}_i^T \mathbf{v} / \tau\bigr)}{\sum_{j=1}^{n} \exp\!\bigl(\mathbf{v}_j^T \mathbf{v} / \tau\bigr)}

其中 τ\tau 称作「温度参数」(temperature),可以调整 softmax 分布的「锐利程度」;v\mathbf{v} 是当前图像 xx 正向传播得到的特征;vi\mathbf{v}_i 是「内存」里保存的第 ii 张图像的特征(同样是单位向量),viTv\mathbf{v}_i^T \mathbf{v} 则是两个单位向量的内积,数值范围介于 -1 到 1,用来表示它们的相似度。

Memory Bank

非参数式 softmax 的训练目标,与一般分类问题类似:就是最大化每张训练图像「被正确判定为它自己」的概率,或等价地最小化整个训练集的负对数似然:

J(θ)=−∑i=1nlog⁡P(i∣fθ(xi))J(\theta) = - \sum_{i=1}^{n} \log P\bigl(i \mid f_\theta(x_i)\bigr)

其中 fθ(xi)f_\theta(x_i) 记为 fi\mathbf{f}_i。计算 P(i∣fi)P(i \mid \mathbf{f}_i) 时,理论上需要所有图像的特征 {vj}\{\mathbf{v}_j\};但如果在每次反向传播都要把所有图像丢进神经网络算一遍,成本会相当高。

所以实现上,作者维护一个「Memory Bank」(V={vj}\mathbf{V} = \{\mathbf{v}_j\})来保存所有图像最近一次计算的特征,初始值是随机单位向量;并在每次训练迭代(iteration)后,用本次正向传播出来的 fi\mathbf{f}_i 更新对应图像的条目。

由于每张图像在内存中都有一个位置,可以快速读取上一次的特征,以减少大规模数据的计算成本。如果图像总数 nn 相当庞大,在实现时,分母要算 ∑j=1nexp⁡(vjTv/τ)\sum_{j=1}^{n} \exp(\mathbf{v}_j^T \mathbf{v} / \tau),这样的运算量对每张图像都是 O(n)O(n),当 nn 达到百万或更多时,几乎不可行。

Noise-Contrastive Estimation

NCE 核心想法是:

  1. 将多类别分类问题转成多个二元分类问题。
  2. 二元分类的目标:分辨「真实数据样本」和「噪声样本」。

在多类别情境下,本来每张图像都是一个「类别」;现在改用 NCE,对于某一张图像,我们只要去区分「是否是这张图像」以及「不是这张图像(噪音)」就好。

具体做法是把「其他图像」当成噪声,或说从一个噪声分布(PnP_n)中抽样来当负例,然后让模型学会区分谁是正例、谁是负例。

举例来说,想要计算「特征 v\mathbf{v} 来自第 ii 张图像的概率」时,可写成

P(i∣v)=exp⁡(vTfi/τ)ZiP(i \mid \mathbf{v}) = \frac{\exp(\mathbf{v}^T \mathbf{f}_i/\tau)}{Z_i}

其中

Zi=∑j=1nexp⁡(vjTfi/τ)Z_i = \sum_{j=1}^n \exp\bigl(\mathbf{v}_j^T \mathbf{f}_i/\tau\bigr)
  • fi\mathbf{f}_i 是第 ii 张图像这次正向传播得到的特征;v\mathbf{v} 是内存银行中取出的图像特征,此处的记号与前面把当前特征写成 v\mathbf{v} 的用法不同。
  • ZiZ_i 称作「归一化常数」,使固定 fi\mathbf{f}_i 对各内存项的概率加总为 1。
  • 若 nn 很大,计算 ZiZ_i 就要遍历所有 j=1,2,…,nj = 1, 2, \dots, n,成本极高。

NCE 的巧思就是在「大量可能类别」的情况,不直接算上式的完整分母。转而把「第 ii 类」对应的「正样本」和「噪声分布」对应的「负样本」区分开。

令噪声分布 PnP_n 是均匀分布(uniform)⇒Pn(i)=1n\Rightarrow P_n(i) = \frac{1}{n}。

论文引入一个超参数 mm,代表「噪声样本比真实样本多 mm 倍」,接着定义一个「后验概率」:

h(i,v):=P(D=1∣i,v)=P(i∣v)P(i∣v)+mPn(i)h(i, \mathbf{v}) := P(D=1 \mid i, \mathbf{v})= \frac{P(i \mid \mathbf{v})}{P(i \mid \mathbf{v}) + m P_n(i)}

这个 h(⋅)h(\cdot) 的意义:给定特征 v\mathbf{v} 以及类别 ii,它是「v\mathbf{v} 来自第 ii 张图像的真实数据,而不是噪声」的概率。P(i∣v)P(i \mid \mathbf{v}) 是上式的输出;mPn(i)m P_n(i) 则是抽到噪声样本(负例)对应到 ii 的相对概率。

接下来的关键是:

  1. 对正样本的 log-likelihood 取负号 (正样本被正确分类为正样本)。
  2. 对负样本的 log-likelihood 取负号 (负样本被正确分类为负样本)。

因此有:

JNCE(θ)=−EPd[log⁡h(i,v)]  −  m EPn[log⁡(1−h(i,v′))]J_{\text{NCE}}(\theta) = - \mathbb{E}_{P_d}\bigl[\log h(i, \mathbf{v})\bigr] \;-\; m \,\mathbb{E}_{P_n}\bigl[\log \bigl(1 - h(i, \mathbf{v}')\bigr)\bigr]
  • 其中 PdP_d 表示「真实数据分布」,也就是我们实际有的图像(正例)。
  • PnP_n 表示「噪音分布」,即噪声样本(负例)。
  • v\mathbf{v} 和 v′\mathbf{v}' 都是从 Memory Bank(V\mathbf{V})中取出的特征向量;只是一个是「对应到正样本(xix_i)」,另一个是「随机抽的噪声」。

直觉上,log⁡h(i,v)\log h(i, \mathbf{v}) 大,代表模型认为「v\mathbf{v} 属于第 ii 个图像」的概率高(好事);而 log⁡(1−h(⋅)) \log(1 - h(\cdot)) 大,代表模型正确地把噪音排除在外。

ZiZ_i 的近似

虽然刚才讲了这么多,但是最大的困难还是没有解决。

我们还是需要计算 ZiZ_i,里面有 ∑j=1nexp⁡(vjTfi/τ)\sum_{j=1}^{n} \exp(\mathbf{v}_j^T \mathbf{f}_i/\tau),当 nn 很大时,这仍然是个瓶颈。

NCE 一个常见的做法,是把 ZiZ_i 当成「一个常数」去估计或近似,并不带入梯度更新。而在本论文中参考下列文献的作法:

使用蒙地卡罗抽样(Monte Carlo approximation)来估计:

Z≃Zi≃n Ej∈subset[exp⁡(vjTfi/τ)]=nm∑k=1mexp⁡(vjkTfi/τ)Z \simeq Z_i \simeq n \,\mathbb{E}_{j \in \text{subset}} \bigl[\exp(\mathbf{v}_j^T \mathbf{f}_i / \tau)\bigr] = \frac{n}{m} \sum_{k=1}^{m} \exp\bigl(\mathbf{v}_{j_k}^T \mathbf{f}_i / \tau\bigr)

其中 {jk}\{j_k\} 是一组随机抽取出来的索引,用来近似整个集合的平均值。

原本要加总全部 nn 项才算出一个 ZiZ_i,现在只抽 mm 个负例,以这些负例做指数运算加总,再乘上一个 nm\frac{n}{m} 系数,近似整体平均。

论文中也提到,实验上只要在训练初期用少数批量就能估得不错,后续训练时再固定这个估计值,效果也相当好。

近端正则化

和一般分类问题不同的是,这里「每个类别」只有「一笔」训练样本。在每个训练 epoch 里,每个类别只会被采样到一次;作者观察到原本的训练目标震荡较大,收敛也较慢。

为了缓解这种随机抽样造成的不稳定,作者采用了近端正则化(Proximal Regularization)的概念,通过在损失函数中加入一项「平滑约束」,让每一次更新时,特征向量不会与上一次差距过大。这样做能稳定训练、加速收敛。

具体做法是,我们先假设两个变量:

  • 当前迭代(iteration tt):对训练数据 xix_i,通过网络计算到一个特征向量 vi(t)=fθ(xi)\mathbf{v}_i^{(t)} = f_\theta(x_i)。
  • Memory Bank:保存该图像上次更新时的特征向量,论文记为 vi(t−1)\mathbf{v}_i^{(t-1)};它不一定来自前一个全局 iteration。

在原本的 NCE 损失中,现在多加了一项 λ∥vi(t)−vi(t−1)∥2\lambda \|\mathbf{v}_i^{(t)} - \mathbf{v}_i^{(t-1)}\|^2。

于是目标函数变成:

−log⁡h(i,vi(t−1))  +  λ ∥vi(t)−vi(t−1)∥22- \log h\bigl(i, \mathbf{v}_i^{(t-1)}\bigr) \;+\; \lambda \,\bigl\|\mathbf{v}_i^{(t)} - \mathbf{v}_i^{(t-1)}\bigr\|_2^2
  • 第一项(−log⁡h(i,vi(t−1))- \log h(i, \mathbf{v}_i^{(t-1)}))是 NCE 的原始正例损失;
  • 第二项(λ∥vi(t)−vi(t−1)∥2\lambda \|\mathbf{v}_i^{(t)} - \mathbf{v}_i^{(t-1)}\|^2)鼓励新特征 vi(t)\mathbf{v}_i^{(t)} 不要和上一迭代的 vi(t−1)\mathbf{v}_i^{(t-1)} 差太多。

通过这个「近端项(proximal term)」,每次更新时,如果特征向量变动过大,会受到惩罚;随着训练渐渐收敛,理想状态是 vi(t)≈vi(t−1)\mathbf{v}_i^{(t)} \approx \mathbf{v}_i^{(t-1)},因此这个惩罚项也就越来越小,最后几乎回到原本的目标函数。

集成之后,作者给出「带有 Proximal Regularization 的最终目标函数」:

JNCE(θ)J_{\text{NCE}}(\theta) =−EPd[log⁡h(i,vi(t−1))  −  λ ∥vi(t)−vi(t−1)∥2]  −  m EPn[log⁡(1−h(i,v′(t−1)))].= - \mathbb{E}_{P_d} \Bigl[ \log h\bigl(i, \mathbf{v}_i^{(t-1)}\bigr) \;-\; \lambda \,\bigl\|\mathbf{v}_i^{(t)} - \mathbf{v}_i^{(t-1)}\bigr\|^2 \Bigr] \;-\; m \,\mathbb{E}_{P_n} \Bigl[ \log\bigl(1 - h\bigl(i, \mathbf{v}'^{(t-1)}\bigr)\bigr) \Bigr].

其中保留了原本 NCE 中的「正例 log⁡h(⋅)\log h(\cdot)」和「负例 log⁡(1−h(⋅))\log(1 - h(\cdot))」两大项;多了 −λ∥vi(t)−vi(t−1)∥2- \lambda \|\mathbf{v}_i^{(t)} - \mathbf{v}_i^{(t-1)}\|^2 以抑制特征向量的剧烈变动。

为了确认 Proximal Regularization 的效果,作者比较了不同 λ\lambda 值(如 0、10、30、50)对训练的影响:

如上图所示,当 λ=0\lambda = 0(即无 proximal 项)时,训练损失的曲线震荡较大、下降较慢;加入适度大小的 λ\lambda 后,曲线较平滑。作者另报告学到的特征有所改善,这不能只由损失曲线判定。

测试时,作者在特征空间依余弦相似度找出 k=200k=200 个最近邻居,再以 exp⁡(si/τ)\exp(s_i/\tau) 加权投票预测类别;此处使用的 τ=0.07\tau=0.07 与训练设置相同。

讨论

参数式 vs 非参数式 Softmax

既然本篇论文的核心是「非参数式 Softmax」,作者首先在 CIFAR-10 上做了一个实验,比较了「参数式 Softmax」和「非参数式 Softmax」的效果。

由于 CIFAR-10 数据集规模不算大,可以直接计算非参数式 Softmax 的分母,因此可以直接比较两者的差异。评估方法是用 Linear SVM 和 k-NN 分类器,分别在「参数式」和「非参数式」特征上进行分类,并比较两者的准确率。

实验结果如上表,可以看到参数式 Softmax 在 SVM 和 k-NN 的表现分别是 60.3% 和 63.0%;而非参数式 Softmax 则分别是 75.4% 和 80.8%。这显示了非参数式 Softmax 在这个实验中有显著的提升,证明了作者的方法的优势。

此外,作者也研究了在「非参数式」设置下,若使用 NCE 近似会有什么影响,同样展示在上表,NCE 的超参数 mm 代表每个实例(正样本)会抽取多少个负样本做对比:

  • 当 m=1m = 1 时(只抽 1 个负例),k-NN 准确率骤降至 42.5%,显示近似过度(负例太少)。
  • 随着 mm 增加,k-NN 准确率由 42.5% 升至 80.4%,接近完整非参数式 Softmax 的 80.8%;但同列线性 SVM 的 70.2% 仍低于完整版本的 75.4%。文中的 m=49,999m = 49,999 指 CIFAR-10 训练集其余全部图像的完整比较,并非上表另列的实验列。

图像分类任务的性能

接著作者在 ImageNet 上进行了更大规模的实验,比较了不同方法在各种网络架构下的表现。

实验设置如下:

  • 数据集:ImageNet,约 128 万张图像,1000 个类别。
  • 温度参数 τ\tau:设置为 0.07。
  • NCE 负例数 mm:4,096。作者平衡了「计算成本」与「特征品质」。
  • 训练:
    • 训练 200 epochs,用 Momentum SGD。
    • batch size = 256。
    • 初始学习率 0.03,在前 120 epochs 保持,之后每 40 epochs 衰减(×0.1)。

作者列出了几个代表性的无监督学习(或自监督学习)方法,包括:

  • Random initialization(随机初始化,作为下限)。
  • Self-supervised
  • Adversarial learning
  • Exemplar CNN
  • Split-brain autoencoder:是近期表现较好的自监督基准方法之一。

作者使用多种常见架构:AlexNet、VGG16、ResNet-18、ResNet-50,观察本方法换用不同骨干后的结果。表中其他方法多取自各自论文,网络架构与评估设置未完全相同。

评估方式有两种,分别为:

  1. 线性 SVM (conv1 ~ conv5):分别在不同卷积层(如 conv1、conv2、conv3、...)输出的中间特征上训练一个线性分类器,测试在 ImageNet 验证集的分类效果。
  2. k-NN (最后 128 维输出):直接在最后输出的 128 维特征做最近邻居分类。

实验结果如下表:

使用 AlexNet 时,本方法在 conv5 特征上的线性分类达 35.6%(top-1 accuracy),高于表中其他 AlexNet 方法的最佳数值。

接着,使用 ResNet-50 时,conv5 线性分类达 54.0%,而表列 Exemplar CNN 使用 ResNet-101 的结果为 31.5%。两者的训练与评估设置不同,不能只由这两列判定方法本身造成的差距;本方法四种骨干的 conv5 数值则随架构改变而提高。

本方法使用最后 128 维特征做 k-NN,AlexNet 至 ResNet-50 分别得到 31.3%、33.9%、41.0% 和 46.5%;都低于各自的 conv5 线性分类,但仍显示最后的特征具备分类能力。表中本方法的后段卷积特征通常比前段更适合线性分类。

最后在效率的部分,表中一些方法使用约 10,000 维的中间层特征;本方法最后输出只有 128 维。作者报告完整 ImageNet(约 128 万张)的特征保存约需 600 MB,并在 Titan X GPU 上以每张图像约 20 ms 完成全库最近邻搜索。

跨数据集的泛化能力

作者接着测试把在 ImageNet 上学到的特征,直接套用到另一个大型数据集 Places (2.45M 图片、205 类别),不做 finetune,只进行特征抽取,然后在 Places 上训练线性分类器或做 k-NN。

实验结果如上表,本方法在 ResNet-50 的 conv5 线性分类和最后特征 k-NN 分别为 45.5% 和 41.6%。它高于表列方法在相应字段的数值,但骨干与评估特征不同,不能把差距全归因于学习目标。

这些结果显示,直接用 ImageNet 上学到的特征,也能在不同领域(场景分类)保持不错的效果,展现方法的跨领域泛化能力。

消融实验 - 特征维度

确认模型架构确实有效之后,最后我们来看一些消融实验。

首先探讨特征维度的影响,作者将特征维度从 32 → 64 → 128 → 256 进行比较,结果如上表。

实验显示,ResNet-18 的 k-NN top-1 准确率从 32 维的 34.0% 提升至 128 维的 41.0%;增加到 256 维时反而降至 40.1%。在这组设置下,128 维已是表中的最佳选项。

消融实验 - 训练集大小

接着,作者探讨了「训练集大小」对模型效果的影响,实验设置如下:

  • ImageNet 训练集:分别取 0.1%、1%、10%、30%、100% 的图像作为训练集。
  • 评估:用完整标注数据集的最近邻分类结果评估特征。

实验结果如上表,训练数据从 0.1% 增至 100% 时,准确率由 3.9% 升至 41.0%。在这个测试范围内,更多未标注数据对学到的特征有帮助。

可视化分析

文章的最后,作者展示了一些特征可视化的结果,也就是我们常听到的「以图搜图」的功能,通过比对图像特征,找到和「Query」最接近的图像。

实验结果如上图:

  • 最佳情况(上四行):检索到的前 10 张全部与查询图像属于相同类别。
  • 最差情况(下四行):前 10 张都不在同一「真实类别」;其中有些图像在形状、颜色或背景上仍可看出相似处,也有些难以从图中判断关联。

作者用这些案例说明实例级特征可能捕捉到类别标签以外的外观相似性;图例本身只是定性展示,不能单靠它判定整体检索品质。

结论

论文中还有应用于「半监督分类」和「物体侦测」的实验,我们就不再一一细说了,有兴趣的读者可以参考原文。

整体来说,这些实验充分验证了作者方法的泛用性与可扩充性:不仅在分类、检索上有效,也能在不同网络架构、不同数据规模、以及不同下游任务(半监督分类、侦测)上展现良好的泛化能力。

在这篇论文提出后,基于 NCE 损失的无监督学习框架很快地在大规模数据集上取得了令人印象深刻的结果,并且在实际应用中展现了强大的性能。

后续还有几篇经典的论文,我们接着看下去。