{"notes":[{"id":"contrastive-learning/invaspread","category":"contrastive-learning","legacyPath":"contrastive-learning/1904-invaspread","legacySlug":"1904-invaspread","legacyPaths":[],"title":"InvaSpread","subtitle":"难题下的蛛丝马迹","author":"Z. Yuan","paperDate":"2019-04-06","publishedOn":"2025-01-23","paperTitle":"Unsupervised Embedding Learning via Invariant and Spreading Instance Feature","paperUrl":"https://arxiv.org/abs/1904.03436","bibliography":{"title":"Unsupervised Embedding Learning via Invariant and Spreading Instance Feature","authors":["Mang Ye","Xu Zhang","Pong C. Yuen","Shih-Fu Chang"],"url":"https://arxiv.org/abs/1904.03436","pdfUrl":"https://arxiv.org/pdf/1904.03436","codeUrl":null,"preprint":{"id":"1904.03436","submittedOn":"2019-04-06","url":"https://arxiv.org/abs/1904.03436"},"publication":{"venue":"CVPR","year":2019,"kind":"conference","url":"https://arxiv.org/abs/1904.03436"},"citation":"@misc{contrastivelearninginvaspread2019,\n  title = {{Unsupervised Embedding Learning via Invariant and Spreading Instance Feature}},\n  author = {Mang Ye and Xu Zhang and Pong C. Yuen and Shih-Fu Chang},\n  year = {2019},\n  eprint = {1904.03436},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1904.03436}\n}\n","citationPath":"/content/papers/citations/contrastive-learning/invaspread.a46b3f57ac16.bib"},"thumbnail":{"src":"/content/papers/assets/135f248ffa5c98e798e9cd5d75ab7cdb38fda8130eae2511547941d70f316165.jpg","width":1596,"height":524},"locale":"zh-hans","path":"/content/papers/zh-hans/contrastive-learning/invaspread.34a854397fae.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"模型架构","text":"模型架构","depth":3},{"id":"损失函数","text":"损失函数","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"和其他方法的比较","text":"和其他方法的比较","depth":3},{"id":"未知类别的实验","text":"未知类别的实验","depth":3},{"id":"消融实验","text":"消融实验","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"contrastive-learning/examplar-cnn","relation":"comparison","topic":"如何定义自监督预测任务"},{"id":"contrastive-learning/cpc","relation":"comparison","topic":"如何定义自监督预测任务"}]},{"id":"contrastive-learning/examplar-cnn","category":"contrastive-learning","legacyPath":"contrastive-learning/1406-examplar-cnn","legacySlug":"1406-examplar-cnn","legacyPaths":[],"title":"Exemplar CNN","subtitle":"寻找不变的特征","author":"Z. Yuan","paperDate":"2014-06-26","publishedOn":"2025-01-22","paperTitle":"Discriminative Unsupervised Feature Learning with Exemplar Convolutional Neural Networks","paperUrl":"https://arxiv.org/abs/1406.6909","bibliography":{"title":"Discriminative Unsupervised Feature Learning with Exemplar Convolutional Neural Networks","authors":["Alexey Dosovitskiy","Philipp Fischer","Jost Tobias Springenberg","Martin Riedmiller","Thomas Brox"],"url":"https://arxiv.org/abs/1406.6909","pdfUrl":"https://arxiv.org/pdf/1406.6909","codeUrl":null,"preprint":{"id":"1406.6909","submittedOn":"2014-06-26","url":"https://arxiv.org/abs/1406.6909"},"publication":{"venue":"IEEE Transactions on Pattern Analysis and Machine Intelligence","shortVenue":"IEEE TPAMI","year":2016,"kind":"journal","url":"https://doi.org/10.1109/tpami.2015.2496141"},"citation":"@misc{contrastivelearningexamplarcnn2014,\n  title = {{Discriminative Unsupervised Feature Learning with Exemplar Convolutional Neural Networks}},\n  author = {Alexey Dosovitskiy and Philipp Fischer and Jost Tobias Springenberg and Martin Riedmiller and Thomas Brox},\n  year = {2014},\n  eprint = {1406.6909},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1406.6909}\n}\n","citationPath":"/content/papers/citations/contrastive-learning/examplar-cnn.9f293122852b.bib"},"thumbnail":{"src":"/content/papers/assets/52a4c5931d81eeedf2a0857944f10ddc3749d7195e81184efa2a80bc736d062d.jpg","width":1080,"height":418},"locale":"zh-hans","path":"/content/papers/zh-hans/contrastive-learning/examplar-cnn.d0db427fa7e0.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"实验配置","text":"实验配置","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"和其他方法的比较","text":"和其他方法的比较","depth":3},{"id":"消融实验-代理类别数量","text":"消融实验-代理类别数量","depth":3},{"id":"消融实验-样本数量","text":"消融实验-样本数量","depth":3},{"id":"消融实验-图像增强类型","text":"消融实验-图像增强类型","depth":3},{"id":"消融实验-参数配置","text":"消融实验-参数配置","depth":3},{"id":"滤波器可视化","text":"滤波器可视化","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"contrastive-learning/invaspread","relation":"comparison","topic":"如何定义自监督预测任务"},{"id":"contrastive-learning/cpc","relation":"comparison","topic":"如何定义自监督预测任务"}]},{"id":"contrastive-learning/cpc","category":"contrastive-learning","legacyPath":"contrastive-learning/1807-cpc","legacySlug":"1807-cpc","legacyPaths":[],"title":"CPC","subtitle":"未知生，焉知死？","author":"Z. Yuan","paperDate":"2018-07-10","publishedOn":"2025-01-16","paperTitle":"Representation Learning with Contrastive Predictive Coding","paperUrl":"https://arxiv.org/abs/1807.03748","bibliography":{"title":"Representation Learning with Contrastive Predictive Coding","authors":["Aaron van den Oord","Yazhe Li","Oriol Vinyals"],"url":"https://arxiv.org/abs/1807.03748","pdfUrl":"https://arxiv.org/pdf/1807.03748","codeUrl":null,"preprint":{"id":"1807.03748","submittedOn":"2018-07-10","url":"https://arxiv.org/abs/1807.03748"},"publication":null,"citation":"@misc{contrastivelearningcpc2018,\n  title = {{Representation Learning with Contrastive Predictive Coding}},\n  author = {Aaron van den Oord and Yazhe Li and Oriol Vinyals},\n  year = {2018},\n  eprint = {1807.03748},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1807.03748}\n}\n","citationPath":"/content/papers/citations/contrastive-learning/cpc.4cc0d1d40232.bib"},"thumbnail":{"src":"/content/papers/assets/a60b1a92f6088b36ddee7c87fed67d1e73769e003c30805f963c6b284d0c3a86.jpg","width":1382,"height":626},"locale":"zh-hans","path":"/content/papers/zh-hans/contrastive-learning/cpc.a52629850acb.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"模型架构","text":"模型架构","depth":3},{"id":"infonce","text":"InfoNCE","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"语音识别领域应用","text":"语音识别领域应用","depth":3},{"id":"消融实验","text":"消融实验","depth":3},{"id":"说话人识别可视化","text":"说话人识别可视化","depth":3},{"id":"图像识别领域应用","text":"图像识别领域应用","depth":3},{"id":"图像特征可视化","text":"图像特征可视化","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"contrastive-learning/examplar-cnn","relation":"comparison","topic":"如何定义自监督预测任务"},{"id":"contrastive-learning/invaspread","relation":"comparison","topic":"如何定义自监督预测任务"}]}],"text":"这篇论文主要的比较目标是 Exemplar CNN 和 InstDisc 这两篇论文。\n\n\n> [!TIP]\n> \n> 如果你不知道这两篇论文是什么，不妨先去看看我们之前的文章：\n> \n> - [**[14.06] Exemplar CNN: 寻找不变的特征**](/blog/papers/contrastive-learning/examplar-cnn)\n> - [**[18.05] InstDisc: 多多益善**](/blog/papers/contrastive-learning/instdisc)\n> \n> 在这篇论文中，称 `InstDisc` 这篇论文为 NCE；称 `Exemplar CNN` 这篇论文为 Exemplar。\n\n\n## 定义问题\n\n为了要找到通用的特征，其一是使用分类器权重的 Softmax 嵌入，也是 Exemplar CNN 提出的方法：**将每张图片当作一个独立的类别**。\n\nExemplar CNN 定义了一个矩阵 $W = [w_1, w_2, \\dots, w_n]^T \\in \\mathbb{R}^{n \\times d}$，其中 $w_j$ 是对应第 $j$ 个实例的分类器权重。\n\n训练时，基于 Softmax 函数，样本 $x_j$ 被识别为第 $i$ 个实例的概率为：\n\n$$\nP(i|x_j) = \\frac{\\exp(w_i^T f_j)}{\\sum_{k=1}^n \\exp(w_k^T f_j)}\n$$\n\n在每一步中，网络会将特征 $f_i$ 拉近对应的分类器权重 $w_i$，并远离其他分类器权重 $w_k$。\n\n但这种方法的分类器权重会导致特征间的显式比较受到限制，最终导致效率和识别力不佳。\n\n接着 InstDisc 舍弃了分类器权重，提出了 Memory Bank 的方法，将该实例上次计算的特征 $f_i$ 保存下来，记作 $v_i$。\n\n此记忆特征在后续步骤中「直接」作为对应实例的分类器权重，样本 $x_j$ 被识别为第 $i$ 个实例的概率为：\n\n$$\nP(i|x_j) = \\frac{\\exp(v_i^T f_j / \\tau)}{\\sum_{k=1}^n \\exp(v_k^T f_j / \\tau)}\n$$\n\n其中，$\\tau$ 是控制分布集中度的温度参数。$v_i^T f_j$ 表示特征 $f_j$ 与记忆特征 $v_i$ 的余弦相似度。\n\n缺点是记忆特征更新频率较低，网络的即时特征 $f_i$ 与过时的记忆特征 $v_i$ 之间的比较会导致训练效率下降。\n\n既然使用有参数的 Softmax 效果不好；使用 Memory Bank 的方法效率不高，那么有没有一种方法，可以直接优化特征本身，而不是分类器权重或记忆特征呢？\n\n作者认为我们应该舍弃 Memory Bank，直接优化特征本身就好！\n\n## 解决问题\n\n### 模型架构\n\n\n\n![model_arch](/content/papers/assets/135f248ffa5c98e798e9cd5d75ab7cdb38fda8130eae2511547941d70f316165.jpg)\n\n\n\n上图为作者提出的方法框架，看起来很简单，首先输入一批图片，这些图片会经过随机的数据增强操作。\n\n- **原始图片：** 一组无标签的图片作为数据来源。\n- **数据增强：** 每张图片都会被应用随机的增强方法（如旋转、裁剪、颜色抖动等），生成增强后的图片。这些增强后的图片保留了与原始图片相同的语义信息。\n\n每张图片和它的另一个增强版本会分别进入共享权重的 CNN 分支，提取出对应的特征向量；第一个分支也可以使用数据增强。两个分支的特征分别记为 $f_i$ 和 $\\hat{f}_i$，并做 L2 归一化。\n\n最后是特征的对齐和分散：\n\n- **相同图片的特征对齐 (Invariance)：** 对于同一实例的两个版本，希望嵌入特征 $f_i$ 和 $\\hat{f}_i$ 靠近，以降低所用增强操作造成的差异。\n- **不同图片的特征分散 (Spread-out)：** 批量中不同实例的嵌入特征应该相互分离，帮助模型区分不同图片；但未标注数据可能包含同类图像，因此其中也可能有假负例。\n\n### 损失函数\n\n在方法论的最后，我们来看这篇论文所设计的损失函数。\n\n首先是正样本的分类概率，增强样本 $\\hat{x}_i$ 被正确分类为实例 $i$ 的概率为：\n\n$$\nP(i|\\hat{x}_i) = \\frac{\\exp(f_i^T \\hat{f}_i / \\tau)}{\\sum_{k=1}^m \\exp(f_k^T \\hat{f}_i / \\tau)}\n$$\n\n其中：\n\n- $f_i$：原始图片 $x_i$ 的嵌入特征。\n- $\\hat{f}_i$：增强图片 $\\hat{x}_i$ 的嵌入特征。\n- $\\tau$：温度参数，用于调节概率分布的集中程度。\n\n然后是错误分类概率，其他实例 $x_j, j \\neq i$ 被错误分类为实例 $i$ 的概率为：\n\n$$\nP(i|x_j) = \\frac{\\exp(f_i^T f_j / \\tau)}{\\sum_{k=1}^m \\exp(f_k^T f_j / \\tau)}\n$$\n\n而 $x_j$ 没有被错误分类为实例 $i$ 的概率为：\n\n$$\n1 - P(i|x_j)\n$$\n\n假设不同实例被分类为实例 $i$ 是相互独立的，则联合概率为：\n\n$$\nP_i = P(i|\\hat{x}_i) \\prod_{j \\neq i} (1 - P(i|x_j))\n$$\n\n其中：\n\n- $P(i|\\hat{x}_i)$：增强样本 $\\hat{x}_i$ 被正确分类为实例 $i$ 的概率。\n- $1 - P(i|x_j)$：其他实例 $x_j, j \\neq i$ 没有被错误分类为实例 $i$ 的概率。\n\n基于最大似然估计，我们可以将联合概率取负对数，得到损失函数：\n\n$$\nJ_i = -\\log P(i|\\hat{x}_i) - \\sum_{j \\neq i} \\log(1 - P(i|x_j))\n$$\n\n这里，损失函数由两部分组成：\n\n1. 增强样本 $\\hat{x}_i$ 被正确分类的损失（第一项）。\n2. 其他样本未被错误分类的损失（第二项）。\n\n在批量中对所有实例进行加总，最后的总损失函数定义为：\n\n$$\nJ = -\\sum_i \\log P(i|\\hat{x}_i) - \\sum_i \\sum_{j \\neq i} \\log(1 - P(i|x_j))\n$$\n\n实现时，每个批量的 $m$ 个实例各有一个增强版本；每个样本有一个对应正例，其余 $2m-2$ 个特征用作负例。这个损失函数直接使用当前批量的特征，省去逐类别的分类器权重与记忆库；效率和识别能力仍要由后面的实验比较判断。\n\n## 讨论\n\n### 和其他方法的比较\n\n\n\n![result](/content/papers/assets/eb4a0a0dbcc50eebe3f7127b3de08345d6b7f34fe7983030df5223e8e5c89e08.jpg)\n\n\n\n作者首先遵循 InstDisc 的实验设计，在 CIFAR-10 和 STL-10 数据集上进行实验，并将 ResNet18 网络作为主干网络，嵌入特征的输出维度设置为 128。评估采用余弦相似度选出 $k=200$ 个邻居，再做加权 kNN 投票。\n\n上表为基于 CIFAR-10 数据集的实验结果，作者将本文方法与 DeepCluster、Exemplar CNN、NPSoftmax、NCE 和 Triplet loss 方法进行比较。结果显示，本文方法在 kNN 分类器上达到了最佳性能（83.6%）。\n\n在不同 epoch 中，作者绘制了其他方法的学习曲线，如下图：\n\n\n\n![efficiency](/content/papers/assets/f16c3ebfc9432881d14b78787ab4d0836d1fc8df71f13361b31cc4424dd04a71.jpg)\n\n\n\n结果显示，在 CIFAR-10 这组实验中，本文方法约 2 个 epoch 即达到 kNN 分类准确率 60%，而 NCE 约需 25 个 epoch，Exemplar 则约需 45 个 epoch。\n\n这张曲线显示本文方法在相同准确率门槛下收敛较快。作者将此归因于直接优化批量内实例特征，而非依赖分类器权重或记忆库。\n\n\n> [!TIP]\n> \n> STL-10 的结果还分使用 5,000 与 105,000 张训练图像；比较其他方法时，记得对齐数据量与线性分类／kNN 指标。\n\n\n### 未知类别的实验\n\n根据监督深度嵌入学习的既有工作，作者评估了测试集的指标如下：\n\n- **检索性能（R@K）：** 测量测试集中，对于给定查询图片，在前 $k$ 个检索结果中正确匹配（相同类别标签）的概率。\n- **聚类性能（NMI）：** 使用归一化互信息（NMI）测量测试集的聚类品质。\n\n接着，为了评估学习到的特征嵌入在训练样本与测试样本的语义类别不重叠时的区分能力，作者在 CUB200、Product 和 Car196 三个数据集上进行了实验：\n\n- **CUB200（鸟类数据集）：** 使用前 100 个类别（共 5,864 张图片）进行训练，后 100 个类别（共 5,924 张图片）进行测试。\n- **Product（产品数据集）：** 使用前 11,318 个类别（共 59,551 张图片）进行训练，后 11,316 个类别（共 60,502 张图片）进行测试。\n- **Car196（汽车数据集）：** 使用前 98 个类别（共 8,054 张图片）进行训练，后 98 个类别（共 8,131 张图片）进行测试。\n\n这组实验缺省使用 ImageNet 预训练的 Inception-V1 骨干，只是不使用上述目标数据集的类别标签训练嵌入；CUB200 还利用预训练特征找最近邻作额外正例。论文另在 Product 提供不使用预训练权重的实验，因此下表不能解读为完全从零开始的无监督比较。\n\n\n\n![unknown](/content/papers/assets/173388835b8984902cbb2e35ada33d63c22dadb194b67b70542bac60e09b46b1.jpg)\n\n\n\n结果显示如上表，本文方法在 CUB200 的 R@1 为 46.2%、NMI 为 55.4%，高于表中的其他无监督方法；R@1 也高于部分表列监督方法，但低于其中最好的 49.8%。这组结果须连同 ImageNet 预训练条件解读。\n\n\n> [!TIP]\n> \n> 这里我们仅截取了 CUB200 数据集的结果，其他两个数据集的结果可以参考原文。\n\n\n### 消融实验\n\n本文提出的方法在实例特征学习中引入了两个重要的性质：**数据增强不变性** 和 **实例分散性**。\n\n为了验证这两个性质对性能的影响，作者在 CIFAR-10 数据集上进行了消融实验。\n\n- **数据增强不变性的影响**\n\n\n\n    ![data_aug](/content/papers/assets/868decd7c0ca0ec37b18d0050c71028a127492cb644137b18c2f0c002d1477c9.jpg)\n\n\n\n  上表展示了结果，其中：\n\n  - **`w/o`**：表示去除特定增强操作的情况\n  - **`R`**：表示随机裁剪（RandomResizedCrop）\n  - **`G`**：表示随机灰阶（RandomGrayscale）\n  - **`C`**：表示颜色抖动（ColorJitter）\n  - **`F`**：表示随机水平翻转（RandomHorizontalFlip）。\n\n  从结果可以看出，所有增强操作都对模型的性能提升起到了作用，特别是随机裁剪贡献最大。此外，作者也在完全不进行数据增强（No DA）的情况下进行了实验，结果如下表：\n\n\n\n    ![no_data_aug](/content/papers/assets/fe08a5b5998d659fa2b5efdb53bb81786cc1861f222d2bb5894d06165eceaf97.jpg)\n\n\n\n  结果分类准确率从 83.6% 骤降至 37.4%，真是惊人！\n\n  作者认为，没有数据增强时，同一实例缺乏不同版本来形成正例对，因而难以学到所需的不变性；表 8 的准确率下降支持这组设置下数据增强的重要性。\n\n- **实例分散性的影响**\n\n  为了研究实例分散性的作用，作者测试了两种负样本选择策略：\n\n  1. **Hard Negative（困难负样本）：** 选择与查询实例最相似的前 50% 特征作为负样本。\n  2. **Easy Negative（简单负样本）：** 选择与查询实例最不相似的后 50% 特征作为负样本。\n\n\n\n    ![no_data_aug](/content/papers/assets/fe08a5b5998d659fa2b5efdb53bb81786cc1861f222d2bb5894d06165eceaf97.jpg)\n\n\n\n  还是同样这张表格，仅使用简单负样本时，准确率从完整模型的 83.6% 降至 57.5%；仅使用困难负样本时则为 83.2%，接近完整模型。\n\n  意思就是分离困难负样本有助于提升学到嵌入特征的区分能力。相比之下，简单负样本对模型几乎没有挑战性，因而无法有效帮助模型学习实例分散性。\n\n## 结论\n\n这篇论文就强调了两个重点：「数据增强不变性」和「实例分散性」。\n\n在本文测试的设置中，数据增强与困难负样本有助于学习更有区分力的特征。\n\n这两个结论在后续的研究中仍然反复出现，可以说是无监督学习领域内的重要观察成果。\n","imageSizes":{"/content/papers/assets/135f248ffa5c98e798e9cd5d75ab7cdb38fda8130eae2511547941d70f316165.jpg":{"width":1596,"height":524},"/content/papers/assets/eb4a0a0dbcc50eebe3f7127b3de08345d6b7f34fe7983030df5223e8e5c89e08.jpg":{"width":488,"height":324},"/content/papers/assets/f16c3ebfc9432881d14b78787ab4d0836d1fc8df71f13361b31cc4424dd04a71.jpg":{"width":488,"height":388},"/content/papers/assets/173388835b8984902cbb2e35ada33d63c22dadb194b67b70542bac60e09b46b1.jpg":{"width":624,"height":446},"/content/papers/assets/868decd7c0ca0ec37b18d0050c71028a127492cb644137b18c2f0c002d1477c9.jpg":{"width":1038,"height":126},"/content/papers/assets/fe08a5b5998d659fa2b5efdb53bb81786cc1861f222d2bb5894d06165eceaf97.jpg":{"width":984,"height":124}}}
