{"notes":[{"id":"classic-cnns/densenet","category":"classic-cnns","legacyPath":"classic-cnns/1608-densenet","legacySlug":"1608-densenet","legacyPaths":[],"title":"DenseNet","subtitle":"全部连起来","author":"Z. Yuan","paperDate":"2016-08-25","publishedOn":"2024-07-02","paperTitle":"Densely Connected Convolutional Networks","paperUrl":"https://arxiv.org/abs/1608.06993","bibliography":{"title":"Densely Connected Convolutional Networks","authors":["Gao Huang","Zhuang Liu","Laurens van der Maaten","Kilian Q. Weinberger"],"url":"https://arxiv.org/abs/1608.06993","pdfUrl":"https://arxiv.org/pdf/1608.06993","codeUrl":null,"preprint":{"id":"1608.06993","submittedOn":"2016-08-25","url":"https://arxiv.org/abs/1608.06993"},"publication":{"venue":"CVPR","year":2017,"kind":"conference","url":"https://arxiv.org/abs/1608.06993"},"citation":"@misc{classiccnnsdensenet2016,\n  title = {{Densely Connected Convolutional Networks}},\n  author = {Gao Huang and Zhuang Liu and Laurens van der Maaten and Kilian Q. Weinberger},\n  year = {2016},\n  eprint = {1608.06993},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1608.06993}\n}\n","citationPath":"/content/papers/citations/classic-cnns/densenet.6f28153b67f7.bib"},"thumbnail":{"src":"/content/papers/assets/4f073a0fd1fc5b7415ca19c48934d180f9043fddc08301819a50ceb1b0ebfc69.jpg","width":1184,"height":828},"locale":"zh-hans","path":"/content/papers/zh-hans/classic-cnns/densenet.c4f2eed4ee7c.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"网络架构","text":"网络架构","depth":3},{"id":"平均池化","text":"平均池化","depth":3},{"id":"growth-rate","text":"Growth Rate","depth":3},{"id":"bottleneck-layers","text":"Bottleneck Layers","depth":3},{"id":"compression","text":"Compression","depth":3},{"id":"实作细节","text":"实作细节","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"实验结果","text":"实验结果","depth":3},{"id":"紧凑模型","text":"紧凑模型","depth":3},{"id":"特征重用","text":"特征重用","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/resnet","relation":"background","topic":"如何训练更深的卷积网络"}]},{"id":"classic-cnns/resnet","category":"classic-cnns","legacyPath":"classic-cnns/1512-resnet","legacySlug":"1512-resnet","legacyPaths":[],"title":"ResNet","subtitle":"卷积网络 100 层","author":"Z. Yuan","paperDate":"2015-12-10","publishedOn":"2024-08-08","paperTitle":"Deep Residual Learning for Image Recognition","paperUrl":"https://arxiv.org/abs/1512.03385","bibliography":{"title":"Deep Residual Learning for Image Recognition","authors":["Kaiming He","Xiangyu Zhang","Shaoqing Ren","Jian Sun"],"url":"https://arxiv.org/abs/1512.03385","pdfUrl":"https://arxiv.org/pdf/1512.03385","codeUrl":null,"preprint":{"id":"1512.03385","submittedOn":"2015-12-10","url":"https://arxiv.org/abs/1512.03385"},"publication":{"venue":"CVPR","year":2016,"kind":"conference","url":"https://doi.org/10.1109/cvpr.2016.90"},"citation":"@misc{classiccnnsresnet2015,\n  title = {{Deep Residual Learning for Image Recognition}},\n  author = {Kaiming He and Xiangyu Zhang and Shaoqing Ren and Jian Sun},\n  year = {2015},\n  eprint = {1512.03385},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1512.03385}\n}\n","citationPath":"/content/papers/citations/classic-cnns/resnet.cf4014e8baae.bib"},"thumbnail":{"src":"/content/papers/assets/b8fe87fe757249ea6d7bb667fef3196754b9f80e28bf842a69b540ca94585d08.jpg","width":1224,"height":408},"locale":"zh-hans","path":"/content/papers/zh-hans/classic-cnns/resnet.98d0474f71e6.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"什么是残差","text":"什么是残差？","depth":3},{"id":"残差学习","text":"残差学习","depth":3},{"id":"残差模块","text":"残差模块","depth":3},{"id":"网络架构","text":"网络架构","depth":3},{"id":"参数配置","text":"参数配置","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"resnet-18-vs-resnet-34","text":"ResNet-18 vs ResNet-34","depth":3},{"id":"更深的瓶颈架构","text":"更深的瓶颈架构","depth":3},{"id":"在-imagenet-上的表现","text":"在 ImageNet 上的表现","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/vgg","relation":"background","topic":"如何训练更深的卷积网络"},{"id":"classic-cnns/densenet","relation":"next","topic":"如何训练更深的卷积网络"}]}],"text":"随着 CNN 变得愈来愈深，输入图像的梯度资讯常会消失，使得训练变得困难。\n\n于是各种研究开始探讨如何让资讯在深度网络中更好地流动，其中一篇大作就是：ResNet。\n\n- [**Deep Residual Learning for Image Recognition**](https://arxiv.org/abs/1512.03385)\n\n## 定义问题\n\nResNet 通过加性恒等使资讯保存变得明确，但其实很多层的贡献很小：\n\n- [**Deep networks with stochastic depth**](https://arxiv.org/abs/1603.09382)\n\n\n> [!TIP]\n> \n> 这个问题在 MobilenetV2 中会再次提到，我们读到那篇论文再来详谈。\n> \n> - [**Mobilenet-V2: 瓶颈内的淬炼**](/blog/papers/lightweight/mobilenet-v2)\n\n\n除了 ResNet 之外，另外一个有名的方法是高速公路网络：\n\n- [**Highway Networks**](https://arxiv.org/abs/1505.00387)\n\n这篇论文不是想要否定上述的研究，而是想提出一个新的连接方式，让资讯可以更有效率地在网络中流动。\n\n## 解决问题\n\n### 网络架构\n\n![DenseNet](/content/papers/assets/4f073a0fd1fc5b7415ca19c48934d180f9043fddc08301819a50ceb1b0ebfc69.jpg)\n\n这个图画得非常浅显易懂，但容易让人误会：\n\n这不是一整个网络架构，这里描述的是一个 Dense Block 的结构。\n\n在这个结构中，每一层的输入都是前面所有层的输出的串接，然后这里没有降采样的操作。\n\n作者提出这种连接方式，是为了让早期资讯与梯度有更短的路径，不易在传递中被冲淡：\n\n- 既然资讯可能在传递中被冲淡，那就让每一层都串在一起吧！\n\n### 平均池化\n\n![Pooling Layers](/content/papers/assets/da6e0d66422528ad32f66c4f8274ea5876adbe89c461fb01d5621c1dece69ebf.jpg)\n\n如上图所示。\n\n在卷积神经网络（CNN）中，下采样层（例如池化层）是改变特征图大小的重要组成部分。\n\n为了有效地进行下采样，作者将网络划分为多个密集连接的密集块（Dense Block）。\n\n在每个密集块之间存在过渡层，这些过渡层执行卷积和池化操作。\n\n整个过渡层由 Batch Normalization 和 1×1 卷积层组成，接着是 2×2 平均池化层。\n\n### Growth Rate\n\nDenseNet 的一个重要特点是成长率（Growth Rate）。\n\n在 DenseNet 中，如果每个函数 $ H_l $ 产生 k 个特征图，则第 $ l $ 层有 $ k_0 + k \\times (l - 1) $ 个输入特征图，其中 $ k_0 $ 是输入层中的通道数。\n\nDenseNet 与其他网络架构的一个重要区别在于它可以具有非常窄的层，例如 k = 12。这个超参数 k 被称为网络的成长率。\n\n研究表明，相对较小的成长率已足以在测试的数据集上获得最先进的结果。这是因为每一层都可以访问其区块中所有先前的特征图，从而获取网络的「集体知识」。成长率控制了每一层为全局状态贡献的新资讯量，而全局状态一旦写入，便可从网络中的任何位置访问，无需逐层复制它。\n\n### Bottleneck Layers\n\n尽管每一层仅产生 k 个输出特征图，但它通常具有更多的输入。\n\n研究指出，可以在每个 3×3 卷积之前引入 1×1 卷积作为瓶颈层，以减少输入特征图的数量，从而提高计算效率。\n\n这种设计对于 DenseNet 特别有效，因此作者将这样的网络称为具有瓶颈层的 DenseNet-B。\n\n瓶颈层的结构为：BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)。在实验中，每个 1×1 卷积产生 4k 个特征图。\n\n### Compression\n\n为了进一步提高模型的紧凑性，作者设计了一种减少过渡层特征图数量的方法。\n\n如果一个密集块包含 $m$ 个特征图，接下来的过渡层将产生 $\\lfloor \\theta m \\rfloor$ 个输出特征图，其中 $0 < \\theta \\leq 1$ 被称为压缩因子。当 $\\theta = 1$ 时，过渡层的特征图数量保持不变。\n\n作者将 $\\theta < 1$ 的 DenseNet 称为 DenseNet-C，并在实验中设定 $\\theta = 0.5$。当同时使用瓶颈层和 $\\theta < 1$ 的压缩过渡层时，这样的模型被称为 DenseNet-BC。\n\n### 实作细节\n\n![DenseNet Architecture](/content/papers/assets/3c6662cb67328a0388889dea080aaa398250bdca63031af31fbe8cfaabfde033.jpg)\n\n在除 ImageNet 之外的所有数据集上，作者使用了具有三个密集区块（Dense Block）的 DenseNet 进行实验。\n\n每个密集区块包含相同数量的层。在进入第一个密集区块之前，对输入图像进行 16 个（或 DenseNet-BC 成长率的两倍）输出通道的卷积。对于内核大小为 3×3 的卷积层，输入的每一侧都进行零填充，以保持特征图大小固定。\n\n在两个连续的密集区块之间，作者使用了 1×1 卷积，然后使用 2×2 平均池化作为过渡层。在最后一个密集区块的结尾，进行全域平均池化，然后附加一个 softmax 分类器。三个密集区块中的特征图大小分别为 32×32、16×16 和 8×8。\n\n作者在实验中使用了以下基本 DenseNet 结构配置：\n\n- L = 40, k = 12\n- L = 100, k = 12\n- L = 100, k = 24\n\n对于 DenseNet-BC，评估的配置为：\n\n- L = 100, k = 12\n- L = 250, k = 24\n- L = 190, k = 40\n\n在 ImageNet 数据集上的实验中，作者使用了具有 4 个密集区块的 DenseNet-BC 结构，并在 224×224 的输入图像上进行实验。\n\n初始卷积层包含 2k 个大小为 7×7、步幅为 2 的卷积。\n\n所有其他层中的特征图数量也取决于 k 的设定。\n\n## 讨论\n\n### 实验结果\n\n![DenseNet Results](/content/papers/assets/491f75fcb02bf83886c1abeded76581a215db57190b5c289ac6d6ced7397aeac.jpg)\n\n上图将 DenseNets 和 ResNets 的单次裁切 top-1 验证误差分别绘制为参数数量和 FLOPs 数量的函数，展示了两者在性能和计算资源使用方面的差异。\n\n在左图中，我们可以看到 DenseNet 和 ResNet 的验证误差与参数数量之间的关系，DenseNet-201 具有约 20M 的参数，其验证误差与具有超过 40M 参数的 ResNet-101 相似。这表明 DenseNet 能够在使用更少参数的情况下实现与 ResNet 类似的性能。\n\n右图展示了验证误差与 FLOPs 数量之间的关系。在这个图中，我们看到需要与 ResNet-50 相同计算量的 DenseNet 其性能与 ResNet-101 相当，而 ResNet-101 需要两倍的计算量。这进一步证实了 DenseNet 在计算效率方面的优势，能够在相对较少的计算资源下达到高性能。\n\n### 紧凑模型\n\n![Compactness](/content/papers/assets/aa8e0640d6c70f3a95832a8e01c652aa8baa6e7bff098ee51f6a4ec54a1512c5.jpg)\n\nDenseNet 层学习的任何特征图都可以被所有后续层存取，这是输入串联的直接结果。\n\n这鼓励了整个网络中的功能重复使用，并导致模型更加紧凑。\n\n上图左侧的两张图显示了一项比较 DenseNet 所有变体（左）和类似 ResNet 架构（中）的参数效率的实验结果。作者在 C10+ 上训练了多个不同深度的小型网络，并将它们的测试错误率绘制为网络参数的函数。结果显示，DenseNet-BC 是所有 DenseNet 变体中参数效率最高的。\n\n此外，为了达到相同的精度，DenseNet-BC 仅需 ResNet 约三分之一的参数。\n\n仅具有 0.8M 可训练参数的 DenseNet-BC 能够达到与 1001 层 ResNet（10.2M 参数）相当的精度。\n\n### 特征重用\n\n![Feature Reuse](/content/papers/assets/542be80763c113561155637e044a0a578868c72615dc9f4098ae6ba9e0687ed0.jpg)\n\nDenseNet 设计允许各层从其前面的所有层访问特征图（通过过渡层）。\n\n作者进行了一项实验，以调查经过训练的网络是否利用了这一特性。他们训练了 DenseNet（L=40，k=12），并计算区块内每个卷积层对先前各层特征图的平均绝对权重。\n\n上图显示了所有三个密集区块的热图。这张图的阅读方式是：横轴代表 Target 层，纵轴代表 Source 层，颜色表示平均绝对权重；越偏红越大，越偏蓝越小。\n\n从图中可以看出几个特点：\n\n- 所有层将其权重分布在同一块内的多个输入上，表明早期层提取的特征被深层直接使用。\n- 过渡层的权重分布在前面的密集块内的所有层上，资讯通过少量间接路径从第一层流到最后一层。\n- 第二个和第三个密集区块内的层一致为过渡层的输出分配最小权重（三角形的最上方的 Row），表明过渡层输出许多冗余特征。\n- 最终分类层集中使用最终特征图，这表明网络在后期产生了一些更高级别的特征。\n\n\n> [!TIP]\n> \n> 看完这一段我们完全不能理解：\n> \n> **为什么「第二个和第三个密集区块内的层一致为过渡层的输出分配最小权重」？**\n> \n> Block2 和 Block3 的最上面那个 Row，看起来几乎是零啊？这不合理吗？\n> \n> 因为不同的 Dense Block 之间要依靠过渡层来传递资讯，如果这里的权重真是零，那不就没有资讯传递了吗？仔细看图例，深蓝表示平均绝对权重较小；第二个 Row 也显示后续层仍在使用前面的特征。\n> \n> 照理说，为什么两个 Row 的颜色差这么多？论文的解读是过渡层输出有较多冗余特征，所以后续层给它们的平均权重较小。\n> \n> 我原本猜测是可视化程式写错了，但单靠这张热图不能得出这个结论。\n> \n> 如果你知道真正原因，欢迎告诉我们！\n\n\n## 结论\n\nDenseNet 结合了恒等映射、深度监督和多样化深度的特性，允许在整个网络中重复使用特征，从而学习出更紧凑且更准确的模型。由于其紧凑的内部表示和减少的特征冗余，DenseNet 展示了其作为基于卷积特征的各种电脑视觉任务良好特征提取器的潜力。\n\n未来的工作将探讨 DenseNet 在特征转移方面的应用，进一步扩展其在电脑视觉领域的实用性。\n","imageSizes":{"/content/papers/assets/4f073a0fd1fc5b7415ca19c48934d180f9043fddc08301819a50ceb1b0ebfc69.jpg":{"width":1184,"height":828},"/content/papers/assets/da6e0d66422528ad32f66c4f8274ea5876adbe89c461fb01d5621c1dece69ebf.jpg":{"width":1648,"height":266},"/content/papers/assets/3c6662cb67328a0388889dea080aaa398250bdca63031af31fbe8cfaabfde033.jpg":{"width":1498,"height":724},"/content/papers/assets/491f75fcb02bf83886c1abeded76581a215db57190b5c289ac6d6ced7397aeac.jpg":{"width":1348,"height":502},"/content/papers/assets/aa8e0640d6c70f3a95832a8e01c652aa8baa6e7bff098ee51f6a4ec54a1512c5.jpg":{"width":1226,"height":490},"/content/papers/assets/542be80763c113561155637e044a0a578868c72615dc9f4098ae6ba9e0687ed0.jpg":{"width":1224,"height":528}}}
