{"notes":[{"id":"classic-cnns/resnext","category":"classic-cnns","legacyPath":"classic-cnns/1611-resnext","legacySlug":"1611-resnext","legacyPaths":[],"title":"ResNeXt","subtitle":"次元を探る","author":"Z. Yuan","paperDate":"2016-11-16","publishedOn":"2024-07-12","paperTitle":"Aggregated Residual Transformations for Deep Neural Networks","paperUrl":"https://arxiv.org/abs/1611.05431","bibliography":{"title":"Aggregated Residual Transformations for Deep Neural Networks","authors":["Saining Xie","Ross Girshick","Piotr Dollár","Zhuowen Tu","Kaiming He"],"url":"https://arxiv.org/abs/1611.05431","pdfUrl":"https://arxiv.org/pdf/1611.05431","codeUrl":"https://github.com/facebookresearch/ResNeXt","preprint":{"id":"1611.05431","submittedOn":"2016-11-16","url":"https://arxiv.org/abs/1611.05431"},"publication":{"venue":"CVPR","year":2017,"kind":"conference","url":"https://arxiv.org/abs/1611.05431"},"citation":"@misc{classiccnnsresnext2016,\n  title = {{Aggregated Residual Transformations for Deep Neural Networks}},\n  author = {Saining Xie and Ross Girshick and Piotr Dollár and Zhuowen Tu and Kaiming He},\n  year = {2016},\n  eprint = {1611.05431},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1611.05431}\n}\n","citationPath":"/content/papers/citations/classic-cnns/resnext.4945bb6b3dae.bib"},"thumbnail":{"src":"/content/papers/assets/268f5b641a1a85d929d88f2aa0d636902dd9d101824284c32266668493563672.jpg","width":1224,"height":576},"locale":"ja","path":"/content/papers/ja/classic-cnns/resnext.b05c868a098b.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"下流タスクの一般化能力","text":"下流タスクの一般化能力","depth":3},{"id":"モデル設計に不向き","text":"モデル設計に不向き","depth":3},{"id":"解決策","text":"解決策","depth":2},{"id":"ネットワークアーキテクチャ","text":"ネットワークアーキテクチャ","depth":3},{"id":"モデル設定","text":"モデル設定","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"imagenet-1k-トレーニング結果","text":"ImageNet-1K トレーニング結果","depth":3},{"id":"モデル複雑度の増加","text":"モデル複雑度の増加","depth":3},{"id":"imagenet-1k-モデルのパフォーマンス","text":"ImageNet-1K モデルのパフォーマンス","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/inception-v1","relation":"comparison","topic":"分岐・グループ畳み込み・特徴の再利用"},{"id":"classic-cnns/cspnet","relation":"comparison","topic":"分岐・グループ畳み込み・特徴の再利用"}]},{"id":"classic-cnns/inception-v1","category":"classic-cnns","legacyPath":"classic-cnns/1409-inception-v1","legacySlug":"1409-inception-v1","legacyPaths":[],"title":"GoogLeNet","subtitle":"またの名を Inception-V1","author":"Z. Yuan","paperDate":"2014-09-17","publishedOn":"2024-09-22","paperTitle":"Going Deeper with Convolutions","paperUrl":"https://arxiv.org/abs/1409.4842","bibliography":{"title":"Going Deeper with Convolutions","authors":["Christian Szegedy","Wei Liu","Yangqing Jia","Pierre Sermanet","Scott Reed","Dragomir Anguelov","Dumitru Erhan","Vincent Vanhoucke","Andrew Rabinovich"],"url":"https://arxiv.org/abs/1409.4842","pdfUrl":"https://arxiv.org/pdf/1409.4842","codeUrl":null,"preprint":{"id":"1409.4842","submittedOn":"2014-09-17","url":"https://arxiv.org/abs/1409.4842"},"publication":{"venue":"CVPR","year":2015,"kind":"conference","url":"https://doi.org/10.1109/cvpr.2015.7298594"},"citation":"@misc{classiccnnsinceptionv12014,\n  title = {{Going Deeper with Convolutions}},\n  author = {Christian Szegedy and Wei Liu and Yangqing Jia and Pierre Sermanet and Scott Reed and Dragomir Anguelov and Dumitru Erhan and Vincent Vanhoucke and Andrew Rabinovich},\n  year = {2014},\n  eprint = {1409.4842},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1409.4842}\n}\n","citationPath":"/content/papers/citations/classic-cnns/inception-v1.3d20e0e32bcd.bib"},"thumbnail":{"src":"/content/papers/assets/254b970b1374c24267b60c2d684338760e9ba8b10dad761a5fa15f1bb8bcf6ef.jpg","width":1330,"height":394},"locale":"ja","path":"/content/papers/ja/classic-cnns/inception-v1.e67514209915.md","headings":[{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"inception-モジュール","text":"Inception モジュール","depth":3},{"id":"パラメータ設定","text":"パラメータ設定","depth":3},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"ilsvrc-2014-でのパフォーマンス","text":"ILSVRC 2014 でのパフォーマンス","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/resnext","relation":"comparison","topic":"分岐・グループ畳み込み・特徴の再利用"},{"id":"classic-cnns/cspnet","relation":"comparison","topic":"分岐・グループ畳み込み・特徴の再利用"}]},{"id":"classic-cnns/cspnet","category":"classic-cnns","legacyPath":"classic-cnns/1911-cspnet","legacySlug":"1911-cspnet","legacyPaths":[],"title":"CSPNet","subtitle":"半半半プラグイン","author":"Z. Yuan","paperDate":"2019-11-27","publishedOn":"2024-09-29","paperTitle":"CSPNet: A New Backbone that can Enhance Learning Capability of CNN","paperUrl":"https://arxiv.org/abs/1911.11929","bibliography":{"title":"CSPNet: A New Backbone that can Enhance Learning Capability of CNN","authors":["Chien-Yao Wang","Hong-Yuan Mark Liao","I-Hau Yeh","Yueh-Hua Wu","Ping-Yang Chen","Jun-Wei Hsieh"],"url":"https://arxiv.org/abs/1911.11929","pdfUrl":"https://arxiv.org/pdf/1911.11929","codeUrl":null,"preprint":{"id":"1911.11929","submittedOn":"2019-11-27","url":"https://arxiv.org/abs/1911.11929"},"publication":{"venue":"CVPR Workshops","year":2020,"kind":"workshop","url":"https://doi.org/10.1109/cvprw50498.2020.00203"},"citation":"@misc{classiccnnscspnet2019,\n  title = {{CSPNet: A New Backbone that can Enhance Learning Capability of CNN}},\n  author = {Chien-Yao Wang and Hong-Yuan Mark Liao and I-Hau Yeh and Yueh-Hua Wu and Ping-Yang Chen and Jun-Wei Hsieh},\n  year = {2019},\n  eprint = {1911.11929},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1911.11929}\n}\n","citationPath":"/content/papers/citations/classic-cnns/cspnet.2914b9492a0c.bib"},"thumbnail":{"src":"/content/papers/assets/2602af8b5f92cba820e545c84abd94943cab1fe2631cf83834972b54b374ed20.jpg","width":2809,"height":1911},"locale":"ja","path":"/content/papers/ja/classic-cnns/cspnet.e7262919464c.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"トランジションレイヤー","text":"トランジションレイヤー","depth":3},{"id":"正確な融合モデル","text":"正確な融合モデル","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"csp-構造の有効性","text":"CSP 構造の有効性","depth":3},{"id":"efm-構造の有効性","text":"EFM 構造の有効性","depth":3},{"id":"imagenet-での性能","text":"ImageNet での性能","depth":3},{"id":"ms-coco-での性能","text":"MS COCO での性能","depth":3},{"id":"推論速度","text":"推論速度","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/inception-v1","relation":"comparison","topic":"分岐・グループ畳み込み・特徴の再利用"},{"id":"classic-cnns/resnext","relation":"comparison","topic":"分岐・グループ畳み込み・特徴の再利用"}]}],"text":"以前に紹介された Inception モデルを覚えていますか？\n\n- [**Going Deeper with Convolutions**](https://arxiv.org/abs/1409.4842)\n\nあの目を見張るような分岐構造は印象的でしたね？\n\n## 問題の定義\n\nInception は精緻に設計されたトポロジ構造が、理論的な複雑度を低く保ちながらより良い性能を実現できることを証明しました。\n\nしかし、この設計方法にはいくつかの問題が伴います：\n\n### 下流タスクの一般化能力\n\nInception モデルでは、異なるサイズの畳み込みカーネル（例：1x1、3x3、5x5 など）を使用して、異なるスケールで特徴を同時に抽出することが一般的です。\n\nInception を再設計したり拡張したりする際には、各分岐のカーネルサイズ、チャネル数、接続方法を検討する必要があり、設計空間が複雑になります。\n\n\n> [!TIP]\n> \n> これは人間工学に反しています！\n> \n> 分岐を調整するだけでも、まず大きな構造図を読み解かなければなりません。エンジニアがためらうのも分かります。\n\n\n### モデル設計に不向き\n\n現在の神経ネットワークに関する研究は、すでに「特徴エンジニアリング」から「モデル設計エンジニアリング」へとシフトしています。つまり、良い神経ネットワークをどう設計するかということです。\n\nInception モデルの設計には大量の人力と時間がかかり、より大きなモデルに拡張するのが難しいです。\n\nしかし、この「分割・変化・統合」の設計思想は非常に参考になります。\n\n## 解決策\n\n### ネットワークアーキテクチャ\n\n![Figure 1：ほぼ同じパラメータ数と FLOPs の ResNet ボトルネックと 32 経路 ResNeXt ブロック](/content/papers/assets/268f5b641a1a85d929d88f2aa0d636902dd9d101824284c32266668493563672.jpg)\n\n上図のように、左側が元の ResNet 構造、右側が著者が提案した ResNeXt 構造です。\n\n著者は VGG および ResNet の設計方法を参考にし、高度にモジュール化された設計を採用し、モデルを多数の残差ブロック（residual blocks）で構成しました。次に、新しい次元として「基数（cardinality）」を導入し、深さや幅に加えて重要な要素として位置付けました。\n\n基数は、集約する並列変換の数です。等価なグループ化畳み込みの実装では、1×1 投影の後にある中間の 3×3 畳み込みのグループ数に対応します。32×4d は、中間チャネルを 4 つずつ持つ 32 グループを指します。分割は中間の 3×3 畳み込みで行います。\n\nさらに、著者は次の 2 つのシンプルなルールで設計空間を簡素化し、ネットワーク全体の設計をより簡単で統一的にしました：\n\n- ルール 1：同じサイズの空間マップを生成する場合、それらのブロックは同じハイパーパラメータ（幅とフィルタサイズ）を共有する。\n- ルール 2：空間マップを 2 倍にダウンサンプリングするたびに、モジュールの幅を 2 倍にする。\n\n最後に、集約変換（Aggregated Transformations）の概念を導入し、ニューロンの基本的な操作をより複雑な変換に拡張し、ボトルネック型のアーキテクチャとグループ化された畳み込みを使用して実装を簡素化し、モデルの性能を向上させました。\n\nこのアーキテクチャにはいくつかの同等な形が存在します、以下の図のように：\n\n![Figure 3：分岐の加算、連結、グループ畳み込みによる三つの等価な畳み込み表現](/content/papers/assets/28910e4d22dc8f2c055dc119b8fbd9728731c45a041ef67bacc24c4ad7e6301c.jpg)\n\n- 上図(a)は本論文で提案された構造です。\n- 上図(b)は、各分岐の 4→256 チャネルの 1×1 投影を、連結後の 128→256 チャネルの 1×1 投影にまとめたものです。\n- 上図(c)は 32 グループの 3×3 畳み込みで各分岐を表し、その後に 128→256 チャネルの 1×1 畳み込みを加えます。\n\n\n> [!TIP]\n> \n> 図中の畳み込みと加算だけを見て、重みを対応して並べ替えれば、この三つの表現は等価です。正規化や非線形層の配置は実装時に別途揃える必要があります。\n> \n> 第三のグループ畳み込み形式はコードを簡潔にできますが、実行速度はフレームワークとハードウェア次第です。論文の Torch／M40 GPU 8 枚の測定では、同程度の FLOPs の ResNeXt-101 は 1 バッチ **0.95 秒**、ResNet-101 は **0.70 秒**でした。\n\n\n### モデル設定\n\n![Table 1：ResNet-50 と ResNeXt-50 (32×4d) の各段、パラメータ数と FLOPs](/content/papers/assets/e30a91af00c174fae7a49cc498f42a513476128d1f427ba921c50eb7d595d9c2.jpg)\n\n中間の 3×3 畳み込みはグループ化で計算を抑えられるため、著者は比較するブロックの中間総チャネル数を **64 から 128** に増やし、**32 グループ**にしました。Table 1 の ResNet-50／ResNeXt-50 は約 **25.5M／25.0M パラメータ**、**4.1G／4.2G FLOPs** で、完全一致ではなく近い複雑度です。\n\n## 討論\n\n### ImageNet-1K トレーニング結果\n\n![Figure 5：複雑度が近い ResNet／ResNeXt-50 と -101 の ImageNet-1K 学習・検証 top-1 誤り曲線](/content/papers/assets/f1b9572741682865800ae1649291b9939705a8639603bcaa4d99e3cb547a3feb.jpg)\n\n上図は、異なるモデルの検証誤差と訓練誤差が訓練回数（エポック数）に対してどのように変化するかを示しています。\n\nResNet-50 と比較して、32×4d ResNeXt-50 の top-1 検証誤り率は 22.2% で、ResNet-50 の 23.9% より 1.7 ポイント低くなっています。\n\n基数$C$が 1 から 32 に増加するにつれて、モデルの複雑さを維持しながら、誤差率は減少し続けます。32×4d ResNeXt の訓練誤差も ResNet-50 よりも明らかに低く、性能の向上が主にモデルの表現能力の強化によるもので、正則化効果によるものではないことを示しています。\n\nResNet-101 の場合、32×4d ResNeXt-101 の top-1 検証誤り率は ResNet-101 より 0.8 ポイント低い値です。検証誤差の改善は ResNet-50 と比較して小さいですが、訓練誤差の改善は依然として顕著です（ResNet-101 は 20%、32×4d ResNeXt-101 は 16%）。\n\n### モデル複雑度の増加\n\n![Table 4：ResNet-101 の約 2 倍の FLOPs まで深さ・幅・基数を増やす ImageNet-1K 比較](/content/papers/assets/8c576fcc821cb0a29fa73df0db77e811a3ff980ee24848c132c2f5ab38550dc5.jpg)\n\nグループ数がモデルの性能に与える影響をテストするため、著者は以下のいくつかの実験を行いました：\n\n1. **複雑さを 2 倍に増加**\n\n   - ResNet-101 の top-1 誤り率のベースライン（22.0%）と比較して、この実験で試した計算量の大きい構成では、いずれも誤り率が低下しました。\n   - しかし、効果には限界があります：\n     - 深さを増加させる（ResNet-200、top-1 誤り率が 0.3 ポイント低下）\n     - 幅を増加させる（広い ResNet-101、top-1 誤り率が 0.7 ポイント低下）。\n\n2. **基数を増加させる方が効果的**\n\n   実験により、基数$C$を増やすことが深さや幅を増やすことよりも良い結果を示すことが分かりました。\n\n   - 2×64d ResNeXt-101 は top-1 誤差を 20.7%に低減しました。\n     - 1×64d ResNet-101 のベースラインに$C$を 2 倍にして幅を保持した場合\n   - 64×4d ResNeXt-101 は top-1 誤差を 20.4%に低減しました。\n     - 32×4d ResNeXt-101 で$C$を 2 倍にして幅を保持した場合\n\n3. **低い複雑度での性能**\n\n   32×4d ResNeXt-101（21.2%）の性能は、より深い ResNet-200 やより広い ResNet-101 よりも優れていますが、その複雑度は約 50%に過ぎません。これは、基数$C$が深さや幅よりも効果的な次元であることを示しています。\n\n### ImageNet-1K モデルのパフォーマンス\n\n![Table 5：ImageNet-1K 単一クロップ検証誤り率。ResNeXt は 224／320、Inception は 299 の入力](/content/papers/assets/519d441ad166763fc8b8b33bd4d5850063e7ab1ed919663c3d53af746f07bd6e.jpg)\n\n上表は、ImageNet 検証セットで単一クロップテストを行った結果を示しています。\n\nResNeXt-101 (64×4d) は **320×320 の単一クロップで top-5 誤り率 4.4%**、同じモデルの **224×224 では 5.3%** です。表中の Inception は **299×299** を使い、入力サイズはモデル間で揃っていません。これらは ImageNet-1K 検証結果であり、同条件の速度比較ではありません。\n\nさらに、ResNeXt のアーキテクチャ設計はすべての Inception モデルよりもはるかにシンプルで、手動で設定する必要があるハイパーパラメータも少なくなっています。\n\n## 結論\n\n本論文では、ResNeXt というシンプルで高度にモジュール化されたネットワークアーキテクチャを提案し、同じトポロジー構造を持つ変換を繰り返し集約することで構築し、同質な多分岐アーキテクチャを形成しました。このアーキテクチャは、少数のハイパーパラメータ設定のみで実現できます。\n\n著者は、新しい次元「基数（cardinality）」を導入し、深さや幅に加えて重要な要素として位置付けました。\n\n実験結果は、モデルの複雑さを維持しながら、基数を増加させることで分類精度が大幅に向上することを示しています。\n\nモデルの深さや幅を単純に増加させるよりも、基数を増加させる方が効果的であることが確認されました。\n\n\n> [!TIP]\n> \n> グループ化畳み込みは本論文以前から存在します。Depthwise 畳み込みは、入力チャネルごとに一つのグループを設ける特殊な場合です。これらを比較すると、後の軽量モデルが表現力と計算量をどう両立させるか理解しやすくなります。\n","imageSizes":{"/content/papers/assets/268f5b641a1a85d929d88f2aa0d636902dd9d101824284c32266668493563672.jpg":{"width":1224,"height":576},"/content/papers/assets/28910e4d22dc8f2c055dc119b8fbd9728731c45a041ef67bacc24c4ad7e6301c.jpg":{"width":1632,"height":506},"/content/papers/assets/e30a91af00c174fae7a49cc498f42a513476128d1f427ba921c50eb7d595d9c2.jpg":{"width":1044,"height":1024},"/content/papers/assets/f1b9572741682865800ae1649291b9939705a8639603bcaa4d99e3cb547a3feb.jpg":{"width":1356,"height":580},"/content/papers/assets/8c576fcc821cb0a29fa73df0db77e811a3ff980ee24848c132c2f5ab38550dc5.jpg":{"width":1110,"height":594},"/content/papers/assets/519d441ad166763fc8b8b33bd4d5850063e7ab1ed919663c3d53af746f07bd6e.jpg":{"width":1208,"height":544}}}
