{"notes":[{"id":"classic-cnns/alexnet","category":"classic-cnns","legacyPath":"classic-cnns/1209-alexnet","legacySlug":"1209-alexnet","legacyPaths":[],"title":"AlexNet","subtitle":"畳み込みネットワークの台頭","author":"Z. Yuan","paperDate":"2012","publishedOn":"2024-06-30","paperTitle":"ImageNet Classification with Deep Convolutional Neural Networks","paperUrl":"https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html","bibliography":{"title":"ImageNet Classification with Deep Convolutional Neural Networks","authors":["Alex Krizhevsky","Ilya Sutskever","Geoffrey E. Hinton"],"url":"https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html","pdfUrl":"https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf","codeUrl":null,"preprint":null,"publication":{"venue":"NeurIPS (NIPS)","year":2012,"kind":"conference","url":"https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html"},"citation":"@inproceedings{classiccnnsalexnet2012,\n  title = {{ImageNet Classification with Deep Convolutional Neural Networks}},\n  author = {Alex Krizhevsky and Ilya Sutskever and Geoffrey E. Hinton},\n  year = {2012},\n  booktitle = {NeurIPS (NIPS)},\n  url = {https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html}\n}\n","citationPath":"/content/papers/citations/classic-cnns/alexnet.b38d2879f7bc.bib"},"thumbnail":{"src":"/content/papers/assets/87a5a48ff82989d4d78cc4d47a083f292fd7e249c1880c00ac4b31d8a042650d.jpg","width":1630,"height":570},"locale":"ja","path":"/content/papers/ja/classic-cnns/alexnet.845b0023abec.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"relu-活性化関数","text":"ReLU 活性化関数","depth":3},{"id":"複数-gpu-による訓練","text":"複数 GPU による訓練","depth":3},{"id":"ローカルレスポンス正規化lrn","text":"ローカルレスポンス正規化（LRN）","depth":3},{"id":"重複最大プーリング","text":"重複最大プーリング","depth":3},{"id":"dropout","text":"Dropout","depth":3},{"id":"モデル実装","text":"モデル実装","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"畳み込みネットワークは何を学習するのか","text":"畳み込みネットワークは何を学習するのか？","depth":3},{"id":"ilsvrc-2010-結果","text":"ILSVRC-2010 結果","depth":3},{"id":"ilsvrc-2012-結果","text":"ILSVRC-2012 結果","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/vgg","relation":"next","topic":"深い畳み込みネットワークの学習"}]},{"id":"classic-cnns/vgg","category":"classic-cnns","legacyPath":"classic-cnns/1409-vgg","legacySlug":"1409-vgg","legacyPaths":[],"title":"VGG","subtitle":"深い、さらに深く","author":"Z. Yuan","paperDate":"2014-09-04","publishedOn":"2024-07-11","paperTitle":"Very Deep Convolutional Networks for Large-Scale Image Recognition","paperUrl":"https://arxiv.org/abs/1409.1556","bibliography":{"title":"Very Deep Convolutional Networks for Large-Scale Image Recognition","authors":["Karen Simonyan","Andrew Zisserman"],"url":"https://arxiv.org/abs/1409.1556","pdfUrl":"https://arxiv.org/pdf/1409.1556","codeUrl":null,"preprint":{"id":"1409.1556","submittedOn":"2014-09-04","url":"https://arxiv.org/abs/1409.1556"},"publication":{"venue":"ICLR","year":2015,"kind":"conference","url":"https://arxiv.org/pdf/1409.1556"},"citation":"@misc{classiccnnsvgg2014,\n  title = {{Very Deep Convolutional Networks for Large-Scale Image Recognition}},\n  author = {Karen Simonyan and Andrew Zisserman},\n  year = {2014},\n  eprint = {1409.1556},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1409.1556}\n}\n","citationPath":"/content/papers/citations/classic-cnns/vgg.6d704fc68256.bib"},"thumbnail":{"src":"/content/papers/assets/f8c8263e4970f0d994107c8084552e778e2f8f3cee14e213551fb6b0942568c2.jpg","width":968,"height":980},"locale":"ja","path":"/content/papers/ja/classic-cnns/vgg.c040f1a3d61f.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"ネットワークアーキテクチャ","text":"ネットワークアーキテクチャ","depth":3},{"id":"訓練の詳細","text":"訓練の詳細","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"lrn-は貢献しなかった","text":"LRN は貢献しなかった","depth":3},{"id":"imagenet-でのパフォーマンス","text":"ImageNet でのパフォーマンス","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/alexnet","relation":"background","topic":"深い畳み込みネットワークの学習"},{"id":"classic-cnns/resnet","relation":"next","topic":"深い畳み込みネットワークの学習"},{"id":"reparameterization/vanillanet","relation":"next","topic":"畳み込みネットワークの設計を簡潔にする"}]}],"text":"ニューラルネットワークの研究は、もっと前から始まっていました。\n\nそして、AlexNet は重要なマイルストーンであり、2012 年の ImageNet チャレンジで驚くべき成果を収めました。\n\n## 問題の定義\n\nこの時点で、畳み込みネットワークの応用はすでに見え始めていました。\n\nそれ以前、LeNet-5 は手書きの数字認識問題を解決するために畳み込みニューラルネットワーク（CNN）を成功裏に利用しました。\n\n- [**Gradient-Based Learning Applied to Document Recognition**](http://vision.stanford.edu/cs598_spring07/papers/Lecun98.pdf)\n\nさらに、このアーキテクチャは CIFAR-10、MNIST などの小規模なデータセットにも適用され始めました。\n\n従来のフィードフォワードニューラルネットワーク（全結合ニューラルネットワーク）と比較して、畳み込みニューラルネットワークはそのアーキテクチャの帰納的バイアスにより、画像データに対して非常に強力な学習能力を持ち、その構造は画像内の空間的依存関係と統計的定常性を効果的に捉えることができ、パラメータ数も少ないため、訓練が容易です。\n\nCNN は魅力的な特徴を持っていますが、高解像度の画像での大規模な応用は依然として非常に高コストです。\n\nちょうどその時、GPU も使えるようになりました。メモリ 3 GB の NVIDIA GTX 580 を 2 枚と、最適化された 2D 畳み込みの実装を組み合わせ、約 5～6 日でこの CNN を学習できました。1 枚のカードにはモデル全体を収められません。\n\n最終的に、大規模なデータセットの問題も解決されました。\n\n2009 年に提案された大規模な画像データセット：ImageNet は、大規模モデルの学習に使えるラベル付きデータを提供しました。ただし、過学習を抑えるデータ拡張や正則化は依然として必要でした。\n\n＊\n\nアルゴリズム、データ、計算能力は揃いました。\n\n次の問題は、「どのようにしてより深く、より大きな CNN を設計して、画像認識の性能を改善するか？」です。\n\n## 問題の解決\n\n### モデルアーキテクチャ\n\n![AlexNet 原論文 Figure 2：五つの畳み込み層、三つの全結合層と 2 枚の GPU の接続](/content/papers/assets/87a5a48ff82989d4d78cc4d47a083f292fd7e249c1880c00ac4b31d8a042650d.jpg)\n\n*原論文 Figure 2：上半分と下半分を別々の GPU に配置。第 3 畳み込み層は両方のカードから入力を受け、一部の層は同じカード内だけで接続します。2048 個ずつの表記は各カードの分担です。*\n\nAlexNet は深層畳み込みニューラルネットワークを使用しており、5 つの畳み込み層と 3 つの全結合層があります。\n\nこのアーキテクチャはその後の CNN 研究に長く影響を与え、後続の設計の出発点にもなりました。\n\n\n> [!TIP]\n> \n> この時代、CNN の設計パターンはまだ定まっていません。後に一般化する段階的なダウンサンプリングや Batch Normalization も、このモデルでは標準的な組み合わせではありませんでした。\n\n\n### ReLU 活性化関数\n\nAlexNet は、当時よく使われた sigmoid や tanh に代えて ReLU を採用します。原論文の Figure 1 では、**別の 4 層 CNN**が CIFAR-10 の訓練誤差率 25% に達するまで、ReLU は tanh より約 **6 倍**速く学習しました。AlexNet 自体が 6 倍速くなったという測定ではありません。ReLU は正の領域で飽和しませんが、勾配の問題をすべて解消するわけでもありません。\n\nその式は次の通りです：$f(x) = \\max(0, x)$。\n\nこれは、入力が 0 より大きい場合、出力は入力と等しく、入力が 0 未満の場合、出力は 0 になることを意味します。\n\n$$ f(x) = \\begin{cases} x, & \\text{if } x > 0 \\\\ 0, & \\text{otherwise} \\end{cases} $$\n\n### 複数 GPU による訓練\n\nもう、なぜ AlexNet のモデルアーキテクチャ図が切り取られているのかを聞かないでください！\n\nなぜなら、元々の論文の図がそうだったからです。\n\n図が示すのは分割だけではありません。第 2・4・5 畳み込み層は同じ GPU の前層にだけ接続し、第 3 層は両 GPU の第 2 層から入力を受けます。全結合層は前層の全ユニットとつながります。独立した二つの CNN ではありません。2 枚構成は、幅の狭い 1 枚構成の比較モデルより top-1／top-5 誤差率が **1.7／1.2 ポイント**低くなりました。ただし両モデルの容量は厳密には同じではありません。\n\n### ローカルレスポンス正規化（LRN）\n\nBatch Normalization が登場する前、著者は汎化性能を改善するために LRN を採用しました。ReLU の学習に正規化が必須だから、という理由ではありません。\n\nLRN の基本的なアイデアは、各ニューロンの活性化値を正規化することで、同じ空間位置にある隣接チャネルの活性化値の影響を受け、過剰に活性化されたニューロンを抑制し、異なるニューロン間での競争を促進することです。\n\nこれは生物の神経ニューロンにおける側抑制メカニズムに似ており、チャネル間の競合を理解するための比喩です。\n\nAlexNet では、LRN は次のように定義されます：\n\nニューロンの位置$(x, y)$での活性化値$a^i_{x,y}$があり、これは第$i$個の畳み込みカーネルを適用し、ReLU 非線形変換を通して得られたものです。\n\nLRN 後の標準化された活性化値$b^i_{x,y}$は次の式で計算されます：\n\n$$b^i_{x,y} = \\dfrac{a^i_{x,y}}{\\left(k + \\alpha \\sum_{j=\\max(0, i - \\lfloor n/2\\rfloor)}^{\\min(N-1, i + \\lfloor n/2\\rfloor)} (a^j_{x,y})^2 \\right)^\\beta}$$\n\nここでの記号の意味は次の通りです：\n\n- $a^i_{x,y}$：位置$(x, y)$で第$i$個の畳み込みカーネルを適用した後の出力活性化値（ReLU 非線形変換後）。\n- $b^i_{x,y}$：LRN 後の標準化された活性化値。\n- $k$, $\\alpha$, $\\beta$, $n$：LRN のハイパーパラメータで、これらは検証セットを通じて調整されます。\n  - $k = 2$\n  - $\\alpha = 10^{-4}$\n  - $\\beta = 0.75$\n  - $n = 5$\n- $N$：その層の総畳み込みカーネル数。\n- $j$：隣接する畳み込みカーネルのインデックスを走査し、その範囲は$[\\max(0, i - \\lfloor n/2\\rfloor), \\min(N-1, i + \\lfloor n/2\\rfloor)]$です。\n\n### 重複最大プーリング\n\nAlexNet では、最大プーリング層のサイズは 3x3、ストライドは 2 です。\n\nこの操作により、特徴マップの幅と高さがほぼ半分になり、計算量が削減されます。\n\n同じ出力サイズになるストライド 2 の非重複 2×2 プーリングと比べ、重複する 3×3 プーリングでは top-1／top-5 誤差率が **0.4／0.3 ポイント**低下しました。学習中は過学習もしにくい傾向が見られました。\n\n### Dropout\n\n訓練中、著者はモデルが過学習しやすいことに気づき、この問題を解決するために Dropout 技術を導入しました。\n\nDropout は各訓練反復でランダムに神経ネットワーク内のいくつかのニューロンを「ドロップ」（出力をゼロに設定）します。\n\nこれは、毎回の前向き伝播過程でネットワークがランダムなサブセット構造で計算を行うことを意味します。\n\nドロップされたニューロンは前向き伝播に貢献せず、逆伝播にも参加しません。\n\nこれにより、神経ネットワークは特定のニューロンの存在に依存せずに学習を行うため、ニューロン間の複雑な共同適応現象を減少させることができます。\n\n\n> [!TIP]\n> \n> 推論時には Dropout を無効にし、全ユニットを使います。原論文は学習時に残ったユニットを拡大せず、テスト時に出力へ 0.5 を掛けます。下の PyTorch の実装は学習時に拡大する方式なので、推論時にもう一度 0.5 を掛ける必要はありません。\n\n\n### モデル実装\n\n次に、ネットワーク全体の構成を詳しく見ていきましょう：\n\n1. 224x224 の画像を入力します。\n2. 第一層の畳み込みカーネルのサイズは 11x11、ストライドは 4、出力は 96 個の特徴マップ、出力サイズは 55x55 です。\n3. 次に最大プーリング層があります。\n4. 第二層の畳み込みカーネルのサイズは 5x5、出力は 256 個の特徴マップ、出力サイズは 27x27 です。\n5. 再度最大プーリング層があります。\n6. 第三層の畳み込みカーネルのサイズは 3x3、出力は 384 個の特徴マップ、出力サイズは 13x13 です。\n7. 第四層の畳み込みカーネルのサイズは 3x3、出力は 384 個の特徴マップ、出力サイズは 13x13 です。\n8. 第五層の畳み込みカーネルのサイズは 3x3、出力は 256 個の特徴マップ、出力サイズは 13x13 です。\n9. 最後に 3 層の全結合層があり、第一層は 4096 個のニューロン、第二層も 4096 個のニューロン、最後の層は 1000 個のニューロン、ImageNet の 1000 クラスに対応しています。\n\n論文によれば、以下のいくつかの重要点があります：\n\n1. 5 つの畳み込み層と最初の 2 つの全結合層の後に ReLU を置きます。最後の層は logits を出力し、softmax でクラス確率へ変換します。\n2. 第一層と第二層の畳み込み後にローカル正規化（LRN）が適用されています。\n3. 最大プーリングはローカル正規化と第五の畳み込み層後に使用され、サイズは 3x3、ストライドは 2 です。\n4. 最初の 2 つの全結合層の隠れ活性値に Dropout が適用され、ドロップ率は 0.5 です。\n\n以下は単一デバイス上の学習用実装です。元の GPU 間の接続をグループ畳み込みで表しています。224×224 入力から最初の層で 55×55 を得るため、`padding=2` を指定します。最後のプーリング後は 6×6 です。\n\n[PyTorch の LRN](https://docs.pytorch.org/docs/2.14/generated/torch.nn.modules.normalization.LocalResponseNorm.html) は二乗和に `alpha / size` を掛けるため、ここでは `alpha=0.0005` とし、上の式の $10^{-4}$ に合わせます。出力は `CrossEntropyLoss` などに渡せる logits です。論文のデータ拡張、初期化、訓練手順をすべて再現したコードではありません。\n\n```python\nimport torch.nn as nn\n\nclass AlexNet(nn.Module):\n\n    def __init__(self, num_classes=1000):\n        super(AlexNet, self).__init__()\n\n        self.stage1 = nn.Sequential(\n            nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=2),\n            nn.ReLU(),\n            nn.LocalResponseNorm(size=5, alpha=0.0005, beta=0.75, k=2),\n            nn.MaxPool2d(kernel_size=3, stride=2)\n        )\n\n        self.stage2 = nn.Sequential(\n            nn.Conv2d(96, 256, kernel_size=5, padding=2, groups=2),\n            nn.ReLU(),\n            nn.LocalResponseNorm(size=5, alpha=0.0005, beta=0.75, k=2),\n            nn.MaxPool2d(kernel_size=3, stride=2)\n        )\n\n        self.stage3 = nn.Sequential(\n            nn.Conv2d(256, 384, kernel_size=3, padding=1),\n            nn.ReLU()\n        )\n\n        self.stage4 = nn.Sequential(\n            nn.Conv2d(384, 384, kernel_size=3, padding=1, groups=2),\n            nn.ReLU()\n        )\n\n        self.stage5 = nn.Sequential(\n            nn.Conv2d(384, 256, kernel_size=3, padding=1, groups=2),\n            nn.ReLU(),\n            nn.MaxPool2d(kernel_size=3, stride=2)\n        )\n\n        self.classifier = nn.Sequential(\n            nn.Flatten(),\n            nn.Linear(256 * 6 * 6, 4096),\n            nn.ReLU(),\n            nn.Dropout(0.5),\n            nn.Linear(4096, 4096),\n            nn.ReLU(),\n            nn.Dropout(0.5),\n            nn.Linear(4096, num_classes),\n        )\n\n    def forward(self, x):\n        x = self.stage1(x)\n        x = self.stage2(x)\n        x = self.stage3(x)\n        x = self.stage4(x)\n        x = self.stage5(x)\n        x = self.classifier(x)\n        return x\n```\n\n## 討論\n\n### 畳み込みネットワークは何を学習するのか？\n\n![AlexNet 原論文 Figure 3：第 1 層の 96 個の 11×11×3 フィルタ、上段が GPU 1、下段が GPU 2](/content/papers/assets/95f74c2777c8012a7f5424715bf224ec1fe784bf68912b7804c97a77326f3ebb.jpg)\n\n*原論文 Figure 3：GPU 1 の 48 個は主に方向や周波数に、GPU 2 の 48 個は色に反応します。GPU 間の接続制限に伴う定性的な観察です。*\n\n著者は第 1 層の **96 個すべて**のフィルタを可視化しています。方向、周波数、色への選択性は見えますが、この図だけで後段がどの物体を認識したかは分かりません。\n\n過去の研究では、これらの特徴を手動で設計し、それを機械学習アルゴリズムに提供していました。例えば、私たちがよく知っている SIFT、HOG、Sobel 演算子などです。\n\nAlexNet 以降、研究の重点は、ネットワーク自身がより良い特徴を学べる設計へと移りました。手作業の特徴にも用途はありますが、大規模画像認識の唯一の主役ではなくなりました。\n\n### ILSVRC-2010 結果\n\n| モデル            | Top-1 | Top-5 |\n| ----------------- | ----- | ----- |\n| Sparse coding [2] | 47.1% | 28.2% |\n| SIFT + FVs [24]   | 45.7% | 25.7% |\n| CNN               | 37.5% | 17.0% |\n\n以下は 2012 年の論文で報告された ILSVRC-2010 データセット上のテスト誤差率です。2010 年の大会への参加記録ではありません：\n\n- **Top-1 誤差率**: 37.5%\n- **Top-5 誤差率**: 17.0%\n\n当時の他の最良の方法と比較すると：\n\n- **Sparse coding**方法の Top-1 誤差率は 47.1%、Top-5 誤差率は 28.2%でした。\n- **SIFT + Fisher Vectors (FVs)**方法の Top-1 誤差率は 45.7%、Top-5 誤差率は 25.7%でした。\n\nこれにより、AlexNet は ILSVRC-2010 において他の方法を大きく上回る結果を出したことが示されました。\n\n### ILSVRC-2012 結果\n\n| モデル         | Top-1 (val) | Top-5 (val) | Top-5 (test) |\n| -------------- | ----------- | ----------- | ------------ |\n| SIFT + FVs [7] | —           | —           | 26.2%        |\n| 1 CNN          | 40.7%       | 18.2%       | —            |\n| 5 CNNs         | 38.1%       | 16.4%       | 16.4%        |\n| 1 CNN\\*        | 39.0%       | 16.6%       | —            |\n| 7 CNNs\\*       | 36.7%       | 15.4%       | 15.3%        |\n\n- \\* は追加の ImageNet 2011 Fall データによる事前学習を示します。7 CNNs* では、追加した 2 モデルだけがこの事前学習を用いています。\n\nILSVRC-2012 のコンペティションでは、テストセットのラベルが公開されなかったため、すべてのモデルのテスト誤差率を完全に報告することはできませんが、以下は重要な結果です：\n\n- 単一の CNN モデルは検証セットで Top-5 誤差率 18.2%を達成しました。\n- 5 つの類似した CNN モデルの予測を平均化すると、Top-5 誤差率は 16.4%に低下しました。\n- 6 番目の畳み込み層を含む CNN モデルを ImageNet 2011 Fall リリース版全体（1500 万枚の画像と 22000 クラス）で事前訓練し、その後 ILSVRC-2012 で微調整すると、検証セットの Top-5 誤差率は 16.6% になりました。\n- ImageNet 2011 Fall リリース版で事前訓練した 2 つの CNN モデルと前述の 5 つの CNN モデルの予測を平均化すると、テストセットの Top-5 誤差率は 15.3% に低下しました。\n\nILSVRC-2012 で 2 位の手法は、異なるタイプの密なサンプリング特徴量を用いて FVs を計算し、複数の分類器で予測を平均化することで、26.2%の Top-5 誤差率を達成しました。\n\n## 結論\n\nAlexNet は ILSVRC-2012 コンペティションで驚くべき成果を収め、その登場はコンピュータビジョン分野における深層学習の台頭を象徴しています。上で挙げた **15.3%** は複数モデルのアンサンブルによるテスト誤差率です。\n\nこのネットワークの設計と訓練方法は、その後の深層学習の発展に深遠な影響を与えました。\n","imageSizes":{"/content/papers/assets/87a5a48ff82989d4d78cc4d47a083f292fd7e249c1880c00ac4b31d8a042650d.jpg":{"width":1630,"height":570},"/content/papers/assets/95f74c2777c8012a7f5424715bf224ec1fe784bf68912b7804c97a77326f3ebb.jpg":{"width":1124,"height":480}}}
