Aggregated Residual Transformations for Deep Neural Networks
- 発表先
- CVPR 2017国際会議
- arXiv への初回投稿
- arXiv:1611.05431
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{classiccnnsresnext2016,
title = {{Aggregated Residual Transformations for Deep Neural Networks}},
author = {Saining Xie and Ross Girshick and Piotr Dollár and Zhuowen Tu and Kaiming He},
year = {2016},
eprint = {1611.05431},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1611.05431}
}
以前に紹介された Inception モデルを覚えていますか?
あの目を見張るような分岐構造は印象的でしたね?
問題の定義
Inception は精緻に設計されたトポロジ構造が、理論的な複雑度を低く保ちながらより良い性能を実現できることを証明しました。
しかし、この設計方法にはいくつかの問題が伴います:
下流タスクの一般化能力
Inception モデルでは、異なるサイズの畳み込みカーネル(例:1x1、3x3、5x5 など)を使用して、異なるスケールで特徴を同時に抽出することが一般的です。
Inception を再設計したり拡張したりする際には、各分岐のカーネルサイズ、チャネル数、接続方法を検討する必要があり、設計空間が複雑になります。
モデル設計に不向き
現在の神経ネットワークに関する研究は、すでに「特徴エンジニアリング」から「モデル設計エンジニアリング」へとシフトしています。つまり、良い神経ネットワークをどう設計するかということです。
Inception モデルの設計には大量の人力と時間がかかり、より大きなモデルに拡張するのが難しいです。
しかし、この「分割・変化・統合」の設計思想は非常に参考になります。
解決策
ネットワークアーキテクチャ
上図のように、左側が元の ResNet 構造、右側が著者が提案した ResNeXt 構造です。
著者は VGG および ResNet の設計方法を参考にし、高度にモジュール化された設計を採用し、モデルを多数の残差ブロック(residual blocks)で構成しました。次に、新しい次元として「基数(cardinality)」を導入し、深さや幅に加えて重要な要素として位置付けました。
基数は、集約する並列変換の数です。等価なグループ化畳み込みの実装では、1×1 投影の後にある中間の 3×3 畳み込みのグループ数に対応します。32×4d は、中間チャネルを 4 つずつ持つ 32 グループを指します。分割は中間の 3×3 畳み込みで行います。
さらに、著者は次の 2 つのシンプルなルールで設計空間を簡素化し、ネットワーク全体の設計をより簡単で統一的にしました:
- ルール 1:同じサイズの空間マップを生成する場合、それらのブロックは同じハイパーパラメータ(幅とフィルタサイズ)を共有する。
- ルール 2:空間マップを 2 倍にダウンサンプリングするたびに、モジュールの幅を 2 倍にする。
最後に、集約変換(Aggregated Transformations)の概念を導入し、ニューロンの基本的な操作をより複雑な変換に拡張し、ボトルネック型のアーキテクチャとグループ化された畳み込みを使用して実装を簡素化し、モデルの性能を向上させました。
このアーキテクチャにはいくつかの同等な形が存在します、以下の図のように:
- 上図(a)は本論文で提案された構造です。
- 上図(b)は、各分岐の 4→256 チャネルの 1×1 投影を、連結後の 128→256 チャネルの 1×1 投影にまとめたものです。
- 上図(c)は 32 グループの 3×3 畳み込みで各分岐を表し、その後に 128→256 チャネルの 1×1 畳み込みを加えます。
モデル設定
中間の 3×3 畳み込みはグループ化で計算を抑えられるため、著者は比較するブロックの中間総チャネル数を 64 から 128 に増やし、32 グループにしました。Table 1 の ResNet-50/ResNeXt-50 は約 25.5M/25.0M パラメータ、4.1G/4.2G FLOPs で、完全一致ではなく近い複雑度です。
討論
ImageNet-1K トレーニング結果
上図は、異なるモデルの検証誤差と訓練誤差が訓練回数(エポック数)に対してどのように変化するかを示しています。
ResNet-50 と比較して、32×4d ResNeXt-50 の top-1 検証誤り率は 22.2% で、ResNet-50 の 23.9% より 1.7 ポイント低くなっています。
基数が 1 から 32 に増加するにつれて、モデルの複雑さを維持しながら、誤差率は減少し続けます。32×4d ResNeXt の訓練誤差も ResNet-50 よりも明らかに低く、性能の向上が主にモデルの表現能力の強化によるもので、正則化効果によるものではないことを示しています。
ResNet-101 の場合、32×4d ResNeXt-101 の top-1 検証誤り率は ResNet-101 より 0.8 ポイント低い値です。検証誤差の改善は ResNet-50 と比較して小さいですが、訓練誤差の改善は依然として顕著です(ResNet-101 は 20%、32×4d ResNeXt-101 は 16%)。
モデル複雑度の増加
グループ数がモデルの性能に与える影響をテストするため、著者は以下のいくつかの実験を行いました:
-
複雑さを 2 倍に増加
- ResNet-101 の top-1 誤り率のベースライン(22.0%)と比較して、この実験で試した計算量の大きい構成では、いずれも誤り率が低下しました。
- しかし、効果には限界があります:
- 深さを増加させる(ResNet-200、top-1 誤り率が 0.3 ポイント低下)
- 幅を増加させる(広い ResNet-101、top-1 誤り率が 0.7 ポイント低下)。
-
基数を増加させる方が効果的
実験により、基数を増やすことが深さや幅を増やすことよりも良い結果を示すことが分かりました。
- 2×64d ResNeXt-101 は top-1 誤差を 20.7%に低減しました。
- 1×64d ResNet-101 のベースラインにを 2 倍にして幅を保持した場合
- 64×4d ResNeXt-101 は top-1 誤差を 20.4%に低減しました。
- 32×4d ResNeXt-101 でを 2 倍にして幅を保持した場合
- 2×64d ResNeXt-101 は top-1 誤差を 20.7%に低減しました。
-
低い複雑度での性能
32×4d ResNeXt-101(21.2%)の性能は、より深い ResNet-200 やより広い ResNet-101 よりも優れていますが、その複雑度は約 50%に過ぎません。これは、基数が深さや幅よりも効果的な次元であることを示しています。
ImageNet-1K モデルのパフォーマンス
上表は、ImageNet 検証セットで単一クロップテストを行った結果を示しています。
ResNeXt-101 (64×4d) は 320×320 の単一クロップで top-5 誤り率 4.4%、同じモデルの 224×224 では 5.3% です。表中の Inception は 299×299 を使い、入力サイズはモデル間で揃っていません。これらは ImageNet-1K 検証結果であり、同条件の速度比較ではありません。
さらに、ResNeXt のアーキテクチャ設計はすべての Inception モデルよりもはるかにシンプルで、手動で設定する必要があるハイパーパラメータも少なくなっています。
結論
本論文では、ResNeXt というシンプルで高度にモジュール化されたネットワークアーキテクチャを提案し、同じトポロジー構造を持つ変換を繰り返し集約することで構築し、同質な多分岐アーキテクチャを形成しました。このアーキテクチャは、少数のハイパーパラメータ設定のみで実現できます。
著者は、新しい次元「基数(cardinality)」を導入し、深さや幅に加えて重要な要素として位置付けました。
実験結果は、モデルの複雑さを維持しながら、基数を増加させることで分類精度が大幅に向上することを示しています。
モデルの深さや幅を単純に増加させるよりも、基数を増加させる方が効果的であることが確認されました。