論文ノートライブラリに戻る
arXiv 2017CVPR 2018古典的な CNN論文ノート

NASNet

ネットワークアーキテクチャの探索

原論文

Learning Transferable Architectures for Scalable Image Recognition

論文の著者

Barret Zoph · Vijay Vasudevan · Jonathon Shlens · Quoc V. Le

発表先
CVPR 2018国際会議
arXiv への初回投稿
arXiv:1707.07012
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{classiccnnsnasnet2017,
  title = {{Learning Transferable Architectures for Scalable Image Recognition}},
  author = {Barret Zoph and Vijay Vasudevan and Jonathon Shlens and Quoc V. Le},
  year = {2017},
  eprint = {1707.07012},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1707.07012}
}
このページの内容

ハンマーを手にすると、すべてが釘に見える。

*

深層学習のニューラルネットワークが普及してから、効果的なネットワークアーキテクチャを構築する方法が重要な問題となりました。

この問題を解決するために、研究者たちは自動的にネットワークアーキテクチャを探索する方法(Neural Architecture Search, NAS)をいくつも提案しています。

その中でも特に優れた技術を持つのが Google チームであり、彼らはさまざまな場所で NAS 技術を使ってネットワークを探索しています。

問題の定義

AlexNet が流行して以来、これまでにさまざまなネットワークアーキテクチャが開発されてきました。

しかし、これらのアーキテクチャの設計は、通常経験や直感に基づいて行われ、厳密な理論的基盤に基づくものではありません。

これにより、次のような問題が生じています:

  • どのネットワークアーキテクチャが最適なのかが分からない。
  • ネットワークアーキテクチャの設計には多くの専門知識と経験が必要。
  • ネットワークアーキテクチャの設計過程は通常時間がかかり、リソースを多く消費する。

ここでは理論的基盤の部分は省略し、この論文が提案する自動的にネットワークアーキテクチャを探索する方法が、これらの「一部の問題」を解決できることを示します。

解決策

転送可能なアーキテクチャ

原論文 Figure 2:左の CIFAR-10 モデルには Reduction Cell が二つあります。右の ImageNet モデルは、stride 2 の畳み込みと二つの Reduction Cell で先に解像度を下げ、その後も二つの Reduction Cell が Normal Cell の群を区切ります。繰り返し回数 NN は課題と計算予算に応じて変えられます。

この論文が発表された 2017 年当時、ImageNet の認識精度向上は画像分類研究の重要な目標でした。

しかし、ImageNet は非常に大きなデータセットであり、直接 ImageNet でネットワークアーキテクチャを探索すると、非常に多くのリソースを消費してしまいます。

そこで CIFAR-10 で cell の内部構造を探索し、繰り返し回数 NN とフィルタ数を調整して ImageNet に適用します。

基本構造

著者はネットワークアーキテクチャを構築するための 2 つの基本的なセルを提案しています:

  1. Normal Cell:主に入力特徴マップのサイズ(高さと幅)を維持する役割を持つ。情報の保存性は cell の演算に依存します。
  2. Reduction Cell:入力に適用する最初の演算を stride 2 とし、特徴マップの高さと幅を半分にします。

Reduction と Normal Cell は同じアーキテクチャを持つこともできますが、経験的には 2 つの異なるアーキテクチャを学習することが有益です。

また、空間次元を減少させるたびに、チャネル数を 2 倍にして表現力を増やしています。

Inception や ResNet の反復モジュールが設計のヒントになりました。cell を置く全体の構成は人が決め、制御器は Normal/Reduction Cell の内部を探索します。繰り返し回数と初期フィルタ数は課題に合わせて調整できます。

探索プロセス

原論文 Figure 3:灰色の部分で二つの入力状態、黄色で各入力への演算、緑色で統合方法を選びます。右端は一つのブロックの例で、cell 全体ではこれを BB 回繰り返します。

探索空間では、各畳み込みユニットは 2 つの初期隠れ状態 hih_i と hi−1h_{i-1} を受け取ります。この隠れ状態は、前の 2 つの低い層のユニットから出力されたものか、入力画像から来るものです。

制御用 RNN が候補 cell を提案します。探索中は各候補ネットワークを CIFAR-10 で固定の 20 epochs 学習させ、検証精度を報酬として PPO で制御器を更新します。探索後は上位 250 構造をさらに学習させて最終的な cell を選びます。以下の「隠れ状態」は候補 cell 内の特徴テンソルであり、制御用 RNN 自身の隠れ状態とは別です。

論文は同じ探索空間でランダム探索も比較しています。強化学習の方がわずかに良いものの、差は大きくありません。主な貢献は転用と規模調整ができる cell の探索空間であり、成果をすべて PPO に帰することはできません。

  • RNN の予測プロセス

    RNN は畳み込みユニットの構造を再帰的に予測し、次の手順で行います:

    1. 隠れ状態の選択:hih_i、hi−1h_{i-1}、または前のブロックで生成された隠れ状態の集合から隠れ状態を選びます。
    2. 2 番目の隠れ状態の選択:手順 1 と同じ選択肢から 2 番目の隠れ状態を選びます。
    3. 操作の選択:手順 1 で選んだ隠れ状態に対して操作を選びます。
    4. 2 番目の操作の選択:手順 2 で選んだ隠れ状態に対しても操作を選びます。
    5. 出力の統合:手順 3 と 4 の出力を統合する方法を選び、新しい隠れ状態を生成します。
  • 予測ステップの繰り返しとブロック

    RNN は上記の 5 つの予測ステップを B 回繰り返し、畳み込みユニットの B 個のブロックに対応します。

    本論文の実験では B=5B=5 を採用しています。

    各ラウンドでの予測は、新たに作成した隠れ状態を既存の隠れ状態集合に追加し、次のブロックでの潜在的な入力として使用されます。

  • 操作の選択

    RNN は以下の操作から選択します。これらの操作は、CNN 文献においてよく使われているものです:

    • identity
    • 1x3 then 3x1 convolution
    • 1x7 then 7x1 convolution
    • 3x3 dilated convolution
    • 3x3 average pooling
    • 3x3 max pooling
    • 5x5 max pooling
    • 7x7 max pooling
    • 1x1 convolution
    • 3x3 convolution
    • 3x3 depthwise separable convolution
    • 5x5 depthwise separable convolution
    • 7x7 depthwise separable convolution
  • 統合方法

    手順 5 では要素ごとの加算かチャネル方向の連結を選び、新しい状態を作ります。後続のブロックはこの状態も入力候補にできます。NASNet-A の cell では、最後に後続ブロックで使われなかった状態をチャネル方向に連結して出力とします。

DropPath モジュール

過去の文献では、DropPath 技術が過学習を防ぎ、モデルの一般化能力を高めるために使用されてきました。

著者は NASNet の訓練に固定確率の DropPath を試しましたが、うまく働きませんでした。

代わりに ScheduledDropPath を導入し、訓練に伴って cell 内の経路を落とす確率を線形に増やします。論文は CIFAR-10 と ImageNet の双方で改善を報告しています。

探索実験結果

原論文 Figure 4:各 cell は五つのブロックで構成されます。黄色は基本演算、緑色は二分岐の統合、上部の桃色は後続ブロックで再利用されなかった状態の連結です。破線と実線はそれぞれ hi−1h_{i-1} と hih_i からの入力を示します。

CIFAR-10 で探索された NASNet-A の二種類の cell が上図です。Figure 2 のように積み重ねて分類ネットワークにします。この探索には約 500 基の GPU を四日間使用しました。これは探索コストであり、一回の推論コストではありません。

この図は複雑に見えますが、よく見ると理解しやすいです:

  • 緑色の節点では、黄色の演算を通った二つの入力を統合します。生成された状態を後続ブロックが再利用でき、最後に桃色の節点で cell の出力を連結します。
  • 解像度を下げる位置には Reduction Cell、それ以外の位置には Normal Cell を配置します。

討論

CIFAR-10 での結果

原論文 Table 1:誤差率は低いほど良い指標です。Cutout を用いた NASNet-A (7 @ 2304) の 2.40% は五回の試行の平均です。

表から分かるように、Cutout による遮蔽のデータ拡張を用いた大規模な NASNet-A モデルは、2.40%の最先端エラーレートを達成しました(5 回の実行の平均値)。これは、以前の最良記録である 2.56%をわずかに上回る結果です。

著者は、単一実行での最良エラーレートが 2.19%に達したことを報告しています。

ImageNet へのアーキテクチャの転送

原論文 Table 2:入力解像度はモデルごとに異なります。331×331 の NASNet-A (6 @ 4032) は 88.9M パラメータ、23.8B 回の乗加算、top-1 精度 82.7%。SENet も 82.7% ですが、この表では 145.8M パラメータと 42.3B 回の乗加算です。

ここで転送されたのはネットワーク構造だけであり、モデルは再訓練されています。

表中の複数の NASNet-A は、比較対象より少ないパラメータ数や乗加算回数で、同程度以上の精度を示します。ただし入力解像度が異なる行もあります。

最大の NASNet-A は ImageNet の単一モデル top-1 精度 82.7% で、論文が当時の既報最高とした DPN-131 の 81.5% を 1.2 ポイント上回ります。表中の SENet も 82.7% です。著者はこれを当時未発表の同時期の結果として扱っています。

モバイルデバイスでの評価

原論文 Table 3:NASNet-A (4 @ 1056) は 5.3M パラメータ、564M 回の乗加算、top-1/top-5 精度 74.0/91.6%。この表は端末での実測遅延を示していません。

224×224 の ImageNet 分類では、MobileNet-224 は 569M 回の乗加算で top-1 70.6%、ShuffleNet (2x) は 524M 回で 70.9% です。

NASNet-A (4 @ 1056) は近い 564M 回で 74.0% に達し、ShuffleNet より 3.1 ポイント高い値です。一方、パラメータ数 5.3M は MobileNet の 4.2M より多い値です。

結論

本論文の要点は、小規模データセットで繰り返し配置できる cell を探索し、その構造を大規模データセットへ移して重みを再学習することです。

著者は cell の内部構造と反復回数を分けました。Normal/Reduction Cell を探索した後、NN とフィルタ数でモデル規模を変えます。Table 2/3 は異なる計算予算への適用を示しますが、探索自体には大きな計算資源が必要です。

探索予算のない研究者も公開された cell の構造は再利用できます。ただし、自分のデータ、解像度、ハードウェアに合わせて訓練し、性能を測る必要があります。