論文ノートライブラリに戻る
arXiv 2019CVPR 2019特徴融合論文ノート

NAS-FPN

お金があれば自由だ

原論文

NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection

論文の著者

Golnaz Ghiasi · Tsung-Yi Lin · Ruoming Pang · Quoc V. Le

発表先
CVPR 2019国際会議
arXiv への初回投稿
arXiv:1904.07392
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{featurefusionnasfpn2019,
  title = {{NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection}},
  author = {Golnaz Ghiasi and Tsung-Yi Lin and Ruoming Pang and Quoc V. Le},
  year = {2019},
  eprint = {1904.07392},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1904.07392}
}
このページの内容

FPN が提案された後、特徴融合は熱心に議論されている問題となり、ここでは時間順にいくつかの論文を列挙してみます:

その中でもよく耳にするのは PANet ですが、他の論文も多尺度の特徴融合を異なる角度から扱っているので、併せて読む価値があります。

さて、どれを選ぶべきでしょうか?

Google もこの問題に興味を持ち、彼らはこの論文を提案しました:NAS-FPN。

その核心概念を探ってみると、こうです:「どれが良いか分からないから、アルゴリズムを使って…」

  • 大規模に探索してみよう!

NAS とは?

NAS は神経アーキテクチャ検索(Neural Architecture Search)の略で、深層学習の分野で重要な研究方向の一つです。目的は、指定された探索空間と計算予算の範囲で、タスクに適したニューラルネットワークを見つけることです。神経ネットワークアーキテクチャは、通常、複数の層、ニューロン、および接続から構成され、これらのアーキテクチャの設計がモデルの性能に大きな影響を与える可能性があります。

従来、神経ネットワークの設計は通常専門家によって行われ、多くの実験と調整が必要です。これは時間がかかり、専門知識を要するプロセスです。NAS の目的は、このプロセスを自動化し、機械による候補構造の探索を支援することです。

NAS では、検索空間が定義され、探索空間は研究者が定めた演算と接続規則からなります。そして、遺伝的アルゴリズム、強化学習、進化的アルゴリズムなどの異なる検索戦略を使用して、システムは自動的にこれらのアーキテクチャを生成・評価・選択し、特定のタスクで最良のパフォーマンスを発揮するアーキテクチャを見つけます。

一般的に、NAS の長所と短所は次の通りです:

長所

  • 自動化:候補を一つずつ手作業で設計する負担を減らせます。ただし、総所要時間や計算資源は探索方法に依存します。
  • 最適化:タスク、データセット、コストの目標に基づいて候補を比較し、人手で設計したベースラインを上回る可能性があります。
  • 柔軟性:特定のタスクやアーキテクチャに限定されず、さまざまなアプリケーションシーンに適応でき、特定のニーズに合わせたモデルを生成できます。
  • 革新性:新しい神経ネットワーク構造を発見するのに役立ち、革新的なモデルアーキテクチャが生まれる可能性があります。これにより深層学習の発展が進みます。

短所

  • 計算リソースの消費:検索プロセスには大量の計算リソース(GPU や TPU)が必要で、多くの時間もかかります。これが実際のアプリケーションに制約を与える場合があります。
  • 複雑さ:検索空間の大きさと可能な組み合わせの数が膨大で、検索プロセスが非常に複雑になる可能性があり、効果的な検索を行うために高度なアルゴリズムや技術が必要です。
  • データセット依存:見つかった最適なアーキテクチャは、使用するデータセットに強く依存する可能性があります。
  • ランダム性:検索プロセスにはランダム性が含まれており、異なる検索実行で異なる結果が得られる可能性があります。これにより、結果の安定性が課題となることがあります。

実際は短所が多い

NAS の柔軟性は魅力的ですが、探索システムの構築にはコストがかかります。論文で探索済みの構造を使うなら、次の点を考える必要があります:

  • 私の使用シナリオは論文と同じですか?

比較すべき条件には、学習・推論データの分布、ハードウェア、計算予算などがあります。違いがあれば直ちに不適切というわけではなく、

  • 転用先での性能を検証する必要があります。

NAS-FPN 自体も異なるバックボーンや入力解像度への転用を試しています。ただし、すべてのタスクで成功する保証ではありません。

この論文で何を言おうとしているのか?

もしかすると、私たちも探索を実行できる側かもしれません。この論文から探索空間と評価手順の設計を学べますし、探索を再実行しなくても、得られた接続方法は自分の設計のヒントになります。

解決策

NAS-FPN モデル設計

Ghiasi ほか、NAS-FPN、Figure 2、arXiv:1904.07392v1

この研究の主な目的は、より良い FPN アーキテクチャを見つけることです。学術界で一般的に使用される言葉では、モデルの最初に基本的なアーキテクチャ(Backbone)があり、これを自由に変更できます。例えば、ResNet や MobileNet などです。

次に FPN 部分は通常「Neck」と呼ばれ、ここでは多尺度の特徴接続が行われます。これが今議論している範囲です。

ちなみに、Neck の後ろには解決すべき問題が続き、その予測部分を「Head」と呼びます。分類やバウンディングボックスの出力を担当します。

日常の作業環境では、エンジニアは通常、この 3 つの部分を中心に変更、テスト、関連するディスカッションを行います。

この研究では、著者は「RetinaNet」というアーキテクチャをベースに使用しました。RetinaNet の Backbone は ResNet を使用し、Neck は FPN を採用しています。

マージングセル(Merging Cell)

Ghiasi ほか、NAS-FPN、Figure 3、arXiv:1904.07392v1

NAS-FPN では、元々の FPN 設計を基に、「マージングセル」という新しい概念を提案しています。

マージングセルは、小さなモジュールで、2 つの異なる入力特徴層を「結合」して新しい出力特徴層を作成します。この結合プロセスには以下の手順が含まれます:

  1. 最初の特徴層を選択します:候補から 1 つを選び、hi とします。backbone からの入力は C3–C7 で、チャネル数をそろえて候補にします。P3–P7 はピラミッド網の出力であり、後から中間結果も候補に加わります。
  2. 次の特徴層を選択します:残りの候補からもう 1 つを選び、hj とします。同じセル内では重複して選びません。
  3. 出力特徴のサイズを決定します:結合後の新しい特徴層のサイズとなる解像度を選びます。
  4. 結合操作を選択します:特定の数学的操作(加算やグローバルプーリングなど)を使用して hi と hj を結合します。

手順 4 では、検索空間で 2 つの二項演算が設計されています:加算とグローバルプーリングです。グローバルプーリングを使う演算では、一方の入力をプーリングしてチャネル方向のゲートを作り、他方の入力を調節してから融合します。この二つの融合演算自体に学習パラメータはありませんが、後段の畳み込みと BatchNorm にはあります。

hi と hj の解像度が異なれば、結合前に最近傍アップサンプリングか最大プーリングでそろえます。新しい特徴層は ReLU、3×3 畳み込み、BatchNorm を通ります。複数のセルで P3–P7 を生成し、入力と出力の尺度が同じなのでピラミッド網全体を繰り返し積めます。

討論

RNN コントローラーを PPO で学習し、候補構造の検証 AP を報酬に使います。代理タスクでは ResNet-10、512×512 入力、10 エポックの学習を用い、100 個の TPU ワーカーで候補を並列評価します。

新たに得られる異なる構造の数は、約 8,000 コントローラーステップで頭打ちになります。これは検出器の学習ステップ数ではありません。

著者はサンプル済み候補から代理タスクの検証 AP が最も高い構造を選び、本格的な学習と評価へ進めました。

選択された構造はコントローラーの約 8,000 ステップ目で初めて得られ、その後も繰り返しサンプリングされました。

次に、著者は NAS アルゴリズムで得られた FPN アーキテクチャを示しました:

Ghiasi ほか、NAS-FPN、Figure 7(f) 部分、arXiv:1904.07392v1。COCO test-dev の最終 AP ではない

この図は複雑に見えますが、理解しにくいけれども、すごい感じがします。

実際には、注釈を加えたら次のように簡単に理解できます:

注釈を手掛かりに接続を追えます。ただし緑字の「C1–C5」はこの筆記が後から加えた名称です。論文では入力が C3–C7、出力が P3–P7 であり、この注釈をモデル仕様と混同できません。

論文では (a) をベースライン FPN としています。この図は特徴レベルや演算を展開したものです。ノード数だけで「本物ではない」と判断せず、接続と解像度を追うと理解しやすくなります。

Figure 7 全体の (b)~(f) にある 7.5、9.9、15.0、16.0、16.8 AP は ResNet-10 代理タスクの探索報酬で、最終検出器の COCO test-dev 成績ではありません。報酬が高い構造には双方向のスケール間接続があり、PANet の設計直感とも共通点があります:

  • 高次で低解像度の特徴を、高解像度側へ融合する。
  • 高解像度側の特徴も、低解像度側へ融合する。
  • 接続の詳細は PANet と異なります。これは実験で観察された共通パターンであり、あらゆるタスクで双方向融合が必須だという証明ではありません。
Ghiasi ほか、NAS-FPN、Figure 7、arXiv:1904.07392v1

完全学習後の COCO test-dev 成績は論文の Table 1 で確認します。同じ ResNet-50、640×640 入力では、基準 FPN が 37.0 AP/37.5 ms、7 層 NAS-FPN が 39.9 AP/56.1 ms で、精度とともに遅延も増えます。48.3 AP は AmoebaNet、7 層 NAS-FPN、DropBlock を組み合わせた構成であり、16.8 の代理タスク報酬とは異なります。

結論

従来の特徴融合ネットワークは、人の設計と実験から生まれることが多く、その実験の規模でどこまで説得できるのか、という疑問が残ります。理論的な根拠が十分でなくても、実験で得た結論を受け入れることはできます。では、その実験が十分だったとどう示せばよいのでしょうか。

*

NAS-FPN は、精密な探索手順と大きな計算規模で、この問いに別の角度から取り組みました。これほど計算にお金を使える会社は多くないかもしれませんね。

得られた構造には PANet と似た双方向の接続が見られる一方、接続の細部には違いもあります。先行研究の設計を考え直す材料となり、次の特徴融合の研究にもヒントを与えてくれます。