論文ノートライブラリに戻る
arXiv 2016CVPR 2017特徴融合論文ノート

FPN

ピラミッド構造

原論文

Feature Pyramid Networks for Object Detection

論文の著者

Tsung-Yi Lin · Piotr Dollár · Ross Girshick · Kaiming He · Bharath Hariharan · Serge Belongie

発表先
CVPR 2017国際会議
arXiv への初回投稿
arXiv:1612.03144
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{featurefusionfpn2016,
  title = {{Feature Pyramid Networks for Object Detection}},
  author = {Tsung-Yi Lin and Piotr Dollár and Ross Girshick and Kaiming He and Bharath Hariharan and Serge Belongie},
  year = {2016},
  eprint = {1612.03144},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1612.03144}
}
このページの内容

シーンを考えてみましょう。

一般的な畳み込みネットワークモデルの操作フローを考えます。まず、3 x 224 x 224 の入力サイズを持つ元の画像が与えられ、次に一層一層ダウンサンプリングされ、最終的には 256 x 7 x 7 の高次元のセマンティック特徴が得られます。一般的な構成では、最後の出力が画像サイズの 1/32 となり、例えば 224 x 224 の元画像に対して最終的に得られる特徴マップのサイズは 7 x 7 になります。

この特徴マップにはさまざまな呼び方があります。例えば:

  • 低解像度の特徴マップ(元画像と比較して最終的な特徴マップの幅と高さはそれぞれ 1/32)
  • 高レベルの意味特徴(一般に受容野が広い。意味の抽象度とチャネル次元は別の概念です)
  • 上層の特徴(bottom |元画像 -> C1 -> C2 -> … -> C5 | top)

この設計は分類タスクには問題ありません。なぜなら、分類タスクは画像全体の内容を参照して、最終的に一つまたは複数の可能な分類結果を出力することができます。

ただし、この一層だけで物体検出を行うと、小物体の位置推定が難しくなります。前述の通り、この特徴マップは 1/32 のスケールです。この時、「検出したい物体」が画像内で 32 x 32 ピクセルより小さい場合、ダウンサンプリングによって細部が区別しにくくなる場合があります。ただし、32×32 は検出可能性を決める厳密な境界ではありません。

まあ、「消えてしまう」という表現は少し誇張かもしれませんが、実際にはモデルが畳み込み操作を使ってダウンサンプリングを行っている場合、その物体は近くのピクセルに自身を依存させるかもしれません。

これが意味するのは、物体検出のパフォーマンスを向上させるためには、これらの特徴を保持するために何かをしなければならないということです。

2015 年末ごろ、SSD(Single Shot MultiBox Detector)が提案されました:

速度と多尺度検出の両立も、当時の重要な方向性でした。

SSD と YOLO はどちらも一段階の検出を目指しますが、SSD は YOLO v1 に特徴融合を追加した構造ではありません。複数スケールの特徴から個別に予測し、検出結果をまとめます。原版には FPN 型のトップダウン融合がなく、浅い特徴と深い特徴の意味表現に差が残ります。

問題の定義

本論文では、著者は次の主要な問題を明確に指摘しています:

  1. 特徴ピラミッドの限界

    画像ピラミッドの各尺度で個別に特徴を抽出すれば、強い多尺度表現が得られます。主な負担は計算の重複とメモリ使用量です。テスト時だけ画像ピラミッドを使うと、学習時との設定の違いも生じます。

  2. SSD の限界

    SSD は VGG の conv4_3 など比較的後段の特徴から予測ピラミッドを作り、さらに低解像度の層を追加します。すでに計算した前段の高解像度特徴を十分に再利用していません。小物体に有用なこれらの特徴には、意味表現の補強が必要です。

解決策

FPN モデル設計

Lin ほか、Feature Pyramid Networks for Object Detection、図 2/3 を組み合わせたもの、arXiv:1612.03144v2

FPN は、異なる検出器でも使える多尺度特徴の構築を目指しています。著者は、畳み込みネットワークの特徴階層構造のピラミッド形状を維持しつつ、すべてのスケールで強力なセマンティックな特徴ピラミッドを作成する構造を提案しました。

この目標を達成するために、著者は次の構造を設計しました:

  • 上から下への通路と横方向接続を通じて、低解像度特徴と高解像度特徴を結びつける。

この一文が説明された後、この論文はほぼ終わりです。あとは実装とテストの部分です。

それでも、著者が提供するいくつかの実装の詳細を見てみましょう。

  1. Bottom-up 経路

    最初の部分は、低レベルから高レベルの特徴へ進む経路です。ここでは筆者が手描きした ResNet18 の教育用の図を使います。原論文の実験構成ではありません。PyTorch のチャネル優先形式では入力は 3 x 224 x 224 です。以下の P1~P5 は手描き図の記号であり、原論文では backbone 特徴を C2~C5、融合後の出力を P2~P5 と呼びます:

    • P1:1/2 サイズの特徴マップ、サイズは 64 x 112 x 112。
    • P2:1/4 サイズの特徴マップ、サイズは 64 x 56 x 56。
    • P3:1/8 サイズの特徴マップ、サイズは 128 x 28 x 28。
    • P4:1/16 サイズの特徴マップ、サイズは 256 x 14 x 14。
    • P5:1/32 サイズの特徴マップ、サイズは 512 x 7 x 7。

    この画像は、モデルのダウンサンプリング過程を通過し、論文ではこれを Bottom-up 経路と呼びます。

    高解像度の特徴は計算資源を使いますが、原版 FPN は stride 4 の C2 から P2 を作り、小物体の表現に利用します。除外するのは conv1 であり、C2 ではありません。

  2. Top-down 経路と横方向接続

    先程のステップを思い出してください。入力データは左側から右側に流れます。

    特徴ピラミッド設計の第 2 段階は、特徴を「右から左」に再度統合することです。

    ここで P4 ~ P5 を拡大して見てみましょう:

    この融合過程では、まず、高次元の特徴マップのサイズが小さいため、最初にそれを処理する必要があります。

    この手描き図では P5 を 2 倍にアップサンプリングし、空間サイズを合わせます。原版 FPN は最近傍補間を使い、C5 からの 1×1 投影で最も粗い P5 を作ります。この図では出発点の投影を省略しています。

    次に、これら 2 つの異なる次元の特徴マップを加算したいと思います。しかし、これには別の課題があります。チャンネル数が一致しません。

    上図に示すように、Block5 から出力された特徴マップは 512 チャンネルですが、Block4 から出力された特徴マップは 256 チャンネルです。チャンネル数が一致しないため、直接加算することはできません。この問題を解決するために、1×1 の畳み込みフィルターを使って特徴マップのチャンネル数を調整する必要があります。チャンネル数の調整方法には特定の規定はありませんが、実際の状況に応じて適切なチャンネル数を事前に定義することができます(例えば教育用の例では 64、原論文では 256)。

    融合に使う各特徴マップは、チャンネル数の一致を確保するために 1×1 の畳み込み層を通過させ、チャンネルを合わせることで問題を解決します。

    チャンネルとサイズが整った後、異なる層の特徴マップを直接加算して融合操作を完了させます。

    これをもう一度行うと、さらに実感が湧くかもしれません。次に P4 から P3 への融合を見てみましょう。

    最後に、実際の設計は次のようになります:

討論

本当に改善されたのか?

結果を先に言います:改善されました。

論文の著者はこれを説明するために多くの実験データを行い、記事の最後でいくつかの重要なグラフを紹介しています。まず、論文内で提供されているアブレーション実験を見てみましょう:

Lin ほか、Feature Pyramid Networks for Object Detection、表 1、arXiv:1612.03144v2。提案領域の AR であり、検出 AP ではない

この表の指標は RPN の提案領域の平均再現率(AR) であり、検出 AP ではありません。画像あたり最大 100 または 1000 件の提案領域で評価します。1000 件の場合、完全な FPN (c) は 56.3 AR、top-down を除いた (d) は 49.5、横方向接続を除いた (e) は 46.1、最高解像度の P2 だけを使う (f) は 51.3 です。

いずれも完全な FPN より低いものの、低下幅は異なります。この AR の差を検出 AP の増益として扱うことはできません。(d) の 49.5 は C4 だけを使うベースライン (a) の 48.3 に近く、(f) の 51.3 はそのベースラインよりまだ高い値です。

次の表を見てみましょう:

Lin ほか、Feature Pyramid Networks for Object Detection、表 4、arXiv:1612.03144v2

続く表 4 では、2016 年の G-RMI や 2015 年の Faster R-CNN+++ など、COCO コンペティションの単一モデル検出 APと比較します。test-dev では FPN の 36.2 AP が表中の従来最高である AttractioNet の 35.7 AP を 0.5 ポイント上回ります。先ほどの RPN の AR とはタスクも指標も異なり、一つの融合ブロックだけを差し替えた対照実験ではありません。

結論

FPN は、さまざまなバックボーンネットワークと組み合わせることができる強力な特徴ピラミッドを構築するための簡潔なフレームワークを提案しました。この方法は、いくつかの強力なベンチマークモデルや競技会の優勝者において顕著な改善を示しました。

FPN は、次の 2 点を述べています:

  • 1 つ目は、異なる尺度の対象を扱う課題では、複数スケールの特徴融合を検討するということ。
  • 2 つ目は、特徴融合技術は次の 3 つの言葉で表せるということ:「下から上、上から下、そして加算する」。

この論文以降、特徴融合戦略の改善方法や効率向上、融合の重みの調整方法など、さまざまな議論が展開されています。

後続の論文もいろいろあります。時間を見つけて、一緒に読んでいきましょう。