論文ノートライブラリに戻る
arXiv 2019CVPR 2020特徴融合論文ノート

EfficientDet

BiFPN こそが本体

原論文

EfficientDet: Scalable and Efficient Object Detection

論文の著者

Mingxing Tan · Ruoming Pang · Quoc V. Le

発表先
CVPR 2020国際会議
arXiv への初回投稿
arXiv:1911.09070
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{featurefusionbifpn2019,
  title = {{EfficientDet: Scalable and Efficient Object Detection}},
  author = {Mingxing Tan and Ruoming Pang and Quoc V. Le},
  year = {2019},
  eprint = {1911.09070},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1911.09070}
}
このページの内容

半年前、Google は NAS-FPN を発表し、特徴融合の経路を探索アルゴリズムに探させました。ところが今回は、同じ Google の別の著者たちが FPN の経路を自分たちで設計し直します。あれ、もう探索の道は行かないのでしょうか。

論文の理由は実務的です。NAS-FPN は探索コストが高く、得られる構造も不規則で、説明や調整がしにくい。そこで経路を整理して双方向に流す BiFPN を提案しました。二つの設計方針の比較はできますが、社内で誰かが反対したとまでは決めつけられません。

問題の定義

FPN という先駆的な研究は、発表されて以来、さまざまな物体検出タスクに広く適用されています。

その後、さまざまな変種や改善方法が提案されてきましたが、大まかな進展の軌跡を以下の図で見ることができます:

Tan ほか、EfficientDet: Scalable and Efficient Object Detection、Figure 2、arXiv:1911.09070v7

最左端の FPN から始まり、異なる解像度の特徴マップで特徴融合を行い、最深部の特徴マップからアップサンプリングして、再び浅い特徴マップに加算する流れです。

その後、PANet は単純に 1 本の線を加えるだけでは不十分だと考え、新たにもう 1 本のラインを加えて、さらに一度ダウンサンプリングを行い加算するという方法を提案しました。この方法の目的は、最も浅い層から最も深い層への特徴融合ショートカットを構築し、モデルが異なる層の特徴をより良く利用できるようにすることです。

次に NAS-FPN は自動探索によって、候補の中から多層の特徴融合構造を選びました。ただし探索コストは高く、得られた接続も説明や調整が難しくなります。

そのため、この論文では、同じく Google の著者が NAS の方法を考慮せず、PANet の利点に立ち返り、以下の 2 点に重点を置いています:

  • 特徴融合は単純に加算するだけではなく、特徴の重要性を考慮して加重して加算するべきである。
  • FPN の層数はモデルの規模に応じてスケーリングすべきである。

解決策

モデルアーキテクチャ

Tan ほか、EfficientDet、Figure 3、arXiv:1911.09070v7

EfficientDet は RetinaNet などの一段階検出器の設計を踏まえ、EfficientNet backbone、反復する BiFPN、分類・ボックス予測ヘッドを組み合わせます。予測ヘッドの重みは尺度間で共有します。単に RetinaNet の FPN を交換しただけではありません。本稿は融合ネットワークに焦点を当てます。

上の図で最左端は Backbone で、これは本文の重点ではありません;最右端は Head で、これも本文の重点ではありません。私たちは中間の BiFPN に集中する必要があります。

この設計は PANet を基にしていくつかの改善が施されています。これを小さな絵で描いてみましょう:

  1. 同じ尺度のショートカットと加重融合:

    双方向の尺度間経路を保ちつつ、同一尺度の入力ノードと出力ノードを結ぶショートカットを追加します。融合ノードでは学習可能な重みで各入力の寄与を調整し、加重して足し合わせます。

  2. 低貢献ノードの削除:

    著者は、入力辺が一つしかないノードを取り除きます。複数の特徴を融合しないためです。これは効率上の選択です。

この二枚は論文の PANet 図に設計過程を追記したもので、別の原論文 BiFPN 結果図ではありません。ショートカットの追加と単一入力ノードの削除後の構造は、Figure 2(d) で確認できます。

著者はこの構造を「モジュール」と見なしており、この単位で複数の層を積み重ねることができます。これにより、モデルの規模が大きくなるにつれて、さらに多層の特徴融合が可能になります。

モデルスケーリング

Tan ほか、EfficientDet、Table 1、arXiv:1911.09070v7

複合スケーリングでは EfficientNet の考え方を発展させ、backbone、BiFPN、予測ヘッド、入力解像度をまとめて調整します。一部分だけを大きくする方法ではありません。

Backbone だけでなく融合ネットワークと予測ヘッドも合わせて構成する、という考え方です。Table 1 では D0 が 入力 512、BiFPN 64 チャネル/3 層、D6 が 入力 1280、384 チャネル/8 層です。D7 と D7x の BiFPN の幅と深さは同じで、D7x はより大きな B7 backbone と追加の特徴レベルを使います。

加重平均

Tan ほか、EfficientDet、Figure 5、arXiv:1911.09070v7。AP や遅延のグラフではない

最後に、著者は加重特徴マップの重みをどのように設計するかについて議論しました。

論文では、3 つの設計方法が提案されています:

  1. 無制約融合:制約のない重みを直接学習します。学習が不安定になる可能性があるため、正規化を検討します。
  2. Softmax 融合:重みを Softmax 計算で処理し、重みの合計が 1 になるようにします。
  3. 高速な正規化融合:ReLU により wi≥0w_i\geq0 とし、O=∑iwiϵ+∑jwjIiO=\sum_i \frac{w_i}{\epsilon+\sum_j w_j}I_i を使います。ϵ=10−4\epsilon=10^{-4} により重みの和は厳密な 1 ではなく 1 に近い値になり、全重みがゼロでもゼロ除算を防げます。

上の青線と赤い破線は、三つの BiFPN ノードが学習した入力重みの推移です。重みの挙動が似ていることは読み取れますが、AP や実行時間は読み取れません。その比較は原論文の Table 6 にあります。三モデルの softmax/高速融合の AP は 33.96/33.85、43.78/43.77、48.79/48.74、GPU の速度比は 1.28/1.26/1.31 倍です。著者は精度が近く、より速い高速融合を採用します。

討論

COCO でのパフォーマンス

Tan ほか、EfficientDet、Table 2、arXiv:1911.09070v7。test-dev と val は別のデータ分割

著者は COCO 2017 検出データセットを基に実験を行い、118,000 枚の訓練画像を使用しました。以下の D7x などの結果は改訂版の論文に基づき、当時の設定を保持しています。

訓練には SGD を使い、モメンタムは 0.9、重み減衰は 4e-5 です。学習率は最初の epoch に 0 から 0.16 まで線形に上げ、その後はコサイン減衰させます。各畳み込み後の同期バッチ正規化では、減衰係数 0.99、epsilon 1e-3 を用います。

モデルは SiLU(Swish-1)を活性化関数として使用し、安定性を高めるために、指数移動平均の減衰係数 0.9998 を適用しました。訓練中、著者は焦点損失関数を使用し、α は 0.25、γ は 1.5 に設定されました。データ拡張戦略には水平反転とスケーリングのジッターが含まれており、画像のサイズは元のサイズの 0.1 倍から 2.0 倍にランダムに調整されました。また、評価過程ではソフト NMS(非極大値抑制)が使用されました。

訓練リソースについて、著者は EfficientDet-D0 から D6 モデルを 32 個の TPUv3 コアで 300 エポック訓練し、EfficientDet-D7 および D7x モデルは 128 個の TPUv3 コアで 600 エポック訓練し、バッチサイズは 128 に設定されました。

Table 2 は精度がほぼ近いモデルを組にして比較しています。異なる組の結果として、EfficientDet はパラメータが 4~9 分の 1、FLOPs が 13~42 分の 1になる場合があります。D0 と YOLOv3 は test-dev AP が 34.6 対 33.0、FLOPs が 2.5B 対 71B で、演算数は約 28 分の 1 です。RetinaNet や Mask R-CNN と比べた最大約 8 分の 1 のパラメータ、21 分の 1 の FLOPs も、それぞれ別の近い精度の組から得た数値です。

高精度の D7x は COCO test-dev で 55.1 AP、val で 54.4 AP です。表中の AmoebaNet+NAS-FPN+AA は val で 50.7 AP なので、同じ分割での差は 3.7 ポイント、約 4 ポイントです。55.1 の test-dev と 50.7 の val を直接引き算してはいけません。D7x の 410B FLOPs は比較モデルの 3045B の約 7 分の 1 です。論文は Titan V FP32、V100 FP16、単一スレッド CPU の遅延も示し、V100 の数値には前処理と NMS を含めています。ハードウェア、精度、計測範囲を区別する必要があります。

Tan ほか、EfficientDet、Figure 4、arXiv:1911.09070v7。D0~D6 の比較であり D7x が 7 倍速い証拠ではない

結論

従来の FPN と比べ、BiFPN は重要な特徴に重みを付け、軽量な経路を繰り返すことで、多尺度の特徴融合を改善します。論文で調べた設定では、計算費用との釣り合いも良好でした。ただし、EfficientDet 全体の改善には backbone などの変更も寄与しています。

シンプルで使いやすい、実装モデルの良きパートナーとして、ここで試してみることをお勧めします。