論文ノートライブラリに戻る
arXiv 2017ICCV 2017物体検出論文ノート

RetinaNet

Focal Loss が重要

原論文

Focal Loss for Dense Object Detection

論文の著者

Tsung-Yi Lin · Priya Goyal · Ross Girshick · Kaiming He · Piotr Dollár

発表先
ICCV 2017国際会議
arXiv への初回投稿
arXiv:1708.02002
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{objectdetectionretinanet2017,
  title = {{Focal Loss for Dense Object Detection}},
  author = {Tsung-Yi Lin and Priya Goyal and Ross Girshick and Kaiming He and Piotr Dollár},
  year = {2017},
  eprint = {1708.02002},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1708.02002}
}
このページの内容

これまで、物体検出の主流は古典的な R-CNN 系の方法でした。遅くても精度は高い。その遅さに挑むため、SSD や YOLO などの方法が登場しました。

確かに速くはなりました。でも、当時の強力な二段階方式と比べると精度が足りない!

速さと精度を両立する方法はないのでしょうか。

問題の定義

なぜ精度が足りないのでしょう。

本論文の著者は、学習中の正例と負例の不均衡が根本原因だと考えました。

一段階の検出器は大量の候補ボックスを出しますが、そのほとんどは背景です。分類しやすい負例は一件ずつ見ると小さな損失しか出さなくても、何万件と足せば少数の大切な例からの勾配を覆い隠してしまいます。

この問題は初めてではありません。Hard Negative Mining は、正例と取り違えやすい難しい負例を選んで学習に使う方法です。二段階方式では領域提案で背景の大半を除き、次の段階で正負の比率を調整することもできます。

では、一段階方式で例を選別する代わりに、正負の不均衡と例の難しさを損失関数そのもので扱えないでしょうか。

そこで著者が提案したのが Focal Loss です。

解決方法

Focal Loss

二値分類でよく使う交差エントロピー損失(Cross Entropy Loss, CE Loss)から始めましょう。

CE(p,y)={−log⁡(p)if y=1−log⁡(1−p)otherwiseCE(p, y) = \begin{cases} - \log(p) & \text{if } y = 1 \\ - \log(1 - p) & \text{otherwise} \end{cases}

ここで y∈{±1}y\in\{\pm1\} は正解ラベル、p∈[0,1]p\in[0,1] はモデルが y=1y=1 のクラスに与えた確率です。

式を簡潔にするため、次の ptp_t を定義します。

pt={pif y=11−potherwisep_t = \begin{cases} p & \text{if } y = 1 \\ 1 - p & \text{otherwise} \end{cases}

つまり ptp_t は正解クラスに与えた確率です。負例なら 1−p1-p です。交差エントロピーは次の一行になります。

CE(p,y)=CE(pt)=−log⁡(pt)CE(p, y) = CE(p_t) = - \log(p_t)

ここで困るのは、ptp_t が大きく、容易に正しく分類できた例でも、損失がすぐにはゼロにならないことです。背景例が大量にあれば、小さな損失の合計が希少な正例や難しい例を覆い隠します。

よくある対処は、正例と負例に異なる重みを付けることです。α∈[0,1]\alpha\in[0,1] とし、正例には α\alpha、負例には 1−α1-\alpha を与えます。ptp_t と同様に重みを αt\alpha_t と書くと、α\alpha で均衡させた交差エントロピーは次の式です。

CE(pt)=−αtlog⁡(pt)CE(p_t) = - \alpha_t \log(p_t)

重みはクラス頻度の逆数で決めることも、交差検証で選ぶこともできます。論文では、この式を Focal Loss の比較対象にしています。


しかし α\alpha が調整するのは正負のクラス間の重みです。同じ負例でも、簡単な背景と難しい背景を区別できません。

著者は交差エントロピーに調整因子 (1−pt)γ(1-p_t)^\gamma を掛けます。γ≥0\gamma\geq0 はその効き方を決めるパラメータで、Focal Loss は次のように定義されます。

FL(pt)=−(1−pt)γlog⁡(pt)FL(p_t) = - (1 - p_t)^\gamma \log(p_t)

誤分類された例は ptp_t が小さいので、この因子は 1 に近く、損失はあまり減りません。正しく分類できて pt→1p_t\to1 なら因子は 0 に近づき、簡単な例の損失を抑えます。

γ=0\gamma=0 なら通常の交差エントロピーです。γ\gamma を大きくすると、簡単な例の損失を下げる効果が強くなります。この論文の実験では γ=2\gamma=2 が最良でした。例えば pt=0.9p_t=0.9、γ=2\gamma=2 なら因子は 0.010.01 となり、交差エントロピーの損失を 100 分の 1 にします。

実験で著者が使うのは、さらに α\alpha を組み合わせた形です。

FL(pt)=−αt(1−pt)γlog⁡(pt)FL(p_t) = - \alpha_t (1 - p_t)^\gamma \log(p_t)

この形は α\alpha を使わない場合より、実験で精度が少し高くなりました。α\alpha と γ\gamma は互いに影響するので、組にして選びます。

Lin ほか、Focal Loss for Dense Object Detection、Figure 1、arXiv:1708.02002v2

図の γ=0\gamma=0 は通常の交差エントロピー、γ=2\gamma=2 は実験で選ばれた値です。右側の ptp_t が約 0.6〜1.0 の領域では正解クラスへの確信が高く、調整後の損失が小さくなります。この曲線には αt\alpha_t は掛けられていません。

学習開始時の工夫もあります。分類ヘッドの最終層の bias を、前景の事前確率 π=0.01\pi=0.01 に対応する −log⁡((1−π)/π)-\log((1-\pi)/\pi) に初期化します。これで最初から大量の背景を前景と予測して損失が暴れるのを防ぎます。原論文によれば、これは交差エントロピーと Focal Loss の両方の学習を安定させる初期化です。

モデル構成

Lin ほか、Figure 3、arXiv:1708.02002v2

Focal Loss の効果を複雑な構成に隠さないため、著者は比較的単純な一段階検出器 RetinaNet を設計しました。

基本構成は次の通りです。

  • ResNet-50、ResNet-101 などを backbone として使います。
  • Feature Pyramid Network(FPN)を組み合わせ、P3P_3 から P7P_7 まで五つの特徴レベルを使います。
  • 各レベルの各位置に九つのアンカーを置き、クラスとボックスのオフセットを予測します。

九つの内訳を少し見てみましょう。縦横比は 1:2、1:1、2:1 の三つ。それぞれに 202^0、21/32^{1/3}、22/32^{2/3} 倍という三つのサイズを組み合わせます。下の数は長さの相対的な例で、辺を同じ倍率で拡大しても縦横比そのものは変わりません。

  • 1:2 の縦横比
    • 1:2 ×1=1:2\times1=1:2
    • 1:2 ×1.26=1.26:2.52\times1.26=1.26:2.52
    • 1:2 ×1.59=1.59:3.18\times1.59=1.59:3.18
  • 1:1 の縦横比
    • 1:1 ×1=1:1\times1=1:1
    • 1:1 ×1.26=1.26:1.26\times1.26=1.26:1.26
    • 1:1 ×1.59=1.59:1.59\times1.59=1.59:1.59
  • 2:1 の縦横比
    • 2:1 ×1=2:1\times1=2:1
    • 2:1 ×1.26=2.52:1.26\times1.26=2.52:1.26
    • 2:1 ×1.59=3.18:1.59\times1.59=3.18:1.59

各アンカーには KK クラス分の目標ベクトルと四つのボックス回帰目標を割り当てます。分類ヘッドは各クラスの sigmoid スコアを出し、回帰ヘッドはクラスに依存しない一つのボックスを予測します。二つのヘッドはいずれも全畳み込み構成ですが、パラメータは共有しません。

正解ボックスとの IoU が 0.50.5 以上なら正例、0.40.4 未満なら背景、その間は学習時に無視します。これは RPN の対応付け規則を複数クラスに拡張したものです。

学習と推論の設定

  1. 推論では、まず分類スコア 0.050.05 で候補を絞ります。それからFPN の各レベルごとにスコア上位 1,000 件までをデコードし、まとめて IoU 0.50.5 の NMS を適用します。
  2. Focal Loss は実験で γ=2\gamma=2、α=0.25\alpha=0.25 を採用しました。両方を組として選んだ値です。
  3. 骨幹には ResNet-50-FPN、ResNet-101-FPN、ResNeXt-101-FPN などを使います。
  4. SGD の初期学習率は 0.010.01、60k と 80k イテレーションでそれぞれ 10 分の 1 にします。momentum は 0.90.9、weight decay は 0.00010.0001 です。
  5. 分類には Focal Loss をすべてのアンカーに適用し、正解ボックスへ割り当てられた正例アンカーの数で正規化します。ボックス回帰は正例について Smooth L1L_1 損失を使い、二つの損失を足します。先ほどの π=0.01\pi=0.01 による bias 初期化も、学習を安定させるために使います。

実験結果と考察

COCO での結果

Lin ほか、Table 2、arXiv:1708.02002v2。骨幹と学習条件は表と本文を参照

COCO test-dev の表で、ResNet-101-FPN を使う RetinaNet は 39.1 AP です。表中で最も高い二段階方式 Faster R-CNN w TDM(Inception-ResNet-v2-TDM)の 36.8 AP より 2.3 ポイント高い値です。骨幹を ResNeXt-101-FPN にすると 40.8 AP になり、RetinaNet の先ほどの行から 1.7 ポイント上がります。この二つの RetinaNet には、通常の消融実験より長い学習と尺度の揺らぎが使われています。

同じ表の一段階方式 DSSD513 は 33.2 AP。39.1 AP の RetinaNet との差は 5.9 ポイントです。ただし、これらは骨幹や学習条件も異なるシステムの最終成績です。表の差だけから Focal Loss 単体の効果を取り出すことはできません。

次の図は、また別の速度と精度の動作点を示します。RetinaNet-101-500 は 34.4 AP、90 ms、DSSD513 は 33.2 AP、156 ms。RetinaNet-101-800 は 37.8 AP、198 ms で、精度は高いものの処理時間も増えます。横軸は FPS ではなく、画像一枚あたりの推論時間(ms)です。

Lin ほか、Figure 2、arXiv:1708.02002v2。横軸は latency(ms)

消融実験

Lin ほか、Table 1(a)–(e)、arXiv:1708.02002v2。(e) は test-dev、ほかは原則 minival

著者は RetinaNet の要素を一つずつ調べています。表の (a)〜(e) を順に見ましょう。

  1. α\alpha で均衡させた交差エントロピー

    表 (a) では、α=0.5\alpha=0.5 の 30.2 AP から α=0.75\alpha=0.75 の 31.1 AP へ、0.9 ポイント上がります。これが Focal Loss と比べる交差エントロピーの基準です。

  2. Focal Loss

    表 (b) では γ\gamma を変え、各 γ\gamma に対して最適な α\alpha を選んでいます。γ=0\gamma=0 は交差エントロピーで 31.1 AP。γ=2\gamma=2、α=0.25\alpha=0.25 では 34.0 AP で、2.9 ポイント高い値です。γ\gamma が大きくなると、簡単な負例の重みが下がるため、選ばれる α\alpha も小さくなる傾向があります。

    付録では別形式の Focal Loss も試しています。同じ RetinaNet-50-600 設定で FL∗\mathrm{FL}^{*} は 33.8/33.9 AP、元の形式は 34.0 AP。大事なのは一つの式の文字列ではなく、簡単な例の損失を抑える働きです。

    Lin ほか、Appendix A、Table 3、arXiv:1708.02002v2
  3. アンカーの密度

    表 (c) は一位置のアンカー数を、一つの正方形から最大 12 個まで変えます。一つだけでも意外に高い 30.3 AP。三つのサイズと三つの縦横比を使うと 34.0 AP で、3.7 ポイント高くなります。二つのサイズと三つの縦横比では 34.2 AP です。本文の他の実験は三つのサイズと三つの縦横比の設定を使います。

    六〜九個を超えてアンカーを密にしても、この実験範囲では追加の利得が見えません。二段階方式なら RoI pooling で任意の位置や大きさの領域を分類できますが、この表が示すのはあくまで RetinaNet のアンカー密度に関する結果です。

  4. Online Hard Example Mining(OHEM)

    OHEM は損失の大きい例を選び、NMS で重複を減らしてミニバッチを作ります。1:3 の正負比を強制する版も比較されています。Focal Loss は簡単な例を小さく重み付けしますが、OHEM は選ばれなかった例を訓練から外します。

    同じ ResNet-101-FPN の比較で、最良の OHEM は 1:3 を強制せず、バッチサイズ 128、NMS 閾値 0.50.5 で 32.8 AP。Focal Loss は 36.0 AP、3.2 ポイント高い値です。ほかの OHEM 設定や変種でも、この結果は超えられませんでした。

  1. 骨幹と入力サイズ

    表 (e) では、骨幹を大きくしたり入力画像の短辺を大きくしたりすると、通常は AP が上がる一方、推論時間も長くなります。ここは COCO test-dev の速度と精度の比較で、ほかの消融の minival 結果と評価条件が違います。さらに速くするための構成最適化は、著者が今後の課題として残しています。

結論

RetinaNet は Focal Loss によって、一段階検出器の学習を大量の簡単な背景例に支配させず、難しい例へ重点を移しました。COCO の同じモデルで交差エントロピー 31.1 AP から Focal Loss 34.0 AP へ改善した結果は、この損失の効果を示します。test-dev の 39.1/40.8 AP は、当時のシステム全体の競争力を示します。

後の YOLOv3 の著者も Focal Loss を試しましたが、彼らの技術報告では mAP が約 2 ポイント下がりました。原因については、報告でも推測にとどまります。Focal Loss の効果には、検出器の学習設計も関わるのかもしれません。

物体検出には、まだ取り組むべきことがたくさんあります。次の研究も見ていきましょう。