論文ノートライブラリに戻る
arXiv 2019ICCV 2019物体検出論文ノート

FCOS

アンカーレスの世界

原論文

FCOS: Fully Convolutional One-Stage Object Detection

論文の著者

Zhi Tian · Chunhua Shen · Hao Chen · Tong He

発表先
ICCV 2019国際会議
arXiv への初回投稿
arXiv:1904.01355
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{objectdetectionfcos2019,
  title = {{FCOS: Fully Convolutional One-Stage Object Detection}},
  author = {Zhi Tian and Chunhua Shen and Hao Chen and Tong He},
  year = {2019},
  eprint = {1904.01355},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1904.01355}
}
このページの内容

この論文には七千件を超える引用があります。

定番の論文です。読まないわけにはいきません。

問題の定義

物体検出の主流は長らく anchor-based の方法に占められてきました。

Faster R-CNN、SSD、YOLOv2/v3。どれも多くの候補ボックスを敷き、正例か負例かを決めるアンカー設計を中心にしています。実用的ですが、気になる点もあります。

  1. 超パラメータが多い:アンカーの大きさ、縦横比、数、IoU の閾値を手で調整します。RetinaNet の消融では、設定によって COCO AP が約 4 ポイント変わります。
  2. 別のタスクへの持ち込みが難しい:決め打ちの形は、物体の大きさや縦横比が大きく変わると合わせ直す必要があります。
  3. 正負の不均衡:再現率を確保するため、画像中に非常に多くのアンカーを置きます。その大半は背景で、学習時の不均衡を強めます。
  4. 計算と規則が増える:アンカーと正解ボックスの IoU 計算や対応付けも必要です。

アンカーを使わない方法も、もちろん以前からあります。YOLOv1 は物体中心に近い位置から予測しますが、その位置だけでは再現率に限界がありました。CornerNet は二つの角からボックスを作るため、角を組にする後処理が複雑です。DenseBox は位置ごとに直接回帰しますが、サイズの違いと重なったボックスが一般物体検出で難題になります。

ほかにも例はあります。アンカーなしの方法は、当時の一般物体検出では主流のアンカー方式に精度で及びませんでした。

物体検出は本当にアンカーなしではできないのでしょうか。

著者らは、意味的セグメンテーションのように、特徴マップの各位置から直接予測したいと考えました。ここで「ピクセルごと」と言うのは、画像に対応する特徴マップのサンプリング位置ごと、という意味です。

物体検出も、全畳み込みの per-pixel 予測という簡潔な形へ戻せないでしょうか。

解決方法

FCOS は、アンカーを候補者として正解と照合する代わりに、特徴マップ上の各位置を学習サンプルにします。

backbone の第 ii 層に特徴マップ Fi∈RH×W×CF_i\in\mathbb{R}^{H\times W\times C} があり、入力画像に対する stride を ss とします。正解ボックスは次のように表します。

Bi=(x0(i),y0(i),x1(i),y1(i),c(i))∈R4×{1,2,…,C},B_i = (x^{(i)}_0, y^{(i)}_0, x^{(i)}_1, y^{(i)}_1, c^{(i)}) \in \mathbb{R}^4 \times \{1,2,\dots,C\},

(x0(i),y0(i))(x^{(i)}_0,y^{(i)}_0) と (x1(i),y1(i))(x^{(i)}_1,y^{(i)}_1) は左上と右下の座標、c(i)c^{(i)} はクラスラベルです。

特徴マップ上の位置 (x,y)(x,y) は、まず入力画像上の座標へ写します。

(⌊s2⌋+xs,  ⌊s2⌋+ys).(\lfloor \tfrac{s}{2} \rfloor + xs, \; \lfloor \tfrac{s}{2} \rfloor + ys).

以下で四辺への距離を計算するときの (x,y)(x,y) は、この変換後の入力画像座標を指します。ここを混ぜると、距離の単位もボックスの位置もずれてしまいます。

その位置が正解ボックス BiB_i の内側なら正例として c∗=c(i)c^*=c^{(i)} を与え、外側なら背景 c∗=0c^*=0 とします。クラスに加え、各位置は四次元ベクトルを回帰します。

t∗=(l∗,t∗,r∗,b∗),t^* = (l^*, t^*, r^*, b^*),

左、上、右、下の境界までの距離です。図で見ると分かりやすいでしょう。

Tian ほか、FCOS、Figure 1、arXiv:1904.01355v5

四つの目標距離は、入力画像座標で次のように計算します。

l∗=x−x0(i),t∗=y−y0(i),r∗=x1(i)−x,b∗=y1(i)−yl^* = x - x^{(i)}_0, \quad t^* = y - y^{(i)}_0, \quad r^* = x^{(i)}_1 - x, \quad b^* = y^{(i)}_1 - y

一つの位置が複数の正解ボックスに入る場合には、後述するレベルごとの回帰範囲で候補を絞り、それでも複数残れば面積が最も小さいボックスを目標にします。

これで各位置から直接「何の物体か」と「ボックスの四辺はどこか」を予測できます。アンカーとの IoU 対応付けに代えて、正例位置や担当レベルを決める規則を使います。

分類分岐は位置ごとに CC クラスのスコア p∈RCp\in\mathbb{R}^C、回帰分岐は t=(l,t,r,b)t=(l,t,r,b) を出します。四つの距離を正にするため、まず指数関数 exp⁡(x)\exp(x) を使います。複数の FPN レベルで回帰ヘッドを共有するときは、レベルごとの学習可能な尺度係数 sis_i を入れた exp⁡(six)\exp(s_i x) を使います。九つのアンカーを各位置に置く RetinaNet 型と比べれば、主要な出力変数は約九分の一です。これは出力変数の比較で、検出器全体の計算量は別途測定します。

学習損失は次の通りです。

L({px,y},{tx,y})=1Npos∑x,yLcls(px,y,cx,y∗)  +  λNpos∑x,y1{cx,y∗>0} Lreg(tx,y,tx,y∗)L(\{p_{x,y}\}, \{t_{x,y}\}) = \frac{1}{N_{\text{pos}}} \sum_{x,y} L_{\text{cls}}(p_{x,y}, c^*_{x,y}) \; + \; \frac{\lambda}{N_{\text{pos}}} \sum_{x,y} \mathbf{1}_{\{c^*_{x,y}>0\}} \, L_{\text{reg}}(t_{x,y}, t^*_{x,y})

分類項 LclsL_{\text{cls}} には Focal Loss を、正例の回帰項 LregL_{\text{reg}} には IoU loss を使います。NposN_{\text{pos}} は正例位置の数、λ=1\lambda=1 です。背景位置は分類項には入り、指示関数によって回帰項からは外れます。後で導入する center-ness 分岐には、別に BCE 損失を加えます。

推論時は位置ごとの分類スコア px,y>0.05p_{x,y}>0.05 を候補とし、予測した四辺距離からボックス座標を復元します。ここまででアンカーを取り除く基本の考え方は分かりました。

ただし、すぐに二つの課題が見えます。

  1. stride が大きい特徴マップだけでは、小さい物体を見落として再現率が下がりかねません。
  2. ボックスが重なった位置では、どちらの正解を回帰すべきか曖昧です。

そこで著者らは FPN の複数レベルを使います。

Tian ほか、Figure 2、arXiv:1904.01355v5。元の center-ness 分岐は分類側に並ぶ

P3P_3 から P7P_7 の五層で、stride はそれぞれ 8、16、32、64、128。位置から正解ボックスの四辺への距離の最大値によって、正例になるレベルを制限します。例えば P3P_3 の範囲は 0〜64 ピクセル、P4P_4 は 64〜128 ピクセルです。後続の層は 128〜256、256〜512、512 以上を担当します。

物体の大きさが違えば、重なった領域も別々のレベルに割り当てられやすくなります。同じレベルに残る重なりは、先ほどの最小面積規則で処理します。

それでも、物体の端に近い位置は品質の低いボックスを作りやすい。そこで軽量な center-ness 分岐を追加します。正例位置の目標値は次の式です。

centerness∗=min⁡(l∗,r∗)max⁡(l∗,r∗)×min⁡(t∗,b∗)max⁡(t∗,b∗)\text{centerness}^* = \sqrt{\frac{\min(l^*, r^*)}{\max(l^*, r^*)} \times \frac{\min(t^*, b^*)}{\max(t^*, b^*)}}

値は [0,1][0,1] で、ボックスの中心に近いほど 1 に近づきます。原論文の Figure 2 では、この分岐は分類ヘッドの隣に置かれています。学習には BCE を使い、推論では分類スコアに center-ness の予測値を掛けて順位を付けます。端の候補のスコアを下げ、後続の NMS で低品質ボックスが残りにくくします。閾値で端の位置を一律に捨てる処理ではありません。

こうして、各位置での予測、FPN によるレベル分担、center-ness による品質評価を組み合わせます。アンカーなしでも主流の方式に並べるか、実験を見てみましょう。

実験結果と考察

著者らは MS COCO で FCOS を検証しました。trainval35k(約 115K 画像)で学習し、消融は minival(約 5K 画像)、主結果は test-dev(約 20K 画像)で評価します。

特記がなければ backbone は ResNet-50。SGD、90K イテレーション、batch size 16、初期学習率 0.01、60K と 80K で各 10 分の 1、weight decay 0.0001、momentum 0.9 という RetinaNet に沿った設定を使います。入力画像は短辺 800、長辺は 1333 を超えません。推論も RetinaNet と同じ後処理・超パラメータを主な対照に使い、候補位置の分類閾値は 0.050.05 です。

まず表を読むために、Best Possible Recall(BPR) の意味を確認しましょう。

BPR  =  #{学習サンプルを一つ以上割り当てた GT ボックス}#{すべての GT ボックス}.\text{BPR} \;=\; \frac{\#\{\text{学習サンプルを一つ以上割り当てた GT ボックス}\}}{\#\{\text{すべての GT ボックス}\}} .

BPR は、学習時の割当てで一つ以上のサンプルに対応した正解ボックスの割合です。割当てに基づく再現率の上限で、実際に検出して得た再現率ではありません。

FPN の複数レベルと BPR

Tian ほか、Table 1、arXiv:1904.01355v5。BPR は実測の検出リコールではない

stride 16 の単一層 P4P_4 だけでも、FCOS の BPR は 95.55% です。公式 Detectron 版 RetinaNet で低品質マッチを IoU 0.40.4 以上に限った場合の 90.92% より高い値です。

FPN の P3P_3〜P7P_7 を使うと FCOS は 98.40%。低品質マッチをすべて許した RetinaNet の 99.23% には 0.83 ポイント及びません。比較対象の対応付け規則を変えれば、RetinaNet の BPR も変わるわけです。

BPR の差は実測 AR の差と同じではありません。後の同条件比較では FCOS の AR が RetinaNet より高い。

重なりによる曖昧さ

Tian ほか、Table 2、arXiv:1904.01355v5。分母は正例位置

正解ボックスが重なると、一つの位置が複数の物体の内側に入ります。P4P_4 一層だけでは、曖昧な正例は全正例の 23.16%。FPN の複数層を使うと 7.14% になります。

同じクラスの重なりを除き、異なるクラス同士の曖昧さだけを数えると、17.84% から 3.75% へ下がります。推論結果で曖昧な位置から生じたボックスは 2.3%、異なるクラスの重なりに限れば 1.5% でした。

つまり、レベル分担と最小面積規則は曖昧さを大きく減らします。

Center-ness は必要か

Tian ほか、Table 4、arXiv:1904.01355v5。33.5→37.1 AP

FPN を使っても、端の位置から低品質のボックスは出ます。先ほどの center-ness をもう一度書くと、次の通りです。

centerness∗  =  min⁡(l∗,r∗)max⁡(l∗,r∗)⋅min⁡(t∗,b∗)max⁡(t∗,b∗)\text{centerness}^* \;=\; \sqrt{\frac{\min(l^*,r^*)}{\max(l^*,r^*)}\cdot\frac{\min(t^*,b^*)}{\max(t^*,b^*)}}

学習時には BCE で監督し、推論時には score=cls×centerness\text{score}=\text{cls}\times\text{centerness} で候補を並べます。

上表の minival 消融では、center-ness なしで 33.5 AP、独立した予測分岐ありで 37.1 AP。回帰した四辺距離から後で center-ness を計算するだけでは 33.5 AP のままでした。この構成では、独立分岐で学習する効果が見えます。すべての検出器に同じ分岐が必須という結論ではありません。

Anchor-based 方式との条件をそろえた比較

Tian ほか、Table 3、arXiv:1904.01355v5。C5/P5、GN、NMS、Improvements の境目に注意

実装上の違いを減らすため、著者らは FCOS を RetinaNet の設定へ近づけます。GroupNorm を外して勾配クリッピングを使い、P6/P7P_6/P_7 を P5P_5 ではなく C5C_5 から作り、NMS 閾値もそろえます。

この minival 対照では FCOS が 36.3 AP、RetinaNet が 35.9 AP。一方、AP50AP_{50} は FCOS 54.8、RetinaNet 56.0 で逆です。FCOS が有力なアンカーなしの選択肢であることは示します。

この後に P5P_5 経路、NMS 0.6、GroupNorm を加えると FCOS は 37.1 AP。表の後半には、center-ness 分岐の位置を回帰側へ移す、中心サンプリング、GIoU、回帰目標の正規化を順に加えた結果があり、最終的に 38.6 AP に達します。これらは元の構成とは区別して読みます。

当時の SOTA との全体比較

Tian ほか、Table 5、arXiv:1904.01355v5。元の FCOS と改良込み FCOS は別の行

COCO test-dev の表では、同じ ResNet-101-FPN 骨幹の FCOS が 41.5 AP、RetinaNet が 39.1 AP。差は 2.4 ポイントです。ただし方法間のランキングであり、学習条件が完全に統制された消融ではありません。

ResNeXt-101-64×4d-FPN に変えた FCOS は 43.2 AP。角を対にする仕組みが必要な anchor-free の CornerNet 40.5 AP も上回ります。前の表で確認した center-ness 分岐の位置、中心サンプリング、GIoU、正規化などの追加改良を組み合わせると、単一モデル・単一尺度で 44.7 AP。43.2 と 44.7 は異なる構成の行です。

結論

FCOS は物体検出を per-pixel 予測へ戻しました。proposals も anchors も置かず、各位置が「何か」と「四辺はどこか」を学びます。FPN がサイズと重なりを分担し、center-ness が端の低品質ボックスの順位を下げます。

後の研究も、関連する問いを掘り下げました。ATSS、PAA、OTA、YOLOX の SimOTA はサンプルの割当てを考え直します。TOOD は分類と位置決めの整合を扱います。GFL の QFL/DFL や VarifocalNet はボックス品質をスコアへ反映します。分布としてのボックス回帰は GFL の設計で、VarifocalNet は別の星形ボックス特徴も使います。

別の流れでは、DETR、Deformable DETR、物体検出の DINO、RT-DETR などが集合としての予測とマッチングを発展させました。実時間向けの YOLOv8/10/11 も、位置の割当てと品質評価を別の設計で扱います。こうした後続研究には共通する問いがあります。

FCOS の貢献は、単にアンカーを外したことだけではありません。各位置に判断を引き受けさせ、適切な割当てと評価でよいボックスを浮かび上がらせることです。

何を割り当て、どう品質を測るのか。問うべきことは、ずっと明確になりました。