Bridging the Gap Between Anchor-Based and Anchor-Free Detection via Adaptive Training Sample Selection
- 発表先
- CVPR 2020国際会議
- arXiv への初回投稿
- arXiv:1912.02424
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{objectdetectionatss2019,
title = {{Bridging the Gap Between Anchor-Based and Anchor-Free Detection via Adaptive Training Sample Selection}},
author = {Shifeng Zhang and Cheng Chi and Yongqiang Yao and Zhen Lei and Stan Z. Li},
year = {2019},
eprint = {1912.02424},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1912.02424}
}
ここ数年の物体検出は、二つの大きな派に分かれてきました。Anchor-based と Anchor-free です。
Anchor-based の方法
- 二段階の検出器、例えば Faster R-CNN は、RPN で領域を提案し、R-CNN で精緻化します。複数回の回帰を使うため、長く精度をリードしてきました。
- 一段階の検出器、例えば SSD や RetinaNet は、多層の特徴マップへアンカーを置き、そのまま分類と回帰を行います。効率がよく、精度も二段階方式へ近づいてきました。
Anchor-free の方法
- Keypoint-based:検出をキーポイントの位置決めに変えます。CornerNet は左上と右下の角から、ExtremeNet は四つの極点と中心点からボックスを作ります。
- Center-based:物体の中心やその周辺を正例とし、そこから境界へ回帰します。YOLO、FCOS、FoveaBox などです。
問題の定義
二派は対立しているように見えますが、実は同じ問いに答えています。
どの位置を正例にし、どの位置を負例にするべきでしょうか。
RetinaNet(anchor-based) と FCOS(anchor-free、center-based) を見ると、違いは主に三つです。
- サンプルの単位:RetinaNet は各位置に複数のアンカーを置きます。FCOS は一つの点を使います。
- 正負例の定義:RetinaNet は IoU 閾値、FCOS は空間とスケールの規則を使います。
- 回帰の起点:RetinaNet はアンカーボックスから、FCOS は一つの点からボックスを予測します。
著者らが条件をそろえて実験すると、意外なことが分かります。
性能差を主に決めるのは「box か point か」より、正負例をどう定義するかです。
同じサンプル選択規則を使えば、この二つの方法の最終 AP に明確な差は出ませんでした。つまり、この比較における溝はボックス表現そのものより、サンプルの割当てにあります。
そこで、次の問いが残ります。
- 正負を分けるために、手で決めた IoU 閾値やスケール規則に頼り続ける必要はあるのでしょうか。
- 物体ごとの統計的な特徴から、適したサンプルを自動で選べないでしょうか。
ここで、思わず聞きたくなります。「では、アンカーはどうなったの?」
ああ、もう死んでしまいました。
歴史の証人として、額に入れて博物館へ飾りましょう。
解決方法
著者らは RetinaNet と FCOS を選んで比較します。構成には多くの違いがあるため、まず関係の薄い条件を一つずつそろえます。
公平でない条件を取り除く
RetinaNet の各位置には一つの正方形アンカーだけを置きます。この構成を RetinaNet #A=1 と呼び、FCOS の一位置一点に近づけます。
それでも、最初の RetinaNet #A=1 は COCO で 32.5 AP。従来の FCOS が達した 37.1 AP より低い値です。ところが FCOS 側には、ほかの検出器にも使える改善がいくつもあります。
- GroupNorm
- GIoU loss
- center-ness 分岐
- 正例アンカーの中心を GT ボックス内に制限する規則
- FPN レベルごとの学習可能な scalar
これらは anchor-free だけの特権ではありません。RetinaNet にも同じ改善を順番に加えてみます。
表の RetinaNet #A=1 は 32.5 → 33.4 → 34.9 → 35.3 → 36.8 → 37.0 AP と上がります。表に載る改良後の FCOS は 37.8 AP。最初の二行をそのまま比べた 5.3 ポイントの差は、実装条件をそろえると 0.8 ポイントまで縮みました。
これで、残る差を調べられます。ポイントは正負例の定義と回帰の起点です。
本当の違いを探す
まずは、どのサンプルを正例にするかを見ます。
図の青いセルは正例、0 は負例です。FCOS 側の ? は、ボックス内という空間条件を通過した後、レベルのスケール条件を待つ候補です。RetinaNet と FCOS はここで異なる規則を使います。
- RetinaNet は、各 GT に最も合うアンカーと、IoU が正例閾値より高いアンカーを正例にします。負例閾値より低ければ背景、中間は無視します。
- FCOS は、GT ボックス内の点を候補にし、レベルごとの scale range でさらに選びます。
論文 Table 2 では割当て規則を交換しています。
| 正負例の割当て | box から回帰:RetinaNet #A=1 | point から回帰:FCOS |
|---|---|---|
| IoU 規則 | 37.0 AP | 36.9 AP |
| 空間+スケール規則 | 37.8 AP | 37.8 AP |
RetinaNet を FCOS の規則にすると 37.0 → 37.8 AP。逆に FCOS を IoU 規則にすると 37.8 → 36.9 AP です。この条件では正負例の決め方が効いています。
では、どこから回帰するかはどうでしょう。
- RetinaNet はアンカーボックスを起点に offset を予測します。
- FCOS は点から左、上、右、下までの距離を予測します。
ところが、同じ割当て規則なら結果は近い。IoU 規則で box/point が 37.0/36.9 AP、空間+スケール規則ではどちらも 37.8 AP です。
著者らの結論は、この比較条件ではサンプル定義による差のほうが回帰起点による差より大きいというものです。
Adaptive Training Sample Selection
ATSS の手順に入る前に、記号を整理します。
- :画像内のすべての正解ボックス(GT)の集合。
- :全アンカーの集合。FPN は 層で、第 層のアンカーは 。
- :各層で GT 中心に最も近い 個のアンカーを候補にする設定値。
- :GT に対し、全層から集めた候補アンカー。通常は 個。
- :その候補と GT の IoU の分布。
- と : の平均値と標準偏差。
- :GT に対する適応的な IoU 閾値。
考え方は、正負例の境界を物体ごとの候補から決めることです。手で固定した IoU 閾値を全物体へ押し付けません。
処理は次の五段階です。
- 候補を集める:各 GT について、FPN の各層から中心距離の近い 個を選び、 を作ります。既定値は です。
- 分布を測る:各候補と の IoU から を作り、平均 と標準偏差 を計算します。
- 閾値を設定する: とします。
- 正例を選ぶ:IoU が 以上で、候補の中心が GT ボックスの内側にあるものだけを正例にします。一つの候補が複数の GT に選ばれたら、IoU の高い GT へ割り当てます。
- 残りを背景にする:選ばれなかったアンカーは負例です。
中心距離を使うのは、良い候補が物体中心の近くに集まりやすいためです。 が高ければ全体によく合う候補があり、閾値も高くなります。低ければ閾値が下がり、物体を見落としにくくなります。 が大きい場合、特に合う層の候補だけが残りやすくなります。分布のばらつきが小さければ、複数層の候補も通りやすくなります。
論文では、一つの GT 当たりの正例数が約 と観測されています。大きさ、縦横比、位置による差を抑える結果ですが、どの物体も必ず同じ数になるという保証ではありません。 は残る設定値で、候補のアンカーサイズも指定します。ただし、この実験では 〜 の AP が近く、固定 IoU 閾値に過度に頼らずに済みます。
Anchor-based の RetinaNet #A=1 に従来の割当ての代わりとして ATSS を入れると、どうなるでしょう。
表では RetinaNet #A=1 が 37.0 → 39.3 AP、小物体の は 21.4 → 24.3 と上がります。正例を各 GT の候補分布に応じて選ぶ効果が見えます。
ATSS はここでは学習時の正負例指派を変えます。推論ネットワークに新しい分岐は足さないので、この比較では追加の推論コストはありません。一方、学習時の候補検索、IoU 計算、統計量の算出は必要です。
次に、Anchor-free の FCOS へ適用します。二つの版があります。
-
Lite:Center Sampling
- 元の FCOS は、ボックス内の点を空間的な候補にします。遠い点も含まれ、品質の低い正例が増えかねません。
- Lite は各層で中心に近い 個の点を候補にします。
- この方法は FCOS の公式コードに center sampling として組み込まれました。
- 表では FCOS の 37.8 → 38.6 AP。
- ただし、最終的な正例選びには固定の scale range が残ります。
-
Full:完全版 ATSS
-
FCOS の点を、割当ての間だけ辺長 ( はその層の stride)の正方形アンカーの中心とみなします。
-
候補の IoU 分布から閾値を計算して、正負を決めます。
-
ボックスの回帰自体は元の FCOS のまま、点から四辺までの距離を使います。
-
元の FCOS からの差は次の通りです。
AP +1.4 +1.7 +1.7 +0.6 +1.3 +2.7
-
Lite と Full は中心近くという空間的な候補の選び方が似ていますが、スケール方向の選び方が違います。Full の 39.2 AP は Lite の 38.6 AP より高い。一方で は Lite 57.4、Full 57.3 です。この実験の全体 AP では、適応的な閾値が固定 scale range よりよく働きました。
実験結果と考察
ATSS の最終的な効果は MS COCO test-dev でも比べています。先ほどまでの minival 消融とは条件が変わります。
- 短辺を 640〜800 にランダムに変える multi-scale training を使います。
- 学習は 180K イテレーションに延ばし、120K と 160K で学習率を下げます。
- ほかは前述の設定に沿います。
既存方式との比較
ResNet-101 を骨幹にした ATSS は 43.6 AP。同じ骨幹を使う表中の Cascade R-CNN 42.8、C-Mask R-CNN 42.0、RetinaNet 39.1、RefineDet 36.4 より高い値です。
大きい骨幹では ResNeXt-32x8d-101 が 45.1 AP、ResNeXt-64x4d-101 が 45.6 AP。SNIP の 45.7 AP と比べると 0.1 ポイント低い値ですが、SNIP は骨幹も multi-scale の学習・テスト条件も異なります。ここは表の成績を比べているだけです。
DCN(Deformable Convolutional Networks) を加えると ResNet-101 が 46.3 AP、二つの ResNeXt 構成はそれぞれ 47.7 AP。さらに multi-scale testing を使った最高値は 50.7 AP です。
表で強い成績を得たことは確かですが、backbone、DCN、テスト尺度も違います。47.7 や 50.7 をすべて ATSS の指派規則だけによる増益としてはいけません。 同じネットワークで指派を替えた差なら、前の minival 表を見るべきです。
アンカー数の議論
ここまでの主な実験は RetinaNet #A=1 ですが、通常の RetinaNet は一位置に 九つのアンカー、つまり三つのサイズと三つの縦横比を置きます。
従来の IoU 指派では、表の九アンカー RetinaNet は 36.3 AP。GroupNorm や GIoU loss などの共通改良を加えると 38.4 AP で、一アンカーを同じように改良した 37.0 AP より高い値です。この条件なら、多くのアンカーを置く意味があります。
しかし ATSS を加えると、九アンカーは 38.4 → 39.2 AP。一アンカーの 39.3 AP とほぼ同じです。サイズまたは縦横比の種類を三つから一つへ減らしても、表の AP は 39.2〜39.3 の範囲に収まります。
この minival 消融では、ATSS と一緒に一、三、九アンカーを使っても AP に目立つ利点は増えません。だから著者らは、このサンプル選択法なら毎位置九種類のアンカーが本当に必要かと問うのです。
ただし、博物館の展示ケースを本当に予約するのはまだ早そうです。完全版 ATSS でも、学習時の IoU を計算するために一時的な正方形の候補ボックスを使います。なくなったのは「正例を選ぶために九種類の形を必ず並べる必要」であって、箱という概念のすべてではありません。
結論
ATSS が物体検出の中心に戻した問いは、正例と負例をどう定義するかです。各 GT の候補 IoU の平均と標準偏差から閾値を決めれば、固定 IoU 閾値や scale range への依存を減らせます。
RetinaNet と FCOS の条件をそろえた比較では、box/point の回帰方式よりサンプル割当ての影響が大きく、ATSS は両方の検出器を改善しました。推論ネットワークを増やさずに改善できた一方、候補計算などの学習処理は残ります。
後の PAA、OTA/SimOTA は、割当てを学習や全体最適化の方向へ進めました。TOOD/TAL は分類と位置決めの整合を考え、VFL や GFLv2 は分類スコアに品質情報を取り込みます。DETR や物体検出の DINO の Transformer では、対応付けはハンガリアン・マッチングという別の形になります。方式は違っても、根にある問いは同じです。
どうすれば、モデルに適切なサンプルを学ばせられるのでしょうか。
問題を見つけ、そして解決する。
ATSS は、間違いなく読む価値のある古典的な仕事です。