論文ノートライブラリに戻る
arXiv 2016CVPR 2017物体検出論文ノート

YOLOv2

大量カテゴリの拡張

原論文

YOLO9000: Better, Faster, Stronger

論文の著者

Joseph Redmon · Ali Farhadi

発表先
CVPR 2017国際会議
arXiv への初回投稿
arXiv:1612.08242
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{objectdetectionyolov22016,
  title = {{YOLO9000: Better, Faster, Stronger}},
  author = {Joseph Redmon and Ali Farhadi},
  year = {2016},
  eprint = {1612.08242},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1612.08242}
}
このページの内容

問題の定義

前作 Redmon ほか、You Only Look Once、Figure 4、arXiv:1506.02640v5。YOLOv2 の実験ではない

YOLO v1 を振り返ると、著者は最後の分析章で、YOLO v1 には大量の位置合わせ誤差と低いリコール率の問題があることを指摘しています。

この問題を解決するために、アンカーボックスの概念を導入することが必要だと思われます。

また、最近ではより良いトレーニング方法がいくつか提案されており、著者はこれらの方法も考慮に入れています。

解決策

アンカーボックスの選択

原論文 Figure 2:寸法クラスタによる事前形状。出典:Redmon、Farhadi、arXiv:1612.08242v1

最初にアンカーボックスの選択についてです。以前の方法では、1:1、1:2、2:1 などの固定比率のアンカーボックスを使用していましたが、著者は、特定のデータセットに使用するのであれば、データセット上で最適なアンカーボックスを直接見つけるべきだと考えました。

著者は訓練データの正解ボックスの幅と高さを K-means でクラスタリングし、1−IoU1-\mathrm{IoU} を距離として、データセットに合ったアンカー寸法を選びます。

上の図では COCO と VOC でアンカーの数を変えて比較し、5 個を再現率とモデルの複雑さのよい折衷として選びます。

予測ボックスの設計

原論文 Figure 3:寸法の事前形状と位置予測。出典:Redmon、Farhadi、arXiv:1612.08242v1

Faster R-CNN の論文では、RPN を使用して領域提案を行い、モデルは最終的にオフセットを予測し、このオフセットを使って予測ボックスを修正します。

YOLO の前のバージョンでは、7x7 のグリッドを使用し、各グリッドが 2 つのボックスを予測していましたが、これは制限のない予測空間であり、この設計は Faster R-CNN と比較してモデルにとって負担が大きくなります。そこで、著者はオフセットの概念を導入し、より多くの先行知識を使ってモデルの負担を軽減することにしました。

改良された設計は上図の通り、モデルの予測値は元のx,y,w,hx, y, w, hからtx,ty,tw,tht_x, t_y, t_w, t_hに変更され、それぞれの処理方法は以下の通りです:

  1. txt_xとtyt_yはグリッド中心のオフセットを表し、予測結果はシグモイド関数を通して 0 と 1 の間に収まるようになります。これにより、予測された中心がグリッドの範囲を超えることがないようにします。上図のcxc_xとcyc_yはグリッドの左上の座標です。

  2. twt_wとtht_hは予測ボックスの幅と高さを表し、予測結果は最初に exp 関数を通して正の数に変換され、その後アンカーボックスの幅と高さで掛け算されます。

アンカーを導入する際、入力を 448×448 から 416×416 に変更すると、グリッドは 13×13 になり、画像中央に一つのセルができます。中央に多い大きな物体をそのセルから予測しやすくする狙いです。消融実験では、アンカーを単独で導入した段階の mAP は 69.5 から 69.2 に少し下がり、再現率は 81% から 88% に上がりました。その後、クラスタで得た寸法と制限付きの中心予測を加えます。

マルチスケールトレーニング

予測ボックスの設計を調整しただけでなく、著者はマルチスケールトレーニングの概念も導入しました。

モデルのトレーニング過程で、著者は 10 バッチごとにランダムにスケールを選び、32 の倍数で抽出します。例えば、320x320、352x352、384x384 などが使われ、最小のスケールは 320x320、最大のスケールは 608x608 です。

この方法で同じモデルを異なる入力サイズで使えます。高解像度ほど検出精度が上がる一方、速度は下がるため、用途に応じて選べます。

Darknet-19

原論文 Table 6:Darknet-19。出典:Redmon、Farhadi、arXiv:1612.08242v1

高速な推論速度を得るために、著者は他の既存のバックボーンネットワークを使用せず、自分で設計したネットワーク、Darknet-19 を使用しました。モデルのアーキテクチャは上表の通りです。

VGG と同じく主に 3×3 の畳み込みを使い、プーリング後にはチャネルを増やします。BatchNorm、1×1 畳み込み、グローバル平均プーリングを用い、分類側の末端に全結合層は置きません。ImageNet で事前学習した後、448×448 の画像で微調整すると、top-1 は 76.5%、top-5 は 93.3% になりました。訓練には画像の切り出しや色の変化などの拡張も使います。

最後にこのモデルを物体検出へ転用します。分類ヘッドを検出用の畳み込み層に替え、解像度の高い特徴を後段へ渡す passthrough 接続を加えて微調整します。

分類ヘッドの設計

原論文 Figure 6:WordTree によるデータセット統合。出典:Redmon、Farhadi、arXiv:1612.08242v1

物体検出のカテゴリ数を拡張するために、著者は WordTree の概念を導入しました。

著者は分類と検出データセットを共同で訓練することにより、物体検出と分類の能力を向上させました。この方法は、検出ラベル付きの画像を使用して特定の情報(例えば、境界ボックスの座標や物体の存在)を学習し、カテゴリラベルだけの画像を使用して検出可能な物体カテゴリを拡張します。

この方法が直面する課題の一つは、検出データセットは通常一般的なラベル(例えば「犬」や「船」)しか持たず、分類データセットはより詳細なラベル(例えば、さまざまな犬種)を持つため、両方のデータセットのラベルをどのように統合するかです。従来の分類方法では、softmax 層を使用して全ての可能なカテゴリの最終確率分布を計算し、カテゴリ間が互いに排他的であると仮定しますが、この方法はデータセットを統合する際に問題を引き起こします。そこで、著者は WordNet を使用して WordTree という階層構造を作成し、この問題を解決しました。

WordTree は WordNet の概念関係を使って階層的にラベルを整理します。同じ親を持つ子カテゴリの間で softmax による条件付き確率を予測し、根から目的のカテゴリまでの確率を掛け合わせます。例えば、画像がノーフォーク・テリアかどうかは、そのノードまでの経路に沿って条件付き確率を掛ければ求められます。

著者はこの階層構造を分類と検出の両方に適用し、COCO の検出画像と ImageNet の分類画像を共同学習した YOLO9000 を作りました。9,000 を超えるカテゴリをリアルタイムで予測できます。ImageNet detection では、COCO にボックス注釈のない 156 カテゴリで 16.0 mAP でした。

討論

PASCAL VOC での実験

原論文 Table 3:VOC 2007 の検出器比較。出典:Redmon、Farhadi、arXiv:1612.08242v1

上表の通り、著者は PASCAL VOC 2007 で実験を行い、結果として YOLOv2 は速度と精度の間で良好なバランスを達成していることが示されました。

  • 288×288 の解像度では、YOLOv2 は 90FPS を超える速度を達成し、mAP は Fast R-CNN とほぼ同等でした。これにより、YOLOv2 は小型の GPU、高フレームレートのビデオや複数のビデオストリームに非常に適しています。
  • 416×416 の解像度では、YOLOv2 の mAP は 76.8%、速度は 67FPS であり、当時最先端の検出器の 1 つであることは疑いありません。
原論文 Figure 4:VOC 2007 の精度と速度。出典:Redmon、Farhadi、arXiv:1612.08242v1

V1 から V2 への進化

原論文 Table 2:YOLOv2 の段階別消融。出典:Redmon、Farhadi、arXiv:1612.08242v1

上表は、著者がどのように異なる設計を通じて YOLO のパフォーマンスを改善したかを示しています。

BatchNorm の追加から、高解像度での分類器の微調整、全畳み込みの検出ヘッド、新しいバックボーン、クラスタで得たアンカー寸法、制限付きの中心予測、passthrough、マルチスケール学習まで、変更を積み重ねています。この組み合わせによって速度と精度のバランスが改善しました。

アンカーだけを導入した段階では mAP が 69.5 から 69.2 に下がります。その後、クラスタで得た寸法と制限付きの中心予測を加えて 74.4 に上がります。表の各列は変更を順に積み重ねた結果です。

結論

YOLOv2 はアンカー、BatchNorm、passthrough、マルチスケール学習などを組み合わせ、速度と精度のバランスを改善しました。YOLO9000 は WordTree と分類画像を用いて、検出するカテゴリをさらに広げます。ただし、ボックス注釈のないカテゴリに与えられる教師信号は限られます。

精度はやや低くても、まあいいでしょう。少なくとも速い!

これだけでも、当時の物体検出において注目される理由として十分です。