論文ノートライブラリに戻る
arXiv 2018物体検出論文ノート

YOLOv3

多尺度検出の導入

原論文

YOLOv3: An Incremental Improvement

論文の著者

Joseph Redmon · Ali Farhadi

発表先
正式な発表先は未確認
arXiv への初回投稿
arXiv:1804.02767
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{objectdetectionyolov32018,
  title = {{YOLOv3: An Incremental Improvement}},
  author = {Joseph Redmon and Ali Farhadi},
  year = {2018},
  eprint = {1804.02767},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1804.02767}
}
このページの内容

第三世代の YOLO は、実際には論文ではなく、著者自身が述べた通り、単なる技術報告です。

問題の定義

最近、物体検出の分野で多くの新しい研究成果が出ています。

著者はこれらの新しいアイデアを YOLO に統合し、いくつかの改善を行うべきだと考えました。

その中で、Bounding Box の予測部分は変更せず、YOLOv2 の設計をそのまま使用していますので、ここでは再度詳述しません。

解決策

著者は一連の改良を行いました。

Backbone の更新

Redmon・Farhadi、YOLOv3: An Incremental Improvement、Table 1、arXiv:1804.02767v1

著者は Darknet-19 のネットワークアーキテクチャを Darknet-53 に変更しました。ここでも 3x3 と 1x1 の畳み込み層を連続的に使用し、いくつかの残差接続を追加しています。これはより深いネットワークで、ImageNet で訓練されました。このネットワークは 53 層の畳み込み層を持つため、著者はこれを Darknet-53 と呼んでいます。

下表では、Darknet-53 の ImageNet top-1 精度は 77.2% で、ResNet-101 の 77.1% と近い値です。表に示された 256×256・Titan X での分類ネットワークの速度は 78 FPS と 53 FPS で、約 1.5 倍です。検出器全体の速度を比べた値ではありません。

Redmon・Farhadi、Table 2、arXiv:1804.02767v1。256×256 単一 crop 分類、Titan X

クラス予測

ここでは softmax ではなく、ロジスティック回帰を使用して各クラスの確率を予測します。

一つのボックスを排他的な一クラスに限定せず、「女性」と「人」のような重なり合うラベルを同時に予測できます。

多尺度検出

FPN や RetinaNet の概念を参考にして、著者は YOLOv3 に多尺度検出を導入しました。

アンカーボックスの寸法は引き続き K-means で得ます。異なる点は、入力の 1/32、1/16、1/8 に当たる三つの特徴マップで予測することです。深い層の特徴を拡大して浅い層の特徴と連結し、次のスケールの予測に使います。COCO では各スケールの各位置で三つのボックスを予測し、各ボックスには境界ボックスのオフセット四つ、物体性スコア一つ、80 クラスの確率が含まれます。

各スケールの予測テンソルは Ns×Ns×[3×(4+1+80)]N_s \times N_s \times [3 \times (4 + 1 + 80)] です。NsN_s はスケールごとに異なります。

討論

COCO でのパフォーマンス

Redmon・Farhadi、Figure 3、arXiv:1804.02767v1。RetinaNet 比較図から改変、横軸は ms
Redmon・Farhadi、Table 3、arXiv:1804.02767v1。RetinaNet の比較行を再利用し YOLOv3 を追加

著者はまず、他のアーキテクチャを再訓練するために時間をかけず、RetinaNet 論文から図と比較表を「借りた」と率直に述べています。その表に YOLOv3 の結果を加え、速度と精度を比較しました。全モデルを同じ手順で再実験した結果ではありません。

上表では 608×608 の YOLOv3 は AP50AP_{50} が 57.9 で、SSD の行より高い値です。一方、COCO の平均 AP は 33.0、AP75AP_{75} は 34.4 です。IoU の閾値が厳しくなると、正確に境界ボックスを合わせる点には課題が残ります。

過去の YOLO は小物体の検出が苦手でしたが、表の小物体 AP は YOLOv2 の 5.0 から YOLOv3 の 18.3 に上がりました。中・大物体の AP も YOLOv2 より上がっていますが、表中の一部の他モデルよりは低い値です。多尺度検出と改善は同時に起きております。

効果がなかった試み

著者は訓練過程でいくつかの方法を試みましたが、効果が不明であったことも述べています。

  1. アンカーボックス中心の x, y オフセット予測:ボックスの幅と高さの倍数として線形にオフセットを予測すると、モデルの安定性が下がりました。
  2. 線形 x, y 予測:別の試みとして、logistic の代わりに直接線形の中心予測を使うと、mAP が数ポイント下がりました。
  3. Focal Loss の使用:クラス不均衡への対処を試みましたが、この実装では mAP が約 2 ポイント下がりました。著者も原因は分からないと述べています。
  4. 二重 IOU 閾値:Faster R-CNN の手法を使用して、IOU が 0.7 より大きいものを正サンプル、0.3 未満を負サンプルとして扱い、間の部分は無視する方法を試しましたが、効果はありませんでした。

結論

過去の研究結果に基づき、人間は IoU 0.3 と 0.5 の境界ボックスを見分けにくいと著者は述べます。それなら検証データセットでさらに高いスコアを追うことに、どれほど意味があるのかという問いです。ただし、位置精度が重要な用途で AP75AP_{75} が無意味という証明ではありません。

YOLOv3 の性能は現実の多くの問題に十分に対応できると著者は見なしており、今後はモデルの安全性向上に注力し、これらの高性能なモデルが適切な場所で使用され、世界に対するリスクを減らすことが重要だと述べています。