{"notes":[{"id":"object-detection/yolov2","category":"object-detection","legacyPath":"object-detection/1612-yolov2","legacySlug":"1612-yolov2","legacyPaths":[],"title":"YOLOv2","subtitle":"大量カテゴリの拡張","author":"Z. Yuan","paperDate":"2016-12-25","publishedOn":"2024-08-06","paperTitle":"YOLO9000: Better, Faster, Stronger","paperUrl":"https://arxiv.org/abs/1612.08242","bibliography":{"title":"YOLO9000: Better, Faster, Stronger","authors":["Joseph Redmon","Ali Farhadi"],"url":"https://arxiv.org/abs/1612.08242","pdfUrl":"https://arxiv.org/pdf/1612.08242","codeUrl":null,"preprint":{"id":"1612.08242","submittedOn":"2016-12-25","url":"https://arxiv.org/abs/1612.08242"},"publication":{"venue":"CVPR","year":2017,"kind":"conference","url":"https://openaccess.thecvf.com/content_cvpr_2017/html/Redmon_YOLO9000_Better_Faster_CVPR_2017_paper.html"},"citation":"@misc{objectdetectionyolov22016,\n  title = {{YOLO9000: Better, Faster, Stronger}},\n  author = {Joseph Redmon and Ali Farhadi},\n  year = {2016},\n  eprint = {1612.08242},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1612.08242}\n}\n","citationPath":"/content/papers/citations/object-detection/yolov2.91dea0de1c4b.bib"},"thumbnail":{"src":"/content/papers/assets/35adeb2b949c06b82231c9b311ccaf07b25edbf1c17780947fcef69246b3095b.jpg","width":1224,"height":900},"locale":"ja","path":"/content/papers/ja/object-detection/yolov2.7025c33aa38a.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決策","text":"解決策","depth":2},{"id":"アンカーボックスの選択","text":"アンカーボックスの選択","depth":3},{"id":"予測ボックスの設計","text":"予測ボックスの設計","depth":3},{"id":"マルチスケールトレーニング","text":"マルチスケールトレーニング","depth":3},{"id":"darknet-19","text":"Darknet-19","depth":3},{"id":"分類ヘッドの設計","text":"分類ヘッドの設計","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"pascal-voc-での実験","text":"PASCAL VOC での実験","depth":3},{"id":"v1-から-v2-への進化","text":"V1 から V2 への進化","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"object-detection/yolov1","relation":"background","topic":"YOLO からマルチスケールの一段検出へ"},{"id":"object-detection/yolov3","relation":"next","topic":"YOLO からマルチスケールの一段検出へ"}]},{"id":"object-detection/yolov1","category":"object-detection","legacyPath":"object-detection/1506-yolov1","legacySlug":"1506-yolov1","legacyPaths":[],"title":"YOLOv1","subtitle":"一度見るだけで","author":"Z. Yuan","paperDate":"2015-06-08","publishedOn":"2024-08-01","paperTitle":"You Only Look Once: Unified, Real-Time Object Detection","paperUrl":"https://arxiv.org/abs/1506.02640","bibliography":{"title":"You Only Look Once: Unified, Real-Time Object Detection","authors":["Joseph Redmon","Santosh Divvala","Ross Girshick","Ali Farhadi"],"url":"https://arxiv.org/abs/1506.02640","pdfUrl":"https://arxiv.org/pdf/1506.02640","codeUrl":null,"preprint":{"id":"1506.02640","submittedOn":"2015-06-08","url":"https://arxiv.org/abs/1506.02640"},"publication":{"venue":"CVPR","year":2016,"kind":"conference","url":"https://openaccess.thecvf.com/content_cvpr_2016/html/Redmon_You_Only_Look_CVPR_2016_paper.html"},"citation":"@misc{objectdetectionyolov12015,\n  title = {{You Only Look Once: Unified, Real-Time Object Detection}},\n  author = {Joseph Redmon and Santosh Divvala and Ross Girshick and Ali Farhadi},\n  year = {2015},\n  eprint = {1506.02640},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1506.02640}\n}\n","citationPath":"/content/papers/citations/object-detection/yolov1.a6add3d1501c.bib"},"thumbnail":{"src":"/content/papers/assets/de2999633c20d235ccf6c7c3f0b2d7488ca55b32be8a406c1c988b0d117c1408.jpg","width":1028,"height":692},"locale":"ja","path":"/content/papers/ja/object-detection/yolov1.2fb1e87ddda4.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決方法","text":"解決方法","depth":2},{"id":"一枚の画像を格子に分ける","text":"一枚の画像を格子に分ける","depth":3},{"id":"ネットワークと学習","text":"ネットワークと学習","depth":3},{"id":"推論場面","text":"推論場面","depth":3},{"id":"手順-1並べ替え","text":"手順 1：並べ替え","depth":4},{"id":"手順-2-と-3選択と抑制","text":"手順 2 と 3：選択と抑制","depth":4},{"id":"手順-3-と-4-を繰り返す","text":"手順 3 と 4 を繰り返す","depth":4},{"id":"実験結果と考察","text":"実験結果と考察","depth":2},{"id":"どれほど速いか","text":"どれほど速いか","depth":3},{"id":"速度の代償","text":"速度の代償","depth":3},{"id":"モデルの限界","text":"モデルの限界","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"解決される問題":"解決方法","モデルアーキテクチャ":"一枚の画像を格子に分ける","損失関数":"ネットワークと学習","推論シナリオ":"一枚の画像を格子に分ける","討論":"実験結果と考察","推論速度":"どれほど速いか","他の手法との比較":"速度の代償","モデルの制限":"速度の代償"},"guide":null,"relatedReading":[{"id":"object-detection/yolov2","relation":"next","topic":"YOLO からマルチスケールの一段検出へ"}]},{"id":"object-detection/yolov3","category":"object-detection","legacyPath":"object-detection/1804-yolov3","legacySlug":"1804-yolov3","legacyPaths":[],"title":"YOLOv3","subtitle":"多尺度検出の導入","author":"Z. Yuan","paperDate":"2018-04-08","publishedOn":"2024-08-06","paperTitle":"YOLOv3: An Incremental Improvement","paperUrl":"https://arxiv.org/abs/1804.02767","bibliography":{"title":"YOLOv3: An Incremental Improvement","authors":["Joseph Redmon","Ali Farhadi"],"url":"https://arxiv.org/abs/1804.02767","pdfUrl":"https://arxiv.org/pdf/1804.02767","codeUrl":null,"preprint":{"id":"1804.02767","submittedOn":"2018-04-08","url":"https://arxiv.org/abs/1804.02767"},"publication":null,"citation":"@misc{objectdetectionyolov32018,\n  title = {{YOLOv3: An Incremental Improvement}},\n  author = {Joseph Redmon and Ali Farhadi},\n  year = {2018},\n  eprint = {1804.02767},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1804.02767}\n}\n","citationPath":"/content/papers/citations/object-detection/yolov3.7da7902dcdd3.bib"},"thumbnail":{"src":"/content/papers/assets/747a5edbaf444aafd5c52304a2f5d622c6baa2ba745631e8f93477602271135f.jpg","width":1224,"height":760},"locale":"ja","path":"/content/papers/ja/object-detection/yolov3.fff3dadbdf1a.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決策","text":"解決策","depth":2},{"id":"backbone-の更新","text":"Backbone の更新","depth":3},{"id":"クラス予測","text":"クラス予測","depth":3},{"id":"多尺度検出","text":"多尺度検出","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"coco-でのパフォーマンス","text":"COCO でのパフォーマンス","depth":3},{"id":"効果がなかった試み","text":"効果がなかった試み","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"object-detection/yolov2","relation":"background","topic":"YOLO からマルチスケールの一段検出へ"},{"id":"object-detection/yolov4","relation":"next","topic":"YOLO からマルチスケールの一段検出へ"}]}],"text":"## 問題の定義\n\n![前作 YOLOv1 と Fast R-CNN の VOC 2007 における誤りの内訳；YOLOv1 原論文 Figure 4](/content/papers/assets/ad8404263a5382ed1b4952be60c0c650e4d500cf1aeef0cef571f35187b128d9.jpg \"前作 Redmon ほか、You Only Look Once、Figure 4、arXiv:1506.02640v5。YOLOv2 の実験ではない\")\n\nYOLO v1 を振り返ると、著者は最後の分析章で、YOLO v1 には大量の位置合わせ誤差と低いリコール率の問題があることを指摘しています。\n\nこの問題を解決するために、アンカーボックスの概念を導入することが必要だと思われます。\n\nまた、最近ではより良いトレーニング方法がいくつか提案されており、著者はこれらの方法も考慮に入れています。\n\n## 解決策\n\n### アンカーボックスの選択\n\n![VOC と COCO のボックス寸法のクラスタおよびクラスタ数別平均 IoU；原論文 Figure 2](/content/papers/assets/b9c342e71d3206b9ece97249a649ac9076062db213761a15cc5ddc5f417de2bd.jpg \"原論文 Figure 2：寸法クラスタによる事前形状。出典：Redmon、Farhadi、arXiv:1612.08242v1\")\n\n最初にアンカーボックスの選択についてです。以前の方法では、1:1、1:2、2:1 などの固定比率のアンカーボックスを使用していましたが、著者は、特定のデータセットに使用するのであれば、データセット上で最適なアンカーボックスを直接見つけるべきだと考えました。\n\n著者は訓練データの正解ボックスの幅と高さを K-means でクラスタリングし、$1-\\mathrm{IoU}$ を距離として、データセットに合ったアンカー寸法を選びます。\n\n上の図では COCO と VOC でアンカーの数を変えて比較し、5 個を再現率とモデルの複雑さのよい折衷として選びます。\n\n### 予測ボックスの設計\n\n![YOLOv2 のアンカー寸法と中心座標の表現；原論文 Figure 3](/content/papers/assets/35adeb2b949c06b82231c9b311ccaf07b25edbf1c17780947fcef69246b3095b.jpg \"原論文 Figure 3：寸法の事前形状と位置予測。出典：Redmon、Farhadi、arXiv:1612.08242v1\")\n\nFaster R-CNN の論文では、RPN を使用して領域提案を行い、モデルは最終的にオフセットを予測し、このオフセットを使って予測ボックスを修正します。\n\nYOLO の前のバージョンでは、7x7 のグリッドを使用し、各グリッドが 2 つのボックスを予測していましたが、これは制限のない予測空間であり、この設計は Faster R-CNN と比較してモデルにとって負担が大きくなります。そこで、著者はオフセットの概念を導入し、より多くの先行知識を使ってモデルの負担を軽減することにしました。\n\n改良された設計は上図の通り、モデルの予測値は元の$x, y, w, h$から$t_x, t_y, t_w, t_h$に変更され、それぞれの処理方法は以下の通りです：\n\n1. $t_x$と$t_y$はグリッド中心のオフセットを表し、予測結果はシグモイド関数を通して 0 と 1 の間に収まるようになります。これにより、予測された中心がグリッドの範囲を超えることがないようにします。上図の$c_x$と$c_y$はグリッドの左上の座標です。\n\n2. $t_w$と$t_h$は予測ボックスの幅と高さを表し、予測結果は最初に exp 関数を通して正の数に変換され、その後アンカーボックスの幅と高さで掛け算されます。\n\nアンカーを導入する際、入力を 448×448 から 416×416 に変更すると、グリッドは 13×13 になり、画像中央に一つのセルができます。中央に多い大きな物体をそのセルから予測しやすくする狙いです。消融実験では、アンカーを単独で導入した段階の mAP は 69.5 から 69.2 に少し下がり、再現率は 81% から 88% に上がりました。その後、クラスタで得た寸法と制限付きの中心予測を加えます。\n\n### マルチスケールトレーニング\n\n予測ボックスの設計を調整しただけでなく、著者はマルチスケールトレーニングの概念も導入しました。\n\nモデルのトレーニング過程で、著者は 10 バッチごとにランダムにスケールを選び、32 の倍数で抽出します。例えば、320x320、352x352、384x384 などが使われ、最小のスケールは 320x320、最大のスケールは 608x608 です。\n\nこの方法で同じモデルを異なる入力サイズで使えます。高解像度ほど検出精度が上がる一方、速度は下がるため、用途に応じて選べます。\n\n### Darknet-19\n\n![Darknet-19 の分類ネットワーク構成；原論文 Table 6](/content/papers/assets/da97e974107c71d20c19d572d72b8a1c4b1e07c0c9e8ab00c64cc35e76628aec.jpg \"原論文 Table 6：Darknet-19。出典：Redmon、Farhadi、arXiv:1612.08242v1\")\n\n高速な推論速度を得るために、著者は他の既存のバックボーンネットワークを使用せず、自分で設計したネットワーク、Darknet-19 を使用しました。モデルのアーキテクチャは上表の通りです。\n\nVGG と同じく主に 3×3 の畳み込みを使い、プーリング後にはチャネルを増やします。BatchNorm、1×1 畳み込み、グローバル平均プーリングを用い、分類側の末端に全結合層は置きません。ImageNet で事前学習した後、448×448 の画像で微調整すると、top-1 は 76.5%、top-5 は 93.3% になりました。訓練には画像の切り出しや色の変化などの拡張も使います。\n\n最後にこのモデルを物体検出へ転用します。分類ヘッドを検出用の畳み込み層に替え、解像度の高い特徴を後段へ渡す passthrough 接続を加えて微調整します。\n\n### 分類ヘッドの設計\n\n![COCO と ImageNet のラベルを WordTree に対応付ける例；原論文 Figure 6](/content/papers/assets/60c1a2f84d2b7bb05b5ec45218de76c06c5f24068cf3d2f991797b0f2ad8e530.jpg \"原論文 Figure 6：WordTree によるデータセット統合。出典：Redmon、Farhadi、arXiv:1612.08242v1\")\n\n物体検出のカテゴリ数を拡張するために、著者は WordTree の概念を導入しました。\n\n著者は分類と検出データセットを共同で訓練することにより、物体検出と分類の能力を向上させました。この方法は、検出ラベル付きの画像を使用して特定の情報（例えば、境界ボックスの座標や物体の存在）を学習し、カテゴリラベルだけの画像を使用して検出可能な物体カテゴリを拡張します。\n\nこの方法が直面する課題の一つは、検出データセットは通常一般的なラベル（例えば「犬」や「船」）しか持たず、分類データセットはより詳細なラベル（例えば、さまざまな犬種）を持つため、両方のデータセットのラベルをどのように統合するかです。従来の分類方法では、softmax 層を使用して全ての可能なカテゴリの最終確率分布を計算し、カテゴリ間が互いに排他的であると仮定しますが、この方法はデータセットを統合する際に問題を引き起こします。そこで、著者は WordNet を使用して WordTree という階層構造を作成し、この問題を解決しました。\n\nWordTree は WordNet の概念関係を使って階層的にラベルを整理します。同じ親を持つ子カテゴリの間で softmax による条件付き確率を予測し、根から目的のカテゴリまでの確率を掛け合わせます。例えば、画像がノーフォーク・テリアかどうかは、そのノードまでの経路に沿って条件付き確率を掛ければ求められます。\n\n著者はこの階層構造を分類と検出の両方に適用し、COCO の検出画像と ImageNet の分類画像を共同学習した YOLO9000 を作りました。9,000 を超えるカテゴリをリアルタイムで予測できます。ImageNet detection では、COCO にボックス注釈のない 156 カテゴリで 16.0 mAP でした。\n\n## 討論\n\n### PASCAL VOC での実験\n\n![入力サイズ別 YOLOv2 の VOC 2007 mAP と FPS；原論文 Table 3](/content/papers/assets/409aabdb969916b432b8868e44ca124c775dcb37c9bcb60e32458c9bbe0a0984.jpg \"原論文 Table 3：VOC 2007 の検出器比較。出典：Redmon、Farhadi、arXiv:1612.08242v1\")\n\n上表の通り、著者は PASCAL VOC 2007 で実験を行い、結果として YOLOv2 は速度と精度の間で良好なバランスを達成していることが示されました。\n\n- 288×288 の解像度では、YOLOv2 は 90FPS を超える速度を達成し、mAP は Fast R-CNN とほぼ同等でした。これにより、YOLOv2 は小型の GPU、高フレームレートのビデオや複数のビデオストリームに非常に適しています。\n- 416×416 の解像度では、YOLOv2 の mAP は 76.8%、速度は 67FPS であり、当時最先端の検出器の 1 つであることは疑いありません。\n\n![YOLOv2 と同時期の検出器の VOC 2007 mAP と FPS；原論文 Figure 4](/content/papers/assets/2b344de3c6890eb30b038ad5a32eaa32167b52cd663d410980ccf3d35d5e832d.jpg \"原論文 Figure 4：VOC 2007 の精度と速度。出典：Redmon、Farhadi、arXiv:1612.08242v1\")\n\n### V1 から V2 への進化\n\n![YOLOv1 から YOLOv2 までの VOC 2007 mAP 消融；原論文 Table 2](/content/papers/assets/06a682de958dd27a28fe7a03f9e4363a36baa1928c0cfcfa9494a949fd41dea8.jpg \"原論文 Table 2：YOLOv2 の段階別消融。出典：Redmon、Farhadi、arXiv:1612.08242v1\")\n\n上表は、著者がどのように異なる設計を通じて YOLO のパフォーマンスを改善したかを示しています。\n\nBatchNorm の追加から、高解像度での分類器の微調整、全畳み込みの検出ヘッド、新しいバックボーン、クラスタで得たアンカー寸法、制限付きの中心予測、passthrough、マルチスケール学習まで、変更を積み重ねています。この組み合わせによって速度と精度のバランスが改善しました。\n\nアンカーだけを導入した段階では mAP が 69.5 から 69.2 に下がります。その後、クラスタで得た寸法と制限付きの中心予測を加えて 74.4 に上がります。表の各列は変更を順に積み重ねた結果です。\n\n## 結論\n\nYOLOv2 はアンカー、BatchNorm、passthrough、マルチスケール学習などを組み合わせ、速度と精度のバランスを改善しました。YOLO9000 は WordTree と分類画像を用いて、検出するカテゴリをさらに広げます。ただし、ボックス注釈のないカテゴリに与えられる教師信号は限られます。\n\n精度はやや低くても、まあいいでしょう。少なくとも速い！\n\nこれだけでも、当時の物体検出において注目される理由として十分です。\n","imageSizes":{"/content/papers/assets/ad8404263a5382ed1b4952be60c0c650e4d500cf1aeef0cef571f35187b128d9.jpg":{"width":1040,"height":568},"/content/papers/assets/b9c342e71d3206b9ece97249a649ac9076062db213761a15cc5ddc5f417de2bd.jpg":{"width":1224,"height":672},"/content/papers/assets/35adeb2b949c06b82231c9b311ccaf07b25edbf1c17780947fcef69246b3095b.jpg":{"width":1224,"height":900},"/content/papers/assets/da97e974107c71d20c19d572d72b8a1c4b1e07c0c9e8ab00c64cc35e76628aec.jpg":{"width":872,"height":1080},"/content/papers/assets/60c1a2f84d2b7bb05b5ec45218de76c06c5f24068cf3d2f991797b0f2ad8e530.jpg":{"width":1072,"height":1080},"/content/papers/assets/409aabdb969916b432b8868e44ca124c775dcb37c9bcb60e32458c9bbe0a0984.jpg":{"width":1224,"height":700},"/content/papers/assets/2b344de3c6890eb30b038ad5a32eaa32167b52cd663d410980ccf3d35d5e832d.jpg":{"width":1224,"height":900},"/content/papers/assets/06a682de958dd27a28fe7a03f9e4363a36baa1928c0cfcfa9494a949fd41dea8.jpg":{"width":1224,"height":516}}}
