{"notes":[{"id":"object-detection/yolov3","category":"object-detection","legacyPath":"object-detection/1804-yolov3","legacySlug":"1804-yolov3","legacyPaths":[],"title":"YOLOv3","subtitle":"多尺度検出の導入","author":"Z. Yuan","paperDate":"2018-04-08","publishedOn":"2024-08-06","paperTitle":"YOLOv3: An Incremental Improvement","paperUrl":"https://arxiv.org/abs/1804.02767","bibliography":{"title":"YOLOv3: An Incremental Improvement","authors":["Joseph Redmon","Ali Farhadi"],"url":"https://arxiv.org/abs/1804.02767","pdfUrl":"https://arxiv.org/pdf/1804.02767","codeUrl":null,"preprint":{"id":"1804.02767","submittedOn":"2018-04-08","url":"https://arxiv.org/abs/1804.02767"},"publication":null,"citation":"@misc{objectdetectionyolov32018,\n  title = {{YOLOv3: An Incremental Improvement}},\n  author = {Joseph Redmon and Ali Farhadi},\n  year = {2018},\n  eprint = {1804.02767},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1804.02767}\n}\n","citationPath":"/content/papers/citations/object-detection/yolov3.7da7902dcdd3.bib"},"thumbnail":{"src":"/content/papers/assets/747a5edbaf444aafd5c52304a2f5d622c6baa2ba745631e8f93477602271135f.jpg","width":1224,"height":760},"locale":"ja","path":"/content/papers/ja/object-detection/yolov3.fff3dadbdf1a.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決策","text":"解決策","depth":2},{"id":"backbone-の更新","text":"Backbone の更新","depth":3},{"id":"クラス予測","text":"クラス予測","depth":3},{"id":"多尺度検出","text":"多尺度検出","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"coco-でのパフォーマンス","text":"COCO でのパフォーマンス","depth":3},{"id":"効果がなかった試み","text":"効果がなかった試み","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"object-detection/yolov2","relation":"background","topic":"YOLO からマルチスケールの一段検出へ"},{"id":"object-detection/yolov4","relation":"next","topic":"YOLO からマルチスケールの一段検出へ"}]},{"id":"object-detection/yolov2","category":"object-detection","legacyPath":"object-detection/1612-yolov2","legacySlug":"1612-yolov2","legacyPaths":[],"title":"YOLOv2","subtitle":"大量カテゴリの拡張","author":"Z. Yuan","paperDate":"2016-12-25","publishedOn":"2024-08-06","paperTitle":"YOLO9000: Better, Faster, Stronger","paperUrl":"https://arxiv.org/abs/1612.08242","bibliography":{"title":"YOLO9000: Better, Faster, Stronger","authors":["Joseph Redmon","Ali Farhadi"],"url":"https://arxiv.org/abs/1612.08242","pdfUrl":"https://arxiv.org/pdf/1612.08242","codeUrl":null,"preprint":{"id":"1612.08242","submittedOn":"2016-12-25","url":"https://arxiv.org/abs/1612.08242"},"publication":{"venue":"CVPR","year":2017,"kind":"conference","url":"https://openaccess.thecvf.com/content_cvpr_2017/html/Redmon_YOLO9000_Better_Faster_CVPR_2017_paper.html"},"citation":"@misc{objectdetectionyolov22016,\n  title = {{YOLO9000: Better, Faster, Stronger}},\n  author = {Joseph Redmon and Ali Farhadi},\n  year = {2016},\n  eprint = {1612.08242},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1612.08242}\n}\n","citationPath":"/content/papers/citations/object-detection/yolov2.91dea0de1c4b.bib"},"thumbnail":{"src":"/content/papers/assets/35adeb2b949c06b82231c9b311ccaf07b25edbf1c17780947fcef69246b3095b.jpg","width":1224,"height":900},"locale":"ja","path":"/content/papers/ja/object-detection/yolov2.7025c33aa38a.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決策","text":"解決策","depth":2},{"id":"アンカーボックスの選択","text":"アンカーボックスの選択","depth":3},{"id":"予測ボックスの設計","text":"予測ボックスの設計","depth":3},{"id":"マルチスケールトレーニング","text":"マルチスケールトレーニング","depth":3},{"id":"darknet-19","text":"Darknet-19","depth":3},{"id":"分類ヘッドの設計","text":"分類ヘッドの設計","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"pascal-voc-での実験","text":"PASCAL VOC での実験","depth":3},{"id":"v1-から-v2-への進化","text":"V1 から V2 への進化","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"object-detection/yolov1","relation":"background","topic":"YOLO からマルチスケールの一段検出へ"},{"id":"object-detection/yolov3","relation":"next","topic":"YOLO からマルチスケールの一段検出へ"}]},{"id":"object-detection/yolov4","category":"object-detection","legacyPath":"object-detection/2004-yolov4","legacySlug":"2004-yolov4","legacyPaths":[],"title":"YOLOv4","subtitle":"モデル設計アドバイザー","author":"Z. Yuan","paperDate":"2020-04-23","publishedOn":"2025-06-11","paperTitle":"YOLOv4: Optimal Speed and Accuracy of Object Detection","paperUrl":"https://arxiv.org/abs/2004.10934","bibliography":{"title":"YOLOv4: Optimal Speed and Accuracy of Object Detection","authors":["Alexey Bochkovskiy","Chien-Yao Wang","Hong-Yuan Mark Liao"],"url":"https://arxiv.org/abs/2004.10934","pdfUrl":"https://arxiv.org/pdf/2004.10934","codeUrl":"https://github.com/AlexeyAB/darknet","preprint":{"id":"2004.10934","submittedOn":"2020-04-23","url":"https://arxiv.org/abs/2004.10934"},"publication":null,"citation":"@misc{objectdetectionyolov42020,\n  title = {{YOLOv4: Optimal Speed and Accuracy of Object Detection}},\n  author = {Alexey Bochkovskiy and Chien-Yao Wang and Hong-Yuan Mark Liao},\n  year = {2020},\n  eprint = {2004.10934},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2004.10934}\n}\n","citationPath":"/content/papers/citations/object-detection/yolov4.a7f1ea7e48b3.bib"},"thumbnail":{"src":"/content/papers/assets/496022bc34a575f7a5d928577123ed8d5bebbdbd60f1346bf17bb2e2e79d6789.jpg","width":928,"height":572},"locale":"ja","path":"/content/papers/ja/object-detection/yolov4.ded0c096d1b2.md","headings":[{"id":"モデルの構造概観","text":"モデルの構造概観","depth":2},{"id":"2-つの設計路線","text":"2 つの設計路線","depth":2},{"id":"特徴融合の-neck","text":"特徴融合の Neck","depth":2},{"id":"検出のために生まれた-backbone","text":"検出のために生まれた Backbone","depth":2},{"id":"訓練最適化テクニック","text":"訓練最適化テクニック","depth":2},{"id":"データ拡張","text":"データ拡張","depth":3},{"id":"ラベルスムージングと知識蒸留","text":"ラベルスムージングと知識蒸留","depth":3},{"id":"損失関数の最適化","text":"損失関数の最適化","depth":3},{"id":"精巧なモジュール設計","text":"精巧なモジュール設計","depth":2},{"id":"受容野の拡張","text":"受容野の拡張","depth":3},{"id":"注意機構","text":"注意機構","depth":3},{"id":"複数尺度統合","text":"複数尺度統合","depth":3},{"id":"活性化関数の進化","text":"活性化関数の進化","depth":3},{"id":"nms非極大値抑制後処理","text":"NMS（非極大値抑制）後処理","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"アーキテクチャの選択","text":"アーキテクチャの選択","depth":3},{"id":"訓練戦略の選択","text":"訓練戦略の選択","depth":3},{"id":"追加の増強設計","text":"追加の増強設計","depth":3},{"id":"コンポーネント総覧と技術選定","text":"コンポーネント総覧と技術選定","depth":3},{"id":"実験設定","text":"実験設定","depth":3},{"id":"議論","text":"議論","depth":2},{"id":"分類器訓練における各特徴の影響","text":"分類器訓練における各特徴の影響","depth":3},{"id":"検出器訓練における各特徴の影響","text":"検出器訓練における各特徴の影響","depth":3},{"id":"backbone-の違いによる影響","text":"Backbone の違いによる影響","depth":3},{"id":"ミニバッチサイズの違いによる影響","text":"ミニバッチサイズの違いによる影響","depth":3},{"id":"ベンチマーク","text":"ベンチマーク","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"問題の定義":"モデルの構造概観","検出器を積み木に分ける":"モデルの構造概観","訓練の無料おまけと推論の特殊部品":"訓練最適化テクニック","問題の解決":"解決問題","ようやく-yolov4-本人を見よう":"解決問題","単一-gpu-で訓練する道具箱":"訓練戦略の選択","実験結果の検討":"議論","分類の一位が検出の一位になる":"分類器訓練における各特徴の影響","detector-消融はチェック数ではなく結果を見る":"検出器訓練における各特徴の影響","速度と精度はどの-gpu-で":"ベンチマーク"},"guide":null,"relatedReading":[{"id":"object-detection/yolov3","relation":"background","topic":"YOLO からマルチスケールの一段検出へ"}]}],"text":"第三世代の YOLO は、実際には論文ではなく、著者自身が述べた通り、単なる技術報告です。\n\n## 問題の定義\n\n最近、物体検出の分野で多くの新しい研究成果が出ています。\n\n著者はこれらの新しいアイデアを YOLO に統合し、いくつかの改善を行うべきだと考えました。\n\nその中で、Bounding Box の予測部分は変更せず、YOLOv2 の設計をそのまま使用していますので、ここでは再度詳述しません。\n\n- [**[16.12] YOLOv2: 大量カテゴリの拡張**](/blog/papers/object-detection/yolov2)\n\n## 解決策\n\n著者は一連の改良を行いました。\n\n### Backbone の更新\n\n![Darknet-53 分類骨幹の構成。原技術報告 Table 1](/content/papers/assets/862a27cfdc68988d12e756de6ec80a8680f5f18bfa7015ce28d3b93863918771.jpg \"Redmon・Farhadi、YOLOv3: An Incremental Improvement、Table 1、arXiv:1804.02767v1\")\n\n著者は Darknet-19 のネットワークアーキテクチャを Darknet-53 に変更しました。ここでも 3x3 と 1x1 の畳み込み層を連続的に使用し、いくつかの残差接続を追加しています。これはより深いネットワークで、ImageNet で訓練されました。このネットワークは 53 層の畳み込み層を持つため、著者はこれを Darknet-53 と呼んでいます。\n\n下表では、Darknet-53 の ImageNet top-1 精度は 77.2% で、ResNet-101 の 77.1% と近い値です。表に示された 256×256・Titan X での分類ネットワークの速度は 78 FPS と 53 FPS で、約 1.5 倍です。検出器全体の速度を比べた値ではありません。\n\n![ImageNet 分類骨幹の精度と速度。原技術報告 Table 2](/content/papers/assets/f953dee3a6db2c115a02eebb5e3b8d76665b704ba7c5ba8286188f51e541a78a.jpg \"Redmon・Farhadi、Table 2、arXiv:1804.02767v1。256×256 単一 crop 分類、Titan X\")\n\n### クラス予測\n\nここでは softmax ではなく、ロジスティック回帰を使用して各クラスの確率を予測します。\n\n一つのボックスを排他的な一クラスに限定せず、「女性」と「人」のような重なり合うラベルを同時に予測できます。\n\n### 多尺度検出\n\nFPN や RetinaNet の概念を参考にして、著者は YOLOv3 に多尺度検出を導入しました。\n\nアンカーボックスの寸法は引き続き K-means で得ます。異なる点は、入力の 1/32、1/16、1/8 に当たる三つの特徴マップで予測することです。深い層の特徴を拡大して浅い層の特徴と連結し、次のスケールの予測に使います。COCO では各スケールの各位置で三つのボックスを予測し、各ボックスには境界ボックスのオフセット四つ、物体性スコア一つ、80 クラスの確率が含まれます。\n\n各スケールの予測テンソルは $N_s \\times N_s \\times [3 \\times (4 + 1 + 80)]$ です。$N_s$ はスケールごとに異なります。\n\n## 討論\n\n### COCO でのパフォーマンス\n\n![COCO AP50 と推論遅延。原技術報告 Figure 3](/content/papers/assets/747a5edbaf444aafd5c52304a2f5d622c6baa2ba745631e8f93477602271135f.jpg \"Redmon・Farhadi、Figure 3、arXiv:1804.02767v1。RetinaNet 比較図から改変、横軸は ms\")\n\n![IoU 閾値と物体サイズ別の COCO AP。原技術報告 Table 3](/content/papers/assets/f7b014b6ed2819185d5b39e39ffa97c71835bdd8af7240e6b7f4d0c2dd115b4d.jpg \"Redmon・Farhadi、Table 3、arXiv:1804.02767v1。RetinaNet の比較行を再利用し YOLOv3 を追加\")\n\n著者はまず、他のアーキテクチャを再訓練するために時間をかけず、RetinaNet 論文から図と比較表を「借りた」と率直に述べています。その表に YOLOv3 の結果を加え、速度と精度を比較しました。全モデルを同じ手順で再実験した結果ではありません。\n\n上表では 608×608 の YOLOv3 は $AP_{50}$ が 57.9 で、SSD の行より高い値です。一方、COCO の平均 AP は 33.0、$AP_{75}$ は 34.4 です。IoU の閾値が厳しくなると、正確に境界ボックスを合わせる点には課題が残ります。\n\n過去の YOLO は小物体の検出が苦手でしたが、表の小物体 AP は YOLOv2 の 5.0 から YOLOv3 の 18.3 に上がりました。中・大物体の AP も YOLOv2 より上がっていますが、表中の一部の他モデルよりは低い値です。多尺度検出と改善は同時に起きております。\n\n### 効果がなかった試み\n\n著者は訓練過程でいくつかの方法を試みましたが、効果が不明であったことも述べています。\n\n1. **アンカーボックス中心の x, y オフセット予測**：ボックスの幅と高さの倍数として線形にオフセットを予測すると、モデルの安定性が下がりました。\n2. **線形 x, y 予測**：別の試みとして、logistic の代わりに直接線形の中心予測を使うと、mAP が数ポイント下がりました。\n3. **Focal Loss の使用**：クラス不均衡への対処を試みましたが、この実装では mAP が約 2 ポイント下がりました。著者も原因は分からないと述べています。\n4. **二重 IOU 閾値**：Faster R-CNN の手法を使用して、IOU が 0.7 より大きいものを正サンプル、0.3 未満を負サンプルとして扱い、間の部分は無視する方法を試しましたが、効果はありませんでした。\n\n## 結論\n\n過去の研究結果に基づき、人間は IoU 0.3 と 0.5 の境界ボックスを見分けにくいと著者は述べます。それなら検証データセットでさらに高いスコアを追うことに、どれほど意味があるのかという問いです。ただし、位置精度が重要な用途で $AP_{75}$ が無意味という証明ではありません。\n\nYOLOv3 の性能は現実の多くの問題に十分に対応できると著者は見なしており、今後はモデルの安全性向上に注力し、これらの高性能なモデルが適切な場所で使用され、世界に対するリスクを減らすことが重要だと述べています。\n\n\n> [!TIP]\n> \n> この研究報告は非常に率直に書かれており、著者の原文を読んでみたい場合は、オリジナルを確認することをお勧めします。\n","imageSizes":{"/content/papers/assets/862a27cfdc68988d12e756de6ec80a8680f5f18bfa7015ce28d3b93863918771.jpg":{"width":1060,"height":1080},"/content/papers/assets/f953dee3a6db2c115a02eebb5e3b8d76665b704ba7c5ba8286188f51e541a78a.jpg":{"width":1092,"height":256},"/content/papers/assets/747a5edbaf444aafd5c52304a2f5d622c6baa2ba745631e8f93477602271135f.jpg":{"width":1224,"height":760},"/content/papers/assets/f7b014b6ed2819185d5b39e39ffa97c71835bdd8af7240e6b7f4d0c2dd115b4d.jpg":{"width":1718,"height":624}}}
