{"notes":[{"id":"object-detection/yolov4","category":"object-detection","legacyPath":"object-detection/2004-yolov4","legacySlug":"2004-yolov4","legacyPaths":[],"title":"YOLOv4","subtitle":"模型設計顧問","author":"Z. Yuan","paperDate":"2020-04-23","publishedOn":"2025-06-11","paperTitle":"YOLOv4: Optimal Speed and Accuracy of Object Detection","paperUrl":"https://arxiv.org/abs/2004.10934","bibliography":{"title":"YOLOv4: Optimal Speed and Accuracy of Object Detection","authors":["Alexey Bochkovskiy","Chien-Yao Wang","Hong-Yuan Mark Liao"],"url":"https://arxiv.org/abs/2004.10934","pdfUrl":"https://arxiv.org/pdf/2004.10934","codeUrl":"https://github.com/AlexeyAB/darknet","preprint":{"id":"2004.10934","submittedOn":"2020-04-23","url":"https://arxiv.org/abs/2004.10934"},"publication":null,"citation":"@misc{objectdetectionyolov42020,\n  title = {{YOLOv4: Optimal Speed and Accuracy of Object Detection}},\n  author = {Alexey Bochkovskiy and Chien-Yao Wang and Hong-Yuan Mark Liao},\n  year = {2020},\n  eprint = {2004.10934},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2004.10934}\n}\n","citationPath":"/content/papers/citations/object-detection/yolov4.a7f1ea7e48b3.bib"},"thumbnail":{"src":"/content/papers/assets/496022bc34a575f7a5d928577123ed8d5bebbdbd60f1346bf17bb2e2e79d6789.jpg","width":928,"height":572},"locale":"zh-hant","path":"/content/papers/zh-hant/object-detection/yolov4.b531464283d4.md","headings":[{"id":"模型的架構觀","text":"模型的架構觀","depth":2},{"id":"兩個設計路線","text":"兩個設計路線","depth":2},{"id":"特徵融合的-neck","text":"特徵融合的 Neck","depth":2},{"id":"為偵測而生的-backbone","text":"為偵測而生的 Backbone","depth":2},{"id":"訓練優化技巧","text":"訓練優化技巧","depth":2},{"id":"資料增強","text":"資料增強","depth":3},{"id":"標籤平滑與知識蒸餾","text":"標籤平滑與知識蒸餾","depth":3},{"id":"損失函數的優化","text":"損失函數的優化","depth":3},{"id":"精巧模組設計","text":"精巧模組設計","depth":2},{"id":"擴張感受野","text":"擴張感受野","depth":3},{"id":"注意力機制","text":"注意力機制","depth":3},{"id":"跨尺度整合","text":"跨尺度整合","depth":3},{"id":"激活函數的演進","text":"激活函數的演進","depth":3},{"id":"nms-後處理","text":"NMS 後處理","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"架構選擇","text":"架構選擇","depth":3},{"id":"訓練策略選擇","text":"訓練策略選擇","depth":3},{"id":"額外增強設計","text":"額外增強設計","depth":3},{"id":"組件總覽與技術選型","text":"組件總覽與技術選型","depth":3},{"id":"實驗配置","text":"實驗配置","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"分類器訓練中不同特徵的影響","text":"分類器訓練中不同特徵的影響","depth":3},{"id":"偵測器訓練中不同特徵的影響","text":"偵測器訓練中不同特徵的影響","depth":3},{"id":"不同-backbone-的影響","text":"不同 Backbone 的影響","depth":3},{"id":"不同-mini-batch-size-的影響","text":"不同 mini-batch size 的影響","depth":3},{"id":"benchmark","text":"Benchmark","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"object-detection/yolov3","relation":"background","topic":"從 YOLO 到多尺度單階段偵測"}]},{"id":"object-detection/yolov3","category":"object-detection","legacyPath":"object-detection/1804-yolov3","legacySlug":"1804-yolov3","legacyPaths":[],"title":"YOLOv3","subtitle":"引入多尺度檢測","author":"Z. Yuan","paperDate":"2018-04-08","publishedOn":"2024-08-06","paperTitle":"YOLOv3: An Incremental Improvement","paperUrl":"https://arxiv.org/abs/1804.02767","bibliography":{"title":"YOLOv3: An Incremental Improvement","authors":["Joseph Redmon","Ali Farhadi"],"url":"https://arxiv.org/abs/1804.02767","pdfUrl":"https://arxiv.org/pdf/1804.02767","codeUrl":null,"preprint":{"id":"1804.02767","submittedOn":"2018-04-08","url":"https://arxiv.org/abs/1804.02767"},"publication":null,"citation":"@misc{objectdetectionyolov32018,\n  title = {{YOLOv3: An Incremental Improvement}},\n  author = {Joseph Redmon and Ali Farhadi},\n  year = {2018},\n  eprint = {1804.02767},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1804.02767}\n}\n","citationPath":"/content/papers/citations/object-detection/yolov3.7da7902dcdd3.bib"},"thumbnail":{"src":"/content/papers/assets/747a5edbaf444aafd5c52304a2f5d622c6baa2ba745631e8f93477602271135f.jpg","width":1224,"height":760},"locale":"zh-hant","path":"/content/papers/zh-hant/object-detection/yolov3.255ced1854a4.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"更新-backbone","text":"更新 Backbone","depth":3},{"id":"類別預測","text":"類別預測","depth":3},{"id":"多尺度檢測","text":"多尺度檢測","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"在-coco-上的表現","text":"在 COCO 上的表現","depth":3},{"id":"做了卻沒效果的嘗試","text":"做了卻沒效果的嘗試","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"object-detection/yolov2","relation":"background","topic":"從 YOLO 到多尺度單階段偵測"},{"id":"object-detection/yolov4","relation":"next","topic":"從 YOLO 到多尺度單階段偵測"}]}],"text":"這篇論文走的是工業風，讀起來像是一份針對「物件偵測」模型的使用說明書。\n\n我們就從整體設計開始，來學習一下該如何做好一個物件偵測模型。\n\n\n> [!TIP]\n> \n> YOLO 模型的原始作者只做到 v3，而後都是其他流派的繼承者，因此後續的編號之間不一定存在關聯，發表年份也沒有嚴格先後順序。\n> \n> YOLOv4 是來自臺灣的開發團隊。\n\n\n## 模型的架構觀\n\n\n\n![object-detection](/content/papers/assets/547f9686819763bd79ffc1a87274a933a7bb4b931cde8c5d96270df0d15d0b04.jpg)\n\n\n\n一個物件偵測器，通常包含四個主要模組：`Input`、`Backbone`、`Neck`、`Head`。\n\n每一段都各司其職，彼此銜接又能自由組合，就像堆積木一樣。\n\n- **Input**\n\n  除了單純的圖像輸入之外，還可能加入各種強化訊號，像是多尺度影像金字塔、資料增強、圖像裁切（patching）或改變解析度，目的是從輸入端就強化模型對目標的識別能力。\n\n- **Backbone**\n\n  主要的特徵提取模組，多數來自影像分類的經典架構，如 VGG、ResNet、DenseNet，也有為偵測任務量身打造的 CSPDarknet、DetNet 等變形版本。目標是將輸入影像轉換為具備語意與視覺資訊的深層特徵圖。\n\n- **Neck**\n\n  試圖整合來自不同層級的特徵圖，平衡淺層的定位資訊與深層的語意特徵。從 FPN 到 PAN，再到 BiFPN、NAS-FPN，每一代設計都力求資訊流的更佳融合與傳遞效率。\n\n- **Head**\n\n  最終進行分類與框選的模組，區分為密集預測（如 YOLO、SSD）與稀疏預測（如 R-CNN 系列）兩大類，也正是效能與精度的主要戰場。\n\n## 兩個設計路線\n\n物件偵測架構在發展過程中，逐漸分化為兩種主流策略：雙階段與單階段。\n\n- **雙階段架構**（Two-stage），如 Faster R-CNN、Libra R-CNN 等，先產生候選區域（Region Proposals），再進行分類與邊界框回歸。這種方法具備較高的精度與較強的區域建模能力，適合需要精確偵測的任務。後續也出現如 RepPoints 的 anchor-free 版本，以緩解錨點設計的限制。\n- **單階段架構**（One-stage），如 YOLO、SSD、RetinaNet，則直接對整張圖進行密集預測，不經候選區域產生，換取更高的效率與更快的推論速度。這類方法隨著 anchor-free 設計（如 CenterNet、FCOS、CornerNet）的出現，也開始挑戰過往雙階段架構的精度優勢。\n\n這兩條路線的分歧，其實體現了「速度」與「精度」之間的權衡，而 YOLOv4 的設計就是試圖在這條光譜上取得最佳平衡點。\n\n## 特徵融合的 Neck\n\n隨著 Backbone 的深度與廣度提升，如何有效整合多層次特徵成為後續預測的關鍵。\n\n這就是 Neck 模組的設計初衷，也就是為了讓語意資訊與定位資訊互補融合，為 Head 提供兼具語意與空間細節的輸入。一些常見的方式像是：\n\n- **FPN**（Feature Pyramid Network）開創 top-down 融合結構，逐層上採樣並融合高層語意訊號。\n- **PAN**（Path Aggregation Network）則補上 bottom-up 路徑，增強淺層資訊的反饋能力。\n- **BiFPN / NAS-FPN** 進一步追求效率與效能的極致，以可學習權重的雙向融合與 NAS 尋找最優配置。\n- **ASPP / RFB / SAM** 這類模組則透過空間金字塔、感受野設計或注意力機制來強化特徵表徵能力。\n\n這些設計背後的核心問題是：如何在不過度犧牲速度的前提下，提升多尺度理解與特徵表達能力。\n\n## 為偵測而生的 Backbone\n\n在模型設計邁向模組化、可替換的同時，也有研究者回頭從骨幹網路本身出發，重新設計專屬於物件偵測任務的特徵提取器。\n\n- **DetNet** 與 **DetNAS** 開始將分類導向的主幹改為偵測導向，注重保持高解析度與偵測感知能力。\n- **SpineNet** 強調資料流動的多樣性與特徵組合的靈活性，結合 NAS 尋找最佳網路配置。\n- **HitDetector** 則直接從任務需求出發，規劃從輸入到預測的整體設計，使各模組協同發揮效益。\n\n這個方向的發展，意味著任務需求從影像分類轉向定位與框選，光是套用分類架構已無法滿足偵測的複雜性，因此從骨幹重新設計可能是更高效的解決方案。\n\n## 訓練優化技巧\n\n在物件偵測的訓練過程中，有一類技巧被統稱為「Bag of Freebies」。\n\n意思指的是那些「**只會增加訓練成本，而不會影響推論效能的技術**」。換句話說，它們的存在目的是在不影響推論速度的前提下，提高模型的準確度與泛化能力。\n\n這類技巧可以分成三大類型：資料增強、標籤處理，以及損失函數的優化。\n\n### 資料增強\n\n物件偵測模型的泛化能力，很大程度取決於輸入資料的多樣性。為了讓模型能夠適應不同環境下的影像輸入，資料增強成為最常見且有效的策略。\n\n- **像素層級變化**：包括亮度、對比、飽和度、色相與雜訊等光度失真，以及隨機縮放、裁切、翻轉、旋轉等幾何變換，這些方法保留了原始像素資訊，僅僅改變了其排列與視覺呈現。\n- **遮蔽式增強**：為了模擬遮擋場景，像是 Random Erase、CutOut、Hide-and-Seek 與 GridMask 等方法會隨機遮蔽影像區域，讓模型學習在遮擋情境下也能辨識目標。\n- **特徵遮蔽法**：類似概念也可應用在特徵圖上，例如 DropOut、DropConnect 與 DropBlock 等方法，以增強模型對中間表徵的容錯與穩定性。\n- **混合多張影像**：MixUp 與 CutMix 等策略，將兩張影像進行融合或拼接，並對標籤進行加權調整或面積比例分配，進一步提升模型對複雜場景的理解能力。\n- **風格轉換**：Style Transfer GAN 也被用來產生不同風格的影像版本，以降低 CNN 對特定材質與紋理的過度依賴。\n\n### 標籤平滑與知識蒸餾\n\n除了輸入影像的處理，對標籤的操作也是免費優化的一環。\n\n在分類任務中，標籤通常以 one-hot 的方式呈現，這種「硬標籤」雖然清晰，但缺乏語意層級的模糊彈性。為此，Label Smoothing 被提出來將原始標籤轉為「軟標籤」，讓模型不會過度自信於某一類別，提高其在未知資料上的穩定性。\n\n進一步的作法是引入知識蒸餾，由一個性能較高的 Teacher 模型提供更細緻的輸出分布，透過 Label Refinement Network 引導學生模型學習類別之間的相對關係。\n\n### 損失函數的優化\n\n最後，針對物件偵測任務中極為關鍵的邊界框回歸問題，傳統做法是使用 MSE 或 L1/L2 Loss 直接對座標值（如中心點或對角線）進行回歸。然而這類做法會忽略整體框的幾何結構，也容易受物件尺度變化所影響。\n\n因此，IoU Loss 成為近年主流選擇，將預測框與真實框的重疊區域作為損失函數的核心，具備尺度不變性與語意一致性的優勢。\n\n其後又出現多種改進版本：\n\n- **GIoU (Generalized IoU)**：納入最小包圍框，解決 IoU 在完全不重疊時無梯度的問題。\n- **DIoU (Distance IoU)**：加入中心點距離，強化定位精度。\n- **CIoU (Complete IoU)**：同時考慮重疊率、中心距離與長寬比，綜合性最佳，也具有更快的收斂速度。\n\n這些回歸損失的改良，不僅提升了收斂穩定性，也讓模型在定位精度上邁向更高水準，成為高性能偵測器不可或缺的一環。\n\n## 精巧模組設計\n\n與 Bag of Freebies 相對，另一類提升準確率的策略被稱為 **Bag of Specials**。\n\n這類方法通常會略微增加推論成本，但**所帶來的準確率提升遠大於其額外計算開銷**，是物件偵測中極具 CP 值的技巧。\n\n這些技巧可以分為四個面向：**感受野擴張、注意力機制、特徵整合模組、非極大值抑制（NMS）後處理**，再加上一個常被忽略但極具影響力的面向：**激活函數設計**。\n\n### 擴張感受野\n\n為了讓模型更早感知上下文訊息並提升空間理解力，許多模組被設計來擴張感受野：\n\n- **SPP（Spatial Pyramid Pooling）** 模組源自傳統的 SPM 概念，原先在圖像分類中用來建立不同尺度的區塊表示。YOLOv3 將其整合至卷積網路中，改為多尺度的 MaxPooling 後串接（例如 k = 1, 5, 9, 13），不改變空間維度卻能大幅擴張感受野。在 YOLOv3-608 上僅增加 0.5% 計算量，卻能提升 AP50 2.7%。\n- **ASPP（Atrous Spatial Pyramid Pooling）** 使用多個不同膨脹率的 3×3 膨脹卷積，以等價於多尺度感受野的方式進行空間感知。\n- **RFB（Receptive Field Block）** 更進一步使用多組不同膨脹率的卷積並行計算，獲得更綿密且廣域的空間覆蓋效果。在 SSD 架構上只增加 7% 推論時間，卻帶來 5.7% 的 AP50 提升。\n\n### 注意力機制\n\n注意力模組能幫助模型動態調整重要訊號的強度，是近年廣泛應用於各項視覺任務的核心技術：\n\n- **SE（Squeeze-and-Excitation）** 模組專注於通道層級的重新加權，能夠幫助模型更集中在有判別性的特徵維度上，但在 GPU 上的推論開銷相對較高。\n- **SAM（Spatial Attention Module）** 則是在空間層級引入注意力，針對輸入特徵圖進行空間加權，成本極低且幾乎不影響 GPU 上的推論速度。\n\n### 跨尺度整合\n\n傳統使用 skip connection 或 hypercolumn 將淺層與深層特徵拼接。隨著 FPN 為代表的多尺度融合架構興起，更多高效的融合模組被提出：\n\n- **SFAM**：基於 SE 模組進行通道注意力強化。\n- **ASFF（Adaptive Spatial Feature Fusion）**：透過 point-wise softmax 決定不同尺度的特徵融合權重。\n- **BiFPN**：提出 multi-input weighted residual connection，實現尺度層級的學習式融合，在準確度與效率間取得良好平衡。\n\n### 激活函數的演進\n\n一個好的啟用函數能讓梯度更穩定傳遞，又不造成額外負擔：\n\n- **ReLU** 解決了早期 sigmoid/tanh 的梯度消失問題。\n- **LReLU / PReLU** 解決了負區間無梯度的問題。\n- **ReLU6 / hard-Swish** 則是為量化網路量身打造。\n- **SELU** 支援自我正規化（self-normalization）。\n- **Swish / Mish** 為平滑且可導的函數，能提升深層網路的收斂性與精度。\n\n這些啟用函數雖屬微觀設計，但往往能在大型網路中累積顯著的效能優勢。\n\n### NMS 後處理\n\n非極大值抑制（NMS）用來篩除重複預測框，是物件偵測的最後一道程序：\n\n- **傳統 NMS** 依據 IoU 和置信度排序保留最佳框，但無法處理遮擋物件時的信心退化問題。\n- **Soft-NMS** 嘗試以懲罰分數的方式減少「過於強硬」的篩除。\n- **DIoU-NMS** 則引入中心距離資訊，使篩選更具幾何直覺。\n\n然而，隨著 anchor-free 架構的興起，有些架構（如 FCOS）已將 NMS 移除，直接藉由設計 loss 或後處理條件約束來完成預測選擇。\n\n## 解決問題\n\n我們終於可以來看 YOLOv4 本人了。\n\n有了上面各種方法的介紹，可以知道作者就是想找出一個又快又好的架構。\n\n### 架構選擇\n\n在設計 Backbone 時，作者從「分類模型 ≠ 偵測模型」的核心觀念出發，重新評估各種架構在不同任務下的效能表現。\n\n他們發現儘管 **CSPResNeXt50** 在 ImageNet 上表現優異，但在 MS COCO 偵測任務中，**CSPDarknet53** 的表現更勝一籌。這是因為偵測任務相較分類任務，需求更加嚴苛：\n\n- **更高輸入解析度**：為了可以辨識小型目標。\n- **更深的層數與更大的感受野**：可以涵蓋更廣泛的上下文關係。\n- **更多參數容量**：可以同時應對多目標、多尺度的場景需求。\n\n以感受野為例，CSPResNeXt50 僅有 16 層 3×3 卷積，感受野為 425×425；CSPDarknet53 則有 29 層，感受野達 725×725，搭配較大的參數量（27.6M），更能應對複雜的偵測場景。\n\n![arch-choose](/content/papers/assets/96f218d6f14059057fcef33d71a6d5f4eac06e7b2e86f9de36ee99154c959d9a.jpg)\n\n因此，YOLOv4 選擇以 **CSPDarknet53** 作為骨幹，並在其上加入 **SPP 模組** 增強感受野，再透過 **PANet** 進行多層特徵聚合，最終連接至 **YOLOv3 Head** 完成預測。\n\n這個架構的核心配置為：\n\n- **Backbone**：CSPDarknet53\n- **Neck**：SPP + PANet\n- **Head**：YOLOv3（anchor-based）\n\n### 訓練策略選擇\n\nYOLOv4 的訓練策略建構在兩個經典概念之上：\n\n- **Bag of Freebies (BoF)**：只增加訓練成本，不增加推論負擔\n- **Bag of Specials (BoS)**：略增推論成本，顯著提升準確率\n\n在訓練架構上，YOLOv4 拋棄了不易收斂的 activation（如 PReLU, SELU）與針對量化設計的 ReLU6，改用效果平衡的 **Mish activation**；正規化方面則放棄需多卡訓練的 SyncBN，轉而設計更適合單卡訓練的 **Cross mini-Batch Normalization (CmBN)**。\n\n\n\n![cmbn](/content/papers/assets/b007886ced095687c756a15df34b85d6d975230b0208e4f6ae8b8d8d2bc4feb4.jpg)\n\n\n\n在深度學習中，Batch Normalization（BN）是極為關鍵的穩定訓練手段。\n\n但這個技巧有一個隱性假設：每個 mini-batch 都足夠大，才能取得代表性的均值與變異數統計量。然而，當模型規模增大、顯存受限或僅能使用單張 GPU 時，mini-batch size 常常偏小，導致 BN 的效果急劇下降，甚至產生不穩定收斂問題。\n\n過往為了解決這個問題，有人提出 SyncBN（Cross-GPU BN），讓多張 GPU 之間共享統計資訊，提升統計穩定性。但這需要多卡硬體資源，不適合單卡訓練場景。\n\nCmBN 則引入「跨 mini-batch」統計聚合機制：\n\n假設一個訓練 batch 分成四個依序處理的 mini-batch。CmBN 會在**同一個 batch 內跨 mini-batch**累積均值與變異數統計量，如上圖綠色一列所示；這與 Mosaic 將四張影像拼成一張，是兩個不同的設計。\n\n也就是說，正規化時可利用同一個 batch 中多個 mini-batch 的統計線索，不需跨 GPU 同步；圖中 CBN 橘色一列則跨越多次權重更新，與 CmBN 的範圍不同。\n\n此外，DropBlock 被選為主要的正則化方法，搭配 CutMix、MixUp、Label Smoothing 等增強策略，構成訓練中最具代表性的免費提升工具包。\n\n### 額外增強設計\n\nYOLOv4 對於訓練過程還進行了三項關鍵優化：\n\n1.  **Mosaic 資料增強**：\n\n    將四張影像混合為一，擴增場景多樣性，並讓 BatchNorm 同步處理更多圖像資訊，提升小 Batch 下的穩定性。\n\n\n\n    ![mosaic](/content/papers/assets/496022bc34a575f7a5d928577123ed8d5bebbdbd60f1346bf17bb2e2e79d6789.jpg)\n\n\n\n2.  **SAT（Self-Adversarial Training）**：\n\n    在訓練的第一階段，模型修改輸入影像以遮掩目標；第二階段再以修改後的影像訓練偵測。這是每次 SAT 訓練的兩階段操作，不是只在整體訓練初期使用；論文也未單獨證明對各種偽裝攻擊的穩健性。\n\n3.  **模組改良**：\n\n    - SAM 改為 point-wise 注意力；圖中移除原 SAM 的 max/average pooling 分支，直接經卷積與 sigmoid 產生權重。\n\n\n\n        ![sam](/content/papers/assets/624fd70c2a217262d1791b0c012795c83778c0a8081849850631432eb34f0b5b.jpg)\n\n\n\n    - PANet 的 shortcut 改為 concat，讓輸入特徵沿通道串接；這張示意圖本身沒有量測融合品質。\n\n\n\n        ![pan](/content/papers/assets/cb81de699206b05f91a9d3140dab6e050a7c1acddbe1918d42d5d3244d7db40c.jpg)\n\n\n\n這些設計與單卡訓練目標相配合；各元件是否帶來增益，還需看下方在指定模型與輸入尺寸下的消融結果。\n\n### 組件總覽與技術選型\n\n整合上述設計，YOLOv4 最終的模組選擇如下：\n\n**架構組成：**\n\n- **Backbone**：CSPDarknet53\n- **Neck**：SPP、PAN\n- **Head**：YOLOv3 Head\n\n**只增加訓練成本的技巧（BoF for Backbone & Detector）：**\n\n- CutMix / Mosaic 資料增強\n- DropBlock 正則化\n- Label smoothing\n- CIoU Loss\n- CmBN\n- SAT\n- Grid sensitivity 消除策略\n- 多 Anchor 對應單一 ground truth\n- Cosine annealing scheduler\n- 隨機訓練解析度\n- 最佳化參數組合（使用基因演算法）\n\n**會進入推論架構或後處理的技巧（BoS for Backbone & Detector）：**\n\n- Mish activation\n- CSP 模組\n- Multi-input weighted residual connections\n- SPP 模組\n- 改良版 SAM\n- PAN path aggregation\n- DIoU-NMS 後處理策略\n\n### 實驗配置\n\n為了驗證各種訓練策略對模型性能的實際影響，作者在兩個標準資料集上進行了大規模實驗，分別針對分類與偵測任務進行訓練與評估。\n\n在 **ImageNet（ILSVRC 2012 val）** 影像分類實驗中，採用以下預設訓練設定：\n\n- **訓練步數**：8,000,000 steps\n- **Batch size / mini-batch size**：128 / 32\n- **學習率排程策略**：Polynomial decay，初始學習率為 0.1\n- **warm-up 步數**：1,000\n- **Momentum / Weight decay**：0.9 / 0.005\n\n對於 **Bag of Freebies (BoF)** 的設定中，作者驗證了以下策略：\n\n- MixUp\n- CutMix\n- Mosaic\n- 模糊處理（Blurring）\n- 標籤平滑正則化（Label Smoothing）\n\n在 **MS COCO（test-dev 2017）** 物件偵測實驗中，作者採用以下預設訓練設定：\n\n- **訓練步數**：500,500 steps\n- **學習率排程策略**：Step decay\n\n  - 初始學習率：0.01\n  - 於第 400,000 與 450,000 步時，各乘上 0.1\n\n- **Momentum / Weight decay**：0.9 / 0.0005\n- **Batch size / mini-batch size**：64 / 8 或 4（依模型與記憶體容量調整）\n\n除部分使用基因演算法搜尋最佳超參數的實驗外，同一組任務內的對照沿用上述預設設定；ImageNet 的 BoF 對照另增加 50% 訓練步數。\n\n在超參數搜尋實驗中，作者使用 YOLOv3-SPP 架構與 GIoU loss，在 min-val 5k 子集上進行 300 個 epoch 的搜尋。最終採用的最佳組合如下：\n\n- **學習率**：0.00261\n- **Momentum**：0.949\n- **IoU 分配門檻**：0.213\n- **損失正規化係數**：0.07\n\n所有實驗均在 **單張 GPU 上進行**，並未使用如 syncBN 等多卡優化技術。\n\n## 討論\n\n### 分類器訓練中不同特徵的影響\n\n\n\n![different classifier](/content/papers/assets/8d348805d8ea12b0c90d23966ba8841303e1a824a4130147324b2ffda2adba1f.jpg)\n\n\n\n作者首先探討在分類器訓練過程中，不同訓練策略對最終準確率的影響，特別聚焦於幾個常見的訓練強化技巧：**標籤平滑（Class label smoothing）**、各類資料增強方法（如 **模糊處理、MixUp、CutMix、Mosaic**），以及不同類型的激活函數（**Leaky ReLU、Swish、Mish**）對模型學習的實質影響。\n\n上表是 CSPResNeXt50 的 ImageNet Top-1／Top-5；與 77.9% Top-1 基準相比，以下特徵帶來提升：\n\n- **CutMix 資料增強**\n- **Mosaic 資料增強**\n- **Class label smoothing 標籤平滑正則化**\n- **Mish 激活函數**\n\n因此，在 YOLOv4 的分類器訓練策略中，作者最終選擇的 **BoF-backbone（Bag of Freebies for classifier）** 包含以下項目：\n\n- **CutMix**\n- **Mosaic**\n- **Class label smoothing**\n\n同時，根據實驗結果，**Mish activation** 被納入作為補充性的激活函數選項；CutMix + Mosaic + label smoothing 的 78.5% Top-1，加上 Mish 後為 79.8%。表中 MixUp、模糊處理或單獨 Swish 並未提高這個基準的 Top-1。\n\n### 偵測器訓練中不同特徵的影響\n\n\n\n![different feat](/content/papers/assets/986f23390ac7cc00620554264e8e64757d9660d24e4bf372af06da1c2398b4fc.jpg)\n\n\n\n作者進一步評估不同訓練策略對偵測器準確率的影響，特別是針對 **Bag of Freebies for detector（BoF-detector）** 所進行的系統性實驗，如上表所示。\n\nYOLOv4 大幅擴充了 BoF 的選項清單，專注於那些**能在不犧牲推論速度（FPS）的前提下提升準確率**的訓練技術。\n\n以下是作者在 Table 4 測試的 BoF-detector 項目；它們並非每項單獨加入都提高 AP：\n\n- **S: Grid Sensitivity Elimination**\n\n  在 YOLOv3 中，目標座標由 $b_x = σ(t_x) + c_x$ 所定義，其中 $c_x$ 為整數。當 $t_x$ 值極大或極小時，才能使 $b_x$ 接近格點邊緣（$c_x$ 或 $c_x+1$），這造成某些邊緣目標難以被檢出。\n\n  為此，作者將 sigmoid 結果乘上一個大於 1 的因子，有效解除格點對偵測可行性的限制。\n\n- **M: Mosaic 資料增強**\n  將四張影像拼接為訓練輸入，使模型同時學習不同場景與比例下的目標，強化泛化能力。\n\n- **IT: IoU Threshold**\n  為每個 ground truth 配對多個 anchor，條件為 IoU(anchor, truth) > threshold，以增加樣本使用率。\n\n- **GA: Genetic Algorithms**\n  在訓練時間的前 10% 搜尋超參數；表中單獨加入時 AP 為 38.9%，高於 38.0% 基準，但未量測收斂穩定度。\n\n- **LS: Class Label Smoothing**\n  對類別標籤套用平滑處理；表中單獨加入時 AP 從 38.0% 降至 33.0%，不能將其列為獨立有效的增益。\n\n- **CBN: Cross mini-Batch Normalization (CmBN)**\n  在同一個 batch 的多個 mini-batch 間彙總統計值；單獨加入時 AP 從 38.0% 升至 38.4%。\n\n- **CA: Cosine Annealing Scheduler**\n  採用餘弦函數調整學習率；單獨加入時 AP 從 38.0% 升至 38.7%，表中未提供學習曲線。\n\n- **DM: Dynamic mini-batch Size**\n  在小解析度訓練階段增加 mini-batch size，配合隨機輸入尺寸；單獨加入時 AP 為 35.3%，低於 38.0% 基準。\n\n- **OA: Optimized Anchors**\n  根據輸入解析度（如 512×512）最佳化 anchor 位置與尺寸，提高 anchor 分配效率。\n\n- **BBox Regression Loss**\n  比較多種邊界框損失函數，包括 GIoU、CIoU、DIoU 與傳統 MSE，驗證其在不同場景下的回歸品質。\n\n---\n\n此外，作者也針對 **Bag of Specials for detector** 的設計進行驗證，如下表所示：\n\n\n\n![bos-detector](/content/papers/assets/da13fb5e426d783a45fd6f4fa1cd3457ef3672316339e876136f90e863f56f2f.jpg)\n\n\n\n實驗項目包含：\n\n- **PAN**：參數聚合與特徵流通性提升\n- **RFB**：多尺度膨脹卷積以擴展感受野\n- **SAM**：空間注意力機制\n- **Gaussian YOLO (G)**：預測框不再為單點估計，而是高斯分布\n- **ASFF**：跨尺度注意力式融合策略\n\n在 Table 5 的 CSPResNeXt50、512×512 對照中，**SPP + PAN + SAM** 得到最高的 42.7% AP，比 SPP + PAN 高 0.3 個百分點；加入 Gaussian YOLO 或 RFB 的幾列反而較低。這張表不能比較所有可能的模組組合。\n\n### 不同 Backbone 的影響\n\n\n\n![diff-backbone](/content/papers/assets/f1fe46725c190edb007078f4b9d1004a65cc9c8e4a8e00ebc051636f68297da0.jpg)\n\n\n\n作者探討不同 Backbone 對偵測器準確率的影響，如上表所示。\n\n實驗結果顯示：**分類與物件偵測任務的模型表現排序存在差異**。\n\n首先，即使在分類任務中，採用各種訓練技巧後的 **CSPResNeXt50** 模型其準確率普遍高於 **CSPDarknet53**，但一旦將這些模型用作偵測器的骨幹，整體偵測表現卻反而以 CSPDarknet53 為優。\n\n具體來說，**CSPResNeXt50** 搭配 BoF 與 Mish activation 可進一步提升分類準確率，但當使用這組預訓練權重初始化偵測器後，偵測精度反而下降。相對地，**CSPDarknet53** 同樣搭配 BoF 與 Mish 進行分類訓練，不僅提升了分類器本身的準確率，後續作為偵測器骨幹使用時，**偵測表現也隨之提升**。\n\n這項對照顯示**這組分類預訓練精度不能直接預測後續偵測 AP**。\n\n在 Table 6 的 512×512 PANet-SPP 配置下，CSPDarknet53 搭配 BoF 與 Mish 達 43.0% AP，高於表中 CSPResNeXt50 的 42.3%–42.4%；這個比較未單獨隔離感受野的貢獻。\n\n### 不同 mini-batch size 的影響\n\n\n\n![diff-batchsize](/content/papers/assets/3b9259682c4cfa389a7ffbcb4bd9f9934b95e2e0f329f510400cb5b5f9b1edab.jpg)\n\n\n\n最後，作者分析在不同 mini-batch size 設定下訓練所產生的影響，對應結果如上表所示。\n\n在表中的 **CSPDarknet53 + BoF/BoS、512 輸入** 配置下，mini-batch 4 與 8 分別為 **41.6%／41.7% AP**。另一組 **CSPResNeXt50、608 輸入且無 BoF/BoS** 則為 **37.1%／38.4% AP**；兩組同時改了骨幹、解析度及訓練技巧，不能只把差異歸因於 BoF/BoS。\n\n這項發現具有重要實務意義。\n\n這組結果支持作者的單卡訓練設定在 mini-batch 4 或 8 下取得相近 AP；是否同樣適用於更小 batch、其他 GPU 或其他資料集，表中沒有驗證。\n\n### Benchmark\n\n\n\n![benchmark](/content/papers/assets/d8e77c4d24c8b60a81a526b9b8241010b67ebca7ece8c656bf351ee234eece0b.jpg)\n\n\n\n圖中依 Maxwell、Pascal、Volta 分開繪製 FPS 與 COCO test-dev AP；YOLOv4 的不同輸入尺寸形成各自的速度／準確率取捨，在作者列出的對照點中靠近 Pareto 前緣。\n\n例如 YOLOv4-608 為 **43.5% AP**，在 Maxwell／Pascal 的表列 FPS 分別為 **23／33**；改用 416 輸入則為 **41.2% AP**、**38／54 FPS**。不同方法使用的 GPU 與輸入尺寸不盡相同，因此不能說 YOLOv4 在每個比較點都同時更快、更準。\n\n考慮到不同研究方法在推論時間測試上使用的 GPU 架構可能有所不同，作者分別在常見的三大 GPU 架構上測試 YOLOv4 的效能，包括：\n\n- **Maxwell 架構**：GTX Titan X（Maxwell）、Tesla M40\n- **Pascal 架構**：Titan X（Pascal）、Titan Xp、GTX 1080 Ti、Tesla P100\n- **Volta 架構**：Titan Volta、Tesla V100\n\n這些表格顯示 YOLOv4 在三類 GPU 架構上的表列速度；比較時仍需按實際 GPU、輸入尺寸與 batch=1、未用 TensorRT 的條件閱讀。\n\n這些結果支持作者在多種 GPU 上測得即時或接近即時的速度。\n\n## 結論\n\nYOLOv4 在 MS COCO 的 AP50 評估指標上**超越了所有現有主流模型**，並在推論速度（FPS）上保持領先。更重要的是，YOLOv4 可以在僅具備 8\\~16GB VRAM 的一般消費級 GPU 上完成訓練與部署，大幅降低技術門檻，具備廣泛應用的可行性。\n\n每個想做物件偵測的開發者，都可以來翻一翻這篇論文，絕對值回票價。\n","imageSizes":{"/content/papers/assets/547f9686819763bd79ffc1a87274a933a7bb4b931cde8c5d96270df0d15d0b04.jpg":{"width":1588,"height":770},"/content/papers/assets/96f218d6f14059057fcef33d71a6d5f4eac06e7b2e86f9de36ee99154c959d9a.jpg":{"width":1634,"height":258},"/content/papers/assets/b007886ced095687c756a15df34b85d6d975230b0208e4f6ae8b8d8d2bc4feb4.jpg":{"width":936,"height":664},"/content/papers/assets/496022bc34a575f7a5d928577123ed8d5bebbdbd60f1346bf17bb2e2e79d6789.jpg":{"width":928,"height":572},"/content/papers/assets/624fd70c2a217262d1791b0c012795c83778c0a8081849850631432eb34f0b5b.jpg":{"width":932,"height":620},"/content/papers/assets/cb81de699206b05f91a9d3140dab6e050a7c1acddbe1918d42d5d3244d7db40c.jpg":{"width":936,"height":456},"/content/papers/assets/8d348805d8ea12b0c90d23966ba8841303e1a824a4130147324b2ffda2adba1f.jpg":{"width":956,"height":508},"/content/papers/assets/986f23390ac7cc00620554264e8e64757d9660d24e4bf372af06da1c2398b4fc.jpg":{"width":1224,"height":668},"/content/papers/assets/da13fb5e426d783a45fd6f4fa1cd3457ef3672316339e876136f90e863f56f2f.jpg":{"width":964,"height":312},"/content/papers/assets/f1fe46725c190edb007078f4b9d1004a65cc9c8e4a8e00ebc051636f68297da0.jpg":{"width":1000,"height":484},"/content/papers/assets/3b9259682c4cfa389a7ffbcb4bd9f9934b95e2e0f329f510400cb5b5f9b1edab.jpg":{"width":988,"height":448},"/content/papers/assets/d8e77c4d24c8b60a81a526b9b8241010b67ebca7ece8c656bf351ee234eece0b.jpg":{"width":1160,"height":1080}}}
