YOLOv4: Optimal Speed and Accuracy of Object Detection
- 发表版本
- 正式发表信息尚未核实
- arXiv 首次提交
- arXiv:2004.10934
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{objectdetectionyolov42020,
title = {{YOLOv4: Optimal Speed and Accuracy of Object Detection}},
author = {Alexey Bochkovskiy and Chien-Yao Wang and Hong-Yuan Mark Liao},
year = {2020},
eprint = {2004.10934},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2004.10934}
}
这篇论文走的是工业风,读起来像是一份针对「目标检测」模型的使用说明书。
我们就从整体设计开始,来学习一下该如何做好一个目标检测模型。
模型的架构观
一个目标检测器,通常包含四个主要模块:Input、Backbone、Neck、Head。
每一段都各司其职,彼此衔接又能自由组合,就像堆积木一样。
-
Input
除了单纯的图像输入之外,还可能加入各种强化信号,像是多尺度图像金字塔、数据增强、图像裁切(patching)或改变分辨率,目的是从输入端就强化模型对目标的识别能力。
-
Backbone
主要的特征提取模块,多数来自图像分类的经典架构,如 VGG、ResNet、DenseNet,也有为检测任务量身打造的 CSPDarknet、DetNet 等变形版本。目标是将输入图像转换为具备语义与视觉信息的深层特征图。
-
Neck
试图整合来自不同层级的特征图,平衡浅层的定位信息与深层的语义特征。从 FPN 到 PAN,再到 BiFPN、NAS-FPN,每一代设计都力求信息流的更佳融合与传递效率。
-
Head
最终进行分类与框选的模块,区分为密集预测(如 YOLO、SSD)与稀疏预测(如 R-CNN 系列)两大类,也正是性能与精度的主要战场。
两个设计路线
目标检测架构在发展过程中,逐渐分化为两种主流策略:双阶段与单阶段。
- 双阶段架构(Two-stage),如 Faster R-CNN、Libra R-CNN 等,先产生候选区域(Region Proposals),再进行分类与边界框回归。这种方法具备较高的精度与较强的区域建模能力,适合需要精确检测的任务。RepPoints 是采用代表点集合的 anchor-free 方法,也有两次定位细化;不过,这与经典的「先生成候选区域、再分类」并非同一划分。
- 单阶段架构(One-stage),如 YOLO、SSD、RetinaNet,则直接对整张图进行密集预测,不经候选区域产生,换取更高的效率与更快的推理速度。这类方法随着 anchor-free 设计(如 CenterNet、FCOS、CornerNet)的出现,也开始挑战过往双阶段架构的精度优势。
这两条路线的分歧,其实体现了「速度」与「精度」之间的权衡,而 YOLOv4 的设计就是试图在这条光谱上取得最佳平衡点。
特征融合的 Neck
随着 Backbone 的深度与广度提升,如何有效整合多层次特征成为后续预测的关键。
这就是 Neck 模块的设计初衷,也就是为了让语义信息与定位信息互补融合,为 Head 提供兼具语义与空间细节的输入。一些常见的方式像是:
- FPN(Feature Pyramid Network)开创 top-down 融合结构,逐层上采样并融合高层语义信号。
- PAN(Path Aggregation Network)则补上 bottom-up 路径,增强浅层信息的反馈能力。
- BiFPN / NAS-FPN 进一步追求效率与性能的极致,以可学习权重的双向融合与 NAS 寻找最优配置。
- ASPP / RFB / SAM 这类模块则通过空间金字塔、感受野设计或注意力机制来强化特征表征能力。
这些设计背后的核心问题是:如何在不过度牺牲速度的前提下,提升多尺度理解与特征表达能力。
为检测而生的 Backbone
在模型设计迈向模块化、可替换的同时,也有研究者回头从骨干网络本身出发,重新设计专属于目标检测任务的特征提取器。
- DetNet 与 DetNAS 开始将分类导向的主干改为检测导向,注重保持高分辨率与检测感知能力。
- SpineNet 强调数据流动的多样性与特征组合的灵活性,结合 NAS 寻找最佳网络配置。
- HitDetector 则直接从任务需求出发,规划从输入到预测的整体设计,使各模块协同发挥效益。
这个方向的发展,意味着任务需求从图像分类转向定位与框选,光是套用分类架构已无法满足检测的复杂性,因此从骨干重新设计可能是更高效的解决方案。
训练优化技巧
在目标检测的训练过程中,有一类技巧被统称为「Bag of Freebies」。
意思指的是那些「只会增加训练成本,而不会影响推理性能的技术」。换句话说,它们的存在目的是在不影响推理速度的前提下,提高模型的准确度与泛化能力。
这类技巧可以分成三大类型:数据增强、标签处理,以及损失函数的优化。
数据增强
目标检测模型的泛化能力,很大程度取决于输入数据的多样性。为了让模型能够适应不同环境下的图像输入,数据增强成为最常见且有效的策略。
- 像素层级变化:包括亮度、对比、饱和度、色相与杂讯等光度失真,以及随机缩放、裁切、翻转、旋转等几何变换,这些方法保留了原始像素信息,仅仅改变了其排列与视觉呈现。
- 遮蔽式增强:为了模拟遮挡场景,像是 Random Erase、CutOut、Hide-and-Seek 与 GridMask 等方法会随机遮蔽图像区域,让模型学习在遮挡情境下也能辨识目标。
- 特征遮蔽法:类似概念也可应用在特征图上,例如 DropOut、DropConnect 与 DropBlock 等方法,以增强模型对中间表征的容错与稳定性。
- 混合多张图像:MixUp 与 CutMix 等策略,将两张图像进行融合或拼接,并对标签进行加权调整或面积比例分配,进一步提升模型对复杂场景的理解能力。
- 风格转换:Style Transfer GAN 也被用来产生不同风格的图像版本,以降低 CNN 对特定材质与纹理的过度依赖。
标签平滑与知识蒸馏
除了输入图像的处理,对标签的操作也是免费优化的一环。
在分类任务中,标签通常以 one-hot 的方式呈现,这种「硬标签」虽然清晰,但缺乏语义层级的模糊弹性。为此,Label Smoothing 被提出来将原始标签转为「软标签」,让模型不会过度自信于某一类别,提高其在未知数据上的稳定性。
进一步的作法是引入知识蒸馏,由一个性能较高的 Teacher 模型提供更细致的输出分布,通过 Label Refinement Network 引导学生模型学习类别之间的相对关系。
损失函数的优化
最后,针对目标检测任务中极为关键的边界框回归问题,传统做法是使用 MSE 或 L1/L2 Loss 直接对坐标值(如中心点或对角线)进行回归。然而这类做法会忽略整体框的几何结构,也容易受目标尺度变化所影响。
因此,IoU Loss 成为近年主流选择,将预测框与真实框的重叠区域作为损失函数的核心,具备尺度不变性与语义一致性的优势。
其后又出现多种改进版本:
- GIoU (Generalized IoU):纳入最小包围框,解决 IoU 在完全不重叠时无梯度的问题。
- DIoU (Distance IoU):加入中心点距离,强化定位精度。
- CIoU (Complete IoU):同时考虑重叠率、中心距离与长宽比,综合性最佳,也具有更快的收敛速度。
这些回归损失的改良,不仅提升了收敛稳定性,也让模型在定位精度上迈向更高水准,成为高性能检测器不可或缺的一环。
精巧模块设计
与 Bag of Freebies 相对,另一类提升准确率的策略被称为 Bag of Specials。
这类方法通常会略微增加推理成本,但所带来的准确率提升远大于其额外计算开销,是目标检测中极具 CP 值的技巧。
这些技巧可以分为四个面向:感受野扩张、注意力机制、特征整合模块、非极大值抑制(NMS)后处理,再加上一个常被忽略但极具影响力的面向:激活函数设计。
扩张感受野
为了让模型更早感知上下文讯息并提升空间理解力,许多模块被设计来扩张感受野:
- SPP(Spatial Pyramid Pooling) 模块源自传统的 SPM 概念,原先在图像分类中用来建立不同尺度的区块表示。YOLOv3-SPP 变体将其整合至卷积网络中,改为多尺度 MaxPooling 后拼接(例如 k = 1、5、9、13),不改变空间尺寸却能扩张感受野。与 YOLOv3-608 相比,计算量增加 0.5%,AP50 提高 2.7 个百分点。
- ASPP(Atrous Spatial Pyramid Pooling) 使用多个不同膨胀率的 3×3 膨胀卷积,以等价于多尺度感受野的方式进行空间感知。
- RFB(Receptive Field Block) 更进一步使用多组不同膨胀率的卷积并行计算,获得更绵密且广域的空间覆盖效果。在 SSD 架构上只增加 7% 推理时间,却带来 AP50 提高 5.7 个百分点。
注意力机制
注意力模块能帮助模型动态调整重要信号的强度,是近年广泛应用于各项视觉任务的核心技术:
- SE(Squeeze-and-Excitation) 模块专注于通道层级的重新加权,能够帮助模型更集中在有判别性的特征维度上,但在 GPU 上的推理开销相对较高。
- SAM(Spatial Attention Module) 则是在空间层级引入注意力,针对输入特征图进行空间加权,成本极低且几乎不影响 GPU 上的推理速度。
跨尺度整合
传统使用 skip connection 或 hypercolumn 将浅层与深层特征拼接。随着 FPN 为代表的多尺度融合架构兴起,更多高效的融合模块被提出:
- SFAM:基于 SE 模块进行通道注意力强化。
- ASFF(Adaptive Spatial Feature Fusion):通过 point-wise softmax 决定不同尺度的特征融合权重。
- BiFPN:提出 multi-input weighted residual connection,实现尺度层级的学习式融合,在准确度与效率间取得良好平衡。
激活函数的演进
一个好的激活函数能让梯度更稳定传递,又不造成额外负担:
- ReLU 解决了早期 sigmoid/tanh 的梯度消失问题。
- LReLU / PReLU 解决了负区间无梯度的问题。
- ReLU6 / hard-Swish 则是为量化网络量身打造。
- SELU 支援自我归一化(self-normalization)。
- Swish / Mish 为平滑且可导的函数,能提升深层网络的收敛性与精度。
这些激活函数虽属微观设计,但往往能在大型网络中累积显著的性能优势。
NMS 后处理
非极大值抑制(NMS)用来筛除重复预测框,是目标检测的最后一道程序:
- 传统 NMS 依据 IoU 和置信度排序保留最佳框,但无法处理遮挡目标时的信心退化问题。
- Soft-NMS 尝试以惩罚分数的方式减少「过于强硬」的筛除。
- DIoU-NMS 则引入中心距离信息,使筛选更具几何直觉。
Anchor-free 检测器也可以使用 NMS。FCOS 虽然不用预定义锚框,预测后仍采用非极大值抑制;若要移除 NMS,还须有专门避免重复预测的设计。
解决问题
我们终于可以来看 YOLOv4 本人了。
有了上面各种方法的介绍,可以知道作者就是想找出一个又快又好的架构。
架构选择
在设计 Backbone 时,作者从「分类模型 ≠ 检测模型」的核心观念出发,重新评估各种架构在不同任务下的性能表现。
他们发现尽管 CSPResNeXt50 在 ImageNet 上表现优异,但在 MS COCO 检测任务中,CSPDarknet53 的表现更胜一筹。这是因为检测任务相较分类任务,需求更加严苛:
- 更高输入分辨率:为了可以辨识小型目标。
- 更深的层数与更大的感受野:可以涵盖更广泛的上下文关系。
- 更多参数容量:可以同时应对多目标、多尺度的场景需求。
以感受野为例,CSPResNeXt50 仅有 16 层 3×3 卷积,感受野为 425×425;CSPDarknet53 则有 29 层,感受野达 725×725,搭配较大的参数量(27.6M),更能应对复杂的检测场景。
因此,YOLOv4 选择以 CSPDarknet53 作为骨干,并在其上加入 SPP 模块 增强感受野,再通过 PANet 进行多层特征聚合,最终连接至 YOLOv3 Head 完成预测。
这个架构的核心配置为:
- Backbone:CSPDarknet53
- Neck:SPP + PANet
- Head:YOLOv3(anchor-based)
训练策略选择
YOLOv4 的训练策略建构在两个经典概念之上:
- Bag of Freebies (BoF):只增加训练成本,不增加推理负担
- Bag of Specials (BoS):略增推理成本,显著提升准确率
在训练架构上,YOLOv4 抛弃了不易收敛的 activation(如 PReLU, SELU)与针对量化设计的 ReLU6,改用效果平衡的 Mish activation;归一化方面则放弃需多卡训练的 SyncBN,转而设计更适合单卡训练的 Cross mini-Batch Normalization (CmBN)。
在深度学习中,Batch Normalization(BN)是极为关键的稳定训练手段。
但这个技巧有一个隐性假设:每个 mini-batch 都足够大,才能取得代表性的均值与变异数统计量。然而,当模型规模增大、显存受限或仅能使用单张 GPU 时,mini-batch size 常常偏小,导致 BN 的效果急剧下降,甚至产生不稳定收敛问题。
过往为了解决这个问题,有人提出 SyncBN(Cross-GPU BN),让多张 GPU 之间共享统计信息,提升统计稳定性。但这需要多卡硬件资源,不适合单卡训练场景。
CmBN 则引入「跨 mini-batch」统计聚合机制:
假设一个训练 batch 分成四个依序处理的 mini-batch。CmBN 会在同一个 batch 内跨 mini-batch累积均值与变异数统计量,如上图绿色一列所示;这与 Mosaic 将四张图像拼成一张,是两个不同的设计。
也就是说,归一化时可利用同一个 batch 中多个 mini-batch 的统计线索,不需跨 GPU 同步;图中 CBN 橘色一列则跨越多次权重更新,与 CmBN 的范围不同。
此外,DropBlock 被选为主要的正则化方法,搭配 CutMix、MixUp、Label Smoothing 等增强策略,构成训练中最具代表性的免费提升工具包。
额外增强设计
YOLOv4 对于训练过程还进行了三项关键优化:
-
Mosaic 数据增强:
将四张图像混合为一,扩增场景多样性,并让 BatchNorm 同步处理更多图像信息,提升小 Batch 下的稳定性。
-
SAT(Self-Adversarial Training):
在训练的第一阶段,模型修改输入图像以遮掩目标;第二阶段再以修改后的图像训练检测。这是每次 SAT 训练的两阶段操作,不是只在整体训练初期使用;论文也未单独证明对各种伪装攻击的稳健性。
-
模块改良:
-
SAM 改为 point-wise 注意力;图中移除原 SAM 的 max/average pooling 分支,直接经卷积与 sigmoid 产生权重。
-
PANet 的 shortcut 改为 concat,让输入特征沿通道串接;这张示意图本身没有测量融合品质。
-
这些设计与单卡训练目标相配合;各元件是否带来增益,还需看下方在指定模型与输入尺寸下的消融结果。
组件总览与技术选型
整合上述设计,YOLOv4 最终的模块选择如下:
架构组成:
- Backbone:CSPDarknet53
- Neck:SPP、PAN
- Head:YOLOv3 Head
只增加训练成本的技巧(BoF for Backbone & Detector):
- CutMix / Mosaic 数据增强
- DropBlock 正则化
- Label smoothing
- CIoU Loss
- CmBN
- SAT
- Grid sensitivity 消除策略
- 多 Anchor 对应单一 ground truth
- Cosine annealing scheduler
- 随机训练分辨率
- 优化参数组合(使用基因演算法)
会进入推理架构或后处理的技巧(BoS for Backbone & Detector):
- Mish activation
- CSP 模块
- Multi-input weighted residual connections
- SPP 模块
- 改良版 SAM
- PAN path aggregation
- DIoU-NMS 后处理策略
实验配置
为了验证各种训练策略对模型性能的实际影响,作者在两个标准数据集上进行了大规模实验,分别针对分类与检测任务进行训练与评估。
在 ImageNet(ILSVRC 2012 val) 图像分类实验中,采用以下预设训练设定:
- 训练步数:8,000,000 steps
- Batch size / mini-batch size:128 / 32
- 学习率排程策略:Polynomial decay,初始学习率为 0.1
- warm-up 步数:1,000
- Momentum / Weight decay:0.9 / 0.005
对于 Bag of Freebies (BoF) 的设定中,作者验证了以下策略:
- MixUp
- CutMix
- Mosaic
- 模糊处理(Blurring)
- 标签平滑正则化(Label Smoothing)
在 MS COCO(test-dev 2017) 目标检测实验中,作者采用以下预设训练设定:
-
训练步数:500,500 steps
-
学习率排程策略:Step decay
- 初始学习率:0.01
- 于第 400,000 与 450,000 步时,各乘上 0.1
-
Momentum / Weight decay:0.9 / 0.0005
-
Batch size / mini-batch size:64 / 8 或 4(依模型与显存容量调整)
除部分使用基因演算法搜寻最佳超参数的实验外,同一组任务内的对照沿用上述预设设定;ImageNet 的 BoF 对照另增加 50% 训练步数。
在超参数搜寻实验中,作者使用 YOLOv3-SPP 架构与 GIoU loss,在 min-val 5k 子集上进行 300 个 epoch 的搜寻。最终采用的最佳组合如下:
- 学习率:0.00261
- Momentum:0.949
- IoU 分配门槛:0.213
- 损失归一化系数:0.07
所有实验均在 单张 GPU 上进行,并未使用如 syncBN 等多卡优化技术。
讨论
分类器训练中不同特征的影响
作者首先探讨在分类器训练过程中,不同训练策略对最终准确率的影响,特别聚焦于几个常见的训练强化技巧:标签平滑(Class label smoothing)、各类数据增强方法(如 模糊处理、MixUp、CutMix、Mosaic),以及不同类型的激活函数(Leaky ReLU、Swish、Mish)对模型学习的实质影响。
上表是 CSPResNeXt50 的 ImageNet Top-1/Top-5;与 77.9% Top-1 基准相比,以下特征带来提升:
- CutMix 数据增强
- Mosaic 数据增强
- Class label smoothing 标签平滑正则化
- Mish 激活函数
因此,在 YOLOv4 的分类器训练策略中,作者最终选择的 BoF-backbone(Bag of Freebies for classifier) 包含以下项目:
- CutMix
- Mosaic
- Class label smoothing
同时,根据实验结果,Mish activation 被纳入作为补充性的激活函数选项;CutMix + Mosaic + label smoothing 的 78.5% Top-1,加上 Mish 后为 79.8%。表中 MixUp、模糊处理或单独 Swish 并未提高这个基准的 Top-1。
检测器训练中不同特征的影响
作者进一步评估不同训练策略对检测器准确率的影响,特别是针对 Bag of Freebies for detector(BoF-detector) 所进行的系统性实验,如上表所示。
YOLOv4 大幅扩充了 BoF 的选项清单,专注于那些能在不牺牲推理速度(FPS)的前提下提升准确率的训练技术。
以下是作者在 Table 4 测试的 BoF-detector 项目;它们并非每项单独加入都提高 AP:
-
S: Grid Sensitivity Elimination
在 YOLOv3 中,目标坐标由 所定义,其中 为整数。当 值极大或极小时,才能使 接近格点边缘( 或 ),这造成某些边缘目标难以被检出。
为此,作者将 sigmoid 结果乘上一个大于 1 的因子,有效解除格点对检测可行性的限制。
-
M: Mosaic 数据增强 将四张图像拼接为训练输入,使模型同时学习不同场景与比例下的目标,强化泛化能力。
-
IT: IoU Threshold 为每个 ground truth 配对多个 anchor,条件为 IoU(anchor, truth) > threshold,以增加样本使用率。
-
GA: Genetic Algorithms 在训练时间的前 10% 搜寻超参数;表中单独加入时 AP 为 38.9%,高于 38.0% 基准,但未测量收敛稳定度。
-
LS: Class Label Smoothing 对类别标签套用平滑处理;表中单独加入时 AP 从 38.0% 降至 33.0%,不能将其列为独立有效的增益。
-
CBN: Cross mini-Batch Normalization (CmBN) 在同一个 batch 的多个 mini-batch 间汇总统计值;单独加入时 AP 从 38.0% 升至 38.4%。
-
CA: Cosine Annealing Scheduler 采用余弦函数调整学习率;单独加入时 AP 从 38.0% 升至 38.7%,表中未提供学习曲线。
-
DM: Dynamic mini-batch Size 在小分辨率训练阶段增加 mini-batch size,配合随机输入尺寸;单独加入时 AP 为 35.3%,低于 38.0% 基准。
-
OA: Optimized Anchors 根据输入分辨率(如 512×512)优化 anchor 位置与尺寸,提高 anchor 分配效率。
-
BBox Regression Loss 比较多种边界框损失函数,包括 GIoU、CIoU、DIoU 与传统 MSE,验证其在不同场景下的回归品质。
此外,作者也针对 Bag of Specials for detector 的设计进行验证,如下表所示:
实验项目包含:
- PAN:参数聚合与特征流通性提升
- RFB:多尺度膨胀卷积以扩展感受野
- SAM:空间注意力机制
- Gaussian YOLO (G):预测框不再为单点估计,而是高斯分布
- ASFF:跨尺度注意力式融合策略
在 Table 5 的 CSPResNeXt50、512×512 对照中,SPP + PAN + SAM 得到最高的 42.7% AP,比 SPP + PAN 高 0.3 个百分点;加入 Gaussian YOLO 或 RFB 的几列反而较低。这张表不能比较所有可能的模块组合。
不同 Backbone 的影响
作者探讨不同 Backbone 对检测器准确率的影响,如上表所示。
实验结果显示:分类与目标检测任务的模型表现排序存在差异。
首先,即使在分类任务中,采用各种训练技巧后的 CSPResNeXt50 模型其准确率普遍高于 CSPDarknet53,但一旦将这些模型用作检测器的骨干,整体检测表现却反而以 CSPDarknet53 为优。
具体来说,CSPResNeXt50 搭配 BoF 与 Mish activation 可进一步提升分类准确率,但当使用这组预训练权重初始化检测器后,检测精度反而下降。相对地,CSPDarknet53 同样搭配 BoF 与 Mish 进行分类训练,不仅提升了分类器本身的准确率,后续作为检测器骨干使用时,检测表现也随之提升。
这项对照显示这组分类预训练精度不能直接预测后续检测 AP。
在 Table 6 的 512×512 PANet-SPP 配置下,CSPDarknet53 搭配 BoF 与 Mish 达 43.0% AP,高于表中 CSPResNeXt50 的 42.3%–42.4%;这个比较未单独隔离感受野的贡献。
不同 mini-batch size 的影响
最后,作者分析在不同 mini-batch size 设定下训练所产生的影响,对应结果如上表所示。
在表中的 CSPDarknet53 + BoF/BoS、512 输入 配置下,mini-batch 4 与 8 分别为 41.6%/41.7% AP。另一组 CSPResNeXt50、608 输入且无 BoF/BoS 则为 37.1%/38.4% AP;两组同时改了骨干、分辨率及训练技巧,不能只把差异归因于 BoF/BoS。
这项发现具有重要实际意义。
这组结果支持作者的单卡训练设定在 mini-batch 4 或 8 下取得相近 AP;是否同样适用于更小 batch、其他 GPU 或其他数据集,表中没有验证。
Benchmark
图中依 Maxwell、Pascal、Volta 分开绘制 FPS 与 COCO test-dev AP;YOLOv4 的不同输入尺寸形成各自的速度/准确率取舍,在作者列出的对照点中靠近 Pareto 前缘。
例如 YOLOv4-608 为 43.5% AP,在 Maxwell/Pascal 的表列 FPS 分别为 23/33;改用 416 输入则为 41.2% AP、38/54 FPS。不同方法使用的 GPU 与输入尺寸不尽相同,因此不能说 YOLOv4 在每个比较点都同时更快、更准。
考虑到不同研究方法在推理时间测试上使用的 GPU 架构可能有所不同,作者分别在常见的三大 GPU 架构上测试 YOLOv4 的性能,包括:
- Maxwell 架构:GTX Titan X(Maxwell)、Tesla M40
- Pascal 架构:Titan X(Pascal)、Titan Xp、GTX 1080 Ti、Tesla P100
- Volta 架构:Titan Volta、Tesla V100
这些表格显示 YOLOv4 在三类 GPU 架构上的表列速度;比较时仍需按实际 GPU、输入尺寸与 batch=1、未用 TensorRT 的条件阅读。
这些结果支持作者在多种 GPU 上测得即时或接近即时的速度。
结论
在论文的 MS COCO 对照中,YOLOv4 达到 43.5% AP、65.7% AP50,并在相应 GPU 与输入尺寸下取得有竞争力的推理速度。作者也展示了使用消费级单卡训练的可行性;所需显存仍取决于配置和 mini-batch。
每个想做目标检测的开发者,都可以来翻一翻这篇论文,绝对值回票价。