YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
- 发表版本
- CVPR 2023会议
- arXiv 首次提交
- arXiv:2207.02696
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{objectdetectionyolov72022,
title = {{YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors}},
author = {Chien-Yao Wang and Alexey Bochkovskiy and Hong-Yuan Mark Liao},
year = {2022},
eprint = {2207.02696},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2207.02696}
}
YOLOv7 这篇论文的作者团队来自台湾中央研究院。
等等,为什么 v7 会比 v6 还要早两个月发布?这是因为全世界有很多团队都想要成为原初 YOLO 的正统继承者,欢迎来到群星荟萃的 YOLO 宇宙!
定义问题
实时目标检测这个领域,一直都在平衡四件事:速度、准确率、参数量、部署可行性。
这些平衡在不同场景里会被重新排序:在自驾车里,我们会在意延迟;在嵌入式设备里,我们则在意功耗;而在医疗图像里,精度高于一切。
过去几年,实时检测器的设计大致走向两条主路线:
第一条是追求「极限轻量化」:针对微处理器和边缘 CPU 设计,像是 MCUNet、NanoDet;另一条则在「高效架构上压榨性能」:例如 YOLOX、YOLOR,借由 backbone 改造、Neck 优化、特征融合设计等方式,提高推理速度与准确率。
这些方法的共同点是:
- 它们几乎都从推理架构下手,试图用更快的路径跑出更准的答案。
但 YOLOv7 选择了一条逆向的路。
作者在这篇论文提出了一个相对少被关注的切入点:
如果我们不改模型架构,而是重新设计训练流程,可好?
这个出发点促成了 YOLOv7 的核心理念:trainable bag-of-freebies。
所谓 bag-of-freebies,指的是那些只会增加训练成本、但不会增加推理成本的技术。
YOLOv7 的创新之处在于,将这些技巧升级为「可训练」的组件,进一步提升模型性能,而不动到任何推理结构。
这样的设计虽然听起来简洁,却马上引出两个结构层级的棘手问题:
- 模块的重参数化该如何设计,才能同时利于训练与推理?
- 当使用动态标签分配技术时,如何处理多层输出之间的分配对齐问题?
这两个问题过去常被当成「训练细节」略过,但在 YOLOv7 的路线里,这些训练过程中的非显性瓶颈反而成为设计的主战场。
这一次,YOLOv7 把焦点从「推理表现」移到「训练性能」。
思维顺序在此刻已经悄然反转。
解决问题
Extended-ELAN
YOLOv7 引入的第一个设计关键,是名为 E-ELAN(Extended Efficient Layer Aggregation Networks) 的网络区块设计,并用于 YOLOv7-E6E。
它延伸自 ELAN 架构,而 E-ELAN 的核心设计理念是:
在不改变 gradient path 长度的前提下,提升参数利用率与特征表达多样性。
从上图中可以清楚看出,E-ELAN 完全保留了原始 ELAN 的 gradient 传递路径。
我们都知道,神经网络中有效的梯度路径会直接影响训练效率与收敛能力。
E-ELAN 在维持这条主干不变的同时,做了几个关键改造:
- 扩张(expand):通过 group convolution 扩展 channel 与 cardinality。
- 重组(shuffle):对 feature map 进行分组重排。
- 合并(merge):将分组后的特征进行融合,以促进跨群学习。
作者借此让不同群组的 block 学到更多样的特征,提高参数与计算的利用率,同时维持原本的梯度传递路径。
整体来说,E-ELAN 是一种在计算区块中扩展特征多样性、维持梯度路径的设计。
串接式架构的缩放
第二个设计重点,是 针对串接式架构提出的复合缩放策略(Compound Model Scaling)。
过去我们在 EfficientNet 中看到过 model scaling 的概念,也就是对网络的 宽度(width)、深度(depth)、分辨率(resolution) 同时进行缩放。
但这种 scaling 方法大多针对的是像 ResNet、PlainNet 等「单一路径」架构。
然而,在本文的串接式架构中,单独放大计算区块的深度会增加串接输出的 channel,进而改变 transition layer 的输入宽度与通道比例,可能降低硬件利用率。
因此,作者在此提出了解法:
缩放深度的同时,应连带调整宽度,让通道比例保持稳定。
这种策略试图维持原始设计的通道比例与硬件利用率。
具体做法是:
- 先进行 depth scaling,增加 block 中的堆叠层数;
- 根据扩张后的输出通道变化,对应地对 transition layer 做宽度缩放;
- 维持原始设计的通道配比,避免单独加深导致 transition layer 输入宽度失衡。
这是一种「耦合式的缩放方法」,将不同层级的参数变化一起考虑,才能在保有高效计算的前提下扩大模型规模。
Trainable BoF
YOLOv7 所提出的 trainable bag-of-freebies,并不仅仅是使用现有技巧的堆叠,而是进一步让训练流程成为模型优化的主场。
我们仔细看一下三组设计。
-
Planned Re-parameterized Convolution
重参数化卷积(RepConv) 是一种训练/推理分离的结构设计:
- 在训练阶段,它包含三个分支:一个 3×3 卷积、一个 1×1 卷积、再加上一条 identity shortcut(直接传递输入);
- 在推理阶段,这三个路径会合并为单一路径,达到零额外成本的效果。
这个设计在一些平铺结构(例如 VGG)上表现很好,能够加速收敛、提升准确率。
但作者发现:
当你把原始 RepConv 用在 ResNet 或 DenseNet 这类已经有 shortcut 或 feature concatenation 的网络中,准确率会明显下降。
作者从梯度路径分析指出:ResNet 已有 residual shortcut,若在带有该连接的层再加入 RepConv 的 identity 分支,可能改变原本的梯度路径。
对 DenseNet 等有 concatenation 的结构,作者也观察到直接替换为含 identity 的 RepConv 会降低实验精度,因此建议在这类位置去除该分支。
于是作者提出了解法:
根据网络内部的结构特性(是否已有 residual/concat),决定是否使用不含 identity 分支的 RepConvN。
这个做法被称为 Planned Re-parameterized Convolution,目的是「依据模型结构,做有计划的替换与配置」。举例来说:
- 如果在一个 PlainNet(没有残差的基础网络)上使用 RepConv,那完整的 3×3、1×1、identity 三路结构是有帮助的;
- 但如果是 ResNet 或 DenseNet,则应使用 RepConvN(只保留 3×3 + 1×1,移除 identity 分支),才能避免梯度传递混乱。
-
Coarse-to-Fine 标签设计
在训练多层检测头时,作者导入了一种创新的监督机制:
- Coarse-to-Fine Label Assignment。
这个机制包含两个重要角色:
- Lead Head:主输出头,负责最终检测任务;
- Auxiliary Head:辅助输出头,协助浅层学习收敛。
传统的深度监督会对每一个 head 单独进行标签分配,但在这里作者不这么做,而是提出了一个崭新观点:
让 Lead Head 的预测结果反过来作为整体训练的领导者。
操作上分为两种设计策略:
- Lead Head Guided Label Assigner:以 Lead Head 预测结果 + ground truth 为基础产生 soft label,套用于所有 head;
- Coarse-to-Fine Label Assigner:产生两种 soft label,分别为粗略(coarse)与精细(fine),用于 Auxiliary Head 与 Lead Head,提升前者的 recall、后者的 precision。
这种策略背后的逻辑是:
- Lead Head 学习力强,适合作为指标;
- Auxiliary Head 学习力弱,需放宽正样本条件以提升召回率;
- 以 residual learning 的精神,让 Lead Head 聚焦于尚未被学到的部分。
为避免 coarse label 产生不良的先验知识,作者在 decoder 中进一步加以限制,使其在训练中逐步收敛,形成动态调节的监督机制。
-
其他可训练 Freebies
最后,作者也整合了数项过去被视为「训练技巧」的作法,并提升为 可训练的设计单元:
- BN 与卷积层融合:将 BatchNorm 的均值与方差并入卷积权重与 bias,以利推理阶段的运算精简。
- YOLOR 式隐式知识注入:将隐式向量结合于卷积层,可于推理阶段预先计算并简化为固定向量权重。
- EMA(Exponential Moving Average)模型:使用移动平均方式处理训练参数,并以 EMA 模型作为最终推理模型。
这些技巧虽然不新,但在 YOLOv7 里被整理为可于训练阶段使用、推理时尽量不增加额外成本的设计。
实验配置
YOLOv7 全部的实验皆在 Microsoft COCO 2017 数据集上进行,并强调以下几点:
- 从头训练(train from scratch),不使用任何 ImageNet 预训练权重;
- 使用
train2017作为训练集,val2017作为验证与超参数调整,test2017作为最终评估。
此外,为了对应不同应用场景,YOLOv7 系列模型分为以下几类:
| 模型名称 | 设计目标 | 缩放技术 | 备注 |
|---|---|---|---|
| v7-tiny | 边缘装置 | 轻量化设计 | 使用 LeakyReLU |
| v7 | 一般 GPU | 基础模型,供 v7-X 缩放 | 使用 SiLU |
| v7-W6 | 云端 GPU | 基础模型,供 E6 / D6 缩放 | 使用 SiLU |
| v7-E6/E6E | 云端 GPU | E6 由 W6 缩放;E6E 再用 E-ELAN | |
| v7-D6/X | 缩放模型 | D6 来自 W6;X 来自 v7 |
v7-X 使用 Neck 堆叠及复合式模型缩放;E6 与 D6 由 W6 通过复合式缩放得到,E6E 则在 E6 上使用 E-ELAN。
讨论
与旧版 YOLO 的对比
首先来看与过去 YOLO 系列与 YOLOR 相比的结果,如上表。
这张 Table 1 只列参数、FLOPs 与 COCO 验证集 AP,没有速度栏位。与 YOLOR-CSP 相比,YOLOv7 参数从 52.9M 降至 36.9M、FLOPs 从 120.4G 降至 104.7G、AP 高 0.4 个百分点;但 tiny 对 YOLOv4-tiny 时参数多 2%,YOLOv7-X 的 AP50 也比 YOLOR-CSP-X 低 0.2 个百分点。
与最新 SOTA 模型对比
在速度与准确率权衡方面:
- YOLOv7-tiny-SiLU vs YOLOv5-N (r6.1):多出 127 fps,COCO val AP 高 10.7 个百分点
- YOLOv7:在 161 fps 下达成 51.4% AP,而 PPYOLOE-L 达到同样精度时,仅有 78 fps
如果和高阶模型对比,结果如下:
- YOLOv7-X vs YOLOv5-L (r6.1):推理速度快了 15 fps,COCO val AP 高 3.9 个百分点
- YOLOv7-X vs YOLOv5-X (r6.1):推理速度快 31 fps,参数从 86.7M 降至 71.3M,计算量减少约 8%,COCO val AP 高 2.2 个百分点
最后是巨量模型对比:
- YOLOv7-E6 vs YOLOv5-X6 (r6.1):COCO val AP 高 0.9 个百分点,参数从 140.7M 降至 97.2M、FLOPs 从 839.2G 降至 515.2G、速度快约 47%
- YOLOv7-D6 vs YOLOR-E6:FPS 为 44 对 45,COCO val AP 高 0.6 个百分点(test AP 高 0.8 个百分点)
- YOLOv7-E6E vs YOLOR-D6:FPS 为 36 对 34,COCO val AP 高 0.7 个百分点(test AP 高 0.3 个百分点)
从这些比较可归纳出几项关键观察:
- 从轻量到大型模型,YOLOv7 都能维持高效率表现;
- 这些 YOLOv7 模型未使用预训练权重;表中是不同尺寸与训练设定的跨方法比较;
- 模型缩放与标签指派的贡献,仍须参照下方各自的消融结果。
YOLOv7 不只是训练技巧的展示,而是一次全面考量实务部署需求的架构设计范本。
消融实验:模型缩放
传统的模型缩放常见三种做法:
- 只放大宽度(width):增加每层的通道数;
- 只放大深度(depth):增加层数或 block 数量;
- 复合缩放(如 EfficientNet):同时调整 depth、width、resolution。
作者采用的是一种针对 concatenation-based 架构特化 的做法:
将 computational block 的深度扩张 1.5 倍,并同步将 transition block 的宽度扩张 1.25 倍。
这种设计背后的逻辑,是要保持几个重要参数:
- block 的输出 feature map 结构稳定;
- 各层之间的 channel 对齐;
- 维持原设计的通道比例与硬件利用率。
效果如下表:
从数据中可以看到:
- 单独放大宽度:73.4M 参数、195.5G FLOPs、52.4% AP;
- 单独放大深度:69.3M 参数、187.6G FLOPs、52.7% AP;
- 复合式缩放策略:71.3M 参数、189.9G FLOPs、52.9% AP;相较只加宽 AP 高 0.5 个百分点且成本较低,相较只加深 AP 高 0.2 个百分点,但成本稍高。
复合式模型缩放不只是 scale 的问题,而是一种针对特定网络架构(如 ELAN、YOLO-style)所设计的几何稳定缩放法。
标签指派策略
在以往的多头检测器中,Auxiliary Head 常常只是单纯加上一个中层监督点,让梯度更快穿透模型、加速收敛。
但 YOLOv7 的设计进一步提出:
为何不让辅助头的学习内容也由主输出(Lead Head)来主导?
这正是 Assistant Loss for Auxiliary Head 的设计核心,通过 Lead Head 的预测,来建立更有语义层次感的监督结构。
-
实验一:三种标签指派策略比较
从实验的结果可以看到:
- 只要加上辅助损失(assistant loss)就能提升性能;
- 而 由 Lead Head 引导的 soft label(Lead-guided Assigner) 更胜传统的监督方式;
- Coarse-to-Fine 引导策略对 lead 给精细标签,对 auxiliary 给较宽松、recall-oriented 的标签;Table 6 的 AP 与 AP50 和 lead-guided 相同,AP75 则高 0.1 个百分点。
作者进一步在下图中展示不同策略下的 Objectness Map:
这张图比较 independent 与 lead-guided 的 auxiliary、lead head objectness map。作者将 lead-guided 下两颗 head 较一致的目标回应,解读为有助 lead head 学习剩余信息;图本身未直接测量特征是否一致。
这种从中层往高层的引导式信息传递,构成一种特殊的「残差式学习架构」,提升整体网络的学习分工与效率。
-
实验二:Decoder 的上界限制效果
为了避免 Coarse Label 对最终输出产生负面影响,作者在 decoder 中加了一项限制条件:限制 coarse label 的 objectness 分数上限,根据目标中心距离做衰减。
Table 7 中,加入上界限制前后的 AP、AP50 同为 55.9%、73.5%,AP75 从 61.0% 增至 61.1%;能支持的是这项设定在该指标上的小幅改善。
-
实验三:Partial Auxiliary Head 的设计
在 YOLOv7 中,作者还提出了一种新的设计:
将辅助头连接在 E-ELAN 合并 cardinality 前的一组特征图上,而非合并后的输出处。
这么做有两个目的:
- 避免辅助损失直接更新新产生的那组特征图权重;
- 让不同尺寸的目标在不同层中被学习,保持 pyramid 对小中大目标的学习分布。
Table 8 中,partial aux 的 AP 为 56.8%,比一般 aux 的 56.5% 高 0.3 个百分点;这支持该连接位置在此设定下的效果,但表格未直接测量各层学习目标的边界。
由 Lead Head 主导 supervision,不只是信息再利用,更是让整个网络形成一种语义一致、梯度互补的训练路径。
结论
YOLOv7 是一套以 训练流程为主体、推理结构为背景 的目标检测设计理念。
从模型缩放、模块替换到标签分配,作者将那些被视为「训练细节」的部分,重新拉到设计舞台的正中央,展现出训练本身就是优化模型的关键因素。
对实务开发者来说,YOLOv7 最大的启发在于,我们应该要认识到 memory alignment、channel matching、gradient flow 等硬件导向设计对实际部署有多重要,此外模块替换(如 RepConv)时不能只看参数,而要考虑信息路径与架构逻辑。
这是工程与研究交会的路口,有太多观念值得我们学习。