返回论文笔记资料库
arXiv 2022CVPR 2023目标检测论文笔记

YOLOv7

配角的逆袭

原始论文

YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors

论文作者

Chien-Yao Wang · Alexey Bochkovskiy · Hong-Yuan Mark Liao

发表版本
CVPR 2023会议
arXiv 首次提交
arXiv:2207.02696
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{objectdetectionyolov72022,
  title = {{YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors}},
  author = {Chien-Yao Wang and Alexey Bochkovskiy and Hong-Yuan Mark Liao},
  year = {2022},
  eprint = {2207.02696},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2207.02696}
}
本页内容

YOLOv7 这篇论文的作者团队来自台湾中央研究院。

等等,为什么 v7 会比 v6 还要早两个月发布?这是因为全世界有很多团队都想要成为原初 YOLO 的正统继承者,欢迎来到群星荟萃的 YOLO 宇宙!

定义问题

实时目标检测这个领域,一直都在平衡四件事:速度、准确率、参数量、部署可行性。

这些平衡在不同场景里会被重新排序:在自驾车里,我们会在意延迟;在嵌入式设备里,我们则在意功耗;而在医疗图像里,精度高于一切。

过去几年,实时检测器的设计大致走向两条主路线:

第一条是追求「极限轻量化」:针对微处理器和边缘 CPU 设计,像是 MCUNet、NanoDet;另一条则在「高效架构上压榨性能」:例如 YOLOX、YOLOR,借由 backbone 改造、Neck 优化、特征融合设计等方式,提高推理速度与准确率。

这些方法的共同点是:

  • 它们几乎都从推理架构下手,试图用更快的路径跑出更准的答案。

但 YOLOv7 选择了一条逆向的路。

作者在这篇论文提出了一个相对少被关注的切入点:

如果我们不改模型架构,而是重新设计训练流程,可好?

这个出发点促成了 YOLOv7 的核心理念:trainable bag-of-freebies。

所谓 bag-of-freebies,指的是那些只会增加训练成本、但不会增加推理成本的技术。

YOLOv7 的创新之处在于,将这些技巧升级为「可训练」的组件,进一步提升模型性能,而不动到任何推理结构。

这样的设计虽然听起来简洁,却马上引出两个结构层级的棘手问题:

  1. 模块的重参数化该如何设计,才能同时利于训练与推理?
  2. 当使用动态标签分配技术时,如何处理多层输出之间的分配对齐问题?

这两个问题过去常被当成「训练细节」略过,但在 YOLOv7 的路线里,这些训练过程中的非显性瓶颈反而成为设计的主战场。

这一次,YOLOv7 把焦点从「推理表现」移到「训练性能」。

思维顺序在此刻已经悄然反转。

解决问题

Extended-ELAN

YOLOv7 引入的第一个设计关键,是名为 E-ELAN(Extended Efficient Layer Aggregation Networks) 的网络区块设计,并用于 YOLOv7-E6E。

它延伸自 ELAN 架构,而 E-ELAN 的核心设计理念是:

在不改变 gradient path 长度的前提下,提升参数利用率与特征表达多样性。

从上图中可以清楚看出,E-ELAN 完全保留了原始 ELAN 的 gradient 传递路径。

我们都知道,神经网络中有效的梯度路径会直接影响训练效率与收敛能力。

E-ELAN 在维持这条主干不变的同时,做了几个关键改造:

  • 扩张(expand):通过 group convolution 扩展 channel 与 cardinality。
  • 重组(shuffle):对 feature map 进行分组重排。
  • 合并(merge):将分组后的特征进行融合,以促进跨群学习。

作者借此让不同群组的 block 学到更多样的特征,提高参数与计算的利用率,同时维持原本的梯度传递路径。

整体来说,E-ELAN 是一种在计算区块中扩展特征多样性、维持梯度路径的设计。

串接式架构的缩放

第二个设计重点,是 针对串接式架构提出的复合缩放策略(Compound Model Scaling)。

过去我们在 EfficientNet 中看到过 model scaling 的概念,也就是对网络的 宽度(width)、深度(depth)、分辨率(resolution) 同时进行缩放。

但这种 scaling 方法大多针对的是像 ResNet、PlainNet 等「单一路径」架构。

然而,在本文的串接式架构中,单独放大计算区块的深度会增加串接输出的 channel,进而改变 transition layer 的输入宽度与通道比例,可能降低硬件利用率。

因此,作者在此提出了解法:

缩放深度的同时,应连带调整宽度,让通道比例保持稳定。

这种策略试图维持原始设计的通道比例与硬件利用率。

具体做法是:

  1. 先进行 depth scaling,增加 block 中的堆叠层数;
  2. 根据扩张后的输出通道变化,对应地对 transition layer 做宽度缩放;
  3. 维持原始设计的通道配比,避免单独加深导致 transition layer 输入宽度失衡。

这是一种「耦合式的缩放方法」,将不同层级的参数变化一起考虑,才能在保有高效计算的前提下扩大模型规模。

Trainable BoF

YOLOv7 所提出的 trainable bag-of-freebies,并不仅仅是使用现有技巧的堆叠,而是进一步让训练流程成为模型优化的主场。

我们仔细看一下三组设计。

  1. Planned Re-parameterized Convolution

    重参数化卷积(RepConv) 是一种训练/推理分离的结构设计:

    • 在训练阶段,它包含三个分支:一个 3×3 卷积、一个 1×1 卷积、再加上一条 identity shortcut(直接传递输入);
    • 在推理阶段,这三个路径会合并为单一路径,达到零额外成本的效果。

    这个设计在一些平铺结构(例如 VGG)上表现很好,能够加速收敛、提升准确率。

    但作者发现:

    当你把原始 RepConv 用在 ResNet 或 DenseNet 这类已经有 shortcut 或 feature concatenation 的网络中,准确率会明显下降。

    作者从梯度路径分析指出:ResNet 已有 residual shortcut,若在带有该连接的层再加入 RepConv 的 identity 分支,可能改变原本的梯度路径。

    对 DenseNet 等有 concatenation 的结构,作者也观察到直接替换为含 identity 的 RepConv 会降低实验精度,因此建议在这类位置去除该分支。

    于是作者提出了解法:

    根据网络内部的结构特性(是否已有 residual/concat),决定是否使用不含 identity 分支的 RepConvN。

    这个做法被称为 Planned Re-parameterized Convolution,目的是「依据模型结构,做有计划的替换与配置」。举例来说:

    • 如果在一个 PlainNet(没有残差的基础网络)上使用 RepConv,那完整的 3×3、1×1、identity 三路结构是有帮助的;
    • 但如果是 ResNet 或 DenseNet,则应使用 RepConvN(只保留 3×3 + 1×1,移除 identity 分支),才能避免梯度传递混乱。

  1. Coarse-to-Fine 标签设计

    在训练多层检测头时,作者导入了一种创新的监督机制:

    • Coarse-to-Fine Label Assignment。

    这个机制包含两个重要角色:

    • Lead Head:主输出头,负责最终检测任务;
    • Auxiliary Head:辅助输出头,协助浅层学习收敛。

    传统的深度监督会对每一个 head 单独进行标签分配,但在这里作者不这么做,而是提出了一个崭新观点:

    让 Lead Head 的预测结果反过来作为整体训练的领导者。

    操作上分为两种设计策略:

    • Lead Head Guided Label Assigner:以 Lead Head 预测结果 + ground truth 为基础产生 soft label,套用于所有 head;
    • Coarse-to-Fine Label Assigner:产生两种 soft label,分别为粗略(coarse)与精细(fine),用于 Auxiliary Head 与 Lead Head,提升前者的 recall、后者的 precision。

    这种策略背后的逻辑是:

    • Lead Head 学习力强,适合作为指标;
    • Auxiliary Head 学习力弱,需放宽正样本条件以提升召回率;
    • 以 residual learning 的精神,让 Lead Head 聚焦于尚未被学到的部分。

    为避免 coarse label 产生不良的先验知识,作者在 decoder 中进一步加以限制,使其在训练中逐步收敛,形成动态调节的监督机制。


  1. 其他可训练 Freebies

    最后,作者也整合了数项过去被视为「训练技巧」的作法,并提升为 可训练的设计单元:

    • BN 与卷积层融合:将 BatchNorm 的均值与方差并入卷积权重与 bias,以利推理阶段的运算精简。
    • YOLOR 式隐式知识注入:将隐式向量结合于卷积层,可于推理阶段预先计算并简化为固定向量权重。
    • EMA(Exponential Moving Average)模型:使用移动平均方式处理训练参数,并以 EMA 模型作为最终推理模型。

    这些技巧虽然不新,但在 YOLOv7 里被整理为可于训练阶段使用、推理时尽量不增加额外成本的设计。

实验配置

YOLOv7 全部的实验皆在 Microsoft COCO 2017 数据集上进行,并强调以下几点:

  • 从头训练(train from scratch),不使用任何 ImageNet 预训练权重;
  • 使用 train2017 作为训练集,val2017 作为验证与超参数调整,test2017 作为最终评估。

此外,为了对应不同应用场景,YOLOv7 系列模型分为以下几类:

模型名称设计目标缩放技术备注
v7-tiny边缘装置轻量化设计使用 LeakyReLU
v7一般 GPU基础模型,供 v7-X 缩放使用 SiLU
v7-W6云端 GPU基础模型,供 E6 / D6 缩放使用 SiLU
v7-E6/E6E云端 GPUE6 由 W6 缩放;E6E 再用 E-ELAN
v7-D6/X缩放模型D6 来自 W6;X 来自 v7

v7-X 使用 Neck 堆叠及复合式模型缩放;E6 与 D6 由 W6 通过复合式缩放得到,E6E 则在 E6 上使用 E-ELAN。

讨论

与旧版 YOLO 的对比

首先来看与过去 YOLO 系列与 YOLOR 相比的结果,如上表。

这张 Table 1 只列参数、FLOPs 与 COCO 验证集 AP,没有速度栏位。与 YOLOR-CSP 相比,YOLOv7 参数从 52.9M 降至 36.9M、FLOPs 从 120.4G 降至 104.7G、AP 高 0.4 个百分点;但 tiny 对 YOLOv4-tiny 时参数多 2%,YOLOv7-X 的 AP50 也比 YOLOR-CSP-X 低 0.2 个百分点。

与最新 SOTA 模型对比

在速度与准确率权衡方面:

  • YOLOv7-tiny-SiLU vs YOLOv5-N (r6.1):多出 127 fps,COCO val AP 高 10.7 个百分点
  • YOLOv7:在 161 fps 下达成 51.4% AP,而 PPYOLOE-L 达到同样精度时,仅有 78 fps

如果和高阶模型对比,结果如下:

  • YOLOv7-X vs YOLOv5-L (r6.1):推理速度快了 15 fps,COCO val AP 高 3.9 个百分点
  • YOLOv7-X vs YOLOv5-X (r6.1):推理速度快 31 fps,参数从 86.7M 降至 71.3M,计算量减少约 8%,COCO val AP 高 2.2 个百分点

最后是巨量模型对比:

  • YOLOv7-E6 vs YOLOv5-X6 (r6.1):COCO val AP 高 0.9 个百分点,参数从 140.7M 降至 97.2M、FLOPs 从 839.2G 降至 515.2G、速度快约 47%
  • YOLOv7-D6 vs YOLOR-E6:FPS 为 44 对 45,COCO val AP 高 0.6 个百分点(test AP 高 0.8 个百分点)
  • YOLOv7-E6E vs YOLOR-D6:FPS 为 36 对 34,COCO val AP 高 0.7 个百分点(test AP 高 0.3 个百分点)

从这些比较可归纳出几项关键观察:

  1. 从轻量到大型模型,YOLOv7 都能维持高效率表现;
  2. 这些 YOLOv7 模型未使用预训练权重;表中是不同尺寸与训练设定的跨方法比较;
  3. 模型缩放与标签指派的贡献,仍须参照下方各自的消融结果。

YOLOv7 不只是训练技巧的展示,而是一次全面考量实务部署需求的架构设计范本。

消融实验:模型缩放

传统的模型缩放常见三种做法:

  • 只放大宽度(width):增加每层的通道数;
  • 只放大深度(depth):增加层数或 block 数量;
  • 复合缩放(如 EfficientNet):同时调整 depth、width、resolution。

作者采用的是一种针对 concatenation-based 架构特化 的做法:

将 computational block 的深度扩张 1.5 倍,并同步将 transition block 的宽度扩张 1.25 倍。

这种设计背后的逻辑,是要保持几个重要参数:

  • block 的输出 feature map 结构稳定;
  • 各层之间的 channel 对齐;
  • 维持原设计的通道比例与硬件利用率。

效果如下表:

从数据中可以看到:

  • 单独放大宽度:73.4M 参数、195.5G FLOPs、52.4% AP;
  • 单独放大深度:69.3M 参数、187.6G FLOPs、52.7% AP;
  • 复合式缩放策略:71.3M 参数、189.9G FLOPs、52.9% AP;相较只加宽 AP 高 0.5 个百分点且成本较低,相较只加深 AP 高 0.2 个百分点,但成本稍高。

复合式模型缩放不只是 scale 的问题,而是一种针对特定网络架构(如 ELAN、YOLO-style)所设计的几何稳定缩放法。

标签指派策略

在以往的多头检测器中,Auxiliary Head 常常只是单纯加上一个中层监督点,让梯度更快穿透模型、加速收敛。

但 YOLOv7 的设计进一步提出:

为何不让辅助头的学习内容也由主输出(Lead Head)来主导?

这正是 Assistant Loss for Auxiliary Head 的设计核心,通过 Lead Head 的预测,来建立更有语义层次感的监督结构。

  1. 实验一:三种标签指派策略比较

    从实验的结果可以看到:

    • 只要加上辅助损失(assistant loss)就能提升性能;
    • 而 由 Lead Head 引导的 soft label(Lead-guided Assigner) 更胜传统的监督方式;
    • Coarse-to-Fine 引导策略对 lead 给精细标签,对 auxiliary 给较宽松、recall-oriented 的标签;Table 6 的 AP 与 AP50 和 lead-guided 相同,AP75 则高 0.1 个百分点。

    作者进一步在下图中展示不同策略下的 Objectness Map:

    这张图比较 independent 与 lead-guided 的 auxiliary、lead head objectness map。作者将 lead-guided 下两颗 head 较一致的目标回应,解读为有助 lead head 学习剩余信息;图本身未直接测量特征是否一致。

    这种从中层往高层的引导式信息传递,构成一种特殊的「残差式学习架构」,提升整体网络的学习分工与效率。


  1. 实验二:Decoder 的上界限制效果

    为了避免 Coarse Label 对最终输出产生负面影响,作者在 decoder 中加了一项限制条件:限制 coarse label 的 objectness 分数上限,根据目标中心距离做衰减。

    Table 7 中,加入上界限制前后的 AP、AP50 同为 55.9%、73.5%,AP75 从 61.0% 增至 61.1%;能支持的是这项设定在该指标上的小幅改善。


  1. 实验三:Partial Auxiliary Head 的设计

    在 YOLOv7 中,作者还提出了一种新的设计:

    将辅助头连接在 E-ELAN 合并 cardinality 前的一组特征图上,而非合并后的输出处。

    这么做有两个目的:

    1. 避免辅助损失直接更新新产生的那组特征图权重;
    2. 让不同尺寸的目标在不同层中被学习,保持 pyramid 对小中大目标的学习分布。

    Table 8 中,partial aux 的 AP 为 56.8%,比一般 aux 的 56.5% 高 0.3 个百分点;这支持该连接位置在此设定下的效果,但表格未直接测量各层学习目标的边界。

由 Lead Head 主导 supervision,不只是信息再利用,更是让整个网络形成一种语义一致、梯度互补的训练路径。

结论

YOLOv7 是一套以 训练流程为主体、推理结构为背景 的目标检测设计理念。

从模型缩放、模块替换到标签分配,作者将那些被视为「训练细节」的部分,重新拉到设计舞台的正中央,展现出训练本身就是优化模型的关键因素。

对实务开发者来说,YOLOv7 最大的启发在于,我们应该要认识到 memory alignment、channel matching、gradient flow 等硬件导向设计对实际部署有多重要,此外模块替换(如 RepConv)时不能只看参数,而要考虑信息路径与架构逻辑。

这是工程与研究交会的路口,有太多观念值得我们学习。