YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information
- 发表版本
- ECCV 2024会议
- arXiv 首次提交
- arXiv:2402.13616
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{objectdetectionyolov92024,
title = {{YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information}},
author = {Chien-Yao Wang and I-Hau Yeh and Hong-Yuan Mark Liao},
year = {2024},
eprint = {2402.13616},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2402.13616}
}
YOLOv8 也没有发表论文?
既然如此,我们继续阅读 YOLOv9 的论文吧,这篇也是台湾中研院发表的作品。
定义问题
近年来,YOLO 系列已成为实时目标检测领域的事实标准,从 YOLOv3 到 YOLOv7,其不断进化的架构设计,在准确率与推理速度之间取得良好平衡,广泛应用于监控、交通、AR/VR 等多种场景。
这些模型大多采用 CSPNet 或 ELAN 为骨干模块,辅以 PAN/FPN 做特征融合,并搭配 YOLO head 或 FCOS head 进行多尺度预测。对于 RT-DETR 等新兴 Transformer 架构,作者认为在文中讨论的效率与部署条件下,YOLO 系列仍有优势。
然而,随着模型日益复杂,研究者逐渐发现:影响收敛质量的问题并非仅来自架构设计或损失函数选择,更深层的瓶颈其实藏在信息传递路径中。
现代深度神经网络的真正挑战,在于训练过程中的信息流失(Information Bottleneck)。
当输入数据逐层通过深层网络时,原始语义信息经多次压缩与变换,往往早在中间层便已被稀释甚至遗失。这种语义退化现象导致模型后段所获得的特征难以与目标建立正确关联,进一步产生不可靠的梯度,造成收敛缓慢、精度低落,甚至无法有效训练。
虽然业界已尝试提出三大技术路径来应对此问题:
- 可逆式架构:通过设计反向还原函数,使每层操作后仍能保有输入的完整信息。RevNet 是这类架构的例子;原论文也讨论了 Res2Net 的层级连接所具有的部分相关性质,但它不能保证由输出完整还原输入。为保留信息引入额外结构,也可能增加推理成本。
- 遮罩建模(Masked Modeling):如 MAE 或 BERT 所采用的策略,让模型通过重建遮罩区域来学会关键语义。但这类方法多半设计于大型 Transformer 架构中,当应用于轻量模型时,常因参数不足而无法稳定还原语义。
- 深层监督(Deep Supervision):于中间层插入辅助监督信号,引导模型维持语义一致性。此策略可提升学习稳定度,但也容易导致错误信息的层层累积,且实际上仅对极深网络有效,对小模型反而伤害更大。
上述技术虽各有所长,但皆无法同时满足「信息保留」与「轻量高效」的需求,尤其对参数受限的实时应用模型而言,信息瓶颈仍是一大障碍。
语义信息为何遗失?
传统上,人们将模型收敛困难归因于「梯度消失」或「梯度饱和」,但这些问题已随着 BatchNorm、ReLU 等技术大幅缓解。真正的问题,是「生成梯度所依据的语义信息本身已不再存在」。
根据 信息瓶颈原理,数据在每层网络中转换后,其与目标任务的互信息会递减:
其中, 表示输入数据中与目标任务相关的语义信息。
若该段信息在前向传递过程中遭到稀释,即使总体信息损失不多,模型也将无法学到真正有用的目标映射。这现象在轻量模型中特别明显,因为其参数本就不足以支撑完整特征表示,让语义信号更容易被压缩抹除。
虽可尝试扩大模型容量以改善,但这种「以宽代深」的方式仅能缓解症状,却无法根治语义损失与梯度质量恶化的问题。
可逆函数的可能性
可逆函数提供一种理论解法。
若某个转换函数 存在反函数 ,且满足:
则代表该转换过程未遗失任何信息,可用来保证语义信号完整流通。
但在实作上,多数可逆架构仍面临复杂性高、学习不稳定、无法泛用等问题,难以真正部署于实时任务中。
因此,我们需要一种崭新的方式,不仅能保留关键语义、提升梯度可靠性,还要具备:
- 适用于轻量架构
- 无需额外推理成本
- 可灵活性搭配任务损失与结构模块
综合以上需求,本文作者提出了一个崭新的概念来解决信息瓶颈问题:
Programmable Gradient Information(PGI)。
我们接着看下去。
解决问题
在解决信息瓶颈与梯度质量退化问题上,作者提出一种崭新的训练架构:可编程梯度信息(Programmable Gradient Information, PGI)。
如上图所示,这个架构从多个过去方法中吸取经验(如 PAN、RevCol、Deep Supervision),将辅助分支留在训练阶段;推理时只保留骨干,因此不增加这条辅助分支的推理成本。
设计理念
PGI 由三个关键元件构成:
-
骨干分支(Main Branch)
- 原始模型架构,负责推理。
- 实际部署时只保留这一部分,维持推理效能不变。
-
可逆辅助分支(Auxiliary Reversible Branch)
- 在训练阶段提供额外监督与梯度,引导骨干保留对任务有用的特征;论文以此缓解信息瓶颈,并未量测恢复了多少原始信息。
-
多层次语义整合(Multi-level Auxiliary Information)
- 在辅助监督与骨干间整合不同尺度的梯度信息,让各层接触不同大小的目标,而不只受单一尺度的预测头引导。
在上图 (b) 中,像 RevCol 这样的可逆架构虽能保留信息完整性,但会显著增加推理延迟。作者观察到:与其让骨干变可逆,不如在训练阶段引入可逆辅助分支即可。
上图 (d) 就展示了这种设计。
在训练阶段,这条辅助分支通过多层连接提供梯度信号,协助骨干学到对检测任务有用的特征;图示与消融结果支持这项设计的效果。
多层次语义整合
传统的深层监督,如上图 (c),会将每层特征分配到不同任务(如小目标、大目标检测),这会导致语义矛盾。例如:某层为小目标而忽略大目标,会让骨干特征错误视重要区域为背景,训练信号因此失真。
为了缓解这个问题,PGI 提出 多层次语义整合模块(Multi-level Auxiliary Information),在辅助监督的多尺度特征层与骨干之间加入整合网络,汇集不同预测头回传的梯度信息。
这样设计的好处是:
- 各层特征都能学习完整语义,而非只对应某单一目标尺度。
- 缓解不同预测头各自只关注部分目标的监督冲突。
- 可自定义融合架构,灵活性调整语义深度与范围。
PGI 让「深层监督」不再是简单的多点损失,而是多语义一致性的融合训练策略。
Generalized ELAN
为了充分发挥 PGI 框架潜力,YOLOv9 同步推出全新骨干架构:
- Generalized ELAN(GELAN)。
如上图所示,其灵感来自 CSPNet 与 ELAN,其中:
- CSPNet 提供分支式梯度控制,提升特征再利用率;
- ELAN 则通过深层卷积堆叠进行有效聚合。
GELAN 进一步泛化 ELAN 的计算单元设计,容许替换计算模块;论文实际比较了普通卷积、ResNet、DarkNet 与 CSP block,未在此表测试深度卷积或注意力模块。
其优势包含:
- 模块化设计:可以替换计算单元;是否适配手机、嵌入式设备仍须实测。
- 稳定梯度路径:结构上即内建信号导通机制,与 PGI 高度协同。
- 轻量但高效:即便不使用 DWConv,也能达成更高的参数利用效率。
GELAN 作为 YOLOv9 的主要计算架构,与 PGI 的训练期辅助监督搭配;下方的消融表分别检查两者的贡献。
讨论
为验证所提出的 PGI 训练机制 与 GELAN 架构 的实用性与泛化能力,作者在 MS COCO 2017 数据集上进行完整实验,并与多项当前最佳的实时目标检测模型进行比较。
本研究遵循 YOLOv7 的训练规则,并采用 MS COCO 2017 的标准数据集切分。所有模型皆从零开始训练,训练总计 500 个 epoch,其中前 3 个 epoch 采用 linear warm-up,后续学习率则根据模型规模设计对应的衰减策略。
为稳定最终学习,在最后 15 个 epoch 停用 Mosaic 数据增强技术。
YOLOv9 的实作分为两个版本:
- YOLOv9-C / YOLOv9-E:分别基于 YOLOv7 与 Dynamic YOLOv7 构建。
- 将原本 YOLOv7 使用的 ELAN 模块 替换为所提出的 GELAN,并在其中使用 RepConv 与 CSPNet block 作为计算单元。
- Downsampling 模块进行简化、Anchor-Free 预测头也进一步优化。
- PGI 的辅助 supervision 设定则完整沿用 YOLOv7 的架构,保留其多分支特征学习设计。
与现有方法比较
实验结果如上表,YOLOv9 在多项任务条件下,均超越了现有同级实时目标检测模型,无论是在参数量、计算成本,或是最终准确率方面皆具优势:
-
针对轻量模型:YOLOv9-S 与 YOLO MS-S 相比,AP 为 46.8 vs. 46.2,参数为 7.1M vs. 8.1M,FLOPs 为 26.4G vs. 31.2G。表中未测量边缘装置的延迟。
-
针对中阶模型:YOLOv9-M 与 YOLO MS 相比,AP 为 51.4 vs. 51.0,参数为 20.0M vs. 22.2M,FLOPs 为 76.3G vs. 80.2G,AP 高 0.4 个百分点。
-
与主流模型 YOLOv7 AF 相比,YOLOv9-C 所需的参数量 减少了 42%,计算量亦下降了 22%,但最终仍能达到相同的 AP(53%),突显 PGI 对训练质量的有效提升。
-
对比大型模型 YOLOv8-X,YOLOv9-E 在 参数量减少约 16%、FLOPs 降低约 27% 的情况下,AP 从 53.9 升至 55.6,高 1.7 个百分点;这是跨模型比较,不能单独归因于 PGI。
这些结果显示,在论文的 COCO val 表列设定下,从零训练的 YOLOv9 有竞争力;不同方法的训练来源与部署硬体不全相同,表格本身不能验证所有实时应用。
GELAN 架构分析
首先,作者探讨 GELAN 中计算模块的可替换性,实验比较了三种替代模块:
- ResNet Block
- DarkNet Block
- CSP Block
在 GELAN-S 的四个计算单元对照中,AP 落在 44.3–45.5。CSP Block 表现最高:相较 Conv,AP 从 44.8 升至 45.5(+0.7 个百分点),参数从 6.2M 降至 5.9M、FLOPs 从 23.5G 降至 22.4G。这张表未测量跨硬体移植性。
因此,YOLOv9 最终选择 CSP 作为 GELAN 的核心单元,兼顾效能与轻量。
进一步,作者针对不同模型规模下,测试 ELAN 模块深度与 CSP 堆叠深度 对性能的影响。
实验结果如上表所示:
- 当 ELAN 深度从 1 提升至 2,模型准确率明显提升。
- 在表列配置中,深度增加时参数与 FLOPs 也增加,但 AP 增益并非固定斜率。例如 GELAN-C 的 ELAN/CSP 深度从 2/1 改为 2/2,AP 由 52.5 升至 53.0,参数由 25.3M 增至 28.6M。
这些列支持在被测的深度组合中依参数、FLOPs 与 AP 取舍;未测的组合或设备仍须验证。
实作中,YOLOv9 各版本使用以下深度配置:
- YOLOv9-S:ELAN depth: 2, CSP depth: 3
- YOLOv9-M / C:ELAN depth: 2, CSP depth: 1
PGI 训练策略分析
PGI 由两大元件组成:可逆辅助分支与多层次语义整合。
作者针对这两者进行独立与联合消融实验,发现:
- 可逆辅助分支(ICN) 使用 DHLC linkage 设计,可提供多层次的可逆信息,能稳定提升模型表现。
- 多层次语义整合 以 FPN 与 PAN 测试;表中的 PFH 才是传统深层监督的对照。GELAN-C 的 PFH 为 52.5 AP,与无辅助监督相同;GELAN-E 则由 55.0 升至 55.3。
- ICN 与整合网络的增益依配置而异:GELAN-C 在 backbone 用 ICN 为 52.9 AP,加入 LHG-ICN 为 53.0;GELAN-E 的 FPN 单用与 FPN+ICN 都为 55.6。不能说每个组合都额外提升。
此外,作者也将 YOLOv7 的 Lead-Head Guided Assignment 技术 套用至 PGI 的辅助监督路径中,进一步提升监督质量,最终带来更好的学习效果。
模型规模比较
作者将 PGI 与传统 Deep Supervision 套用于不同模型规模,实验发现:
- GELAN-S 加入传统深层监督后,AP 从 46.7 降至 46.5;GELAN-M 则从 51.1 升至 51.2,因此不能说所有较小模型都下降。
在表列的 S/M/C/E 四种模型中,PGI 的 AP 分别比各自基准高 0.1/0.3/0.5/0.6 个百分点;表格没有提供过拟合或梯度质量的直接量测,且轻量 S 的增益最小。
这也验证了 PGI 的两大贡献:
- 在这组轻量 S 模型上,PGI 有小幅正增益,而传统深层监督略降 AP
- 在较大的 C/E 模型上,PGI 的表列 AP 增益较高;可靠梯度是作者提出的机制解释
整体组件整合
最后,作者呈现了从 YOLOv7 基线模型 到 YOLOv9-E 完整版本 的元件叠加实验。
这是逐步叠加的实验:YOLOv7 为 36.9M/104.7G/51.2 AP;加入 AF 后参数与 FLOPs 上升至 43.6M/130.5G,AP 为 53.0;改用 GELAN 为 41.2M/126.4G/53.2 AP;再加入 DHLC 到 57.3M/189.0G/55.0 AP;最后加入 PGI,在参数与 FLOPs 不变下达 55.6 AP。因此相较最初 YOLOv7,最终模型的精度提高,但参数与 FLOPs 也增加。
结论
YOLOv9 的关键创新,在于将「梯度流」转化为一种可编程的信息传递机制。
通过 PGI,训练不再只是被动反向传播,而是主动规划:
- 语义该如何流动?
- 梯度该从哪里来?
- 目标该在哪一层学?
配合骨干架构 GELAN,YOLOv9 在文中测试的条件下兼顾了高准确率与较低参数量;部署灵活性仍须按目标硬件验证。