YOLOv10: Real-Time End-to-End Object Detection
- 发表版本
- NeurIPS 2024会议
- arXiv 首次提交
- arXiv:2405.14458
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{objectdetectionyolov102024,
title = {{YOLOv10: Real-Time End-to-End Object Detection}},
author = {Ao Wang and Hui Chen and Lihao Liu and Kai Chen and Zijia Lin and Jungong Han and Guiguang Ding},
year = {2024},
eprint = {2405.14458},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2405.14458}
}
我们一路看 YOLOv1 到 YOLOv9。
到了 YOLOv10,我们终于可以摆脱 NMS 的束缚了,可喜可贺。
定义问题
在计算机视觉领域,实时目标检测一直扮演着不可或缺的角色。
从自驾车、工业机器人、AR/VR,到边缘端部署的实时分析系统,几乎所有应用都要求在极低延迟下,同时达成高准确率的目标分类与定位。为了满足这样的需求,研究社群持续推陈出新,各种高效检测器如雨后春笋般涌现。
自 YOLOv1 开始,其一体化的架构将 backbone、neck、head 合而为一,颠覆了过去检测器繁杂的设计路线。
后续版本如 YOLOv3、YOLOv4 到 YOLOv9,则通过引入 CSPNet、PAN、ELAN、GD 等模块,持续优化特征抽取与融合能力。更有如 YOLOv6 的 SimCSPSPPF、YOLOv7 的 E-ELAN、YOLOv9 的 GELAN + PGI 等新技术,试图在保持速度的前提下突破准确率瓶颈。
但不论怎么革新,大多 YOLO 模型仍受制于后处理阶段的非极大值抑制(NMS)机制。
这是由于其训练阶段采用 one-to-many 的标注方式,造成推理时须仰赖 NMS 筛选最佳候选框。这不仅拉高了延迟,也引入超参数敏感性,难以实现真正的 end-to-end 推理流程。
为了摆脱 NMS 的限制,以 DETR 为首的 End-to-End 架构开始流行。
DETR 通过 Transformer 与 Hungarian Matching 完成 one-to-one label assignment,不再依赖后处理步骤;而 Deformable-DETR、DINO、RT-DETR 等变体,也逐步优化收敛速度与运行效率。RT-DETR 更是首个成功将 DETR 推向实时应用的代表,提供了一条可能的道路。
不过,这些基于 Transformer 的设计真的能取代 CNN 吗?
实际上,尽管 DETR 架构省略了 NMS,其前向传递的延迟依然明显高于传统 CNN 架构,尤其在边缘设备上难以落地。另一方面,也有研究试图让 CNN 模型本身支持一对一对应,像是 OneNet、DeFCN、FCOSpss 等提出各自的 sample selector 或 matching 机制,期望达成 end-to-end 检测,但成效仍未完全令人满意。
那么,有没有可能跳脱这个二元选择?
既不是盲目追随 Transformer,也不局限于旧有的 YOLO 设计,而是重新思考「训练标注策略」与「架构效率瓶颈」这两个关键?又或者,我们是否可以在保有 CNN 优势的同时,设计出一种一致、轻量、快速又准确的新架构?
这篇论文的作者试着从根本上解决 YOLO 系列在实时目标检测中面临的挑战。
解决问题
YOLOv10 的技术核心可分为两条主线:
- 其一,让 YOLO 摆脱 NMS 的束缚,迈向真正的 end-to-end 推理;
- 其二,重新衡量网络各部件的效率与精度,从结构本身重构运算分布。
双重标注架构
如上图所示,YOLOv10 维持 YOLO 的 backbone、neck 与 detection head 架构,在原本的 one-to-many head 之外增设一个 one-to-one head。两者共享相同的 backbone 与 neck,head 的结构与训练目标相同,差别在样本配对方式。
训练时,one-to-many head 采用 TAL(Task-Aligned Label Assignment)进行传统的多样本标注,对每个 ground truth 分配多个正样本,以此提升监督密度;one-to-one head 则仅为每个 ground truth 配对一个预测框,学习更精确的样本对应。
这样的设计让模型在训练期间同时享有密集与简洁的监督信号,最终于推理阶段只保留 one-to-one head,舍弃 one-to-many 分支,实现真正「无需 NMS」的输出流程。
然而,双重标注也衍生出一个潜在问题:两个 head 若采用不同的样本匹配逻辑,所学得的监督信号将出现偏差,导致训练方向分歧。
为解决这个问题,作者提出了一个简洁有效的对策:
- 一致匹配准则(Consistent Matching Metric)。
由于两种标注策略的本质差异来自匹配分数的定义。
YOLOv10 将这个分数统一为以下形式:
其中:
- 为预测的分类分数;
- 为预测框与 ground truth 的交集比;
- 为空间先验(spatial prior),指预测点是否落在 ground truth 内部;
- 、 为超参数,用以调节分类与定位信息的权重。
若 两个 head 使用不同的 、 值,那么同一笔样本在两个分支眼中会有不同的排序分数,进而产生「监督方向不一致」的问题。
作者的策略是,让两个 head 采用相同的匹配参数,使两边产生的监督信号一致。在实现上,默认设定为 、。
到这边,下一个问题就是:
这项调整是否真的让两个 head 看齐了呢?
上图 (b) 给出了实验佐证。
该图统计了 YOLOv8-S 模型中,one-to-one head 所选样本是否也名列于 one-to-many head 的 Top-1、Top-5、Top-10 排名前段。
对比颜色代表不同设定:
- 蓝色为「不一致匹配」设定:one-to-one head 的 、;
- 橘色为「一致匹配」设定:one-to-one head 的 、。one-to-many head 两组都使用 、。
结果显示,在一致设定下,one-to-one 所选样本落在 one-to-many 排名前段的比例提高;这支持作者所说的监督对齐改善,但图中并未直接测量特征质量。
效率与精度优化
过去 YOLO 系列固然历经多次模块革新,但对于整体架构的设计逻辑,仍缺乏一套系统性的检视方法。因此,作者从全局视角出发,试图同时优化效率与精度,让每一单位的计算成本都能发挥其最大价值。
YOLO 架构主要可分为四个部分:
- Stem(初始卷积层);
- Downsampling(下采样层);
- Stage 模块堆叠;
- Detection Head。
考量到 Stem 本身开销极小,作者将优化重点聚焦在后三者。
-
分类头和回归头
分类头与回归头在 YOLO 架构中通常共用相同设计,但实际分析后发现两者成本差异巨大。以 YOLOv8-S 为例,分类头的 FLOPs 达到 5.95G,参数量为 1.51M,是回归头的 2.5× 计算与 2.4× 参数。
在作者的误差替换实验中,修正回归误差所带来的 AP 增益大于修正分类误差。因此作者将分类头重构为两层 3×3 深度可分离卷积,再接一层 1×1 卷积,保留基本分类能力之余,减少计算负担。
-
空间与通道解耦下采样
传统下采样做法是使用 stride=2 的 3×3 卷积,这同时会进行空间降维与通道数增长。
这看似简洁,实则开销不小,其计算成本为:
参数量则为:
作者采用一种分离式设计:先用 pointwise(1×1)卷积调整通道数,再用 depthwise(3×3)卷积执行下采样。
这样的改动能将计算成本压低至:
参数量则降为:
并同时保留更多特征信息,使模型在保有精度的同时实现更快的前向传播。
-
Rank-Guided Block 设计
YOLOv10 用各 stage 的秩分析模型内部的结构冗余。
作者针对每个 stage 最末卷积层的权重矩阵计算其 数值秩(numerical rank),并将其归一化为 ,其中 为该层输出通道数,秩阈值则取最大奇异值 的一半作为门槛。
上图 (a) 显示:部分较深的 stage 与较大的模型呈现较低的归一化秩;各 stage 的曲线并非单调下降。
作者以此作为后段部分模块可能有冗余的线索,支持按 stage 分配不同结构的设计。
因此,作者引入一种新的模块设计方案:Compact Inverted Block(CIB),如上图 (b) 所示,利用 depthwise 卷积做空间混合,并用 pointwise 卷积处理通道融合,同时大幅降低计算成本。
接着作者采用 rank-guided 的逐步替换策略:从秩最低的 stage 开始逐一替换为 CIB,若性能未下降则继续替换下一层,否则终止。如此一来,模型可依不同规模自动调整结构深浅,达到最佳效率/精度平衡。
精度导向强化
除了精简,YOLOv10 也同步强化高层语义建模和大范围感受野上的识别能力。
-
大卷积核:只给对位置放大感受野
大卷积核能扩大感受野,但若全模型套用,可能干扰浅层用于检测小目标的特征,并增加高解析层的 I/O 与延迟。
因此,作者仅于深层的 CIB 中调整第二个 depthwise 卷积核为 7×7,并搭配重参数化技术新增一个 3×3 分支,用以解决优化不稳问题,同时于推理阶段将其融合回主支路,不产生额外负担。
需要注意的是,作者仅于小模型(如 YOLOv10-S/N)中使用大卷积核。因为随着模型变大,其本身感受野也会随之扩大,大卷积核的边际效益会递减。
-
PSA 模块:不是所有注意力都该注意
自注意力虽具有全局建模能力,但对 个位置的注意力矩阵,其规模随位置数平方增长,对实时模型成本较高。为此,作者设计了 Partial Self-Attention(PSA) 模块。
该模块会将特征通道分为两半,一半通过多头自注意力(MHSA)与 FFN,另一半不变,最后再 concat 起来用 1×1 conv 融合。为进一步提升速度,作者采用了:
- 半维度 Q/K;
- 将 LayerNorm 换成 BatchNorm;
- 仅在分辨率最低的 Stage 4 后方插入。
这种 selective self-attention 的设计,让 YOLOv10 能以最小成本引入全局信息,并显著提升分类精度与语义一致性。
实现细节
本研究以 YOLOv8 为主要基准模型,理由有二:其一是目前已具备不错的速度与准确率平衡,作为比较对象具代表性;其二是它公开支持多种模型尺寸,便于构建公平比较基准。
YOLOv10 承袭 YOLOv8 的尺寸划分,包括 N / S / M / L / X 五种变体,并额外增设一个 YOLOv10-B 版本,其为 YOLOv10-M 的宽度扩展版,用来填补中阶模型精度与容量之间的断层。
所有模型皆在 COCO 数据集上进行训练与评估,并遵循与 YOLOv8、YOLOv9 相同的 从头训练设定(training from scratch)。
推理延迟则统一在 NVIDIA T4 GPU + TensorRT FP16 模式下进行测量,以确保延迟数据具备公允性与可比性。
本研究所有 YOLOv10 模型皆采用 一致双重标注训练策略与结构优化版本,并非仅单点改动。
讨论
与 SOTA 方法比较
YOLOv10 在多个层级的模型上,皆展现出显著优势。
如上表所示,与原始 YOLOv8 相比,在五个常见尺寸(N / S / M / L / X)下:
- AP 提升 0.3~1.4 个百分点;
- 参数数量减少 28%~ 57%;
- 计算量下降 23%~ 38%;
- 推理延迟最高降低 70%。
在这五组与 YOLOv8 的对照中,YOLOv10 的 AP、参数量、FLOPs 与端到端延迟均有改善;各设计的贡献仍需看下方的分步消融,不能单由整体比较分离。
在跨模型比较方面:
- YOLOv10-N / S 相较 YOLOv6-3.0-N / S,AP 提升 1.5 / 2.0 个百分点,参数分别减少 51% / 61%,运算量分别减少 41% / 52%;
- YOLOv10-B / M 面对 YOLOv9-C 与 YOLO-MS,在维持甚至提升精度的情况下,延迟下降 46% / 62%,特别适合部署于延迟敏感环境;
- YOLOv10-L 相较于 Gold-YOLO-L,参数少 68%、端到端延迟低 32%,AP 高出 1.4 个百分点。
这些选定配对显示 YOLOv10 在速度与资源使用上的优势;表中也有 YOLOv9-S 的 AP 高于 YOLOv10-S,不能解读成每一款模型的每项指标都胜出。
如果我们将 YOLOv10 与非 YOLO 系列的 real-time detector 比较,表现依然亮眼。以知名的 end-to-end 架构 RT-DETR 为例:
- YOLOv10-S 比 RT-DETR-R18 快上 1.8 倍;
- YOLOv10-X 也比 RT-DETR-R101 快 1.3 倍;
- 在 Table 1 中,两组的 AP 分别为 46.3 对 46.5、54.4 对 54.3,属接近的精度比较。
消融实验
为检查各组设计依序加入后的效果,作者针对 YOLOv10-S 与 YOLOv10-M 进行消融实验,结果如上表所示。实验依序累加三项核心设计,观察其对延迟、参数量、计算量以及准确率的影响。
首先,在 YOLOv10-S 上,单纯导入 NMS-free 训练机制(即一致双重标注策略)使端到端延迟从 7.07ms 降至 2.44ms,AP 则从 44.9 降至 44.3;以 0.6 个百分点的 AP 差距换取 4.63ms 的延迟下降。
接着,进一步导入 效率导向的架构优化策略,在 YOLOv10-M 模型中大幅削减 11.8M 参数与 20.8 GFLOPs,推理延迟也同步下降 0.65ms。这显示 Rank-Guided Block 与解耦式下采样等设计确实有效减少计算冗余。
最后,加入精度导向模块后,YOLOv10-S 的 AP 提升 1.8 个百分点、延迟增加 0.18ms;YOLOv10-M 的 AP 提升 0.7 个百分点、延迟增加 0.17ms。M 未使用 large-kernel 卷积,其这一步的增益来自 PSA;此表是逐步累加,并非两模块各自的独立贡献。
NMS-free 真的能完全取代传统做法吗?
虽然 YOLOv10 在 NMS-free 训练下展现出优异的整体性能与极低延迟,但作者也诚实地指出:与传统标注搭配 NMS 的训练策略相比,目前仍存在一定程度的准确率落差。
不过,这个落差并非一成不变。
观察发现,模型越大,两种训练策略之间的 AP 差距越小。在 YOLOv10-X 上两者均为 54.4 AP;但对于资源较小的 YOLOv10-N 模型来说,NMS-free 训练下的 AP 比传统训练低 1.0 个百分点。
那么,这个落差是从哪里来的?
作者推测,one-to-one 标注比 one-to-many 更依赖具判别性的特征;每个 ground truth 仅对应一个预测样本,小模型的容量可能让其较难选到理想样本。
为了进一步验证这个推理,作者绘制了下图:
分析 COCO 验证集上每个 anchor 的特征与其他 anchor 的平均余弦相似度。
图中平均相似度随模型规模增大而降低;作者将此解读为特征较具判别性、有利于 one-to-one matching。
这也让我们得出一个合理推理:
在这些 YOLOv10 模型中,小模型的容量限制可能加大 one-to-one 与 one-to-many 的 AP 差距;大模型的差距较小,与前述特征相似度趋势相符。
为什么精简不会拖垮性能?
YOLOv10 的效率导向设计包含三项关键调整:轻量化分类头、空间与通道解耦的下采样、以及秩导引的模块分配策略。
实验结果显示,这些改动在降低参数量与计算量的同时,几乎不会牺牲准确率。
具体来说,简化分类头后的 AP 从 44.3 降至 44.2;作者的误差分析显示,该设定下修正回归误差的增益较大。下采样的 0.7 个百分点 AP 提升来自与另一种 DW→PW 下采样顺序的对照,不是上方逐步累加表的单步增量。CIB 与 rank-guided 设计只在替换 Stage 8、4 时未降低 AP,加入 Stage 7 则从 44.5 降至 44.3。
精度提升,延迟却几乎不变?
在效率优化之后,YOLOv10 进一步导入了两项精度导向设计:大卷积核(large-kernel convolution) 与 部分自注意力(PSA)。这些模块专为提升模型感受野与语义建模能力设计,但其引入的延迟极低,对小型模型尤为有效。
以 YOLOv10-S 为例,依序加入 7×7 的 large-kernel 卷积与 PSA 模块后,AP 分别再提升 0.4 和 1.4 个百分点,延迟分别增加 0.03ms 和 0.15ms。
由于大型模型本身感受野已经足够宽广,large-kernel 效益有限,因此仅应用于小模型(如 YOLOv10-N / S)。
在 YOLOv10-S 的该组消融中,PSA 比对照的完整 Transformer block 快 0.05ms,AP 高出 0.3 个百分点。作者认为部分通道注意力可能降低冗余与优化难度。将 PSA block 数从 1 增至 2,AP 再高 0.2 个百分点,但延迟增加 0.10ms,因此默认采用 1 个。
结论
YOLOv10 通过 NMS‑free 训练流程与整体架构精简,为实时目标检测带来更干净的推理管线与更优秀的速度与准确率折衷结果。
对开发者而言,最大的价值是部署简化:少了一步 NMS、算子种类集中,模型在 TensorRT、ONNX Runtime 等主流推理框架中较易维护与优化。
不过从业界实际反馈来看,则是呈现两种面向:
- 在云端 GPU 或高端 Jetson Orin 上,YOLOv10‑M/B 往往能在保持 YOLOv8 同等 AP 的前提下节省 30–40 % 计算资源,适合多路串流或高并发场景;
- 在 NPU 或移动设备上,延迟优势视硬件对 depth‑wise 与大核卷积、PSA 等算子支持度而定,有时推理速度反而不如 YOLOv8 或 YOLOv9。
目前 NMS‑free 训练在最小模型上仍有约 1 个百分点的 AP 差距,显示小模型特征判别力仍是下一步优化重点。
整体来看,考虑部署平台对于运算子的支持度,使用之前,别忘了先测试一下!