YOLO-World: Real-Time Open-Vocabulary Object Detection
- 发表版本
- CVPR 2024会议
- arXiv 首次提交
- arXiv:2401.17270
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{objectdetectionyoloworld2024,
title = {{YOLO-World: Real-Time Open-Vocabulary Object Detection}},
author = {Tianheng Cheng and Lin Song and Yixiao Ge and Wenyu Liu and Xinggang Wang and Ying Shan},
year = {2024},
eprint = {2401.17270},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2401.17270}
}
在这个以 YOLO 为代表的目标检测时代里,速度与效率早已不是什么新议题。
真正棘手的,是类别的封闭性。
定义问题
在过去的十年间,目标检测的进展可谓翻天覆地。
我们看见 R-CNN 系列逐步构建出二阶段检测的规则世界,看见 SSD 与 RetinaNet 简化流程、以像素为基础对每一个 anchor 询问目标;也看见 DETR 引入 query 设计与 Transformer,让「检测」这件事变得不再只是定位,而开始与语义对话。
而在所有这些架构之中,YOLO 系列始终是一个特立独行的存在。
它不断压缩运算成本,以极简架构挑战实时推理的极限: 要快!要更快!要非常快!
然而,在这些技术轮替之下,有一件事却鲜少被撼动:
几乎所有主流检测模型,都仍活在「固定词汇」的世界中。
训练数据定义了模型能说的语言;数据集里没有「风筝」,模型也就不会学会辨识风筝的样貌。COCO 里有 80 类、Objects365 有 365 类,但现实世界有更多更多的物体,在数据集中还没有名字。
我们如何让模型拥有一种「打开词典」的能力,而不是只会回答已知选项中的那几个?
Open-Vocabulary Object Detection (以下简称 OVD)正是为了解决这个瓶颈而诞生。它期望目标检测能跨越固定类别的边界,学会理解「语义」,而非单纯记忆图像与标签之间的对应。
但是每次 OVD 的尝试,都代价不菲。
解决问题
YOLO-World 的架构如上图所示。
它保留了 YOLO 系列惯有的整体设计:图像经 backbone 编码后,传入多尺度特征融合模块,最终输出预测框与目标表示。但不同于过往封闭类别的设定,YOLO-World 在其中引入了语言编码器与跨模态融合模块,使整体架构得以处理开放词汇的检测任务。
整体流程如下:
- 使用者输入的 prompt(可能是一段描述、一组名词、或一份类别清单)会先整理为名词短语,再通过 CLIP 的文字编码器转换为语义向量。
- 图像经由 YOLOv8 的图像编码器处理后,提取多尺度图像特征。
- 接着通过新提出的 RepVL-PAN,将语言与图像特征进行对齐与融合。
- 最终由 decoupled head 同时输出 bounding box 与目标语义表示,与输入词汇进行比对。
这样的设计让 YOLO-World 不再依赖固定的类别分类器,而是通过语义匹配,找出图像中与输入词汇最相符的区域。推理时可以更换词汇,但须先将新词汇编码并更新离线词汇权重;零样本能力仍取决于预训练中学到的图文对齐。
在这样的结构下,目标检测这件事,开始从「预测是哪一类」转变为「这里是不是某个词所描述的东西」。
接着我们仔细看一下 RepVL-PAN 的设计方式。
RepVL-PAN
如上图所示,YOLO-World 所提出的 RepVL-PAN(Re-parameterizable Vision-Language Path Aggregation Network)是一个强化图文交互的模块,作用在 YOLO 的多尺度特征融合阶段。
传统的 PAN 仅处理图像特征之间的上下传递与融合,但在 open-vocabulary 检测任务中,仅靠视觉信号并不足以完成语义比对。RepVL-PAN 因此在原本的图像特征流程中,注入了语言信息,使语义得以渗透进特征图的生成过程中。
整体包含两个关键组件:
-
Text-guided CSPLayer
在 YOLO 架构中,CSPLayer 是一种改良过的残差堆叠模块,负责维持特征的稳定性与通道表达力。而在 YOLO-World 中,作者设计了文字引导版本的 CSPLayer(Text-guided CSPLayer),让每层特征能根据词汇语义进行调整。
具体来说,对于某一尺度的图像特征 ,以及来自文字编码器的词嵌入向量集合 ,我们计算每个位置与语义的相似程度,并使用 sigmoid 函数形成注意力权重:
其中 为 sigmoid 函数,将每个位置的最大文字相似度转成加权系数。这样的设计让图像特征依照语义线索加权,产生特征图 。
这些强化后的图像特征,会与原本的 CSPLayer 输出进行串接,再送入下一层 PAN 网络中,逐步建立语义敏感的金字塔表示。
-
Image-Pooling Attention
除了让语言影响图像,YOLO-World 也设计了反向路径,目的是为了让图像信息反馈语言表示。这是通过 Image-Pooling Attention 实现的。
具体来说,我们将各层尺度的图像特征进行 pooling,压缩为数个区域向量(例如 patch token,共 27 个),并将这些 patch token 作为 Key 和 Value,对原始文字嵌入进行多头注意力更新:
这样一来,文字嵌入不再只是静态语义向量,而是带有当前图像上下文的语义表示,强化语词与图像内容的对应能力。
这两个设计,一个让语言渗入图像,一个让图像润饰语言,形成一个对称的语义回路。
最终,这些更新后的语言特征与图像特征将共同参与到目标检测的过程中,使模型在不依赖固定类别分类器的前提下,仍能进行稳定的语义匹配。
而这整套机制的关键之一,在于它支援 重参数化(re-parameterization):先将选定词汇编码,并把词向量并入卷积或线性层权重;固定这组离线词汇推理时便不需逐张执行 CLIP 文字编码器。更换词汇时仍须重新编码。
预训练策略
语言与图像虽是不同模态,但如果想让模型理解「语词所指为何」,最终还是得落实为一件事:
语词与图像区域的对应关系。
YOLO-World 采用的是一种 region-text 对比学习策略,试图让模型学会分辨:「这里是狗」,而不是「这里像狗」。
为了训练这样的能力,作者重新构筑了训练数据的形式,将每个标注样本表示为:
其中 是图像中第 个区域的框, 则是与其对应的语词。
这个语词可以是类别名词,也可以是由描述中抽取的名词短语(noun phrase)。
对比学习
在 forward 阶段,YOLO-World 对每张训练图像预测 个目标区域,每个区域都有一组表示向量 。同时,文字编码器也会为输入词汇集合 产出对应的词向量 。
为了让这些向量之间的相似度有意义,模型通过以下公式计算它们的相似度:
其中 为可训练的尺度与偏移参数,用于稳定训练;L2 正规化则让相似度主要反映方向(语义),而非尺度大小。
通过这个相似度矩阵,模型便能将语词分类任务转化为一种语义比对任务。先依 task-aligned assignment 对预测框与标注框配对,再对正样本的目标与文字相似度计算 region-text contrastive loss:
任务分离
在整体训练流程中,YOLO-World 不只用来自标注数据集(如 COCO)的数据,也会使用来自 grounding 任务或 image-text 配对数据集的样本。
考虑到数据品质的差异,作者使用一个指示变数 来控制是否使用框回归的损失:
- 当图像 来自 detection 或 grounding 数据时,计算 IoU loss 与 distributed focal loss。
- 当图像 来自 image-text 数据(如 CC3M)时,仅计算语义比对的 contrastive loss。
总体 loss 如下:
这样的设计使得 YOLO-World 能灵活处理不同品质、不同来源的数据,既保持泛化力,也维持框回归的精准度。
自动标注
但真正让 YOLO-World 得以进行大规模预训练的关键,是 pseudo-labeling 策略。
毕竟,像 CC3M 这样的大型 image-text 数据集,虽然有丰富描述,但缺乏标注框;若要依赖人工标注,不切实际。
因此,YOLO-World 采取了一个三阶段的自动标注流程:
- 抽词:从描述中提取名词短语(例如 "a dog running in the park" → "dog", "park")。
- 标框:使用预训练的 GLIP 模型,根据这些词语在图像中产生预测框。
- 过滤:利用 CLIP 评估整张图像与描述、区域与词语的相关性,删除不可信的 pseudo pair,并通过 NMS 去除冗余框。
最终,作者从 CC3M 中整理出 246k 张图片,共生成 82 万笔 pseudo region-text 标注,成为训练 YOLO-World 的重要数据来源之一。
讨论
论文的实验设计涵盖 zero-shot、fine-tuning 与 open-vocabulary segmentation 三个层面,分别验证 YOLO-World 的泛化能力、实用价值与延展性。
我们挑几项关键结果,详细内容请读者参考原始论文。
小模型的泛化能力
作者在 LVIS minival 上进行 zero-shot 评估,结果如上表所示。括号内是重参数化前、包含文字编码器的参数量与 FPS;括号外是固定离线词汇后的重参数化结果。
在不针对 LVIS fine-tuning 的情况下,使用 O365、GoldG 与伪标注 CC3M 预训练的 YOLO-World-L,在 LVIS minival 上达成 35.4 Fixed AP / 52 FPS;与表列的 GLIP、Grounding DINO 相比,AP 和 FPS 均较高。不同方法的预训练数据与部署形式并不完全相同。
更重要的是,这项结果是在未使用 TensorRT 或 FP16 加速的纯 V100 设定下测得,代表模型推理流程本身已具备极高效率。
这样的结果带来几项值得关注的观察:
- 本实验使用 LVIS 的 1203 个类别词汇,最多保留 1000 个预测;表格提供整体及 rare/common/frequent AP;完全无后处理的流程尚待测试。
- YOLO-World-S 作为最小版本,仅有 13M 参数,仍可达 26.2 AP,表现接近其他中型架构,证明方法具备良好的结构可缩放性与轻量应用潜力。
以往 open-vocabulary 检测模型往往因庞大模型规模与语言模块相依性,难以实用化部署。
这项结果显示在论文使用的 V100 上,开放词汇检测可达实时速度;是否适合边缘装置仍需在目标硬件上测试。
模块消融实验
为验证 YOLO-World 中 RepVL-PAN 模块的实际贡献,作者设计了针对两个核心模块的消融实验:Text-guided CSPLayer(T→I) 与 Image-Pooling Attention(I→T),分别对应语言影响图像与图像反馈语言这两条路径。
上表列出了五种设定下在 LVIS 的 zero-shot 检测表现,其中:
- 「T→I」代表启用 Text-guided CSPLayer;
- 「I→T」代表启用 Image-Pooling Attention;
- 「GQA」代表是否在预训练阶段引入语言丰富的 GQA 数据集。
实验可分为两个部分:
首先是未使用 GQA 预训练:
- 无任何语言模块(baseline) 时,AP 仅为 22.4,在 rare 类别()上的表现为 14.5。
- 启用 T→I 模块后,AP 提升至 23.2, 小幅上升至 15.2。
- 当同时启用 T→I 与 I→T(双向语言融合),AP 进一步提升至 23.5,而 明显上升至 16.2,显示双模块联合作用在处理低频词汇上更具帮助。
这显示即便预训练数据中缺乏丰富语词标注,语言模块本身仍能为 YOLO 提供稳定的语义对齐能力。
接着是加入 GQA 预训练之后:
- 当仅加入 GQA 而不启用语言模块时,模型即获得 29.7 AP / 21.0 的明显进步,显示 GQA 的语词信息有助于提升语义辨识能力。
- 当同时启用两个语言模块与 GQA,模型达到本实验中的最高分:31.9 AP / 22.5 ,而在 common 与 frequent 类别上(, )分别达到 29.9 / 35.4。
整体而言:
- T→I 提供的是 early fusion 的语词导向能力,让图像特征从一开始就与语义对齐;
- I→T 则补足 contextual feedback,使词向量嵌入更贴近图像语境;
- 在表列的 GQA 设定中,同时启用两个模块比未启用高 2.2 AP;无 GQA 时则高 1.1 AP。表中没有「只有 I→T」的列,无法单独量测它的完整贡献。
这些结果说明 YOLO-World 并非仰赖 backbone 的堆叠,而是在 PAN 结构中建立了可双向导流的语言融合路径,让模型能对开放词汇产生稳定而细致的语义对齐能力。
编码器的微调策略
在语词嵌入的生成上,YOLO-World 采用了 CLIP-base 与 BERT-base 两种不同特性的文字编码器,并分别比较其在 frozen 与 fine-tuned 状态下的表现。
观察结果显示:
- 当 encoder 保持 frozen,不进行微调时,CLIP-base 高于 BERT-base;依表中数字,LVIS rare 类别差 11.1 个 AP 点(14.5 vs. 3.4),整体 AP 则由 14.6 升至 22.4。
- 若将 BERT-base 纳入训练、进行微调,其表现明显改善,AP 提升至 18.3,rare 类别亦达 6.6 AP,但仍低于 frozen CLIP 的水平。
- 相对地,对 CLIP 进行微调反而导致退步:AP 从 22.4 降至 19.3, 更从 14.5 大幅降至 8.6。
这组结果展示出几个有意思的信号:
- CLIP 曾以图文配对预训练;在这组 LVIS 零样本实验中,冻结 CLIP 的结果优于冻结 BERT。
- BERT 经这组预训练微调后,AP 由 14.6 升至 18.3;表格本身无法证明模型内部语义映射偏向何种概念。
- CLIP 在此配置下微调后退步;作者推测 O365 的 365 类文字信息较窄,可能削弱原有泛化能力,这仍是对本实验的解释而非普遍定律。
这提醒我们,在这组开放词汇设定下,微调文字编码器是否有益,必须按编码器的预训练来源与目标词汇范围验证。
下游任务延展性
YOLO-World 并未将任务范围局限于检测,而是进一步延伸到 Open-Vocabulary Instance Segmentation(OVIS) 的场景。这代表模型不只要框出「是什么」,还得画出「它的轮廓」。
作者将实验设计分为两种设定:
- COCO → LVIS:以 COCO(80 类)的掩码标注微调,再到 LVIS 评估对 1203 类别的迁移能力。
- LVIS-base → LVIS:以包含 866 类的 LVIS-base 掩码标注微调,再到 LVIS 评估对全类别(含 337 个 rare 类别)的泛化。
针对训练策略,也设计了两种:
- 仅微调 segmentation head:保留检测 backbone,延续预训练的语词泛化能力。
- 微调所有模块(All):允许模型更完整学习分割任务语境,但可能牺牲原本的 zero-shot 弹性。
在仅微调 segmentation head 的条件下:
- 若以 COCO 作为训练来源,YOLO-World-L 可达 16.2 AP / 12.4 ;
- 若换用语义更密集、标注更细致的 LVIS-base 训练集,表现提升至 19.1 AP / 14.2 。
这显示在冻结检测器的条件下,仅训练 segmentation head 也能在未见过的 LVIS rare 类别取得非零 mask AP;两种训练来源的标注密度不同,不能只归因于语义预训练。
若允许整个模型一同微调(包含 PAN、语言模块与 detection head):
- LVIS-base 训练下,YOLO-World-L 可达到 28.7 AP,相比仅微调 segmentation head 提升明显。
- Mask 由 14.2 升至 15.0;但 box 由 18.0 降至 17.4。两种指标方向不同。
这样的结果指出一个典型的 open-vocabulary 问题:
微调全模型提高了整体 mask AP,但这组设定的 rare 类别 box AP 略降。
若任务重点在于整体 mask AP,这组实验的全模型微调结果较高;若关注未知类别,还需同时查看 mask 与 box 的 rare AP。
这张表提醒我们,任务指标不同,对微调策略的判断也可能不同;部署前仍需按实际类别分布核对。
结论
RepVL-PAN 的双向融合机制,让语词不再只是附着在预测结果上的标签,而是深度参与了特征构建的过程。这种设计思维,不是语言模型为辅、也不是图像模型为主,而是一种对等的互助结构。
对于我们开发者而言,YOLO-World 提供了几个方向:
-
语言与视觉的融合,不必等到大型多模态模型才开始尝试。
如果设计合理、架构精炼,即便在一个以速度为主的 YOLO 框架下,也能构建出可泛化的语义对齐能力。
-
open-vocabulary 任务,不再只能留给 offline pipeline。
随着像 RepVL-PAN 这种模块的出现,我们可以开始思考在低资源场景中实际部署能辨识「语词定义」的检测模型,而非只能用固定类别分类器应对变动场景。
-
重参数化的语言模块架构,是一种具备实用价值的 trade-off 设计。
它允许我们保留语义泛化的优势,同时将推理成本控制在可以接受的边界内。对于面向边缘端的系统,这一点很关键,但仍须在目标硬件上实测。
这篇论文所做的贡献,并不只是将 CLIP 套进 YOLO,而是从特征路径的层级重新思考语言与视觉的交会方式,并通过可重参数化的设计,减轻固定词汇推理时语义对齐带来的开销。
语词与视觉的接合,已经不再是高成本架构的特权。