返回论文笔记资料库
arXiv 2024CVPR 2024目标检测论文笔记

YOLO-World

名词的追逐者

原始论文

YOLO-World: Real-Time Open-Vocabulary Object Detection

论文作者

Tianheng Cheng · Lin Song · Yixiao Ge · Wenyu Liu · Xinggang Wang · Ying Shan

发表版本
CVPR 2024会议
arXiv 首次提交
arXiv:2401.17270
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{objectdetectionyoloworld2024,
  title = {{YOLO-World: Real-Time Open-Vocabulary Object Detection}},
  author = {Tianheng Cheng and Lin Song and Yixiao Ge and Wenyu Liu and Xinggang Wang and Ying Shan},
  year = {2024},
  eprint = {2401.17270},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2401.17270}
}
本页内容

在这个以 YOLO 为代表的目标检测时代里,速度与效率早已不是什么新议题。

真正棘手的,是类别的封闭性。

定义问题

在过去的十年间,目标检测的进展可谓翻天覆地。

我们看见 R-CNN 系列逐步构建出二阶段检测的规则世界,看见 SSD 与 RetinaNet 简化流程、以像素为基础对每一个 anchor 询问目标;也看见 DETR 引入 query 设计与 Transformer,让「检测」这件事变得不再只是定位,而开始与语义对话。

而在所有这些架构之中,YOLO 系列始终是一个特立独行的存在。

它不断压缩运算成本,以极简架构挑战实时推理的极限: 要快!要更快!要非常快!

然而,在这些技术轮替之下,有一件事却鲜少被撼动:

几乎所有主流检测模型,都仍活在「固定词汇」的世界中。

训练数据定义了模型能说的语言;数据集里没有「风筝」,模型也就不会学会辨识风筝的样貌。COCO 里有 80 类、Objects365 有 365 类,但现实世界有更多更多的物体,在数据集中还没有名字。

我们如何让模型拥有一种「打开词典」的能力,而不是只会回答已知选项中的那几个?

Open-Vocabulary Object Detection (以下简称 OVD)正是为了解决这个瓶颈而诞生。它期望目标检测能跨越固定类别的边界,学会理解「语义」,而非单纯记忆图像与标签之间的对应。

但是每次 OVD 的尝试,都代价不菲。

解决问题

YOLO-World 的架构如上图所示。

它保留了 YOLO 系列惯有的整体设计:图像经 backbone 编码后,传入多尺度特征融合模块,最终输出预测框与目标表示。但不同于过往封闭类别的设定,YOLO-World 在其中引入了语言编码器与跨模态融合模块,使整体架构得以处理开放词汇的检测任务。

整体流程如下:

  1. 使用者输入的 prompt(可能是一段描述、一组名词、或一份类别清单)会先整理为名词短语,再通过 CLIP 的文字编码器转换为语义向量。
  2. 图像经由 YOLOv8 的图像编码器处理后,提取多尺度图像特征。
  3. 接着通过新提出的 RepVL-PAN,将语言与图像特征进行对齐与融合。
  4. 最终由 decoupled head 同时输出 bounding box 与目标语义表示,与输入词汇进行比对。

这样的设计让 YOLO-World 不再依赖固定的类别分类器,而是通过语义匹配,找出图像中与输入词汇最相符的区域。推理时可以更换词汇,但须先将新词汇编码并更新离线词汇权重;零样本能力仍取决于预训练中学到的图文对齐。

在这样的结构下,目标检测这件事,开始从「预测是哪一类」转变为「这里是不是某个词所描述的东西」。

接着我们仔细看一下 RepVL-PAN 的设计方式。

RepVL-PAN

如上图所示,YOLO-World 所提出的 RepVL-PAN(Re-parameterizable Vision-Language Path Aggregation Network)是一个强化图文交互的模块,作用在 YOLO 的多尺度特征融合阶段。

传统的 PAN 仅处理图像特征之间的上下传递与融合,但在 open-vocabulary 检测任务中,仅靠视觉信号并不足以完成语义比对。RepVL-PAN 因此在原本的图像特征流程中,注入了语言信息,使语义得以渗透进特征图的生成过程中。

整体包含两个关键组件:

  1. Text-guided CSPLayer

    在 YOLO 架构中,CSPLayer 是一种改良过的残差堆叠模块,负责维持特征的稳定性与通道表达力。而在 YOLO-World 中,作者设计了文字引导版本的 CSPLayer(Text-guided CSPLayer),让每层特征能根据词汇语义进行调整。

    具体来说,对于某一尺度的图像特征 Xl∈RH×W×DX_l \in \mathbb{R}^{H \times W \times D},以及来自文字编码器的词嵌入向量集合 W={wj}j=1CW = \{w_j\}_{j=1}^C,我们计算每个位置与语义的相似程度,并使用 sigmoid 函数形成注意力权重:

    Xl′=Xl⋅δ(max⁡j∈{1..C}(XlWj⊤))⊤X_l' = X_l \cdot \delta\left( \max_{j \in \{1..C\}} (X_l W_j^\top) \right)^\top

    其中 δ(⋅)\delta(\cdot) 为 sigmoid 函数,将每个位置的最大文字相似度转成加权系数。这样的设计让图像特征依照语义线索加权,产生特征图 Xl′X_l'。

    这些强化后的图像特征,会与原本的 CSPLayer 输出进行串接,再送入下一层 PAN 网络中,逐步建立语义敏感的金字塔表示。

  2. Image-Pooling Attention

    除了让语言影响图像,YOLO-World 也设计了反向路径,目的是为了让图像信息反馈语言表示。这是通过 Image-Pooling Attention 实现的。

    具体来说,我们将各层尺度的图像特征进行 pooling,压缩为数个区域向量(例如 3×33 \times 3 patch token,共 27 个),并将这些 patch token X~∈R27×D\tilde{X} \in \mathbb{R}^{27 \times D} 作为 Key 和 Value,对原始文字嵌入进行多头注意力更新:

    W′=W+MultiHeadAttention(W,X~,X~)W' = W + \text{MultiHeadAttention}(W, \tilde{X}, \tilde{X})

    这样一来,文字嵌入不再只是静态语义向量,而是带有当前图像上下文的语义表示,强化语词与图像内容的对应能力。


这两个设计,一个让语言渗入图像,一个让图像润饰语言,形成一个对称的语义回路。

最终,这些更新后的语言特征与图像特征将共同参与到目标检测的过程中,使模型在不依赖固定类别分类器的前提下,仍能进行稳定的语义匹配。

而这整套机制的关键之一,在于它支援 重参数化(re-parameterization):先将选定词汇编码,并把词向量并入卷积或线性层权重;固定这组离线词汇推理时便不需逐张执行 CLIP 文字编码器。更换词汇时仍须重新编码。

预训练策略

语言与图像虽是不同模态,但如果想让模型理解「语词所指为何」,最终还是得落实为一件事:

语词与图像区域的对应关系。

YOLO-World 采用的是一种 region-text 对比学习策略,试图让模型学会分辨:「这里是狗」,而不是「这里像狗」。

为了训练这样的能力,作者重新构筑了训练数据的形式,将每个标注样本表示为:

Ω={(Bi,ti)}i=1N\Omega = \{(B_i, t_i)\}_{i=1}^N

其中 BiB_i 是图像中第 ii 个区域的框,tit_i 则是与其对应的语词。

这个语词可以是类别名词,也可以是由描述中抽取的名词短语(noun phrase)。

对比学习

在 forward 阶段,YOLO-World 对每张训练图像预测 KK 个目标区域,每个区域都有一组表示向量 eke_k。同时,文字编码器也会为输入词汇集合 TT 产出对应的词向量 {wj}\{w_j\}。

为了让这些向量之间的相似度有意义,模型通过以下公式计算它们的相似度:

sk,j=α⋅L2Norm(ek)⋅L2Norm(wj)⊤+βs_{k,j} = \alpha \cdot \text{L2Norm}(e_k) \cdot \text{L2Norm}(w_j)^\top + \beta

其中 α,β\alpha, \beta 为可训练的尺度与偏移参数,用于稳定训练;L2 正规化则让相似度主要反映方向(语义),而非尺度大小。

通过这个相似度矩阵,模型便能将语词分类任务转化为一种语义比对任务。先依 task-aligned assignment 对预测框与标注框配对,再对正样本的目标与文字相似度计算 region-text contrastive loss:

Lcon=CrossEntropy(sk,j,yk)\mathcal{L}_{\text{con}} = \text{CrossEntropy}(s_{k,j}, y_{k})

任务分离

在整体训练流程中,YOLO-World 不只用来自标注数据集(如 COCO)的数据,也会使用来自 grounding 任务或 image-text 配对数据集的样本。

考虑到数据品质的差异,作者使用一个指示变数 λI\lambda_I 来控制是否使用框回归的损失:

  • 当图像 II 来自 detection 或 grounding 数据时,计算 IoU loss 与 distributed focal loss。
  • 当图像 II 来自 image-text 数据(如 CC3M)时,仅计算语义比对的 contrastive loss。

总体 loss 如下:

L(I)=Lcon+λI⋅(Liou+Ldfl)\mathcal{L}(I) = \mathcal{L}_{\text{con}} + \lambda_I \cdot (\mathcal{L}_{\text{iou}} + \mathcal{L}_{\text{dfl}})

这样的设计使得 YOLO-World 能灵活处理不同品质、不同来源的数据,既保持泛化力,也维持框回归的精准度。

自动标注

但真正让 YOLO-World 得以进行大规模预训练的关键,是 pseudo-labeling 策略。

毕竟,像 CC3M 这样的大型 image-text 数据集,虽然有丰富描述,但缺乏标注框;若要依赖人工标注,不切实际。

因此,YOLO-World 采取了一个三阶段的自动标注流程:

  1. 抽词:从描述中提取名词短语(例如 "a dog running in the park" → "dog", "park")。
  2. 标框:使用预训练的 GLIP 模型,根据这些词语在图像中产生预测框。
  3. 过滤:利用 CLIP 评估整张图像与描述、区域与词语的相关性,删除不可信的 pseudo pair,并通过 NMS 去除冗余框。

最终,作者从 CC3M 中整理出 246k 张图片,共生成 82 万笔 pseudo region-text 标注,成为训练 YOLO-World 的重要数据来源之一。

讨论

论文的实验设计涵盖 zero-shot、fine-tuning 与 open-vocabulary segmentation 三个层面,分别验证 YOLO-World 的泛化能力、实用价值与延展性。

我们挑几项关键结果,详细内容请读者参考原始论文。

小模型的泛化能力

作者在 LVIS minival 上进行 zero-shot 评估,结果如上表所示。括号内是重参数化前、包含文字编码器的参数量与 FPS;括号外是固定离线词汇后的重参数化结果。

在不针对 LVIS fine-tuning 的情况下,使用 O365、GoldG 与伪标注 CC3M 预训练的 YOLO-World-L,在 LVIS minival 上达成 35.4 Fixed AP / 52 FPS;与表列的 GLIP、Grounding DINO 相比,AP 和 FPS 均较高。不同方法的预训练数据与部署形式并不完全相同。

更重要的是,这项结果是在未使用 TensorRT 或 FP16 加速的纯 V100 设定下测得,代表模型推理流程本身已具备极高效率。

这样的结果带来几项值得关注的观察:

  • 本实验使用 LVIS 的 1203 个类别词汇,最多保留 1000 个预测;表格提供整体及 rare/common/frequent AP;完全无后处理的流程尚待测试。
  • YOLO-World-S 作为最小版本,仅有 13M 参数,仍可达 26.2 AP,表现接近其他中型架构,证明方法具备良好的结构可缩放性与轻量应用潜力。

以往 open-vocabulary 检测模型往往因庞大模型规模与语言模块相依性,难以实用化部署。

这项结果显示在论文使用的 V100 上,开放词汇检测可达实时速度;是否适合边缘装置仍需在目标硬件上测试。

模块消融实验

为验证 YOLO-World 中 RepVL-PAN 模块的实际贡献,作者设计了针对两个核心模块的消融实验:Text-guided CSPLayer(T→I) 与 Image-Pooling Attention(I→T),分别对应语言影响图像与图像反馈语言这两条路径。

上表列出了五种设定下在 LVIS 的 zero-shot 检测表现,其中:

  • 「T→I」代表启用 Text-guided CSPLayer;
  • 「I→T」代表启用 Image-Pooling Attention;
  • 「GQA」代表是否在预训练阶段引入语言丰富的 GQA 数据集。

实验可分为两个部分:

首先是未使用 GQA 预训练:

  • 无任何语言模块(baseline) 时,AP 仅为 22.4,在 rare 类别(APrAP_r)上的表现为 14.5。
  • 启用 T→I 模块后,AP 提升至 23.2,APrAP_r 小幅上升至 15.2。
  • 当同时启用 T→I 与 I→T(双向语言融合),AP 进一步提升至 23.5,而 APrAP_r 明显上升至 16.2,显示双模块联合作用在处理低频词汇上更具帮助。

这显示即便预训练数据中缺乏丰富语词标注,语言模块本身仍能为 YOLO 提供稳定的语义对齐能力。

接着是加入 GQA 预训练之后:

  • 当仅加入 GQA 而不启用语言模块时,模型即获得 29.7 AP / 21.0 APrAP_r 的明显进步,显示 GQA 的语词信息有助于提升语义辨识能力。
  • 当同时启用两个语言模块与 GQA,模型达到本实验中的最高分:31.9 AP / 22.5 APrAP_r,而在 common 与 frequent 类别上(APcAP_c, APfAP_f)分别达到 29.9 / 35.4。

整体而言:

  • T→I 提供的是 early fusion 的语词导向能力,让图像特征从一开始就与语义对齐;
  • I→T 则补足 contextual feedback,使词向量嵌入更贴近图像语境;
  • 在表列的 GQA 设定中,同时启用两个模块比未启用高 2.2 AP;无 GQA 时则高 1.1 AP。表中没有「只有 I→T」的列,无法单独量测它的完整贡献。

这些结果说明 YOLO-World 并非仰赖 backbone 的堆叠,而是在 PAN 结构中建立了可双向导流的语言融合路径,让模型能对开放词汇产生稳定而细致的语义对齐能力。

编码器的微调策略

在语词嵌入的生成上,YOLO-World 采用了 CLIP-base 与 BERT-base 两种不同特性的文字编码器,并分别比较其在 frozen 与 fine-tuned 状态下的表现。

观察结果显示:

  • 当 encoder 保持 frozen,不进行微调时,CLIP-base 高于 BERT-base;依表中数字,LVIS rare 类别差 11.1 个 AP 点(14.5 vs. 3.4),整体 AP 则由 14.6 升至 22.4。
  • 若将 BERT-base 纳入训练、进行微调,其表现明显改善,AP 提升至 18.3,rare 类别亦达 6.6 AP,但仍低于 frozen CLIP 的水平。
  • 相对地,对 CLIP 进行微调反而导致退步:AP 从 22.4 降至 19.3,APrAP_r 更从 14.5 大幅降至 8.6。

这组结果展示出几个有意思的信号:

  • CLIP 曾以图文配对预训练;在这组 LVIS 零样本实验中,冻结 CLIP 的结果优于冻结 BERT。
  • BERT 经这组预训练微调后,AP 由 14.6 升至 18.3;表格本身无法证明模型内部语义映射偏向何种概念。
  • CLIP 在此配置下微调后退步;作者推测 O365 的 365 类文字信息较窄,可能削弱原有泛化能力,这仍是对本实验的解释而非普遍定律。

这提醒我们,在这组开放词汇设定下,微调文字编码器是否有益,必须按编码器的预训练来源与目标词汇范围验证。

下游任务延展性

YOLO-World 并未将任务范围局限于检测,而是进一步延伸到 Open-Vocabulary Instance Segmentation(OVIS) 的场景。这代表模型不只要框出「是什么」,还得画出「它的轮廓」。

作者将实验设计分为两种设定:

  1. COCO → LVIS:以 COCO(80 类)的掩码标注微调,再到 LVIS 评估对 1203 类别的迁移能力。
  2. LVIS-base → LVIS:以包含 866 类的 LVIS-base 掩码标注微调,再到 LVIS 评估对全类别(含 337 个 rare 类别)的泛化。

针对训练策略,也设计了两种:

  • 仅微调 segmentation head:保留检测 backbone,延续预训练的语词泛化能力。
  • 微调所有模块(All):允许模型更完整学习分割任务语境,但可能牺牲原本的 zero-shot 弹性。

在仅微调 segmentation head 的条件下:

  • 若以 COCO 作为训练来源,YOLO-World-L 可达 16.2 AP / 12.4 APrAP_r;
  • 若换用语义更密集、标注更细致的 LVIS-base 训练集,表现提升至 19.1 AP / 14.2 APrAP_r。

这显示在冻结检测器的条件下,仅训练 segmentation head 也能在未见过的 LVIS rare 类别取得非零 mask AP;两种训练来源的标注密度不同,不能只归因于语义预训练。

若允许整个模型一同微调(包含 PAN、语言模块与 detection head):

  • LVIS-base 训练下,YOLO-World-L 可达到 28.7 AP,相比仅微调 segmentation head 提升明显。
  • Mask APrAP_r 由 14.2 升至 15.0;但 box APrbAP_r^b 由 18.0 降至 17.4。两种指标方向不同。

这样的结果指出一个典型的 open-vocabulary 问题:

微调全模型提高了整体 mask AP,但这组设定的 rare 类别 box AP 略降。

若任务重点在于整体 mask AP,这组实验的全模型微调结果较高;若关注未知类别,还需同时查看 mask 与 box 的 rare AP。

这张表提醒我们,任务指标不同,对微调策略的判断也可能不同;部署前仍需按实际类别分布核对。

结论

RepVL-PAN 的双向融合机制,让语词不再只是附着在预测结果上的标签,而是深度参与了特征构建的过程。这种设计思维,不是语言模型为辅、也不是图像模型为主,而是一种对等的互助结构。

对于我们开发者而言,YOLO-World 提供了几个方向:

  • 语言与视觉的融合,不必等到大型多模态模型才开始尝试。

    如果设计合理、架构精炼,即便在一个以速度为主的 YOLO 框架下,也能构建出可泛化的语义对齐能力。

  • open-vocabulary 任务,不再只能留给 offline pipeline。

    随着像 RepVL-PAN 这种模块的出现,我们可以开始思考在低资源场景中实际部署能辨识「语词定义」的检测模型,而非只能用固定类别分类器应对变动场景。

  • 重参数化的语言模块架构,是一种具备实用价值的 trade-off 设计。

    它允许我们保留语义泛化的优势,同时将推理成本控制在可以接受的边界内。对于面向边缘端的系统,这一点很关键,但仍须在目标硬件上实测。

这篇论文所做的贡献,并不只是将 CLIP 套进 YOLO,而是从特征路径的层级重新思考语言与视觉的交会方式,并通过可重参数化的设计,减轻固定词汇推理时语义对齐带来的开销。

语词与视觉的接合,已经不再是高成本架构的特权。