DETRs with Hybrid Matching
- 发表版本
- CVPR 2023会议
- arXiv 首次提交
- arXiv:2207.13080
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{objectdetectionhdetr2022,
title = {{DETRs with Hybrid Matching}},
author = {Ding Jia and Yuhui Yuan and Haodi He and Xiaopei Wu and Haojun Yu and Weihong Lin and Lei Sun and Chao Zhang and Han Hu},
year = {2022},
eprint = {2207.13080},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2207.13080}
}
在 DETR 的世界里,大多数查询被分派去分类,被命令沉默。
哪怕它们也靠近了真相......很抱歉,真相只有一个,其他的不算。
定义问题
自从 DETR 开启将 Transformer 引入目标检测的先河后,DETR 架构便迅速成为视觉领域中一个具指标性的标准结构,如下图所示:
其中,最核心的贡献,在于摒弃 anchor、proposal、NMS 等手工设计的组件,将目标检测问题重新表述为一个「查询对应目标」的匹配任务。
这种设计方式不仅简化流程,也提升了整体架构的可迁移性与泛化性,进而延伸出一整套对应的生态系,在 2D 检测、3D 感知、姿态估计、视觉追踪、分割任务等各种任务中获得广泛应用。
这条路线的发展,也促使研究者持续优化各个模块:Deformable-DETR 通过可变形注意力改善小目标检测和收敛速度;DAB-DETR 探索更有效的 query 表示,而 DN-DETR 与 DINO 系列才通过 denoising query 改善匹配稳定性。
但无论是哪一类架构,其学习机制多数仍建立在 DETR 所奠定的「一对一匹配」基础上:每一个 ground truth 只能被分配给唯一的查询,这也是其去除 NMS 的关键条件之一。
然而,这种一对一分配策略在训练过程中也带来不容忽视的瓶颈。
以常见的 COCO 数据集为例,将近 99% 的图像标注框少于 30 个,但模型往往会产生 100 到 300 个查询。在这样的分配制度下,绝大多数查询最终只能被当作「背景」,接受分类损失的监督,而无法参与到 bounding box 的回归学习。
这意味着模型训练期间的大部分查询,其学习信号是极其有限的。尽管在推理时,这些查询可能仍有机会输出预测,但它们在训练阶段的学习空间早已被约束。
更进一步来看,这种分配限制也压抑了模型探索潜在正样本的能力。
即便某些查询与某个目标具有良好的位置对齐,也因为已被其他查询「占用」,而被排除于回归学习之外。这不仅降低了训练样本的使用效率,也限制了查询对空间特征的学习能力,导致训练速度慢、正样本拟合差、资源利用率低等一系列问题。
尽管现有的改进方法如 DN-DETR 或 DINO-DETR,试图通过「加入噪声查询」的方式补强正样本监督,但其核心目的在于匹配稳定性,而非训练效率,且多数需额外设计 noising scheme 或调整查询格式,扩展到其他任务时亦不够通用。
所以,问题来了:
我们能不能在保有 DETR 匹配优点的同时,释放闲置查询的潜能、扩大正样本监督范围?
解决问题
在 DETR 的原始设计中,每张图片会产生一组「查询(query)」向量,这些查询经过解码器处理后,分别输出一组预测框与对应的分类概率。最后,这些预测会与 ground truth 做一对一的匹配,选出「最适合描述某个目标的查询」,再根据这些匹配来计算损失。
H-DETR 所提出的改动,并不是打破这个一对一机制,而是额外补上一条「旁支」,让更多查询也能参与学习过程。
具体做法是让模型同时训练两组查询:一组维持原本的一对一监督逻辑;另一组则采用「一对多」的监督方式,也就是每个 ground truth 可以对应多个查询。这样,原本那些「被浪费」的查询,也能在训练时靠近标注框、学习如何拟合正样本。
主要分支:一对一监督
首先,对第一组查询 ,我们使用标准的 DETR 训练流程:
- 查询经过 层解码器后,分别得到 组预测 。
- 每一层的预测都与 ground truth 进行 Hungarian Matching,选出最佳对应关系。
- 损失函数如下:
其中 为标准的 DETR 损失,包括三部分:
- 分类损失(Classification Loss)
- 边界框的 回归损失(Localization Loss)
- GIoU 损失(Generalized IoU Loss)
这一条分支,就是维持原本 DETR 精简推理流程的核心。
辅助分支:一对多监督
另一条分支则是创造更多「可以靠近真实目标的机会」,通过以下操作:
- 再产生一组查询 ,用于进行一对多学习。
- 我们将 ground truth 重复 次,得到增强后的目标集:
- 对于每一层预测 ,都与 执行匹配,得到损失:
这条分支只在训练时使用;论文的 COCO 设定使用 300 个主分支查询、1500 个辅助查询,并将标注重复 次。
总损失与实现细节
整体训练损失为:
其中 为权重系数,用来平衡两条分支的重要性。
为了让两组查询并行处理,H-DETR 采用 masked multi-head self-attention,避免两组查询互相干扰。辅助分支仍增加训练成本;在下方 Table 6 的优化实现中,平均训练时间为 80 分钟,1800 查询的一对一基准为 75 分钟。
最后,在推理阶段,H-DETR 会完全忽略一对多分支,只保留主干分支的预测输出。这表示 H-DETR 维持了 DETR 架构原有的简洁性:无需使用 NMS,仅用查询输出即完成检测。
更多形式的混合监督
除了「双分支」的训练架构外,H-DETR 还提出两个进一步的变体,分别在训练的「时间维度」与「层级维度」上实现监督策略的动态切换。
-
Hybrid Epoch Scheme:隐性的阶段切换
这个版本不像分支方案需要两组查询,而是只使用一组查询 ,但根据训练的「阶段」决定匹配方式的不同。
- 前期(训练 epoch 的 比例):使用「一对多」匹配,也就是让每个 ground truth 重复 次,形成增强后的标注集合 ,并与查询预测 进行配对。对应损失为:
- 后期(剩余 (1−ρ) 比例的 epoch):切回「一对一」监督,改以原始标注 进行匹配,损失为:
这种设计背后的想法,是在训练初期通过大量监督信号帮助查询快速贴近标注框,等模型学会基础定位能力后,再收敛到原本一对一机制所要求的「查询独占性」。
在推理阶段,这个方法仍仅保留一对一的查询输出,因此延续 DETR 架构的简洁性。
-
Hybrid Layer Scheme:层级内部的监督切分
这个版本同样使用单一查询集合 ,但不是根据 epoch,而是根据 decoder 的「层数」来切换监督机制。
- 前 层 decoder:采用「一对多」监督,将每层的预测 对应到重复过的标注集合 :
- 后 层 decoder:切回「一对一」监督,损失如下:
这种设计的直觉很清楚:前半段层级先「暖身」,帮助查询通过密集监督与目标接近;后半段则回归一对一,强化独立预测能力与推理一致性。
整体训练损失为两者相加:
这也让模型能在「层级深度」上取得监督密度与推理一致性的折衷。
这两种策略相比双分支架构,不需另开辅助查询分支,但实验设定的单组查询增加至 1800 个;Epoch 方案使用 、,Layer 方案使用 、、。它们仍能提供额外正样本监督;下方消融表则比较了准确率与训练、推理成本。
讨论
作者首先聚焦于检验 H-DETR 是否能有效提升既有 DETR 架构的检测能力。
以 COCO 和 LVIS 两大数据集为基础,评估改良后的 H-Deformable-DETR 模型在不同 backbone 与训练长度下的表现。
COCO Benchmark
根据实验结果,H-Deformable-DETR 在 COCO 验证集上,针对不同规模的 backbone(包括 ResNet-50、Swin-T、Swin-L)与训练周期数(12 或 36 epoch),均展现出一致性的性能提升。
以 Swin-T 为例:
- 在 12 个训练 epoch 下,则从 49.3% 提升至 50.6%。
- 在 36 个训练 epoch 下,AP 从 51.8% 提升至 53.2%。
这样的结果显示:在表列的三种 backbone 与 12/36 epoch 设定下,训练期加入混合匹配,推理仍只用一对一分支,COCO AP 均高于各自的基准;此表尚不足以推理所有骨干或训练长度。
LVIS Benchmark
接着来看 LVIS 的实验结果,这是一个包含数千类别、极度长尾分布的数据集,用以验证 H-DETR 在大规模与低频类别上的泛化能力。
在 LVIS v1.0 表中,R50/24 epoch 的 AP 由 32.2 提升至 33.5(+1.3 个百分点),Swin-L/48 epoch 则由 47.0 提升至 47.9(+0.9 个百分点)。表格按目标大小列出 AP,没有按稀有/常见类别分组。
SOTA Benchmark
作者亦将 H-Deformable-DETR 与近期代表性 SOTA 方法进行系统级比较,结果如上表。
表中整理单尺度推理的系统级结果,但模型骨干、输入尺寸和训练周期并不完全相同;其中 DINO-DETR 与 H-Deformable-DETR 同为 Swin-L、1333×800 输入和 36 epoch。
在整体比较中,H-Deformable-DETR 在 COCO 验证集上达到 59.4% AP,超越了包含 DINO-DETR 在内的多个强大基线方法。
这个 59.4% AP 的系统也加入了 DINO 的其他增强技巧,不能将它与 DINO-DETR 的差距全归因于混合匹配。混合匹配本身的增益应看上方同设定的 Deformable-DETR 对照;一对一推理分支仍不需 NMS。
消融实验
我们看一下不同混合架构的表现,其他实验请读者自行翻阅原始论文。
这组实验设计时,作者特别做了以下两项设定来确保公平性:
- 三种策略皆比基准额外引入 6 倍正样本机会;以每层、每个 epoch 累计的设定比较,相当于合计 7 倍。
- 三种策略在训练时皆使用 总计 1800 个查询;Branch 推理只保留其中的 300 个。
此外,表格中亦标注了不同额外注记的数据来源:
- † 记号:该方法在 训练与推理阶段皆使用 1800 个查询。
- ♮ 标记:80 分钟的训练时间是在合并两条分支的匹配代价与损失计算后测得;论文仍在 CPU 上运行匈牙利匹配,尚未实现 GPU 版本。
以下是几个关键观察:
-
Hybrid Branch 在表列准确率与成本之间较为均衡:
- 36 epoch 时为 48.0 AP,与 Hybrid Layer 同分;24 epoch 时 Hybrid Layer 的 47.9 高于 Branch 的 47.6。
- 优化实现的平均训练时间为 80 分钟,比 1800 查询基准的 75 分钟约多 7%,比 300 查询基准的 65 分钟约多 23%。
- 推理维持 268 GFLOPs、6.7 FPS;两个单组 1800 查询变体为 282 GFLOPs、6.3 FPS。此表未列内存成本。
-
Hybrid Epoch 在这组设定下平均训练时间为 95 分钟、36 epoch 为 47.9 AP;表格没有单独量测切换匹配策略造成多少时间差。
-
Hybrid Layer 在 36 epoch 同样得到 48.0 AP,但平均训练时间为 100 分钟,推理为 6.3 FPS;不能说它的准确率整体低于 Branch。
结论
DETR 的关键创新在于将目标检测转化为查询匹配问题,虽简化了推理流程,却也导致训练效率低落。
H-DETR 精准地针对这个问题提出修补:通过训练端引入一对多监督,提升学习效率,同时保留一对一推理的语义一致性与架构简洁性。这种设计具备三大工程优势:推理分支无需改动、训练成本可量化、模块化便于集成;迁移到其他使用查询机制的任务仍须按具体任务验证。