返回论文笔记资料库
arXiv 2022CVPR 2023目标检测论文笔记

H-DETR

静默查询的反叛

原始论文

DETRs with Hybrid Matching

论文作者

Ding Jia · Yuhui Yuan · Haodi He …

查看全部 9 位作者

Ding Jia · Yuhui Yuan · Haodi He · Xiaopei Wu · Haojun Yu · Weihong Lin · Lei Sun · Chao Zhang · Han Hu

发表版本
CVPR 2023会议
arXiv 首次提交
arXiv:2207.13080
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{objectdetectionhdetr2022,
  title = {{DETRs with Hybrid Matching}},
  author = {Ding Jia and Yuhui Yuan and Haodi He and Xiaopei Wu and Haojun Yu and Weihong Lin and Lei Sun and Chao Zhang and Han Hu},
  year = {2022},
  eprint = {2207.13080},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2207.13080}
}
本页内容

在 DETR 的世界里,大多数查询被分派去分类,被命令沉默。

哪怕它们也靠近了真相......很抱歉,真相只有一个,其他的不算。

定义问题

自从 DETR 开启将 Transformer 引入目标检测的先河后,DETR 架构便迅速成为视觉领域中一个具指标性的标准结构,如下图所示:

其中,最核心的贡献,在于摒弃 anchor、proposal、NMS 等手工设计的组件,将目标检测问题重新表述为一个「查询对应目标」的匹配任务。

这种设计方式不仅简化流程,也提升了整体架构的可迁移性与泛化性,进而延伸出一整套对应的生态系,在 2D 检测、3D 感知、姿态估计、视觉追踪、分割任务等各种任务中获得广泛应用。

这条路线的发展,也促使研究者持续优化各个模块:Deformable-DETR 通过可变形注意力改善小目标检测和收敛速度;DAB-DETR 探索更有效的 query 表示,而 DN-DETR 与 DINO 系列才通过 denoising query 改善匹配稳定性。

但无论是哪一类架构,其学习机制多数仍建立在 DETR 所奠定的「一对一匹配」基础上:每一个 ground truth 只能被分配给唯一的查询,这也是其去除 NMS 的关键条件之一。

然而,这种一对一分配策略在训练过程中也带来不容忽视的瓶颈。

以常见的 COCO 数据集为例,将近 99% 的图像标注框少于 30 个,但模型往往会产生 100 到 300 个查询。在这样的分配制度下,绝大多数查询最终只能被当作「背景」,接受分类损失的监督,而无法参与到 bounding box 的回归学习。

这意味着模型训练期间的大部分查询,其学习信号是极其有限的。尽管在推理时,这些查询可能仍有机会输出预测,但它们在训练阶段的学习空间早已被约束。

更进一步来看,这种分配限制也压抑了模型探索潜在正样本的能力。

即便某些查询与某个目标具有良好的位置对齐,也因为已被其他查询「占用」,而被排除于回归学习之外。这不仅降低了训练样本的使用效率,也限制了查询对空间特征的学习能力,导致训练速度慢、正样本拟合差、资源利用率低等一系列问题。

尽管现有的改进方法如 DN-DETR 或 DINO-DETR,试图通过「加入噪声查询」的方式补强正样本监督,但其核心目的在于匹配稳定性,而非训练效率,且多数需额外设计 noising scheme 或调整查询格式,扩展到其他任务时亦不够通用。

所以,问题来了:

我们能不能在保有 DETR 匹配优点的同时,释放闲置查询的潜能、扩大正样本监督范围?


解决问题

在 DETR 的原始设计中,每张图片会产生一组「查询(query)」向量,这些查询经过解码器处理后,分别输出一组预测框与对应的分类概率。最后,这些预测会与 ground truth 做一对一的匹配,选出「最适合描述某个目标的查询」,再根据这些匹配来计算损失。

H-DETR 所提出的改动,并不是打破这个一对一机制,而是额外补上一条「旁支」,让更多查询也能参与学习过程。

具体做法是让模型同时训练两组查询:一组维持原本的一对一监督逻辑;另一组则采用「一对多」的监督方式,也就是每个 ground truth 可以对应多个查询。这样,原本那些「被浪费」的查询,也能在训练时靠近标注框、学习如何拟合正样本。

主要分支:一对一监督

首先,对第一组查询 Q=q1,q2,...,qnQ = {q_1, q_2, ..., q_n},我们使用标准的 DETR 训练流程:

  1. 查询经过 LL 层解码器后,分别得到 LL 组预测 P1,P2,...,PL{P^1, P^2, ..., P^L}。
  2. 每一层的预测都与 ground truth 进行 Hungarian Matching,选出最佳对应关系。
  3. 损失函数如下:
Lone2one=∑l=1LLHungarian(Pl,G)\mathcal{L}_{\text{one2one}} = \sum_{l=1}^{L} \mathcal{L}_{\text{Hungarian}}(P^l, G)

其中 LHungarian\mathcal{L}_{\text{Hungarian}} 为标准的 DETR 损失,包括三部分:

  • 分类损失(Classification Loss)
  • 边界框的 L1L_1 回归损失(Localization L1L_1 Loss)
  • GIoU 损失(Generalized IoU Loss)

这一条分支,就是维持原本 DETR 精简推理流程的核心。


辅助分支:一对多监督

另一条分支则是创造更多「可以靠近真实目标的机会」,通过以下操作:

  1. 再产生一组查询 Qb=qb1,qb2,...,qbTQ_b = {q_b^1, q_b^2, ..., q_b^T},用于进行一对多学习。
  2. 我们将 ground truth G=g1,...,gmG = {g_1, ..., g_m} 重复 KK 次,得到增强后的目标集:
Gb={G,G,...,G}(K times)G_b = \{G, G, ..., G\} \quad (K \text{ times})
  1. 对于每一层预测 Pb1,...,PbL{P_b^1, ..., P_b^L},都与 GbG_b 执行匹配,得到损失:
Lone2many=∑l=1LLHungarian(Pbl,Gb)\mathcal{L}_{\text{one2many}} = \sum_{l=1}^{L} \mathcal{L}_{\text{Hungarian}}(P_b^l, G_b)

这条分支只在训练时使用;论文的 COCO 设定使用 300 个主分支查询、1500 个辅助查询,并将标注重复 K=6K=6 次。


总损失与实现细节

整体训练损失为:

L=Lone2one+λ⋅Lone2many\mathcal{L} = \mathcal{L}_{\text{one2one}} + \lambda \cdot \mathcal{L}_{\text{one2many}}

其中 λ\lambda 为权重系数,用来平衡两条分支的重要性。

为了让两组查询并行处理,H-DETR 采用 masked multi-head self-attention,避免两组查询互相干扰。辅助分支仍增加训练成本;在下方 Table 6 的优化实现中,平均训练时间为 80 分钟,1800 查询的一对一基准为 75 分钟。

最后,在推理阶段,H-DETR 会完全忽略一对多分支,只保留主干分支的预测输出。这表示 H-DETR 维持了 DETR 架构原有的简洁性:无需使用 NMS,仅用查询输出即完成检测。

更多形式的混合监督

除了「双分支」的训练架构外,H-DETR 还提出两个进一步的变体,分别在训练的「时间维度」与「层级维度」上实现监督策略的动态切换。

  • Hybrid Epoch Scheme:隐性的阶段切换

    这个版本不像分支方案需要两组查询,而是只使用一组查询 Qe=q1,...,qMQ_e = {q_1, ..., q_M},但根据训练的「阶段」决定匹配方式的不同。

    • 前期(训练 epoch 的 ρ\rho 比例):使用「一对多」匹配,也就是让每个 ground truth 重复 K~\widetilde K 次,形成增强后的标注集合 GeG_e,并与查询预测 Pe1,...,PeL{P_e^1, ..., P_e^L} 进行配对。对应损失为:
    Lone2many=∑l=1LLHungarian(Pel,Ge)\mathcal{L}_{\text{one2many}} = \sum_{l=1}^{L} \mathcal{L}_{\text{Hungarian}}(P_e^l, G_e)
    • 后期(剩余 (1−ρ) 比例的 epoch):切回「一对一」监督,改以原始标注 GG 进行匹配,损失为:
    Lone2one=∑l=1LLHungarian(Pel,G)\mathcal{L}_{\text{one2one}} = \sum_{l=1}^{L} \mathcal{L}_{\text{Hungarian}}(P_e^l, G)

    这种设计背后的想法,是在训练初期通过大量监督信号帮助查询快速贴近标注框,等模型学会基础定位能力后,再收敛到原本一对一机制所要求的「查询独占性」。

    在推理阶段,这个方法仍仅保留一对一的查询输出,因此延续 DETR 架构的简洁性。


  • Hybrid Layer Scheme:层级内部的监督切分

    这个版本同样使用单一查询集合 Q=q1,...,qNQ = {q_1, ..., q_N},但不是根据 epoch,而是根据 decoder 的「层数」来切换监督机制。

    • 前 L1L_1 层 decoder:采用「一对多」监督,将每层的预测 P1,...,PL1{P^1, ..., P^{L_1}} 对应到重复过的标注集合 G‾\overline G:
    Lone2many=∑l=1L1LHungarian(Pl,G‾)\mathcal{L}_{\text{one2many}} = \sum_{l=1}^{L_1} \mathcal{L}_{\text{Hungarian}}(P^l, \overline G)
    • 后 L2L_2 层 decoder:切回「一对一」监督,损失如下:
    Lone2one=∑l=L1+1L1+L2LHungarian(Pl,G)\mathcal{L}_{\text{one2one}} = \sum_{l=L_1+1}^{L_1+L_2} \mathcal{L}_{\text{Hungarian}}(P^l, G)

    这种设计的直觉很清楚:前半段层级先「暖身」,帮助查询通过密集监督与目标接近;后半段则回归一对一,强化独立预测能力与推理一致性。

    整体训练损失为两者相加:

    L=Lone2many+Lone2one\mathcal{L} = \mathcal{L}_{\text{one2many}} + \mathcal{L}_{\text{one2one}}

    这也让模型能在「层级深度」上取得监督密度与推理一致性的折衷。


这两种策略相比双分支架构,不需另开辅助查询分支,但实验设定的单组查询增加至 1800 个;Epoch 方案使用 K~=10\widetilde K=10、ρ=2/3\rho=2/3,Layer 方案使用 K‾=10\overline K=10、L1=4L_1=4、L2=2L_2=2。它们仍能提供额外正样本监督;下方消融表则比较了准确率与训练、推理成本。

讨论

作者首先聚焦于检验 H-DETR 是否能有效提升既有 DETR 架构的检测能力。

以 COCO 和 LVIS 两大数据集为基础,评估改良后的 H-Deformable-DETR 模型在不同 backbone 与训练长度下的表现。

COCO Benchmark

根据实验结果,H-Deformable-DETR 在 COCO 验证集上,针对不同规模的 backbone(包括 ResNet-50、Swin-T、Swin-L)与训练周期数(12 或 36 epoch),均展现出一致性的性能提升。

以 Swin-T 为例:

  • 在 12 个训练 epoch 下,则从 49.3% 提升至 50.6%。
  • 在 36 个训练 epoch 下,AP 从 51.8% 提升至 53.2%。

这样的结果显示:在表列的三种 backbone 与 12/36 epoch 设定下,训练期加入混合匹配,推理仍只用一对一分支,COCO AP 均高于各自的基准;此表尚不足以推理所有骨干或训练长度。

LVIS Benchmark

接着来看 LVIS 的实验结果,这是一个包含数千类别、极度长尾分布的数据集,用以验证 H-DETR 在大规模与低频类别上的泛化能力。

在 LVIS v1.0 表中,R50/24 epoch 的 AP 由 32.2 提升至 33.5(+1.3 个百分点),Swin-L/48 epoch 则由 47.0 提升至 47.9(+0.9 个百分点)。表格按目标大小列出 AP,没有按稀有/常见类别分组。

SOTA Benchmark

作者亦将 H-Deformable-DETR 与近期代表性 SOTA 方法进行系统级比较,结果如上表。

表中整理单尺度推理的系统级结果,但模型骨干、输入尺寸和训练周期并不完全相同;其中 DINO-DETR 与 H-Deformable-DETR 同为 Swin-L、1333×800 输入和 36 epoch。

在整体比较中,H-Deformable-DETR 在 COCO 验证集上达到 59.4% AP,超越了包含 DINO-DETR 在内的多个强大基线方法。

这个 59.4% AP 的系统也加入了 DINO 的其他增强技巧,不能将它与 DINO-DETR 的差距全归因于混合匹配。混合匹配本身的增益应看上方同设定的 Deformable-DETR 对照;一对一推理分支仍不需 NMS。

消融实验

我们看一下不同混合架构的表现,其他实验请读者自行翻阅原始论文。

这组实验设计时,作者特别做了以下两项设定来确保公平性:

  1. 三种策略皆比基准额外引入 6 倍正样本机会;以每层、每个 epoch 累计的设定比较,相当于合计 7 倍。
  2. 三种策略在训练时皆使用 总计 1800 个查询;Branch 推理只保留其中的 300 个。

此外,表格中亦标注了不同额外注记的数据来源:

  • † 记号:该方法在 训练与推理阶段皆使用 1800 个查询。
  • ♮ 标记:80 分钟的训练时间是在合并两条分支的匹配代价与损失计算后测得;论文仍在 CPU 上运行匈牙利匹配,尚未实现 GPU 版本。

以下是几个关键观察:

  • Hybrid Branch 在表列准确率与成本之间较为均衡:

    • 36 epoch 时为 48.0 AP,与 Hybrid Layer 同分;24 epoch 时 Hybrid Layer 的 47.9 高于 Branch 的 47.6。
    • 优化实现的平均训练时间为 80 分钟,比 1800 查询基准的 75 分钟约多 7%,比 300 查询基准的 65 分钟约多 23%。
    • 推理维持 268 GFLOPs、6.7 FPS;两个单组 1800 查询变体为 282 GFLOPs、6.3 FPS。此表未列内存成本。
  • Hybrid Epoch 在这组设定下平均训练时间为 95 分钟、36 epoch 为 47.9 AP;表格没有单独量测切换匹配策略造成多少时间差。

  • Hybrid Layer 在 36 epoch 同样得到 48.0 AP,但平均训练时间为 100 分钟,推理为 6.3 FPS;不能说它的准确率整体低于 Branch。

结论

DETR 的关键创新在于将目标检测转化为查询匹配问题,虽简化了推理流程,却也导致训练效率低落。

H-DETR 精准地针对这个问题提出修补:通过训练端引入一对多监督,提升学习效率,同时保留一对一推理的语义一致性与架构简洁性。这种设计具备三大工程优势:推理分支无需改动、训练成本可量化、模块化便于集成;迁移到其他使用查询机制的任务仍须按具体任务验证。