End-to-End Object Detection with Transformers
- 发表版本
- ECCV 2020会议
- arXiv 首次提交
- arXiv:2005.12872
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{objectdetectiondetr2020,
title = {{End-to-End Object Detection with Transformers}},
author = {Nicolas Carion and Francisco Massa and Gabriel Synnaeve and Nicolas Usunier and Alexander Kirillov and Sergey Zagoruyko},
year = {2020},
eprint = {2005.12872},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2005.12872}
}
目标检测一直都是计算机视觉领域的核心任务。
定义问题
在目标检测领域,基于锚框的方法长期很常见。Faster R-CNN 从候选区域出发,SSD 和不少 YOLO 变体则使用预定义锚框或网格位置,再据此预测类别和边界框。
这样的设计虽然有效,却也引入了不少问题:
- 锚点的尺寸与比例需依据数据集特性手动设计,通用性有限。
- 每个位置对应多组锚点,导致大量重复预测,需要依赖 NMS 来过滤。
- 框与真实标注的对齐过程繁琐,训练流程高度耦合。
觉得不好用?
那我们不用锚点行不行?
也不是不行,anchor-free 的架构也为此而生。
但是实际上的场景中,人们除了准确,还是要准确!使用者通常可以忍受慢一点(反正也就差几秒);系统可以复杂一点(反正是工程师在忙)。
但是模型不准确,我就要投诉你!
不过,仅仅去掉锚框,并不能解决「哪个预测对应哪个目标」的问题。
话又说回来,在此时此刻的同一个时间线中,隔壁棚(NLP)的已经如火如荼的推进着最新的 Transformer 架构,并且取得很多显著的进步成果。
本论文的作者觉得:
我们为什么不舍弃这些繁复的机制,大家一起来 Transformer 一下呢?
解决问题
整体架构如论文如上图所示,由三个部分组成:
- CNN backbone:从输入图像提取特征图。
- Transformer encoder-decoder:建模图像整体上下文与目标间关系。
- Prediction Head(FFN):输出 box 与 class。
模型架构
首先看 Backbone 的部分。
Backbone 输入图像 经由 CNN backbone 输出 (如 ResNet50,通常 ,、)。
通过 卷积将 channel 降至 维(如 ),得到特征图 ,接着 flatten 成序列长度 的向量送进 Transformer encoder。
Transformer Encoder 就是常见的标准结构,每层包含 MHSA + FFN。此外,由于 transformer 的 token 之间没有明确的位置关系,作者使用固定的二维 sine/cosine 空间位置编码,并在各层注意力中加入位置信息。
接着是 Transformer Decoder 的部分,同步输出 个预测插槽;这里不采用自回归机制,而是通过 self-attention 建模插槽之间的关系,再并行生成集合预测。
每个输出位置对应一组 learnable 的 object query(),让多层 decoder 通过 self-attention 与 encoder-decoder attention,让 object query 彼此间互相沟通,也与图像特征对齐,借此让模型具备跨目标全局推理能力(例如同时考量目标的相对关系与整体分布)。
最后是预测头的部分,每个 decoder 输出的 个插槽共用预测参数:分类使用线性层,方边界框回归使用 3 层前馈网路,输出:
- 类别(softmax over K+1,其中 +1 是 "no object" 类别)。
- 边界框坐标(normalized 的中心点、长宽)。
这里预测的是一组「固定长度的候选框集合」,非传统 dense grid 或 anchor 框,因此可用集合损失来训练。
损失设计
过去目标检测的训练流程,几乎都绕不开「预测框要对齐哪个 ground truth?」这个问题。
像是 Faster R-CNN 使用 IoU > 0.5 的 proposal 才算 positive,YOLO 系列会先找出 anchor 框中最接近的对象,这些都算是「启发式规则(heuristic assignment)」,目的就是:把预测结果对齐真实标注,才有办法训练分类与回归。
而 DETR 则干脆把这件事视为一个优化问题:直接用 Hungarian Algorithm 做最佳配对,让每个真实目标只对应一个预测,其余插槽学习「no object」,从训练上抑制重复预测,省去 NMS。
- Step 1:最佳匹配(Bipartite Matching)
假设:
- 是 ground truth 目标集合。其中每个 ,含类别与 bounding box。
- 是 decoder 输出的预测集合,其中 ,且
为了做集合比对,作者把 补上 个 "no object"(记作 ),让两组集合一样长,然后设计一个匹配成本函数 ,计算预测与真值之间的误差:
这里的 是 个预测的排列组合,目的就是在找最好的「一对一」对齐方式。
-
Step 2:定义匹配成本
每一对 和预测 的成本由两部分构成:
- 分类误差(classification cost):预测类别 越小,成本越大
- 边界框误差(box cost):预测框 与真实框 差距越大,成本越大
但要注意:只有当 时才需要这两项损失,也就是对应到有目标的情况。
综合起来:
这里没有使用 log 概率,作者表示这让分类项与 box loss 的尺度较相当,且在实验中表现较好。
-
Step 3:计算最终损失(Hungarian Loss)
完成匹配后,就可以计算 loss 了:
- 第一项是分类 loss:对应目标的类别概率越低,loss 越大
- 第二项是 box loss(见下节)
- 若 ,表示这是个背景,作者会将分类 loss 乘上 0.1 做 down-weight,避免背景样本太多压过有目标的信号(类似 Faster R-CNN 的 subsampling)。
-
Step 4:Box Loss 设计()
DETR 不依锚框或 proposal 预测相对偏移量,而是直接预测相对于图像尺寸归一化的 bounding box 坐标。这种设计简单,但会导致一个问题:
由于 loss 衡量的是坐标的绝对差距,相对误差相同时,不同尺寸方框的损失尺度仍不同;大框的坐标差距通常较大。
为了解决这个问题,作者结合了两种损失函数:
- loss:直接计算坐标差距,对于位置精度有帮助
- Generalized IoU(GIoU)loss:量化框之间的重叠程度,且具有尺度不变性
合并公式如下:
- 与 为权重超参数,需调参。
- 所有 loss 都会除以 batch 内目标总数作 normalization。
最后,总结一下这套损失设计的几个重点:
- 一对一匹配:每个真实目标只配对一个预测,训练时抑制重复框,推理不需 NMS
- 背景处理简洁:用 类别处理背景,无需 dense negative sampling
- GIoU + 的组合:同时平衡位置与重叠度的学习
这也是为什么 DETR 虽然在架构上看似简单,但在训练流程中能够真正实现 end-to-end 目标检测的核心关键。
数据集
本研究在 COCO 2017 数据集上进行实验,目标检测使用约 118,000 张训练图像与 5,000 张验证图像;全景分割是模型的扩展任务,使用对应的全景标注。
图像中平均包含 7 个目标实例,最大可达 63 个,目标尺寸变化大,小目标与大目标并存,是极具挑战性的设置。
模型表现以 Average Precision(AP)为主指标,默认计算方式为边界框 AP。在与 Faster R-CNN 比较时,作者使用训练最后一个 epoch 的验证结果;若为消融实验,则报告最后 10 个 epoch 的中位数。
技术细节
模型训练采用 AdamW 优化器,Transformer 的初始学习率为 1e‑4,backbone 则为 1e‑5,权重衰减设为 1e‑4。主实验训练 500 epoch,消融实验为 300 epoch。
Transformer 的权重经 Xavier 初始化,backbone 采用 ImageNet 预训练的 ResNet 模型,并冻结 BatchNorm 层。
作者评估了多种 backbone 组合,包括标准的 ResNet‑50(DETR)与 ResNet‑101(DETR‑R101),以及在最后一层加入 dilation、放大特征分辨率的 DC5 变体(DETR‑DC5 与 DETR‑DC5‑R101)。DC5 设计能提升小目标检测表现,但 encoder 中的自注意力计算量亦相对提升 16 倍,整体 FLOPs 约增加 2 倍。
训练时使用多尺度增强策略,将图像最短边缩放至 480–800 像素之间,最长边不超过 1333 像素。为了增强模型的全局关联学习能力,训练时额外采用随机裁剪增强(以 0.5 概率裁切随机区块再缩放回原尺度),实验显示可额外提升约 1 AP。
此外,推理阶段为了优化 AP,作者对于最高分为「no object」的插槽改采第二高分类别及其置信度分数;相较于直接过滤这些插槽,论文报告约 2 AP 的提升。整体训练使用 dropout 0.1,其他超参数细节可参考论文附录 A.4。
讨论
这次行吗?
小目标明显落后:若比较 ResNet-101,Faster R-CNN-R101-FPN+ 的 为 27.2,DETR-DC5-R101 为 23.7;若比较 ResNet-50,两者则是 26.6 与 20.5。但整体看起来似乎还行。
如果我们仔细比对 DETR 与 Faster R-CNN 的训练条件与模型表现,可以观察到几个关键点:
-
训练策略的根本差异
DETR 采用 Transformer 架构,以 AdamW 训练,并使用较长的训练排程与 dropout;论文提到 Transformer 通常也会采用 Adam 或 Adagrad。
而传统的 Faster R-CNN 通常使用 SGD 搭配较保守的数据增强策略。在设计上,两者的方向截然不同。
-
为公平比较所做的调整
为了让 Faster R-CNN 能在对等条件下竞争,作者对其进行了几项强化,包括:
- 在 box loss 中加入 generalized IoU;
- 套用与 DETR 相同的随机裁切数据增强;
- 将训练周期延长至 9×(109 个 epoch)。
这些调整整体带来约 1–2 AP 的提升;Faster R-CNN+ 使用 109 epoch,DETR 主比较则使用 500 epoch,因此两者并非训练周期相同的比较。
-
模型设计与参数量对齐
DETR 采用 6 层 encoder + 6 层 decoder、宽度 256、8-heads 的设置,总参数数量与 Faster R-CNN + FPN 接近,约 41.3M,其中 ResNet-50 占 23.5M,Transformer 占 17.8M。这只对齐了参数量,不能等同训练与计算成本都相同。
-
实验结果与关键观察
- 总体表现:ResNet-50 DETR 在 COCO val 集合上达到 42.0 AP,与 Faster R-CNN-FPN+ 相同。
- 大目标表现():同组比较中 DETR 为 61.1、Faster R-CNN-FPN+ 为 53.4,约高 7.7 个百分点;论文正文将差距记为 7.8。
- 小目标表现():DETR 为 20.5、Faster R-CNN-FPN+ 为 26.6,低 6.1 个百分点;论文正文记为 -5.5,与表格数值不符。
- 分辨率强化版本(DETR-DC5):尽管总体 AP 更高,但在小目标检测上仍未能超越 Faster R-CNN。
- 不同 backbone 的影响:若使用 ResNet-101 作为 backbone,两种模型的趋势仍大致一致,显示这种比较具备跨架构的一致性。
整体来看,DETR 在长训练与高解析设置下,的确能在参数数量相近的条件下与 Faster R-CNN 一较高下。
但其对小目标的辨识仍明显落后;原论文未把落后完全归因于全图注意力或分辨率,这也为后续架构(如 Deformable DETR)留下了优化空间。
模型组件分析
作者详细地探讨了 DETR 架构中各个组件的重要性:
-
编码器层数的影响
若将 encoder 拿掉,模型将失去图像层级的 global self-attention;在 300 epoch 的消融设置中,6 层基准的 40.6 AP 降至 36.7, 从 60.2 降至 54.2。
作者推测 encoder 的全局信息有助于区分场景中的目标。下方是最后一层 encoder 的注意力权重示例,可见某些参考点的注意力落在个别实例上。
-
解码器层数与 NMS 的关系
DETR 解码器具备逐层辅助 supervision 设计,每一层都被训练为可产生目标预测。图中的长排程模型显示,AP 随着层数递增而上升,第一层与最后一层之间相差 +8.2(AP)/+9.5()。
然而,初始几层因为缺乏上下文交互,会出现重复预测的情况。若在第一层之后施加传统的 NMS,可以明显改善这种重复预测。但随着层数加深,模型已能自行抑制重复目标,NMS 的效益逐渐消失,甚至在最终层还可能错删 true positive 而损失 AP。
从注意力可视化来看,decoder 的 attention 相对局部,常聚焦在目标的 extremities(如头部、脚部)。作者据此推测,encoder 先利用全局信息区分实例,decoder 再使用有助于分类与定位的局部特征。
-
FFN 在 Transformer 中的角色
每层 Transformer block 中的前馈网路(FFN)可视为 channel-wise 的 1×1 卷积。若将其整体移除,只保留 attention 机制,论文表述的整体模型参数量从 41.3M 降到 28.7M。
然而,这样会导致 AP 下滑 2.3 点,显示 FFN 虽然结构简单,仍对模型表现有实质贡献。
-
位置编码的设计与替代实验
DETR 采用两种位置编码机制:
- 空间位置编码(spatial positional encoding):输入图像的位置信息。
- 输出位置编码(output positional encoding):object query 的嵌入向量。
输出编码为必要条件,无法移除;空间编码则进行了数种替代试验:
- 完全移除空间位置编码:AP 下降 7.8,模型仍能达到 32+,显示其具备一定容错性。
- 固定正弦编码若只在输入加入,AP 下降 1.4;学习型编码在各层 attention 加入,AP 下降 1.0。
- 只在 encoder 中省略空间编码:AP 损失 1.3;与全部移除的 7.8 相比,decoder 的空间位置信息在此消融中影响较大。
这些结果显示,尽管 transformer 天生与序列结构相容,但在图像任务中,明确的空间提示对目标位置与边界的学习仍然不可或缺。
-
损失函数的贡献拆解
DETR 的训练损失由三部分构成:
- 类别分类损失(classification loss)
- 边界框距离损失(L1 loss)
- 广义 IoU 损失(GIoU loss)
分类损失为必要条件,无法关闭。作者进一步测试「关闭 L1」、「关闭 GIoU」的情况。结果显示:
- 分类加 GIoU、不加 L1 得到 39.9 AP,比完整损失的 40.6 低 0.7;
- 分类加 L1、不加 GIoU 则为 35.8 AP,低 4.8;
综合两者的设计仍是最稳定配置。
这也验证了 DETR 损失设计的一个核心理念:与其设计复杂的后处理流程,不如在 cost 计算与 loss 回传阶段就纳入空间与语意双重衡量。
模型行为分析
在上图中,作者可视化了 COCO 2017 验证集上所有图像的预测结果,展示 100 个 object query slot 中的 20 个,统计它们所预测的所有框的位置与尺寸分布。
每个预测框以其中心坐标在 [0, 1] × [0, 1] 的空间中表示,并依框形状进行颜色编码:绿色代表小框、红色代表大型横向框、蓝色代表大型直向框。
结果显示,每个 slot 并非毫无区别地分工,而是自然发展出数种偏好模式:
- 有些 slot 专注于画面特定区域(如左上角、中央),
- 有些则倾向预测特定尺度或形状的框,
- 几乎所有 slot 都具备一个「预测接近整张图像大小框」的模式;作者推测这与 COCO 的目标分布有关。
这种空间与尺度上的分工并非通过明确的插槽位置标注给定,而是在训练后的预测分布中观察到;作者将其解读为 query slot 学出了不同偏好。
它不靠 anchor 或 region proposal,就能让每个 query slot 分别「关注」特定的场景区域或目标尺度,这是 set-based 方法一个独特的行为。
对未见过目标数量的泛化能力
COCO 中大多数图像的同类目标数量相对有限,例如训练集中从未出现过超过 13 只长颈鹿同时出现的情境。为了测试 DETR 是否对这类极端条件能保持泛化能力,作者建构了一张合成图像,放置了 24 只长颈鹿。
结果显示,DETR 在这张合成图中辨识出了全部 24 只实例,这是一个 out-of-distribution 的示例,支持以下观察:
- DETR 的 object query 并未针对特定类别硬编码;
- 模型整体运作方式并不是「将类别与插槽绑定」,而是以图像为整体依据进行 query-to-object 的自由分配。
这也呼应先前的设计哲学:object query 并非从一开始就与特定类别绑定。这张合成图支持它对 24 个同类实例的泛化能力,但单一示例无法证明对所有类别与任意目标数量都能维持相同表现。
结论
没有任何技术是完美的。
DETR 在小目标检测上的确存在明显瓶颈,这点从实验数据与可视化分析中皆可确认。即便经过长时间训练与分辨率提升,其在 指标上仍落后于传统方法。与已发展多年、工程优化成熟的 Faster R-CNN 相比,DETR 在部分场景下仅能达到相当水平,这也提醒我们,它目前尚非在所有任务中的万用解法。
但 DETR 的价值不是在于「表现超越」,而在于它所开启的思路与架构可能性。
这项工作有力地展示了 Transformer 架构也能在目标检测中取得有竞争力的表现,并以集合预测与匈牙利匹配取代了标准检测流程中的 anchor、proposal 和 NMS。CNN 图像特征经过 Transformer 并行解码,直接得到预测集合;这种端到端设计让原本繁琐的流程变得清晰,也为后续扩展留下空间。
基于这个架构的后续论文至少可以找出一百篇,这绝对是值得多读几次的经典论文。