TOOD: Task-aligned One-stage Object Detection
- 发表版本
- ICCV 2021会议
- arXiv 首次提交
- arXiv:2108.07755
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{objectdetectiontood2021,
title = {{TOOD: Task-aligned One-stage Object Detection}},
author = {Chengjian Feng and Yujie Zhong and Yu Gao and Matthew R. Scott and Weilin Huang},
year = {2021},
eprint = {2108.07755},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2108.07755}
}
延续 ATSS 的思路,我们继续探索后续的研究。
定义问题
目标检测是什么?相信大家也可以朗朗上口。
它分为两个子任务:
- 分类 (Classification):找出目标最具辨识度的部分,回答「这是什么」。
- 定位 (Localization):精准描绘整个边界,回答「它在哪里」。
问题在于,这两个任务天生带有矛盾:分类偏重局部显著特征,而定位需要整体轮廓。当模型同时优化两者时,所学到的特征分布往往并不一致,导致预测时容易「各说各话」。
近年单阶段检测器(one-stage detectors)尝试用「中心假设」来统一两者。
- FCOS、ATSS:通过 centerness 分支,让中心附近的 anchor 分数更高,定位损失权重更大。
- FoveaBox:干脆将中心区域定义为正样本。
这些设计确实提升了效果,但依然留下两个核心隐忧:
-
任务独立:
现有方法大多维持「双分支架构」:一个分支管分类,另一个分支管定位。
结果是两个任务之间缺乏交流,可能出现这样的情况:
- 分类分支说「这是一张餐桌」!
- 定位分支却更准确地框出了一个披萨。
两者各自正确,但组合起来却错了。
-
样本分配失灵:
传统 anchor-based 用 IoU 门槛决定正负样本;anchor-free 则依据几何规则(如中心区域)。
这些策略都隐含一个假设:
分类与定位能共用同一组样本。
但事实上,最适合分类的点与最适合定位的点往往不重叠。
以下图为例:
看起来最佳的定位框(绿色 patch),但是并不在目标中心,最后反而被一个分类分数较高但框得不准的 anchor(红色 patch)压下,在 NMS 过程中遭到淘汰。
换句话说:分类与定位这两个任务,不仅学习方向不同,就连「应该依赖哪些样本」也不同。
这让我们不得不问:
- 既然两者天生不一致,是否还能让它们真正协调?
- 在同一个 anchor 上,能否同时得到「最准的分数」与「最准的框」?
还是说,我们一直以来的设计,其实从根本上就错了?
解决问题
TOOD 的架构我们跟着作者提供的示意图走一次。
在传统做法中,FPN 输出后直接分成两条支流,各自预测分类与定位。结果就是,我们常常得到一个分数很高却框不准的预测,或是一个框很准但分数不够高、在 NMS 里被淹没的预测。
这里作者的想法很直接:在预测端显式地把这两个分支进行「对齐」。
任务互动特征
设 FPN 特征为 。
TOOD 不再一开始就切分支,而是先用一条「共享干道」把特征表示进行转换。
我们连续叠上 个卷积层(每层后接 ReLU),得到一叠具有不同有效感受野的任务互动特征 :
这一步的目的,是让分类与定位先利用同一组互动特征,以及不同层次的有效感受野,而不是各自为政。
TAP 的层级注意力
但是共享会带来摩擦:分类与定位偏好的层次其实不同。
于是我们在共享之后,用 Task-Aligned Predictor(TAP) 做一个「分工」。
做法是从 里学一个层级注意力 ,去决定「对某个任务而言,哪几层更该被强调」。
先把 串接后做全域平均池化得到 ,再经两层全连接与 Sigmoid:
对于「分类」或「定位」其中一个任务,对第 层特征做元素级缩放:
把所有 串接成 ,再经 降维与卷积得到该任务的预测张量:
由此,我们取得分类机率图 (Sigmoid 后)与边界回归 。
定位分支先采 FCOS/ATSS 的「到边界距离」表示 ,再转成方框 。
若特征点(经步长换算)对应到图像座标 ,则重建方框为:。
到这里,分类与定位还在同一条特征上彼此分享信息,但也各自拿到了自己偏好的层次。
显式对齐: 与
只共享还不够,作者要在输出端把两个任务真正扣在一起。
首先,对齐分类。
从共享的 再学一张空间机率图 :
把它和分类机率 做几何平均,得到对齐后的分类输出:
直觉是: 从共享特征学习这个位置上两个任务的相容程度。
用几何平均而不是加权相加,能避免一方(例如极端高的 或 )单独主导。
其二,对齐定位。
定位更直接:我们让每条边都能从附近的预测位置取值。
从 学一组位移图 ,对四条边各给一对 位移,然后在 上做双线性取样:
意思是:上、下、左、右四个边,各自通过学得的位移,在附近的方框预测上做双线性取样;四条边不必勉强用同一个点。作者借此寻找各边较准确的预测,并对齐分类与定位的空间分布。
最后,还差最后一个部分:怎么让模型习惯这种对齐?
TOOD 设计了一把简单的「刻度尺」 ,测量同一个 anchor 的分类分数 与定位质量(IoU) 是否同时优秀:
控制两任务的相对重要性。
这把刻度尺有个关键特性:只要其中一边不好, 就上不去。
作者把它放进两个地方:样本指派与损失加权。
任务对齐的样本指派
对每个真值目标,计算所有候选 anchor 的 ,取 前 大作为正样本,其余为负样本。
这一步把「两任务一致」直接写进了谁能当正样本的规则里。
从此以后,模型主要从那些「分高且框准」的例子学,学习方向自然被拉向对齐。
损失设计
直接把 当软标签会有数值稳定问题( 大时 会很小)。
因此,作者在论文中采实例级归一化:把同一个目标内的 缩放到一个合理的范围,且保留不同目标之间「定位谁更准」的相对关系。
做法是令同一实例内的最大 等于该实例的最大 IoU:
这样可避免「困难目标」(整体 都偏小)的软标签随之过小,同时保留以最大 IoU 表示的实例间定位质量差异。
-
分类损失
把正样本的 BCE 标签由 1 换成 ,并加入类似 Focal 的难例调节( 为指数):
当正样本的分类分数与软标签落差越大( 大),权重越高;负样本里分数低者被抑制,把焦点放在难负例。
-
定位损失
对正样本,用 当权重聚焦在高质量的框上,以下以 GIoU 为例:
论文中的总损失为两者相加:
这套指派、加权机制,就是 Task Alignment Learning(TAL)。
讨论
以下实验使用论文所述的 MS COCO 2017 数据:
论文将训练与消融切分分别记为 trainval135k(115K) 和 minival(5K),最后在 test-dev 报主结果;度量是 COCO AP。其中 trainval135k 与 minival 是论文原文的切分名称。
模型架构一律是 Backbone → FPN → Head,用 单一 anchor/位置(和 ATSS 一样),预训练主干包含 ResNet-50/101、ResNeXt-101-64×4d。T-head 的互动层数设为 ,分类的焦点参数 。
T-head 值不值得换?
作者先把 传统平行双头 换成 T-head,在多个一阶段底座上比较。
结果很明显:T-head 在更少参数与 FLOPs 下,带来约 +0.7 到 +1.9 AP 的稳定提升。
这一张表要读到两层意思:
- 单用 互动共享 → 层级分工 → 输出端对齐 的头部设计,就能带来提升。
- 提升是一致而非偶发,显示这个「先互动、再对齐」的方法具有可迁移性。
TAL 效果测试
接着是样本指派的部分,作者测试固定式(几何/IoU 规则)与 自适应式(学习式)方法。
TAL 的做法是用:。
这把刻度同时决定 正负指派(Top-)与 正样本权重 。
在 12 epoch 的比较中,TAL 得到 40.3 AP,高于 ATSS 的 39.2;18 epoch 时,TAL 的 40.9 AP 与 PAA + IoU pred. 持平。表中的 TAL + TAP 会从最后的 head tower 特征对齐预测,18 epoch 得到 42.5 AP;这一列并非直接换上完整 T-head。
完整体 TOOD
当 T-head + TAL 一起上场,作者同时验证 anchor-free 与 anchor-based 两个版本:42.5 AP vs. 42.4 AP,几乎一样好。
和同类型的 ATSS 相比,anchor-free 版本提升 3.3 AP、anchor-based 版本提升 3.1 AP;在 AP 指标上,分别提升 4.2 与 3.3 个百分点。这个结果与方法论强调的方向一致:
- 当分数对齐定位,框的质量会更好。
此外,TOOD 的总提升(+3.3 AP)大于「T-head + ATSS」(+1.9)与「Parallel head + TAL」(+1.1)两者的相加。换句话说,头的互动/对齐 和 TAL 的学习规则 在这组消融中呈现互补效果。
和 SOTA 比较
在 test-dev、单模型单尺度测试、2× schedule(24 epochs)、scale jitter 480–800 的共同规格下:
- ResNet-101:46.7 AP;ResNeXt-101-64×4d:48.3 AP。
- 在相同主干下,相比 ATSS 分别高 3.1 与 2.7 AP;ResNet-101 的 GFL 为 45.0 AP,比 TOOD 低 1.7 AP。表中 ResNeXt 主干的 GFL 使用 32×4d,不能直接视为相同主干比较。
更有意思的是论文把 DCN 放在 head 塔的前两层,TOOD 的提升是 (+2.8 AP),而 ATSS 是 (+2.1 AP)。
这组结果显示,TOOD 在该设定下也能受益于 DCN;单凭这张表,尚不能将较大的增益全归因于对齐设计。
「对齐」真的发生了吗?
作者做了两个量化观察:
-
不做 NMS 的情况下,针对每个实例取 前 50 个分类最有信心的预测,分别对「分类排名」与「定位排名」计算 PCC(皮尔森相关系数),同时计算 前 10 名的 IoU 均值。
实验结果显示:加了 T-head 与 TAL 之后,PCC 与 IoU 都上升,代表「分高」与「框准」变得更同步。
-
做了 NMS 后统计 正确框(IoU≥0.5)/ 冗余框(IoU≥0.5)/ 错误框(0.1<IoU<0.5) 的数量:正确框增加、冗余/错误显著下降。
最后把这些「对齐度」的指标和 AP 放在一起看,总增益 约 +3.3 AP。
错位如何被改善?
最后,作者给了一组可视化例子:传统方法里,中心附近可能有高分却不准的框,真正准的框反而分数较低;TOOD 之后,图中多个例子的高分框与准确框更接近。这与 调整分类分数、 分别调整四条边,以及 TAL 促进任务对齐的整体设计相符;图本身不能单独区分各元件的贡献。
结论
TOOD 把长久存在的分类与定位的错位问题,以一条干净俐落的路径加以解决:
先在 T-head 中让两个任务共享视野,再通过层级注意力完成分工。最后以 (分类对齐)与 (定位对齐)将输出紧密扣合,并借由 将「样本指派」与「损失设计」统合起来,迫使模型养成「分数高=框要准」的习惯。
这样的设计不仅在 COCO 上达到 51.1 AP(DCN 设定),更在 AP 等严苛指标上展现明显提升,印证了本文的主张:
- 对齐,会换来更准的框。
然而,它也带来一些代价:分支与双线性取样让实现稍显复杂,超参数虽具有明确含义却仍需依数据分布调整,而在小目标密集或高噪环境下,Top- 的指派也可能陷入局部最优。此外,当任务扩展至 segmentation 或 pose 时,如何在「共享与分工」间保持平衡,仍是需要进一步思考的挑战。
在影响层面上,TOOD 与同时期的 OTA/SimOTA 一起,把「分数 × 定位质量」奠定为正样本指派的主流语法,并推动质量感知分类在一阶段检测器中成为标配。它提出的「先共享、后分工」设计也被不少框架吸收,与 DCN、可学位移结合的设计,在 TOOD 之后找到了更精准的应用场景。
现在(2025 年),它依然在产线与开源框架里作为基础设施存在,Task-Aligned 的指派与加权已经是许多模型不可或缺的选项,而其设计哲学更渗透进各式 YOLO 与一阶段器的演进中。即便在 DETR 类的集合匹配逐渐成熟的今天,TOOD 的对齐思路依旧是高效且稳健的工程解法。