返回论文笔记资料库
arXiv 2021ICCV 2021目标检测论文笔记

TOOD

错位的终结

原始论文

TOOD: Task-aligned One-stage Object Detection

论文作者

Chengjian Feng · Yujie Zhong · Yu Gao · Matthew R. Scott · Weilin Huang

发表版本
ICCV 2021会议
arXiv 首次提交
arXiv:2108.07755
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{objectdetectiontood2021,
  title = {{TOOD: Task-aligned One-stage Object Detection}},
  author = {Chengjian Feng and Yujie Zhong and Yu Gao and Matthew R. Scott and Weilin Huang},
  year = {2021},
  eprint = {2108.07755},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2108.07755}
}
本页内容

延续 ATSS 的思路,我们继续探索后续的研究。

定义问题

目标检测是什么?相信大家也可以朗朗上口。

它分为两个子任务:

  • 分类 (Classification):找出目标最具辨识度的部分,回答「这是什么」。
  • 定位 (Localization):精准描绘整个边界,回答「它在哪里」。

问题在于,这两个任务天生带有矛盾:分类偏重局部显著特征,而定位需要整体轮廓。当模型同时优化两者时,所学到的特征分布往往并不一致,导致预测时容易「各说各话」。

近年单阶段检测器(one-stage detectors)尝试用「中心假设」来统一两者。

  • FCOS、ATSS:通过 centerness 分支,让中心附近的 anchor 分数更高,定位损失权重更大。
  • FoveaBox:干脆将中心区域定义为正样本。

这些设计确实提升了效果,但依然留下两个核心隐忧:

  1. 任务独立:

    现有方法大多维持「双分支架构」:一个分支管分类,另一个分支管定位。

    结果是两个任务之间缺乏交流,可能出现这样的情况:

    • 分类分支说「这是一张餐桌」!
    • 定位分支却更准确地框出了一个披萨。

    两者各自正确,但组合起来却错了。

  2. 样本分配失灵:

    传统 anchor-based 用 IoU 门槛决定正负样本;anchor-free 则依据几何规则(如中心区域)。

    这些策略都隐含一个假设:

    分类与定位能共用同一组样本。

    但事实上,最适合分类的点与最适合定位的点往往不重叠。

    以下图为例:

    看起来最佳的定位框(绿色 patch),但是并不在目标中心,最后反而被一个分类分数较高但框得不准的 anchor(红色 patch)压下,在 NMS 过程中遭到淘汰。

换句话说:分类与定位这两个任务,不仅学习方向不同,就连「应该依赖哪些样本」也不同。

这让我们不得不问:

  • 既然两者天生不一致,是否还能让它们真正协调?
  • 在同一个 anchor 上,能否同时得到「最准的分数」与「最准的框」?

还是说,我们一直以来的设计,其实从根本上就错了?

解决问题

TOOD 的架构我们跟着作者提供的示意图走一次。

在传统做法中,FPN 输出后直接分成两条支流,各自预测分类与定位。结果就是,我们常常得到一个分数很高却框不准的预测,或是一个框很准但分数不够高、在 NMS 里被淹没的预测。

这里作者的想法很直接:在预测端显式地把这两个分支进行「对齐」。

任务互动特征

设 FPN 特征为 Xfpn∈RH×W×CX^{fpn}\in\mathbb{R}^{H\times W\times C}。

TOOD 不再一开始就切分支,而是先用一条「共享干道」把特征表示进行转换。

我们连续叠上 NN 个卷积层(每层后接 ReLU),得到一叠具有不同有效感受野的任务互动特征 {Xkinter}k=1N\{X^{inter}_k\}_{k=1}^N:

Xkinter={δ ⁣(convk(Xfpn)),k=1δ ⁣(convk(Xk−1inter)),k>1X^{inter}_k= \begin{cases} \delta\!\big(\mathrm{conv}_k(X^{fpn})\big), & k=1\\\\ \delta\!\big(\mathrm{conv}_k(X^{inter}_{k-1})\big), & k>1 \end{cases}

这一步的目的,是让分类与定位先利用同一组互动特征,以及不同层次的有效感受野,而不是各自为政。

TAP 的层级注意力

但是共享会带来摩擦:分类与定位偏好的层次其实不同。

于是我们在共享之后,用 Task-Aligned Predictor(TAP) 做一个「分工」。

做法是从 {Xkinter}\{X^{inter}_k\} 里学一个层级注意力 w∈RNw\in\mathbb{R}^N,去决定「对某个任务而言,哪几层更该被强调」。

先把 {Xkinter}\{X^{inter}_k\} 串接后做全域平均池化得到 xinterx^{inter},再经两层全连接与 Sigmoid:

w=σ ⁣(fc2(δ(fc1(xinter)))) .w=\sigma\!\Big(\mathrm{fc}_2\big(\delta(\mathrm{fc}_1(x^{inter}))\big)\Big)\, .

对于「分类」或「定位」其中一个任务,对第 kk 层特征做元素级缩放:

Xktask=wk⋅Xkinter(k=1,…,N) ,X^{task}_k = w_k \cdot X^{inter}_k \quad (k=1,\dots,N)\, ,

把所有 XktaskX^{task}_k 串接成 XtaskX^{task},再经 1 ⁣× ⁣11\!\times\!1 降维与卷积得到该任务的预测张量:

Ztask=conv2 ⁣(δ(conv1(Xtask))) .Z^{task}=\mathrm{conv}_2\!\big(\delta(\mathrm{conv}_1(X^{task}))\big)\, .

由此,我们取得分类机率图 P∈RH×W×CclsP\in\mathbb{R}^{H\times W\times C_{\text{cls}}}(Sigmoid 后)与边界回归 B∈RH×W×4B\in\mathbb{R}^{H\times W\times 4}。

定位分支先采 FCOS/ATSS 的「到边界距离」表示 (l,t,r,b)(l,t,r,b),再转成方框 BB。

若特征点(经步长换算)对应到图像座标 (x,y)(x,y),则重建方框为:(x−l,  y−t,  x+r,  y+b)(x-l,\;y-t,\;x+r,\;y+b)。

到这里,分类与定位还在同一条特征上彼此分享信息,但也各自拿到了自己偏好的层次。

显式对齐:MM 与 OO

只共享还不够,作者要在输出端把两个任务真正扣在一起。

首先,对齐分类。

从共享的 XinterX^{inter} 再学一张空间机率图 M∈RH×W×1M\in\mathbb{R}^{H\times W\times 1}:

M=σ ⁣(conv2(δ(conv1(Xinter)))) .M=\sigma\!\big(\mathrm{conv}_2(\delta(\mathrm{conv}_1(X^{inter})))\big)\, .

把它和分类机率 PP 做几何平均,得到对齐后的分类输出:

Palign=P×M .P^{align}=\sqrt{P\times M}\, .

直觉是:MM 从共享特征学习这个位置上两个任务的相容程度。

用几何平均而不是加权相加,能避免一方(例如极端高的 PP 或 MM)单独主导。


其二,对齐定位。

定位更直接:我们让每条边都能从附近的预测位置取值。

从 XinterX^{inter} 学一组位移图 O∈RH×W×8O\in\mathbb{R}^{H\times W\times 8},对四条边各给一对 (Δi,Δj)(\Delta i,\Delta j) 位移,然后在 BB 上做双线性取样:

Balign(i,j,c)=B ⁣(i+O(i,j,2c),  j+O(i,j,2c+1),  c),c∈{0,1,2,3} .B^{align}(i,j,c)=B\!\big(i+O(i,j,2c),\;j+O(i,j,2c+1),\;c\big),\quad c\in\{0,1,2,3\}\, .

意思是:上、下、左、右四个边,各自通过学得的位移,在附近的方框预测上做双线性取样;四条边不必勉强用同一个点。作者借此寻找各边较准确的预测,并对齐分类与定位的空间分布。

最后,还差最后一个部分:怎么让模型习惯这种对齐?

TOOD 设计了一把简单的「刻度尺」 tt,测量同一个 anchor 的分类分数 ss 与定位质量(IoU) uu 是否同时优秀:

t=sα uβ .t = s^{\alpha} \, u^{\beta}\, .

α,β\alpha,\beta 控制两任务的相对重要性。

这把刻度尺有个关键特性:只要其中一边不好,tt 就上不去。

作者把它放进两个地方:样本指派与损失加权。

任务对齐的样本指派

对每个真值目标,计算所有候选 anchor 的 tt,取 前 mm 大作为正样本,其余为负样本。

这一步把「两任务一致」直接写进了谁能当正样本的规则里。

从此以后,模型主要从那些「分高且框准」的例子学,学习方向自然被拉向对齐。

损失设计

直接把 tt 当软标签会有数值稳定问题(α,β\alpha,\beta 大时 tt 会很小)。

因此,作者在论文中采实例级归一化:把同一个目标内的 tt 缩放到一个合理的范围,且保留不同目标之间「定位谁更准」的相对关系。

做法是令同一实例内的最大 t^\hat t 等于该实例的最大 IoU:

t^i  =  ti⋅umax⁡tmax⁡ ,umax⁡=max⁡kuk,  tmax⁡=max⁡ktk .\hat t_i \;=\; t_i \cdot \frac{u_{\max}}{t_{\max}}\, ,\qquad u_{\max}=\max_k u_k,\ \ t_{\max}=\max_k t_k\, .

这样可避免「困难目标」(整体 tt 都偏小)的软标签随之过小,同时保留以最大 IoU 表示的实例间定位质量差异。

  • 分类损失

    把正样本的 BCE 标签由 1 换成 t^i\hat t_i,并加入类似 Focal 的难例调节(γ\gamma 为指数):

    Lcls=∑i=1Npos∣t^i−si∣γ BCE(si,t^i)  +  ∑j=1Nnegsjγ BCE(sj,0) .L_{cls} =\sum_{i=1}^{N_{pos}} \big|\hat t_i - s_i\big|^{\gamma}\,\mathrm{BCE}(s_i,\hat t_i) \;+\; \sum_{j=1}^{N_{neg}} s_j^{\gamma}\,\mathrm{BCE}(s_j,0)\, .

    当正样本的分类分数与软标签落差越大(∣t^i−si∣|\hat t_i-s_i| 大),权重越高;负样本里分数低者被抑制,把焦点放在难负例。

  • 定位损失

    对正样本,用 t^i\hat t_i 当权重聚焦在高质量的框上,以下以 GIoU 为例:

    Lreg=∑i=1Npost^i LGIoU ⁣(bi,bˉi) .L_{reg}=\sum_{i=1}^{N_{pos}} \hat t_i \, \mathrm{L}_{GIoU}\!\big(b_i,\bar b_i\big)\, .

    论文中的总损失为两者相加:

    L=Lcls+Lreg L = L_{cls} + L_{reg}\,

这套指派、加权机制,就是 Task Alignment Learning(TAL)。

讨论

以下实验使用论文所述的 MS COCO 2017 数据:

论文将训练与消融切分分别记为 trainval135k(115K) 和 minival(5K),最后在 test-dev 报主结果;度量是 COCO AP。其中 trainval135k 与 minival 是论文原文的切分名称。

模型架构一律是 Backbone → FPN → Head,用 单一 anchor/位置(和 ATSS 一样),预训练主干包含 ResNet-50/101、ResNeXt-101-64×4d。T-head 的互动层数设为 N=6N=6,分类的焦点参数 γ=2\gamma=2。

T-head 值不值得换?

作者先把 传统平行双头 换成 T-head,在多个一阶段底座上比较。

结果很明显:T-head 在更少参数与 FLOPs 下,带来约 +0.7 到 +1.9 AP 的稳定提升。

这一张表要读到两层意思:

  • 单用 互动共享 → 层级分工 → 输出端对齐 的头部设计,就能带来提升。
  • 提升是一致而非偶发,显示这个「先互动、再对齐」的方法具有可迁移性。

TAL 效果测试

接着是样本指派的部分,作者测试固定式(几何/IoU 规则)与 自适应式(学习式)方法。

TAL 的做法是用:t=sαuβt=s^{\alpha}u^{\beta}。

这把刻度同时决定 正负指派(Top-mm)与 正样本权重 t^\hat t。

在 12 epoch 的比较中,TAL 得到 40.3 AP,高于 ATSS 的 39.2;18 epoch 时,TAL 的 40.9 AP 与 PAA + IoU pred. 持平。表中的 TAL + TAP 会从最后的 head tower 特征对齐预测,18 epoch 得到 42.5 AP;这一列并非直接换上完整 T-head。

完整体 TOOD

当 T-head + TAL 一起上场,作者同时验证 anchor-free 与 anchor-based 两个版本:42.5 AP vs. 42.4 AP,几乎一样好。

和同类型的 ATSS 相比,anchor-free 版本提升 3.3 AP、anchor-based 版本提升 3.1 AP;在 AP75_{75} 指标上,分别提升 4.2 与 3.3 个百分点。这个结果与方法论强调的方向一致:

  • 当分数对齐定位,框的质量会更好。

此外,TOOD 的总提升(+3.3 AP)大于「T-head + ATSS」(+1.9)与「Parallel head + TAL」(+1.1)两者的相加。换句话说,头的互动/对齐 和 TAL 的学习规则 在这组消融中呈现互补效果。

和 SOTA 比较

在 test-dev、单模型单尺度测试、2× schedule(24 epochs)、scale jitter 480–800 的共同规格下:

  • ResNet-101:46.7 AP;ResNeXt-101-64×4d:48.3 AP。
  • 在相同主干下,相比 ATSS 分别高 3.1 与 2.7 AP;ResNet-101 的 GFL 为 45.0 AP,比 TOOD 低 1.7 AP。表中 ResNeXt 主干的 GFL 使用 32×4d,不能直接视为相同主干比较。

更有意思的是论文把 DCN 放在 head 塔的前两层,TOOD 的提升是 48.3→51.148.3 \rightarrow 51.1(+2.8 AP),而 ATSS 是 45.6→47.745.6 \rightarrow 47.7(+2.1 AP)。

这组结果显示,TOOD 在该设定下也能受益于 DCN;单凭这张表,尚不能将较大的增益全归因于对齐设计。

「对齐」真的发生了吗?

作者做了两个量化观察:

  1. 不做 NMS 的情况下,针对每个实例取 前 50 个分类最有信心的预测,分别对「分类排名」与「定位排名」计算 PCC(皮尔森相关系数),同时计算 前 10 名的 IoU 均值。

    实验结果显示:加了 T-head 与 TAL 之后,PCC 与 IoU 都上升,代表「分高」与「框准」变得更同步。

  2. 做了 NMS 后统计 正确框(IoU≥0.5)/ 冗余框(IoU≥0.5)/ 错误框(0.1<IoU<0.5) 的数量:正确框增加、冗余/错误显著下降。

最后把这些「对齐度」的指标和 AP 放在一起看,总增益 约 +3.3 AP。

错位如何被改善?

最后,作者给了一组可视化例子:传统方法里,中心附近可能有高分却不准的框,真正准的框反而分数较低;TOOD 之后,图中多个例子的高分框与准确框更接近。这与 MM 调整分类分数、OO 分别调整四条边,以及 TAL 促进任务对齐的整体设计相符;图本身不能单独区分各元件的贡献。

结论

TOOD 把长久存在的分类与定位的错位问题,以一条干净俐落的路径加以解决:

先在 T-head 中让两个任务共享视野,再通过层级注意力完成分工。最后以 MM(分类对齐)与 OO(定位对齐)将输出紧密扣合,并借由 t=sαuβt=s^{\alpha}u^{\beta} 将「样本指派」与「损失设计」统合起来,迫使模型养成「分数高=框要准」的习惯。

这样的设计不仅在 COCO 上达到 51.1 AP(DCN 设定),更在 AP75_{75} 等严苛指标上展现明显提升,印证了本文的主张:

  • 对齐,会换来更准的框。

然而,它也带来一些代价:分支与双线性取样让实现稍显复杂,超参数虽具有明确含义却仍需依数据分布调整,而在小目标密集或高噪环境下,Top-mm 的指派也可能陷入局部最优。此外,当任务扩展至 segmentation 或 pose 时,如何在「共享与分工」间保持平衡,仍是需要进一步思考的挑战。

在影响层面上,TOOD 与同时期的 OTA/SimOTA 一起,把「分数 × 定位质量」奠定为正样本指派的主流语法,并推动质量感知分类在一阶段检测器中成为标配。它提出的「先共享、后分工」设计也被不少框架吸收,与 DCN、可学位移结合的设计,在 TOOD 之后找到了更精准的应用场景。

现在(2025 年),它依然在产线与开源框架里作为基础设施存在,Task-Aligned 的指派与加权已经是许多模型不可或缺的选项,而其设计哲学更渗透进各式 YOLO 与一阶段器的演进中。即便在 DETR 类的集合匹配逐渐成熟的今天,TOOD 的对齐思路依旧是高效且稳健的工程解法。