論文ノートライブラリに戻る
arXiv 2021ICCV 2021物体検出論文ノート

TOOD

錯位の終焉

原論文

TOOD: Task-aligned One-stage Object Detection

論文の著者

Chengjian Feng · Yujie Zhong · Yu Gao · Matthew R. Scott · Weilin Huang

発表先
ICCV 2021国際会議
arXiv への初回投稿
arXiv:2108.07755
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{objectdetectiontood2021,
  title = {{TOOD: Task-aligned One-stage Object Detection}},
  author = {Chengjian Feng and Yujie Zhong and Yu Gao and Matthew R. Scott and Weilin Huang},
  year = {2021},
  eprint = {2108.07755},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2108.07755}
}
このページの内容

ATSS の考え方を引き継ぎ、さらにその後の研究を探っていきます。

問題の定義

物体検出とは何か?多くの人はすぐに答えられるでしょう。

これは二つのサブタスクに分かれています:

  • 分類 (Classification):物体の最も識別しやすい部分を見つけ、「これは何か」に答える。
  • 位置特定 (Localization):物体の全体的な境界を正確に描き、「どこにあるか」に答える。

問題は、この二つのタスクは本質的に矛盾を抱えていることです。分類は局所的な顕著な特徴を重視し、位置特定は全体的な輪郭が必要です。モデルが両方を同時に最適化しようとすると、学習される特徴の分布が一致せず、予測時に「言いたいことが食い違う」ことがよくあります。

近年のワンステージ検出器(one-stage detectors)は、「中心仮説」を用いて両者を統一しようとしています。

  • FCOS、ATSS:centerness ブランチを通じて、中心付近のアンカーのスコアを高め、位置損失の重みも大きくする。
  • FoveaBox:中心領域自体を正例と定義する。

これらの設計によって確かに精度は向上しましたが、二つの核心的な懸念が残されています:

  1. タスクの独立性:

    現在の多くの手法は「二重ブランチ構造」を維持しています:一つは分類、もう一つは位置特定を担当。

    その結果、二つのタスク間のやりとりが不足し、次のような状況が発生します:

    • 分類ブランチは「これはテーブルだ!」と言う。
    • 位置特定ブランチは実はピザをより正確に囲む。

    どちらも個別には正しいが、組み合わせると間違っている。

  2. サンプル割り当ての失敗:

    従来のアンカーベース手法は IoU 閾値で正負サンプルを決め、アンカーフリー手法は幾何学的ルール(中心領域など)によります。

    これらの戦略はいずれも、次の前提を暗に含んでいます:

    分類と位置特定は同じサンプル群を共有できる。

    しかし実際には、分類に最適な点と位置特定に最適な点はしばしば重なりません。

    以下の図を例にします:

    最適な位置特定ボックス(緑のパッチ)は物体の中心にはなく、最終的に分類スコアの高いがボックス精度の低いアンカー(赤いパッチ)に負けて、NMS 処理で排除されてしまいます。

つまり、分類と位置特定という二つのタスクは、学習の方向性が異なるだけでなく、「依拠すべきサンプル」も異なっているのです。

こう考えざるを得ません:

  • 両者が本質的に一致しないのであれば、本当に協調させることは可能なのか?
  • 同じアンカーで「最も正確なスコア」と「最も正確なボックス」を同時に得ることはできるのか?

それとも、私たちの設計は、根本から間違っていたのでしょうか?

問題解決

TOOD のアーキテクチャは、著者が提供した図に沿って説明します。

従来手法では、FPN の出力後に直接二つのブランチに分け、それぞれが分類と位置特定を予測していました。その結果、スコアは高いがボックスがずれている予測や、ボックスは正確だがスコアが低く NMS で消される予測がよく生じていました。

ここで著者の発想はとてもシンプルです:予測段階でこの二つのブランチを明示的に「アライメント(整合)」させることです。

タスク間インタラクション特徴

FPN の特徴を Xfpn∈RH×W×CX^{fpn}\in\mathbb{R}^{H\times W\times C} とします。

TOOD では FPN の直後からブランチに分けず、まず「共有の畳み込み塔」で特徴表現を変換します。

連続して NN 層の畳み込み(各層の後に ReLU)を重ね、異なる有効受容野を持つタスク間インタラクション特徴 {Xkinter}k=1N\{X^{inter}_k\}_{k=1}^N を得ます:

Xkinter={δ ⁣(convk(Xfpn)),k=1δ ⁣(convk(Xk−1inter)),k>1X^{inter}_k= \begin{cases} \delta\!\big(\mathrm{conv}_k(X^{fpn})\big), & k=1\\\\ \delta\!\big(\mathrm{conv}_k(X^{inter}_{k-1})\big), & k>1 \end{cases}

この段階の目的は、分類と位置特定が同じインタラクション特徴と異なる階層の有効受容野をまず利用することです。入口から互いに独立させません。

TAP の階層アテンション

しかし、共有だけでは摩擦が生じます。分類と位置特定が重視する階層は本来異なります。

そこで「Task-Aligned Predictor(TAP)」で役割分担します。

{Xkinter}\{X^{inter}_k\} から階層アテンション w∈RNw\in\mathbb{R}^N を学習し、「どの層をそのタスクで重視するか」を決定します。

まず {Xkinter}\{X^{inter}_k\} を結合してグローバル平均プーリングし xinterx^{inter} を得て、全結合 2 層+ Sigmoid で:

w=σ ⁣(fc2(δ(fc1(xinter)))) .w=\sigma\!\Big(\mathrm{fc}_2\big(\delta(\mathrm{fc}_1(x^{inter}))\big)\Big)\, .

「分類」「位置特定」いずれかのタスクで第 kk 層特徴を要素ごとにスケーリング:

Xktask=wk⋅Xkinter(k=1,…,N) ,X^{task}_k = w_k \cdot X^{inter}_k \quad (k=1,\dots,N)\, ,

全ての XktaskX^{task}_k を連結し XtaskX^{task} として、1 ⁣× ⁣11\!\times\!1 の畳み込みで次元を減らし、後段の畳み込みで予測テンソルを得ます:

Ztask=conv2 ⁣(δ(conv1(Xtask))) .Z^{task}=\mathrm{conv}_2\!\big(\delta(\mathrm{conv}_1(X^{task}))\big)\, .

ここで、分類確率マップ P∈RH×W×CclsP\in\mathbb{R}^{H\times W\times C_{\text{cls}}}(Sigmoid 後)とボックス回帰 B∈RH×W×4B\in\mathbb{R}^{H\times W\times 4} を得ます。

BB は、まず FCOS/ATSS の「境界までの距離」(l,t,r,b)(l,t,r,b) を予測し、方框に変換したものです。

特徴点(ストライド換算後)が画像座標 (x,y)(x,y) に対応するとき、復元ボックスは (x−l,  y−t,  x+r,  y+b)(x-l,\;y-t,\;x+r,\;y+b) となります。

この段階まで、分類と位置特定は同じ特徴上で情報を共有しつつも、自分に最適な階層を利用しています。

明示的アライメント:MM と OO

共有だけでは不十分なので、著者は出力段階で二つのタスクを明示的に結合します。

まず、分類アライメント。

共有特徴 XinterX^{inter} から空間確率マップ M∈RH×W×1M\in\mathbb{R}^{H\times W\times 1} を学習:

M=σ ⁣(conv2(δ(conv1(Xinter)))) .M=\sigma\!\big(\mathrm{conv}_2(\delta(\mathrm{conv}_1(X^{inter})))\big)\, .

これを分類確率 PP と幾何平均し、整合済み分類出力に:

Palign=P×M .P^{align}=\sqrt{P\times M}\, .

直感的には、MM は共有特徴からこの位置における両タスクの相性を学びます。

幾何平均を使うことで、一方(極端な PP または MM)が主導しすぎるのを防ぎます。


次に、位置アライメント。

位置はさらに直接的です:各辺が別々に、近くの予測位置から値を取れます。

XinterX^{inter} からオフセットマップ O∈RH×W×8O\in\mathbb{R}^{H\times W\times 8} を学習し、4 辺それぞれに (Δi,Δj)(\Delta i,\Delta j) オフセットを与え、BB でバイリニアサンプリング:

Balign(i,j,c)=B ⁣(i+O(i,j,2c),  j+O(i,j,2c+1),  c),c∈{0,1,2,3} .B^{align}(i,j,c)=B\!\big(i+O(i,j,2c),\;j+O(i,j,2c+1),\;c\big),\quad c\in\{0,1,2,3\}\, .

すなわち、上下左右の各辺は学習されたオフセットに従って、近くのボックス予測を双線形補間で参照します。4 辺は同一ポイントに拘束されません。著者はこれによって各辺の予測を改善し、分類と位置の空間分布を揃えることを狙います。

最後に残るのは、モデルをこうしたアライメントに慣れさせる仕掛けです。

TOOD は「物差し」 tt を設計し、同一アンカーの分類スコア ss と位置品質(IoU) uu の両方が良いか測定します:

t=sα uβ .t = s^{\alpha} \, u^{\beta}\, .

α,β\alpha,\beta で両タスクの重要度を制御します。

この物差しのポイントは:どちらか一方が悪いと tt も上がらないこと。

著者はこれを二つの場所に使います:サンプル割り当てと損失の重み付けです。

タスクアライメントなサンプル割り当て

各真値オブジェクトについて、全アンカーの tt を計算し、上位 mm 個を正例、残りを負例とします。

こうして「両タスク整合」がそのまま正例選定のルールになります。

以降、モデルは「スコアもボックスも優秀な例」から主に学習し、学習方向が自然とアライメントに向かいます。

損失設計

tt を直接ソフトターゲットにすると数値不安定(α,β\alpha,\beta が大きいと tt が小さくなりすぎる)。

そこで著者はインスタンスレベル正規化を採用:同一オブジェクト内の tt を適正範囲にリスケーリングし、最大 IoU を通じて物体間の位置品質の違いも残します。

同一インスタンス内の最大 t^\hat t をそのインスタンスの最大 IoU に揃えます:

t^i  =  ti⋅umax⁡tmax⁡ ,umax⁡=max⁡kuk,  tmax⁡=max⁡ktk .\hat t_i \;=\; t_i \cdot \frac{u_{\max}}{t_{\max}}\, ,\qquad u_{\max}=\max_k u_k,\ \ t_{\max}=\max_k t_k\, .

これで「難しい物体」(tt が全体的に小さい)のソフト目標が小さくなりすぎるのを抑え、最大 IoU で表された物体間の位置品質の違いも残せます。

  • 分類損失

    正例の BCE ラベルを 1 から t^i\hat t_i に置き換え、Focal Loss のような難例調節(γ\gamma 指数)を加えます:

    Lcls=∑i=1Npos∣t^i−si∣γ BCE(si,t^i)  +  ∑j=1Nnegsjγ BCE(sj,0) .L_{cls} =\sum_{i=1}^{N_{pos}} \big|\hat t_i - s_i\big|^{\gamma}\,\mathrm{BCE}(s_i,\hat t_i) \;+\; \sum_{j=1}^{N_{neg}} s_j^{\gamma}\,\mathrm{BCE}(s_j,0)\, .

    正例で不整合(∣t^i−si∣|\hat t_i-s_i| が大きい)ほど重み増加、負例はスコア低いものを抑制、難負例に集中します。

  • 回帰損失

    正例に t^i\hat t_i を重みとして高品質ボックスに集中します(例として GIoU):

    Lreg=∑i=1Npost^i LGIoU ⁣(bi,bˉi) .L_{reg}=\sum_{i=1}^{N_{pos}} \hat t_i \, \mathrm{L}_{GIoU}\!\big(b_i,\bar b_i\big)\, .

    論文の総損失は二つの和です:

    L=Lcls+Lreg L = L_{cls} + L_{reg}\,

この指派と重み付けの仕組みが Task Alignment Learning(TAL) です。

議論

以下のすべての結果は MS COCO 2017 上で得られたものです。

論文は訓練とアブレーション用の分割をそれぞれ trainval135k(115K) と minival(5K) と記し、主結果を test-dev で報告します。評価指標は COCO AP です。

モデル構造はすべて Backbone → FPN → Head、単一 anchor/位置(ATSS と同じ)、プリトレインバックボーンは ResNet-50/101、ResNeXt-101-64×4d。T-head のインタラクション層数は N=6N=6、分類の焦点パラメータは γ=2\gamma=2。

T-head に切り替える価値はあるか?

著者はまず 従来の並列二重ヘッド を T-head に変更し、複数のワンステージ検出器で比較しました。

結果は明快です:T-head はより少ないパラメータ・FLOPs で、約 +0.7〜+1.9 AP の安定した向上 をもたらします。

この表は二重の意味を読み取るべきです:

  • インタラクション共有 → 層ごとに分業 → 出力でアライメント というヘッド設計だけでも改善します。
  • 比較した複数の検出器で改善しており、「まずインタラクション、次いでアライメント」という手法がこの範囲では他の基盤にも適用できます。

TAL の効果テスト

次にサンプル割当について、著者は固定式(幾何/IoU ルール)と アダプティブ(学習型)方式 を比較しました。

TAL の手法は t=sαuβt=s^{\alpha}u^{\beta} です。

この尺度が 正負割当(Top-mm) と 正サンプル重み t^\hat t を同時に決定します。

12 epoch の比較では、TAL は 40.3 AP で、ATSS の 39.2 AP を上回ります。18 epoch では TAL の 40.9 AP は PAA + IoU pred. と同値です。表の TAL + TAP は最後の head tower の特徴からアライメント予測を行い、18 epoch で 42.5 AP を得ています。この行を完全な T-head にそのまま置き換えた結果とは読めません。

完全版 TOOD

T-head + TAL を組み合わせて、anchor-free と anchor-based の両方のバージョンで検証:42.5 AP vs. 42.4 AP、ほぼ同等。

同じ形式の ATSS と比べると、anchor-free 版は +3.3 AP、anchor-based 版は +3.1 AP。より厳しい AP75_{75} ではそれぞれ +4.2、+3.3 ポイントです。これは手法で強調された論点に対応します:

  • スコアが位置と整合すれば、ボックス品質が向上する。

また、TOOD の全体向上(+3.3 AP)は「T-head + ATSS」(+1.9)+「Parallel head + TAL」(+1.1)よりも大きい。このアブレーションでは、ヘッドのインタラクション/アライメント と TAL の学習ルール が補完的に働いています。

SOTA との比較

test-dev、単一モデル・単一スケールテスト、2× schedule(24 エポック)、scale jitter 480–800 の共通条件下:

  • ResNet-101:46.7 AP;ResNeXt-101-64×4d:48.3 AP。
  • 同じ骨幹の ATSS よりそれぞれ +3.1、+2.7 AP。ResNet-101 の GFL は 45.0 AP で、TOOD より 1.7 AP 低い値です。表の ResNeXt 版 GFL は 32×4d で、64×4d の TOOD と骨幹の幅が異なります。

さらに論文では DCN を head タワーの最初の 2 層に導入した場合、TOOD の向上幅は 48.3→51.148.3 \rightarrow 51.1(+2.8 AP)、ATSS は 45.6→47.745.6 \rightarrow 47.7(+2.1 AP)。

この結果から、TOOD もこの設定で DCN の恩恵を受けることが分かります。利得の差をこの表だけでアライメント設計のみに帰することはできません。

「アライメント」は本当に起こったのか?

著者は二つの定量的な観察を行いました:

  1. NMS 無し で各インスタンスの 分類信頼度トップ 50 の予測 を選び、「分類順位」と「位置順位」の間の PCC(ピアソン相関係数) を計算し、同時に トップ 10 の IoU 平均 も求めました。

    実験の結果:T-head と TAL を加えると PCC と IoU がともに上昇。つまり「高スコア」と「高品質ボックス」がより同期するようになります。

  2. NMS 後 に 正解ボックス(IoU≥0.5)/ 冗長ボックス(IoU≥0.5)/ エラー(0.1<IoU<0.5) の数を統計。正解ボックスが増え、冗長/エラーが大きく減少。

これら「アライメント度」の指標と AP を並べると、全体の増益は 約 +3.3 AP です。

ミスアライメントはどう改善されたか?

最後に著者はビジュアル例を示しています。従来手法では中心付近に高スコアだが精度の低いボックスがあり、本当に正確なボックスは抑えられがちでした。TOOD では複数の例で高スコアと正確なボックスがより近づきます。これは MM による分類スコアの調整、OO による各辺の取る位置の調整、そして TAL によるタスクの整合という全体設計と整合します。この図だけで各要素の寄与は切り分けられません。

結論

TOOD は長年の分類・位置特定のミスアライメント問題を、一本筋の通った方法で解決しました。

まず T-head で両タスクが同じ視野を共有し、階層アテンションで分業。最後は MM(分類アライメント)と OO(位置アライメント)で出力を緊密に結合し、t=sαuβt=s^{\alpha}u^{\beta} によって「サンプル割当」と「損失設計」を統合。「スコアが高い=ボックスも正確」という習慣をモデルに強制します。

この設計は COCO で 51.1 AP(DCN 設定)を達成し、AP75_{75} など厳格な指標でも大幅な向上を示し、論文の主張を裏付けました:

  • アライメントは、より正確なボックスをもたらす。

一方で、分岐やバイリニアサンプリングにより実装はやや複雑となり、ハイパーパラメータもデータ分布ごとに調整が必要。小物体が多い・ノイズが多い環境では Top-mm 割当が局所最適に陥る場合も。また、タスクが segmentation や pose に拡張された際、「共有と分業」のバランスは今後も課題です。

影響の観点でも、「スコア × 位置品質」で正例を選び、分類と位置推定を一緒に考える発想は興味深いものです。「まず共有、後に分業」という設計が他の検出器にどう受け継がれたかは、各モデルの設計と実験を別に確かめる必要があります。

後続のモデルでも Task-Aligned な割当や重み付けが有効かどうかは、データと実装条件に照らして判断したいところです。DETR 系の集合マッチングが選択肢となった今も、TOOD は分類スコアとボックス品質のずれを測り、改善するための具体的な手掛かりを与えてくれます。