DETRs with Hybrid Matching
- 発表先
- CVPR 2023国際会議
- arXiv への初回投稿
- arXiv:2207.13080
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{objectdetectionhdetr2022,
title = {{DETRs with Hybrid Matching}},
author = {Ding Jia and Yuhui Yuan and Haodi He and Xiaopei Wu and Haojun Yu and Weihong Lin and Lei Sun and Chao Zhang and Han Hu},
year = {2022},
eprint = {2207.13080},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2207.13080}
}
DETR の世界では、大部分のクエリは分類に割り当てられ、沈黙を強いられる。
たとえ真実に近づいていても……申し訳ないが、真実は一つだけで、それ以外は認められない。
問題定義
Transformer を物体検出に導入した先駆けである DETR 以降、DETR アーキテクチャは視覚領域における指標的な標準構造として急速に普及した。以下の図に示す通り:
その中核となる貢献は、anchor や proposal、NMS などの手動設計コンポーネントを廃し、物体検出問題を「クエリと対象のマッチング」問題として再定式化した点にある。
この設計により処理が簡素化されるだけでなく、構造の移植性や汎化性能も向上し、それに伴うエコシステムが 2D 検出、3D 認識、姿勢推定、ビジュアルトラッキング、セグメンテーションなど多様なタスクで広く応用されている。
この路線の発展により研究者は各モジュールの改良を続けてきた。Deformable-DETR は変形可能な注意機構で小物体検出や収束速度を改善し、DAB-DETR はクエリの表現を見直した。DN-DETR や DINO はノイズを加えたクエリでマッチングの安定化を図っている。
しかし、いかなるアーキテクチャもその学習機構の多くは DETR の「一対一マッチング」原理に基づいている。すなわち、各 ground truth は唯一のクエリにしか割り当てられず、これは NMS を排除するための重要条件の一つである。
しかしこの一対一割り当て戦略は訓練過程で無視できないボトルネックも生んでいる。
例えば論文によると、COCO の画像のほぼ 99% には 30 個未満のアノテーション枠しかない。一方、Deformable-DETR は通常 300 個のクエリを使う。この割り当てでは、残りの 270 個超のクエリは「背景」として分類損失の監督を受けるだけで、バウンディングボックス回帰学習には参加できない。
つまり、訓練中の大部分のクエリは極めて限定的な学習信号しか得られない。推論時にはこれらクエリも予測を出力する可能性があるが、訓練段階での学習余地は大きく制約されている。
さらにこの割り当て制限は、潜在的な正例探索能力を抑制している。
特定クエリが対象物と良好に位置合わせされていても、他クエリに「占有」されているため回帰学習から除外される。このことは訓練データの利用効率低下、空間特徴学習能力の制限を招き、訓練速度の遅さ、正例へのフィッティング不良、資源利用率の低さといった問題を生む。
DN-DETR や DINO-DETR など現行の改良法は「ノイズクエリの追加」により正例監督を強化しようとするが、主にマッチングの安定性向上を目的とし、訓練効率改善が主眼ではない。また多くはノイズ生成方式の設計やクエリ形式の調整を要し、他タスクへの汎用性に欠ける。
そこで問題は、
DETR のマッチング利点を維持しつつ、遊休クエリの潜在力を解放し、正例監督範囲を拡大できないか?
解決法
DETR の原設計では、1 画像ごとに一組の「クエリ」ベクトルが生成され、これらはデコーダを通じてそれぞれ予測ボックスと分類確率を出力する。最終的にこれら予測は ground truth と一対一でマッチングされ、「特定物体を最適に表現するクエリ」を選出し、そのマッチングに基づいて損失を計算する。
H-DETR が提案する改良は、この一対一メカニズムを破壊せずに、追加で「枝分かれ」を設けることで、多くのクエリも学習に参加可能にすることだ。
具体的には、モデルが同時に 2 組のクエリを訓練する。1 組は元の一対一監督ロジックを維持し、もう 1 組は「一対多」監督方式を採用する。つまり各 ground truth が複数のクエリに対応し、従来「浪費されていた」クエリも訓練時にアノテーションボックスに近づき、正例を学習できる。
メインブランチ:一対一監督
まず 1 組目のクエリ に対し、標準 DETR 訓練を行う:
- クエリは層のデコーダを通り、組の予測 を得る。
- 各層予測は ground truth と Hungarian Matching を行い、最適な対応を決定。
- 損失関数は:
ここでは分類損失、回帰損失、GIoU 損失を含む DETR 標準損失である。
このブランチは DETR の推論簡素化の核となる。
補助ブランチ:一対多監督
もう 1 つのブランチは、真の目標に近づく機会を増やすため以下を行う:
- 追加のクエリセット を生成し、一対多学習に用いる。COCO の設定では主ブランチが 300、補助ブランチが 1500 クエリを使う。
- ground truth を 回繰り返して増強目標集合を作成する。論文の COCO 設定では :
- 各層予測 と をマッチングし、損失を計算:
このブランチは訓練時だけに使い、主クエリの推論には加えない。各 ground truth に追加の正例機会を与えるためのものだ。
総損失と実装詳細
総訓練損失は、
であり、は両ブランチの重要度を調整する重み係数。
2 組のクエリを並列処理するため、H-DETR は masked multi-head self-attention を使い、主ブランチと補助ブランチのクエリが干渉しないようにする。ただし、補助ブランチは訓練コストを増やす。後述の Table 6 では、最適化実装の平均訓練時間が 80 分、1800 クエリを用いた一対一の基準が 75 分である。
推論時は一対多ブランチを完全に無視し、メインブランチのみの出力を使用。よって H-DETR は DETR のシンプルさを維持し、NMS 不要でクエリ出力だけで検出を完結させる。
他の混合監督形式
「二重ブランチ」訓練構造に加え、H-DETR は訓練の「時間軸」と「層レベル」それぞれで監督方式を動的に切り替える 2 つの変種も提案している。
-
Hybrid Epoch Scheme:隠れた段階切り替え
この方式は二重ブランチのように 2 組のクエリを必要とせず、1 組のクエリ のみを用い、訓練「段階」に応じてマッチング方式を変える。
- 初期( 割合の epoch):一対多マッチングを用い、各 ground truth を 回複製したラベル集合 とマッチング。損失は:
- 後期(残りの 1−ρ 割合の epoch):一対一監督に戻し、元のラベル とマッチング。損失は:
この設計意図は、訓練初期に豊富な監督信号でクエリを素早くラベルに近づけ、基礎的な位置推定能力を習得後に一対一独占性へ収束させることにある。
推論は一対一クエリ出力のみで、DETR の簡潔さを保つ。
-
Hybrid Layer Scheme:層内監督切替
こちらも単一クエリ集合 を用いるが、epoch ではなくデコーダの「層数」に基づいて監督方法を切り替える。
- 前半 層:一対多監督で、それぞれの層予測 を複製したラベル集合 にマッチング。
- 後半 層:一対一監督に戻す。損失は:
直感的には、前半層で密な監督によりクエリを暖めてラベルに近づけ、後半層で一対一監督により独立予測力と推論整合性を強化する。
総損失は両者の和:
これによりモデルは層深度に応じて監督密度と推論一貫性を折衷できる。
これら 2 つの変種は補助クエリの分岐を別に設けないが、実験では一組のクエリを 1800 個まで増やしている。Epoch 方式は 、Layer 方式は を使う。追加の正例監督を得られる一方、訓練と推論のコストは後述の表に従って読む必要がある。
議論
著者はまず、H-DETR が既存の DETR 構造の検出性能を有効に向上させるかを検証した。
COCO と LVIS という 2 つの大規模データセットを用い、改良版の H-Deformable-DETR モデルを異なるバックボーンや訓練期間で評価した。
COCO ベンチマーク
実験結果によると、H-Deformable-DETR は COCO 検証セットにおいて、ResNet-50、Swin-T、Swin-L といった異なる規模のバックボーン、及び 12 または 36 エポックの訓練期間のいずれの場合でも一貫した性能向上を示した。
Swin-T の場合を例に挙げると:
- 12 エポック訓練では、49.3%から 50.6%へ向上。
- 36 エポック訓練では、AP が 51.8%から 53.2%へ上昇。
この結果は、表にある三種類の backbone と 12/36 epoch の条件では、訓練中に hybrid matching を加え、推論では一対一ブランチだけを使う構成が、それぞれの基準より高い COCO AP を得たことを示している。すべての backbone や訓練期間への一般化までは、この表からは言えない。
LVIS ベンチマーク
次に LVIS の実験結果を見る。LVIS は数千クラスを含み極めて長尾分布のデータセットであり、H-DETR の大規模かつ低頻度クラスへの汎化能力を検証する。
LVIS v1.0 の表では、R50・24 epoch の AP が 32.2 から 33.5(+1.3 ポイント)、Swin-L・48 epoch が 47.0 から 47.9(+0.9 ポイント)に上がる。表は物体サイズ別の AP を示しているが、稀少・一般的なクラス別の AP は載っていない。そのため、低頻度クラスだけの改善を断定することはできない。
SOTA ベンチマーク
著者は H-Deformable-DETR を近年の代表的な手法と、単一スケール推論のシステムとして比較している。ただし、表中の backbone、入力サイズ、訓練 epoch は完全には一致しない。DINO-DETR と H-Deformable-DETR はともに Swin-L、1333×800 入力、36 epoch である。
総合比較で H-Deformable-DETR は COCO 検証セットで 59.4% AP を達成し、DINO-DETR など強力なベースラインを凌駕した。
ただし 59.4% AP のシステムには DINO 由来の追加改良も含まれ、DINO-DETR との差をすべて hybrid matching の単独効果とみなすことはできない。その効果は上の同条件の Deformable-DETR 比較で見るべきだ。一対一ブランチだけを使う推論では、引き続き NMS を必要としない。
消融実験
異なる混合構造の性能を示した。その他の実験は原論文参照。
本実験では以下の 2 点を厳守し公平性を確保:
- 三方式とも、基準に対して追加で 6 倍の正例機会を与える。各層・各 epoch の条件で数えると、基準を含め合計 7 倍となる。
- 三方式とも訓練時には合計 1800 クエリを使う。Branch 方式は推論で 300 クエリだけを残す。
また表中の付記の意味:
- †印:訓練・推論共に 1800 クエリ使用。
- ♮印:80 分の訓練時間は、二つのブランチのマッチングコストと損失計算を統合した最適化後の測定値。論文では GPU 上の Hungarian matching 自体は実装していない。
主な観察点:
-
Hybrid Branch は、この表の AP とコストの間で比較的バランスがよい:
- 36 epoch では 48.0 AP で Hybrid Layer と同点。24 epoch では Layer の 47.9 が Branch の 47.6 を上回る。
- 最適化実装の平均訓練時間は 80 分。1800 クエリの基準 75 分より約 7%、300 クエリの基準 65 分より約 23% 長い。
- 推論時は 268 GFLOPs、6.7 FPS。1800 クエリを残す二つの変種は 282 GFLOPs、6.3 FPS。この表にメモリコストは載っていない。
-
Hybrid Epoch はこの設定で平均訓練時間 95 分、36 epoch で 47.9 AP。表はマッチング方式の切り替えだけによる時間差を個別には測っていない。
-
Hybrid Layer も 36 epoch では 48.0 AP だが、平均訓練時間は 100 分、推論は 6.3 FPS。
結論
DETR の革新点は物体検出をクエリマッチング問題に変換し推論を簡素化したことにあるが、その代償として訓練効率は低い。
H-DETR はこの課題に対し、訓練時に一対多の補助監督を導入して正例を増やしながら、一対一ブランチだけを使う推論の簡潔さを保つ修正を提案した。推論側の変更が少なく、他のクエリ型のタスクへ組み込みやすいという工学上の魅力がある。ただし、訓練コストや変種ごとの推論コストは上の表の条件に沿って評価したい。