2026年9月5日、Ultralytics は ultralytics 8.4.142 をリリースしました。リリースノートには、YOLO26 の予測と検証のデフォルトを one-to-many の出力ヘッドに戻し、その後ろに NMS をつなぐと書かれています。理由は、そのほうが「NMS を必要としない one-to-one ヘッドより、通常は精度が高い」からです。もとの経路を使いたければ、自分で nms=False を指定する必要があります。Ultralytics v8.4.142
その8か月前、同じモデルが正式にリリースされたとき、リリースノートの最初の目玉にはちょうど逆のことが書かれていました。ネイティブのエンドツーエンド設計で、NMS の後処理はまったく不要になり、レイテンシはより低く、エクスポートもより簡単になるとされていたのです。Ultralytics v8.4.0
さらに6年さかのぼります。2020年、Facebook AI の DETR は要旨で、自分たちの手法なら「非最大値抑制(NMS)や anchor の生成のような」手作業で設計された部品の多くを取り除けると書いていました。DETR 要旨
NMS は取り除かれ、そしてまた戻ってきました。本稿では、一つの物体がなぜ何度も囲まれるのかから始めて、DETR がどうやって物体ごとに予測を一つだけ割り当てたのか、そのためにどんな代償を払ったのかを見ていきます。そのうえで、DETR と YOLO という二つの路線が、最後にどう中間で出会ったのかをたどります。
犬1匹に、ボックス3つ
検出器がボックスを一つだけ推測することはありません。YOLO26 を例にとると、640×640 の入力は3種類の解像度の特徴マップ上に合計8,400個の位置を持ち、各位置がクラススコアとボックスを1組ずつ出力します。YOLO26 ドキュメント
学習時、YOLO 系列は one-to-many(一対多) のラベル割り当てを使います。アノテーションされた物体の近くで、スコアもボックスも十分に良い位置をいくつも、すべて正例として扱います。YOLO26 の一対多ヘッドは、1物体につき最大10個を取ります。YOLO26 論文 §3.2.1 こう教え込まれたモデルは、犬を1匹見ると、その周りのいくつもの位置が「ここに犬がいる」と言うようになります。
そのため推論時には、同じ犬にボックスがいくつも出てきます。ここで後始末を担うのが NMS(non-maximum suppression、非最大値抑制) です。NMS はまずスコア順に並べて最も高いボックスを残し、それと重なりすぎる同じクラスのボックスを削除し、残ったボックスに対して同じことを繰り返します。重なりの程度は IoU で測ります。2つのボックスの共通部分の面積を、和集合の面積で割ったものです。
4つのボックスで試してみましょう。A、B、C はどれも同じ犬を囲み、D は隣の猫を囲んでいます。A のスコアが最も高く、B と A の IoU は0.904、C と A は0.656です。しきい値を0.5にすると B と C はどちらも削除され、犬と猫にボックスが1つずつ残ります。しきい値を0.7まで緩めると C は削除されず、同じ犬のボックスが1つ増えます。
逆に、しきい値を厳しくしすぎても困ります。C が囲んでいるのが、実は A にぴったり寄り添う2匹目の犬だったら、0.5のしきい値はそれを重複ボックスとして消してしまいます。群衆の写真では、これが最もよく起こります。CrowdHuman データセットには1枚あたり平均22.6人が写っていて、人のボックス同士の IoU が0.5を超えるペアが1枚あたり約2.4組あります。COCO の人物写真では0.02組だけです。著者らも、しきい値を下げると再現率が大きく落ち、上げると誤検出が増えると書いています。CrowdHuman §1
さらに、しきい値によって精度と時間が連動して変わります。RT-DETR の著者らは T4 GPU で YOLOv8 を測っています。IoU しきい値を0.7に固定し、信頼度しきい値を0.001から0.05に上げると、AP は52.9から51.2に下がり、NMS(TensorRT の EfficientNMS)自体の時間は2.36 ms から1.06 ms に減りました。RT-DETR Table 1 NMS は、別途デプロイしなければならない後処理でもあります。モデルを異なる推論プラットフォームへエクスポートするたびに、それぞれで対応が必要になります。
右半分はIoU閾値を固定し、信頼度閾値だけを変えています。APとNMS時間の変化を見比べてください。
DETR は物体ごとに予測を一つだけ割り当てる
DETR は固定数の予測スロット(query)を用意します。標準のモデルでは100個です。各スロットはクラスとボックスを1つずつ出力し、クラスには「物体なし」が1つ追加されています。
学習時、DETR は複数のスロットが同じ物体を同時に引き受けることを許しません。予測とアノテーションを一対一(one-to-one)でマッチングし、あらゆる組み合わせの中から総コストが最も低いものを選びます。コストは、クラススコアが合っているかと、ボックスがどれだけずれているかの両方を見ます。この最適なマッチングはハンガリアン法で求めます。DETR §3.1
スロット3つ、物体2つでたどってみましょう。表は、各スロットを各物体に割り当てるコストで、小さいほど良いものです。
| スロット | 犬 | 猫 |
|---|---|---|
| 1(犬を囲む) | 0.2 | 1.5 |
| 2(これも犬を囲む) | 0.3 | 1.4 |
| 3(猫を囲む) | 1.6 | 0.4 |
総コストが最も低い割り当ては、スロット 1 を犬に、スロット 3 を猫に対応させるもので、総コストは0.6です。スロット 2 は割り当てられず、学習目標は「物体なし」になります。
スロット 2 のボックスは実は悪くなく、スロット 1 よりコストが少し高いだけです。それでも犬にはすでに担当がいるので、スロット 2 が受け取る学習目標は「物体なし」です。この学習を続けると、同じ物体に対する2つ目のボックスは抑え込まれ、推論時に NMS は要らなくなります。
DETR の著者らは、デコーダーの各層の出力の後ろに NMS をつないで確かめてもいます。1層目では NMS を加えると効果があります。単一の層の予測は重複しやすいからです。後ろの層になると、スロット同士の自己注意がすでに互いに譲り合うことを覚えていて、NMS はかえって正しいボックスを消してしまい、AP がわずかに下がります。DETR §4.2、Figure 4
同じ色の実線と破線が、直接の予測とNMSを加えた結果の比較です。
ただし、Faster R-CNN と同じ42.0 AP に並ぶまでに、DETR は500 epoch の学習が必要でした。Deformable DETR の著者らの整理によれば約2,000 GPU 時間で、Faster R-CNN は380で済みます。Deformable DETR Table 1 小さな物体も苦手で、AP_S は20.5、Faster R-CNN は26.6です。DETR Table 1
300個の予測のうち、ボックスを学ぶのは30個足らず
DETR の学習がなぜこれほど遅いのか、後続の論文はそれぞれ異なる診断を下しました。Deformable DETR は、初期化の時点では注意が特徴マップ全体に均等に散らばっていて、焦点を絞れるようになるまでに長い時間がかかるとして、問題は注意にあると考えました。Deformable DETR §1 DN-DETR は、同じ画像の同じスロットがある回では犬に、次の回では猫にマッチしうるとして、問題はマッチングの不安定さにあると考えました。DN-DETR §1 3つ目の説は、正例が少なすぎるというものです。NMS と直接関わるので、本稿ではこの説に沿って進みます。
H-DETR の著者らが指摘するように、Deformable DETR は1枚あたり300個のスロットを持つ一方、COCO の写真の99%近くはアノテーションのボックスが30個未満です。そのため、物体にマッチしてボックスをどこに描くべきかを学べるスロットは、1枚あたり30個足らずです。残りの270個あまりのスロットが受けるのは、「物体なし」の分類の学習だけです。H-DETR §1
DEIM の著者らは、正例の数をそのまま図にして比べています。一対一マッチングでは1枚あたりの正例数は10個以内に集中しますが、YOLO のような一対多の割り当てに変えると、1枚で80個を超える正例を持つ写真も出てきます。極端な場合で約10倍です。DEIM §3.2、Figure 3
一対一は推論がすっきりしていて物体ごとにボックスが1つですが、学習時の教師信号が疎すぎます。一対多は教師信号が密ですが、推論時には必ず NMS の後始末が要ります。それからの6年間、二つの路線はどちらも、両方の良いところを手に入れる方法を探ってきました。
DETR 側は、学習時に一対多を補う
2022年の H-DETR は、もとの一対一の300個のスロットに加えて、学習時に1,500個のスロットをもう1組追加します。アノテーションされた物体をそれぞれ6つ複製し、この組には一対多でマッチングさせます。2つの組の間はマスクで区切られ、互いに干渉しません。推論時には、もとの一対一の300個のスロットだけを残します。H-DETR §3.2
まず左端のHybrid-Branchを見てください。青は学習と推論、緑は学習時だけに使う分岐です。
H-DETR の Table 13 は、いくつかのつなぎ方を並べて比べています。COCO でそれぞれ12、24、36 epoch 学習したときの AP で、FPS は V100 で測っています:
| 学習方法 | 推論で使う出力 | NMS の接続 | AP(12/24/36 ep) | FPS |
|---|---|---|---|---|
| 一対多のみ | 一対多 | あり | 49.4/50.2/48.8 | 5.3 |
| ハイブリッド学習 | 一対多の組 | なし | 13.5/13.1/12.9 | 6.5 |
| ハイブリッド学習 | 一対多の組 | あり | 48.6/49.8/49.9 | 5.4 |
| ハイブリッド学習 | 一対一の組 | なし | 48.7/49.9/50.0 | 6.7 |
2行目は、一対多の出力を NMS なしで使った場合です。AP は13前後しか残らず、重複ボックスが成績を丸ごと引きずり下ろしています。同じモデルでも、NMS をつなげば49前後に戻ります。一方、一対一の組は何もつながなくても成績はほぼ同じで、速度は最速です。一対多だけで学習して NMS をつなぐ方式は、12 epoch では少し高いものの、36 epoch では追い抜かれています。
ほかのいくつかの道も、やり方は違っても形は同じです:
- 練習問題を加える。DN-DETR は、ノイズを加えたアノテーションのボックスを追加のスロットとしてデコーダーに入力し、もとのボックスに復元させます。この練習は推論時には丸ごと取り除かれます。DN-DETR §4.3 2022年の DINO は、さらに負サンプルなどいくつかの改良を加え、ResNet-50 の 5-scale モデルが12 epoch で49.4 AP に達しました。SwinL バックボーンに替えて Objects365 で事前学習すると、COCO のリーダーボードで1位になった初めてのエンドツーエンド Transformer 検出器にもなりました。DINO 要旨、§1
- スロットの組を増やす。Group DETR は、重みを共有するスロットの組を学習時にいくつも同時に走らせ、それぞれで一対一マッチングを行い、推論時には1組だけを残します。LW-DETR は13組を使い、後の RF-DETR もこれを引き継いでいます。LW-DETR §3.3
- 1枚の画像に物体をもっと詰め込む。2024年末の DEIM は、マッチングの方法は変えずにデータを変えます。Mosaic で4枚の写真を縮小して1枚に貼り合わせたり、Mixup で2枚を1枚に重ねたりして、学習画像1枚あたりの物体を平均約10個から約25個に増やし、それに伴って一対一マッチングの正例も増えます。この拡張を使うのは学習のおよそ半分までです。RT-DETRv2 は36 epoch で53.6 AP に達しました。もとは72 epoch かけて53.4でした。DEIM §3.2、Table 6、Table 12
こうした追加の教師信号は、すべて学習段階の中だけにあります。推論時の DETR は、相変わらず物体ごとにボックス1つで、NMS はつなぎません。
RT-DETR は NMS も含めて計測した
学習が速くなると、DETR に残った問題は推論の遅さでした。2023年4月、Baidu の RT-DETR は『DETRs Beat YOLOs on Real-time Object Detection』と、結論をそのままタイトルにしました。この論文は後に CVPR 2024 で発表されています。
この論文は、まず YOLO の速度がどう測られているかを調べました。著者らは、YOLO 系列が速度を報告するとき、たいていモデル本体だけを計り、NMS の時間を含めていないと指摘しています。RT-DETR §3.1 そこで彼らはエンドツーエンドの測定方法を作り、TensorRT の NMS プラグインを YOLO の後ろにつなぎ、検証時のしきい値でまとめて計時しました。T4 GPU、TensorRT FP16 で、RT-DETR-R50 は53.1 AP、108 FPS でした。同じ測り方で、YOLOv8-L は52.9 AP、71 FPS です。RT-DETR Table 2
RT-DETR も前節の法則から外れてはいません。そのデコーダーも、学習時にはデノイジング用のスロットを200個抱えています。RT-DETR 付録 Table A
YOLO 側は、一対一のヘッドをもう一つつなぐ
1年後、YOLO 側は別の方向に進みました。2024年5月、清華大学の YOLOv10 は、もとの一対多の出力ヘッドを残したまま、一対一のヘッドをもう一つつなぎました。学習時は2つのヘッドを一緒に学習させ、推論時は一対多のヘッドを捨てて一対一のヘッドだけで出力するので、NMS は要りません。YOLOv10 §3.1
左は共通のbackboneと2つの出力head、右は候補の選択が一致する頻度です。
2つのヘッドがうまく学習するには、正例を選ぶ基準がそろっていなければなりません。YOLOv10 は2つのヘッドに同じスコアの付け方で正例を選ばせ、一対多のヘッドは上位数個を、一対一のヘッドは1位だけを取ります。こうすれば、一対多のヘッドが最も良いと見なすボックスが、一対一のヘッドの正例にもなります。
アブレーション実験では、3つのやり方を並べて比べています(YOLOv8-S をベースに、レイテンシは NMS を含み、T4、TensorRT FP16):
| 学習時のヘッド | AP | レイテンシ |
|---|---|---|
| 一対多のみ(推論で NMS をつなぐ) | 44.9 | 7.07 ms |
| 一対一のみ | 43.4 | 2.44 ms |
| 2つを一緒に学習し、推論は一対一 | 44.3 | 2.44 ms |
一対一のヘッドだけを学習させると、レイテンシは見事ですが、AP は1.5下がります。一対多のヘッドをもう一つつないで一緒に練習させると、その大半を取り戻せます。単に計算の回数が増えただけではないのか? 著者らもそれを考えて、一対一のヘッドだけの YOLOv10-M を550 epoch まで長く学習させ、かかる時間をもとの方式とほぼ同じにしましたが、AP は48.9対51.1のままでした。YOLOv10 Table 15 学習の回数を増やしても取り戻せず、一対多の教師信号が必要なのです。
差は完全には消えていません。小さなモデルでは一対一のヘッドがまだ一対多+NMS に負けると、著者ら自身が明記しています。YOLOv10-N で1.0 AP、YOLOv10-S で0.5の差があり、YOLOv10-X になってようやく差が見えなくなります。YOLOv10 §4.3、付録 A.9
YOLO26 はこの道をさらに先へ進みました。2025年9月25日の YOLO Vision 2025 で予告され、2026年1月14日に正式リリース、論文は6月に公開されました。著者らは、YOLOv10 が2つのヘッドに最初から最後まで同じ重みを配分したため、推論で唯一使う一対一のヘッドがかえって学習不足になったと考えています。YOLO26 は漸進的な重み付けに変え、一対多と一対一の損失の比を0.8対0.2から始めて、学習の進行に合わせて0.1対0.9まで線形に移していきます。YOLO26 論文 §3.3.2、§4.1
重みの出発点まで試しています。最初に一対一のヘッドの重みを0にすると、最終的な成績は半々で固定した場合とほぼ同じでした。最も良かったのはデフォルトのスケジュールで、0.8対0.2から始めて、重心を徐々に一対一のヘッドへ移すものです。YOLO26 論文 Table 5 DEIM も学習の途中で追加の正例を止めていて、どちらも先に密に、後で疎にしています。
速度を測るとき、NMS は含めるのか?
NMS を取り除く最も直接的な利点は速さですが、「どれだけ速いか」をそろえて測るのは難しいものです。同じ YOLOv8-N でも、YOLOv10 の測り方では総レイテンシが6.16 ms で、そのうちモデル本体は1.77 ms だけ、残りの大半は NMS です。YOLOv10 は検証時のしきい値を使うので信頼度しきい値が低く、残る候補が多いのです。YOLOv10 Table 1 RF-DETR の測り方では信頼度しきい値を0.01に上げていて、同じモデルの総レイテンシは2.1 ms です。RF-DETR Table 2
Roboflow は2025年3月に RF-DETR を発表した際、発表記事の中で、YOLO の評価の大半は精度の計算に NMS を使っているのに、速度を報告するときには NMS を含めていないと書きました。Roboflow、2025-03-20 その後の RF-DETR 論文は、GPU が連続推論で周波数を落とすことと、FP16 のモデルでレイテンシを、FP32 のモデルで精度を測る例があることの2点を、さらに指摘しています。著者らは、同じモデルファイルで両方を測るべきだと主張しています。RF-DETR §4 RF-DETR は DINOv2 をバックボーンとし、2XL 版は T4 で17.2 ms、60.1 AP です。著者らによれば、COCO で60 AP を超えた初めてのリアルタイム検出器です。論文は後に ICLR 2026 で発表されました。
こうした比較を読むときは、各社の立場も頭に入れておく必要があります。Roboflow と Ultralytics は直接の競合です。YOLO26 の論文が Hacker News で議論されたとき、Roboflow の共同創業者を名乗るユーザーは、論文がメインの図で精度とレイテンシのトレードオフが最も良いとうたいながら、比較対象に新しい DETR がないと疑問を呈しました。Hacker News、2026-06-23 メインの図である Figure 1 が比べているのは YOLO の各世代、PP-YOLOE+、DAMO-YOLO、RTMDet で、DETR 系は付録の Table S8 に置かれているだけ、そこにも RF-DETR はありません。逆に、Roboflow が2026年1月に RF-DETR と YOLO26 を比較した記事は、YOLO26 の数字として公式の表にある53.1 AP、4.7 ms を引用しています。Ultralytics のドキュメントの脚注によれば、この精度は一対多+NMS のもので、レイテンシは NMS をつながない一対一のヘッドで測ったものです。YOLO26 ドキュメント、Roboflow、2026-01-15
Ultralytics 自身のエンドツーエンドのガイドも、精度とレイテンシを比べるときは、同じ出力ヘッド、同じ画像サイズ、演算精度、ハードウェアを使うよう勧めています。Ultralytics エンドツーエンド検出ガイド
NMS はなぜ戻ってきたのか
冒頭のデフォルト変更に戻りましょう。YOLO26 の一対一のヘッドは、5つのモデルサイズすべてで、一対多+NMS より0.6〜0.8 AP 低くなっています。YOLO26 論文 §4.4 論文の時点ですでに、対象のプラットフォームで NMS を動かせて、精度を最も重視するなら、一対多のヘッドを優先してもよいと書かれていました。8.4.142 で、Ultralytics はいっそそれをデフォルトにしました。
デプロイも理由の一つです。Ultralytics のガイドによると、NCNN、RKNN、Edge TPU、Qualcomm QNN などのプラットフォームでは、演算子がエンドツーエンドの出力に対応できない場合、一対多のヘッドにフォールバックします。INT8 の TensorRT の一部の設定でも同じです。Ultralytics エンドツーエンド検出ガイド
重複ボックスも完全には消えていません。DINO の著者らも、マッチング損失と自己注意で重複ボックスを抑える能力には限りがあると認めています。DINO §3.3 ユーザーからの報告も途切れずに続いています。2024年6月には、自分のデータで YOLOv10-M をファインチューニングした人が、1,000〜2,000 epoch 学習してもほぼ重なった重複ボックスが残り、最終的に NMS を戻して解決しました。THU-MIG/yolov10 #236 2026年7月、Ultralytics のコラボレーターは YOLO26 の同様の報告に答えて、YOLO26n はときどき重複ボックスを出力するので、必要なら NMS をつなげばよく、「ボックスが少なければ速いはず」だと述べています。ultralytics #25304 RF-DETR の筆頭著者も同じ助言をしたうえで、データが十分にあればモデルが自分で学べるはずだと一言添えています。rf-detr #187
混雑した場面では、一対一の検出器が出力できるボックスの数は、スロットの数で決まります。CrowdHuman では、スロットが100個しかない DETR は75.9 AP で、NMS を使う FPN 検出器(85.8)よりずっと低くなります。スロットが1,000個の Deformable DETR に替えると、91.5に達します。Iter-E2EDET Table 2 物体が多いときは、まずスロットが足りているかを見ます。
NMS はまだ残っていて、変わったのはその位置です。推論時に必ず行う手順から、オンにもオフにもできるオプションになりました。
あなた自身の検出器に戻る
最後に、この6年を整理しておきます:
- 物体ごとに予測を1つだけ割り当てると、学習のコストが高い。一対一マッチングのおかげで推論に NMS は要らなくなりますが、代償として正例が少なすぎ、収束が遅くなります。
- 二つの路線はどちらも、学習時に正例を多く与えている。DETR 側は一対多のブランチ、デノイジングの練習、複数組のスロットを加え、YOLO 側は一対多のヘッドを練習相手として残し、推論では一対一のヘッドを使います。
- NMS はオプションになった。一対一のヘッドは後処理を省けます。一対多+NMS は今も AP がコンマ数ポイント高く、さまざまなプラットフォームへのデプロイもしやすいのです。
検出器を選んでいるなら、まず三つのことをはっきりさせておくとよいでしょう。速度を比べるときは、NMS が含まれているか、どのしきい値を使っているかを確かめます。写真の物体が多かったり密集していたりするときは、スロットの上限を先に見て、必要なら NMS を残します。スマートフォンやエッジデバイスにデプロイするなら、そのプラットフォームで一対一の出力を動かせるかを先に確認します。
DETR があのとき張った賭けは、今もまだ続いています。
では、現場に立つエンジニアの目線で見たら、NMS は消せるのでしょうか?
まあ、私たちは怖くて消せませんけどね。
