論文ノートライブラリに戻る
arXiv 2024NeurIPS 2024物体検出論文ノート

YOLOv10

NMS、さようなら

原論文

YOLOv10: Real-Time End-to-End Object Detection

論文の著者

Ao Wang · Hui Chen · Lihao Liu …

著者全 7 名を表示

Ao Wang · Hui Chen · Lihao Liu · Kai Chen · Zijia Lin · Jungong Han · Guiguang Ding

発表先
NeurIPS 2024国際会議
arXiv への初回投稿
arXiv:2405.14458
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{objectdetectionyolov102024,
  title = {{YOLOv10: Real-Time End-to-End Object Detection}},
  author = {Ao Wang and Hui Chen and Lihao Liu and Kai Chen and Zijia Lin and Jungong Han and Guiguang Ding},
  year = {2024},
  eprint = {2405.14458},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2405.14458}
}
このページの内容

私たちは YOLOv1 から YOLOv9 までを見てきました。

YOLOv10 に至り、ついに NMS の制約から解放されることができました。喜ばしいことです。

問題の定義

コンピュータビジョンの分野において、リアルタイム物体検出は欠かせない役割を果たしています。

自動運転車、産業用ロボット、AR/VR からエッジ端末でのリアルタイム解析システムまで、ほぼ全ての応用が極めて低遅延で、高い精度の分類と位置検出を同時に求めています。こうした要求を満たすために、研究コミュニティは次々と新しい手法を生み出し、様々な高効率検出器が雨後の筍のように登場しています。

YOLOv1 以来、単段検出は一回のネットワーク通過でボックスとクラスを出す道を開きました。現在の backbone・neck・head の分担は後続の版で整いました。

続く YOLOv3、YOLOv4 から YOLOv9 にかけては、CSPNet、PAN、ELAN、GD といったモジュールを導入し、特徴抽出や融合能力を継続的に最適化しています。さらに、YOLOv6 の SimCSPSPPF、YOLOv7 の E-ELAN、YOLOv9 の GELAN + PGI などの新技術が、速度を維持しつつ精度の限界を突破しようと試みられています。

しかし、どれだけ革新があっても、多くの YOLO モデルは後処理段階の非極大値抑制(NMS)に依存してしまっています。

これは、訓練段階で one-to-many のアノテーション方式を用いるため、推論時に NMS を使って最適な候補ボックスを選別する必要があるからです。これが遅延を増やし、ハイパーパラメータの感度を高めてしまい、真のエンドツーエンド推論を難しくしています。

NMS の制約から脱するために、DETR を筆頭とするエンドツーエンド構造が注目され始めました。

DETR は Transformer と Hungarian Matching による one-to-one ラベル割当てを行い、後処理に依存しなくなりました。Deformable-DETR、DINO、RT-DETR といった派生モデルも、収束速度や実行効率の改善を進めています。RT-DETR は、DETR をリアルタイム検出へ進めた代表例の一つとして、一つの可能性を示しました。

しかし、これらの Transformer ベース設計は本当に CNN を代替できるのでしょうか?

実際には、DETR 構造は NMS を省略したものの、論文の T4 比較では一部の DETR モデルの前向き遅延が大きく、エッジ機器での適否はハードウェアによって変わります。一方で、CNN モデル自身で one-to-one 対応を実現しようとする研究もあり、OneNet、DeFCN、FCOSpss などは各々のサンプル選択器やマッチング機構を提案し、エンドツーエンド検出を目指していますが、成果はまだ完全に満足できるものではありません。

では、この二者択一から抜け出す可能性はないのでしょうか?

「訓練時の割当て戦略」と「構造的な効率のボトルネック」を見直せないでしょうか?あるいは、CNN の利点を維持しながら、一貫性があり軽量で高速かつ高精度な新しいアーキテクチャを設計できないでしょうか?

この論文の著者は、YOLO シリーズがリアルタイム物体検出で直面する課題を根本から解決しようと試みました。

解決策

YOLOv10 の技術的な核は大きく二つの主軸に分かれます:

  • 一つは、YOLO が NMS の束縛から解放され、真のエンドツーエンド推論に到達すること。
  • もう一つは、ネットワーク各部の効率と精度を再評価し、構造そのものから計算の分布を再構築すること。

二重アノテーション構造

上図の通り、YOLOv10 は YOLO の backbone、neck、検出ヘッドという構造を保ち、従来の one-to-many ヘッドに one-to-one ヘッドを加えています。両者は同じ backbone と neck を共有し、ヘッドの構造と最適化目標は同じですが、サンプルの対応付けが異なります。

訓練時には、one-to-many ヘッドは TAL(Task-Aligned Label Assignment)を用いて伝統的な多重サンプルアノテーションを行い、各 ground truth に対して複数の正例を割り当てて監督密度を高めます。一方で one-to-one ヘッドは各 ground truth に対し予測ボックスを一つだけ割り当て、より正確なサンプルマッチングを学習します。

この設計により、モデルは訓練時に密かつ簡潔な監督信号の双方を享受し、最終的な推論では one-to-one ヘッドのみを残し、one-to-many ブランチを廃止して「NMS 不要」の真の出力フローを実現します。

しかし、二重アノテーションは潜在的な問題も引き起こします。二つのヘッドが異なるサンプルマッチングロジックを用いると、学習する監督信号にズレが生じ、訓練の方向性が分散してしまいます。

この問題に対し、著者はシンプルかつ効果的な対策を提案しました:

  • 一貫したマッチング基準(Consistent Matching Metric)。

二分岐の大きな違いは各目標に割り当てる正例の数です。順位付けの基準まで異なれば、監督の隔たりはさらに広がります。

YOLOv10 はこのスコアを以下の形で統一しています:

m(α,β)=s⋅pα⋅IoUβm(\alpha, \beta) = s \cdot p^\alpha \cdot \text{IoU}^\beta

ここで、

  • pp は予測分類スコア、
  • IoU\text{IoU} は予測ボックスと ground truth の重なり率、
  • ss は空間的事前確率(spatial prior)、予測点が ground truth 内にあるかを示す指標、
  • α\alpha、β\beta は分類と位置情報の重みを調整するハイパーパラメータです。

二つのヘッドが異なる α\alpha、β\beta を使えば、同じ候補の順位が変わり、「監督信号の不一致」が起こる可能性があります。

そこで著者は両ヘッドに同じマッチングパラメータを使い、選ぶ候補の順位を揃えます。既定は両方とも α=0.5\alpha=0.5、β=6\beta=6 です。

ここで次の疑問が湧きます:

この調整で本当に二つのヘッドは揃ったのでしょうか?

上図(b)が実験による裏付けを示しています。

図は YOLOv8-S モデルで、one-to-one ヘッドが選択したサンプルが one-to-many ヘッドの Top-1、Top-5、Top-10 にも含まれている割合を示します。

色は設定の違いを表しています:

  • 青色:不一致マッチング設定で、one-to-one ヘッドの α=0.5\alpha=0.5、β=2\beta=2。
  • オレンジ:一致マッチング設定で、one-to-one ヘッドの α=0.5\alpha=0.5、β=6\beta=6。one-to-many ヘッドはどちらの場合も α=0.5\alpha=0.5、β=6\beta=6。

結果は、一貫した設定で二つのヘッドの選択サンプル重複率が著しく向上し、Top-1・Top-5・Top-10 のいずれも一致率が上がったことを示しています。これは両分岐が近い順位の候補を選ぶ割合の増加を示します。Figure 2(b) は割当ての重複率であり、勾配品質の直接測定ではありません。

効率と精度の最適化

過去の YOLO シリーズは多くのモジュール革新を経てきましたが、全体構造設計の論理については体系的な検証が不足していました。そこで著者はグローバルな視点から効率と精度を同時に最適化し、計算コストの一単位ごとに最大限の価値を発揮できるよう試みました。

YOLO の構造は主に以下の四つに分けられます:

  • Stem(初期畳み込み層);
  • Downsampling(ダウンサンプリング層);
  • Stage モジュールの積み重ね;
  • Detection Head(検出ヘッド)。

Stem 自体の計算負荷は極めて小さいため、著者は後ろの三つに最適化の焦点を当てました。

  1. 分類ヘッドと回帰ヘッド

    YOLO では分類ヘッドと回帰ヘッドが通常同じ設計を共有しますが、詳細に分析すると両者の計算コストには大きな差があります。YOLOv8-S を例に挙げると、分類ヘッドの FLOPs は 5.95G、パラメータ数は 1.51M に達し、回帰ヘッドの約 2.5 倍の計算量と 2.4 倍のパラメータ量です。

    著者の誤差置換実験では、回帰誤差を修正したときの AP 増分が、分類誤差を修正したときより大きいという結果でした。そこで分類ヘッドを 3×3 の depthwise separable 畳み込み 2 層と 1×1 Conv 1 層に再設計し、基本的な分類能力を保ちつつ計算負荷を減らしました。

  2. 空間とチャネルの分離ダウンサンプリング

    従来のダウンサンプリングは stride=2 の 3×3 畳み込みを用い、空間解像度低減とチャネル増加を同時に行います。

    一見シンプルですが、計算コストは

    O(92HWC2)\mathcal{O}\left(\tfrac{9}{2}HWC^2\right)

    パラメータ数は

    O(18C2)\mathcal{O}(18C^2)

    に達します。

    著者はこれを分離設計に改め、まず pointwise(1×1)畳み込みでチャネル数を調整し、続けて depthwise(3×3)畳み込みでダウンサンプリングを実施しました。

    これにより計算コストは

    O(2HWC2+92HWC)\mathcal{O}\left(2HWC^2 + \tfrac{9}{2}HWC\right)

    パラメータ数は

    O(2C2+18C)\mathcal{O}(2C^2 + 18C)

    まで削減され、より多くの特徴情報を保持しつつ、前方伝播の高速化を実現しています。

  • Rank-Guided Block の設計

    YOLOv10 は測定可能な指標で stage ごとの構造的冗長性を調べます。

    各ステージの最終畳み込み層の重み行列に対し、数値ランク(numerical rank)を算出し、出力チャネル数 CoutC_\text{out} で正規化した rCout\tfrac{r}{C_\text{out}} を用いて評価。閾値は最大特異値 λmax\lambda_{\text{max}} の半分としました。

    図 (a) では、深い一部の stage や大きいモデルで正規化ランクが低いことが分かります。

    ここでは低い rank を冗長性の代理指標とし、後段に圧縮余地がある可能性を示し、「同一構造を全体に適用すべきではない」という直感を裏付けます。

    そこで著者は新しいモジュール設計「Compact Inverted Block(CIB)」を導入。図 (b) に示す通り、空間混合は depthwise 畳み込みで、チャネル融合は pointwise 畳み込みで行い、計算コストを大幅に削減しました。

    さらに rank-guided な段階的置換戦略を採用。ランクが最も低いステージから順に CIB に置き換え、性能が落ちなければ次の stage に進み、性能低下が見られれば置換を停止します。モデルの規模に応じて構造を割り当て、効率と精度の折衷を探る手順です。

精度志向の強化

効率化だけでなく、YOLOv10 は高次の意味的モデリングと広範囲の受容野による認識力も強化しています。

  • 大きな畳み込み核:位置にのみ受容野拡大を適用

    大きな畳み込み核は遠距離の信号や構造的背景情報を捉えるのに効果的で、深い段階での安全な適用が可能です。しかし全モデルに適用すると、小物体のテクスチャが損なわれ、高解像度層の処理が重くなります。

    そのため著者は深層の CIB に限定して、第 2 の depthwise 畳み込み核を 7×7 に拡大。さらに再パラメータ化技術で 3×3 の分岐を追加し、不安定な最適化問題を解消。推論時にはこの分岐を主経路に融合し、負荷を増やさずに済ませています。

    この大きな畳み込み核は小規模モデル(YOLOv10-S/N)にのみ用いられます。モデルが大きくなると受容野自体が広がるため、大畳み込み核の効果は減少します。

  • PSA モジュール:全注意機構が必要なわけではない

    自己注意は強力なグローバルモデリング能力を持ちますが、空間位置 H×WH\times W を token とすると、注意計算は token 数の二乗に比例し、およそ O((HW)2)\mathcal{O}((HW)^2) であり、リアルタイムモデルには向きません。そこで著者は Partial Self-Attention(PSA) モジュールを設計しました。

    特徴チャネルを半分に分割し、一方は多頭自己注意(MHSA)と FFN を通し、もう一方はそのまま保持。最後に concat して 1×1 畳み込みで融合します。高速化のために、

    • Q/K の次元を半減し、
    • LayerNorm を BatchNorm に変更、
    • 解像度が最も低いステージ 4 の後のみ挿入

    しています。

    この選択的自己注意により、YOLOv10 は最小限のコストでグローバル情報を導入し、分類精度と意味的一貫性を大幅に向上させました。

実装の詳細

本研究は YOLOv8 を基準モデルとして採用しました。理由は二つあります。まず速度と精度のバランスが優れており比較対象として代表的であること。次に複数モデルサイズを公開しており、公平な比較が容易であることです。

YOLOv10 は YOLOv8 のサイズ区分(N / S / M / L / X)を引き継ぎつつ、新たに YOLOv10-B を追加しました。これは YOLOv10-M の幅を拡張したモデルで、中間サイズの精度と容量のギャップを埋める目的です。

全モデルは COCO データセット 上で訓練・評価され、YOLOv8、YOLOv9 と同様に スクラッチからの訓練設定 に従っています。

Table 1 の遅延は NVIDIA T4 + TensorRT FP16 で測定します。後処理込みの端到端 latency と前向きのみの LatencyfLatency^f を区別し、比較時には各モデルの公式重み・実装にも注意が必要です。

本研究の YOLOv10 モデルは全て 一貫した二重アノテーション訓練戦略 と 構造最適化版 を採用しており、一部の単一変更ではありません。

実験結果と考察

SOTA 手法との比較

YOLOv10 は複数のモデルサイズにおいて顕著な優位性を示しています。

上表の通り、元の YOLOv8 と比較して、5 つの代表的なサイズ(N / S / M / L / X)で:

  • AP が 0.3~1.4 ポイント向上;
  • パラメータ数が 28~57% 削減;
  • FLOPs が 23~38% 減少;
  • 表中の T4 端到端遅延が最大 70% 短縮。

表の AP 欄で † を付けた値は one-to-many + NMS の設定であり、主列の NMS-free AP と区別する必要があります。

この五つの YOLOv8 との対照では AP、パラメータ、FLOPs、エンドツーエンド遅延がいずれも改善しています。ただし、どの設計がどれだけ寄与したかは、下の段階的なアブレーションを見なければ分かりません。

モデル間比較では:

  • YOLOv10-N / S は YOLOv6-3.0-N / S より 1.5 / 2.0 AP ポイント高く、パラメータは 51% / 61%、FLOPs は 41% / 52%少ない。N の FLOPs は半減していません;
  • YOLOv10-B / M は YOLOv9-C と YOLO-MS に対し、精度を維持・向上させつつ遅延を 46% / 62%削減し、特に遅延が重要な環境に適応;
  • YOLOv10-L は Gold-YOLO-L と比べてパラメータが 68%、遅延が 32%減少しながらも AP は 1.4 ポイント高い。

これらの選ばれた組み合わせでは速度と資源利用に強みが見られます。一方、表には YOLOv9-S の AP が YOLOv10-S を上回る例もあります。

さらに非 YOLO 系リアルタイム検出器と比較しても、

  • YOLOv10-S は RT-DETR-R18 より 1.8 倍高速、
  • YOLOv10-X は RT-DETR-R101 より 1.3 倍高速、
  • Table 1 の AP はそれぞれ 46.3 対 46.5、54.4 対 54.3 で、近い精度での比較です。

アブレーション実験

設計を順に加えたときの効果を調べるため、YOLOv10-S と YOLOv10-M に対して段階的なアブレーション実験を行いました。上表では三つの設計を累積して加え、遅延・パラメータ数・計算量・精度への影響を評価しています。

まず YOLOv10-S では、NMS-free 訓練(=一貫した二重アノテーション戦略) のみで、エンドツーエンド遅延が 7.07ms から 2.44ms へ 4.63ms 短縮し、AP は 44.9 から 44.3へ 0.6 ポイント低下します。遅延と精度の交換が数字に表れています。

次に、効率重視の構造最適化 を YOLOv10-M の NMS-free 基準へ導入し、11.8M パラメータと 20.8 GFLOPs を大幅削減、遅延も 0.65ms 短縮。Rank-Guided Block や分離型ダウンサンプリングの効果が明確です。

最後に精度向上モジュールを加えると、YOLOv10-S は 1.8 AP ポイント、YOLOv10-M は 0.7 AP ポイント上がり、遅延はそれぞれ 0.18ms / 0.17ms 増えます。M は large-kernel 畳み込みを使わず、この段階の増分は PSA によるものです。この表は累積結果で、各モジュールの寄与は個別のアブレーションで確認する必要があります。

NMS-free は本当に伝統手法を完全に置き換えられるか?

YOLOv10 は NMS-free 訓練で高性能かつ低遅延を達成しましたが、著者は正直に指摘します。従来の NMS と組み合わせた訓練に比べ、精度面で依然若干の差があります。

しかしこの差は固定的ではありません。

モデルが大きくなるほど、両訓練手法間の AP 差は縮小します。YOLOv10-X では両方が 54.4 AP で、小型の YOLOv10-N では NMS-free の方が 1.0 AP ポイント低くなります。

この差はどこから来るのか?

著者は、one-to-one 割当てでは one-to-many より識別的な特徴が重要だと推測します。各 ground truth に対応する予測が一つなので、小さいモデルでは望ましい候補を選びにくい可能性があります。

この仮説を検証するため、以下の図を作成しました:

COCO 検証セットにおける各アンカー特徴と他アンカーの平均コサイン類似度を解析。

図では、モデルが大きくなるほど平均コサイン類似度が下がります。著者はより識別的な特徴が one-to-one matching に役立つと解釈します。

この実験では、小型モデルは容量の制約で分離された特徴を学びにくい可能性があります。大型モデルの AP 差は小さいものの、類似度の図だけでは原因を特定できません。

なぜ軽量化しても性能は落ちないのか?

YOLOv10 の効率重視設計は、軽量化分類ヘッド、空間とチャネルの分離ダウンサンプリング、ランク誘導によるモジュール割り当ての三つの重要な改良を含みます。

これらの改良はパラメータ数・計算量を減らしつつ、ほぼ精度に影響を与えません。

具体的には、分類ヘッドを簡素化した YOLOv10-S の AP は 44.3 から 44.2 へ下がります。誤差分析ではこの設定で回帰誤差を直した場合の増分が大きく出ています。ダウンサンプリングの 0.7 AP ポイント増分は、別の DW→PW 順序との比較であり、上の累積表の単独増分ではありません。CIB と rank-guided 設計は Stage 8、4 の置換では AP を下げませんが、Stage 7 を加えると 44.5 から 44.3 へ下がります。

精度向上しながら遅延はほぼ不変?

効率化の後、YOLOv10 はさらに二つの精度重視モジュール、large-kernel 畳み込み と Partial Self-Attention(PSA) を導入しました。これらは受容野拡大と意味的モデリング強化を狙いながら、遅延増は極めて小さく、特に小型モデルに効果的です。

例として YOLOv10-S では、7×7 large-kernel と PSA によってそれぞれ 0.4 と 1.4 AP ポイントの向上が得られ、遅延は 0.03ms と 0.15ms の微増に留まりました。

大型モデルは受容野が十分広いため large-kernel の効果は限定的で、小型モデル(YOLOv10-N / S)に限定して適用されます。

YOLOv10-S のこの消融では、PSA は比較対象の完全な Transformer block より 0.05ms 速く、AP は 0.3 ポイント高い結果です。著者は、部分チャネルの注意機構が冗長性や最適化の難しさを減らしうると考えています。PSA block を 1 個から 2 個に増やすと AP はさらに 0.2 ポイント上がりますが、遅延も 0.10ms 増えるため、既定では 1 個にしています。

結論

YOLOv10 は NMS-free 訓練フローと全体構造の簡素化により、リアルタイム物体検出においてよりクリーンな推論パイプラインと優れた速度・精度のトレードオフをもたらしました。

開発者にとって最大の価値は展開の簡素化であり、NMS 処理の省略や演算子の集中により、TensorRT、ONNX Runtime など主流推論フレームワーク上での保守・最適化が容易になります。

展開前に確認すべき工学上の問いが二つあります:

  • 論文には FLOPs と T4/TensorRT FP16 の遅延が示されています。クラウド GPU の複数ストリームや Jetson Orin の性能は別途測定が必要;
  • NPU やモバイル機器では depthwise、大核畳み込み、PSA の対応状況が遅延を左右します。この論文には同機器上の YOLOv8/9 との比較はありません。

現状、NMS-free 訓練はN モデルで同じ構造を one-to-many + NMS で訓練した場合との 1.0 AP ポイント差が残っており、小型モデルの特徴識別力向上が今後の課題です。

総じて、展開プラットフォームの演算子対応を踏まえ、使用前には必ず検証を行うことが重要です。