論文ノートライブラリに戻る
arXiv 2020物体検出論文ノート

YOLOv4

モデル設計アドバイザー

原論文

YOLOv4: Optimal Speed and Accuracy of Object Detection

論文の著者

Alexey Bochkovskiy · Chien-Yao Wang · Hong-Yuan Mark Liao

発表先
正式な発表先は未確認
arXiv への初回投稿
arXiv:2004.10934
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{objectdetectionyolov42020,
  title = {{YOLOv4: Optimal Speed and Accuracy of Object Detection}},
  author = {Alexey Bochkovskiy and Chien-Yao Wang and Hong-Yuan Mark Liao},
  year = {2020},
  eprint = {2004.10934},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2004.10934}
}
このページの内容

この論文は工業的なスタイルで書かれており、「物体検出」モデルの使用説明書のように読める。

まずは全体設計から始めて、物体検出モデルをどう作るべきかを学ぼう。

モデルの構造概観

物体検出器は通常、Input、Backbone、Neck、Head の 4 つの主要モジュールで構成される。

それぞれの段階は役割を持ち、互いに連結しつつ自由に組み合わせることができ、まるで積み木のようだ。

  • Input

    画像の単純入力に加え、多尺度画像ピラミッド、データ拡張、画像切り出し(patching)や解像度変更など様々な強化信号が加わることもあり、入力段階でモデルの対象認識能力を強化することが目的である。

  • Backbone

    主な特徴抽出モジュールで、多くは画像分類で実績のある VGG、ResNet、DenseNet などの古典的アーキテクチャから、検出タスク向けに設計された CSPDarknet、DetNet などの派生バージョンがある。入力画像を意味情報と視覚情報を持つ深層特徴マップに変換するのが目的である。

  • Neck

    異なるレベルの特徴マップを統合し、浅い層の位置情報と深い層の意味特徴のバランスをとることを試みる。FPN から PAN、さらに BiFPN、NAS-FPN へと進化し、情報の流れの融合と伝達効率を追求している。

  • Head

    最終的な分類とバウンディングボックス回帰を行うモジュールで、YOLO や SSD のような密集予測型と、R-CNN シリーズのような疎密予測型の 2 種類に分かれ、性能と精度の主要な戦場でもある。

2 つの設計路線

物体検出のアーキテクチャは発展の過程で、二大主流戦略に分かれてきた:二段階(Two-stage)と単段階(One-stage)。

  • 二段階構造(Two-stage)は Faster R-CNN や Libra R-CNN などが代表例で、候補領域(Region Proposals)をまず生成し、続いて分類と境界ボックス回帰を行う。この方法は高い精度と強力な領域モデリング能力を持ち、精密検出を必要とするタスクに向いている。アンカー設計の制約を緩める方向では、RepPoints のような anchor-free 手法も登場した。
  • 単段階構造(One-stage)は YOLO、SSD、RetinaNet などで、候補領域を生成せず、画像全体に対して直接密集予測を行い、効率と推論速度の向上を図る。この手法は CenterNet、FCOS、CornerNet などの anchor-free 設計とともに、従来の二段階構造の精度優位性にも挑戦している。

この 2 つの路線の分岐は「速度」と「精度」のトレードオフを象徴しており、YOLOv4 の設計はこのスペクトラム上で最適なバランスを目指している。

特徴融合の Neck

Backbone の深さや幅が増すにつれ、多層の特徴を効果的に統合することが予測の鍵となった。

これが Neck モジュールの設計意図であり、意味情報と位置情報を補完的に融合して、Head に意味と空間の詳細を兼ね備えた入力を提供する。代表的な手法は:

  • FPN(Feature Pyramid Network)はトップダウンの融合構造を開拓し、高層の意味信号を段階的に上方向にアップサンプリングし融合する。
  • PAN(Path Aggregation Network)はボトムアップの経路を補い、浅層情報のフィードバック能力を強化する。
  • BiFPN / NAS-FPNは学習可能な重み付きの双方向融合や NAS(ニューラルアーキテクチャサーチ)による最適構成探索で効率と性能をさらに追求する。
  • ASPP / RFB / SAMのようなモジュールは空間ピラミッド、受容野設計、注意機構を用いて特徴表現能力を強化する。

これらの設計の核心は、速度を過度に犠牲にせずに多尺度理解と特徴表現力を向上させることにある。

検出のために生まれた Backbone

モデル設計のモジュール化・交換可能化が進む一方で、物体検出タスク専用の特徴抽出器を骨幹ネットワークから再設計する動きもある。

  • DetNetやDetNASは分類指向のバックボーンを検出指向に変え、高解像度維持と検出感知能力に注力する。
  • SpineNetはデータフローの多様性と特徴組み合わせの柔軟性を強調し、NAS で最適ネットワーク構成を探す。
  • HitDetectorはタスク要求から直接設計を起こし、入力から予測までの全体設計を計画し、各モジュールの協調効果を最大化する。

この方向性の発展は、タスク要求が画像分類から位置検出・枠選択へと移行し、単に分類構造を流用するだけでは検出の複雑性に対応できないことを示し、骨幹からの再設計がより効率的な解決策となる可能性を示唆している。

訓練最適化テクニック

物体検出の訓練過程では「Bag of Freebies」と呼ばれる技術群が存在する。

これは「訓練コストは増加するが推論効率に影響を与えない技術」を意味し、推論速度を犠牲にせずにモデルの精度と汎化能力を高めることが目的である。

この技術群は大きく 3 タイプに分かれる:データ拡張、ラベル処理、損失関数の最適化。

データ拡張

物体検出モデルの汎化能力は入力データの多様性に大きく依存する。異なる環境下の画像入力に対応するため、データ拡張は最も一般的かつ効果的な手法である。

  • ピクセルレベルの変化:輝度、コントラスト、彩度、色相、ノイズなどの光学的歪みや、ランダムなスケーリング、切り出し、反転、回転などの幾何学的変換が含まれ、元のピクセル情報は保持しつつ配置や見た目を変える。
  • マスキング強化:Random Erase、CutOut、Hide-and-Seek、GridMask など、遮蔽シーンをシミュレートするために画像領域をランダムにマスクし、遮蔽下でも目標を識別する力をモデルに学習させる。
  • 特徴マスキング:同様の概念は特徴マップにも適用でき、DropOut、DropConnect、DropBlock などが中間表現のロバスト性と安定性を強化する。
  • 複数画像の混合:MixUp や CutMix は 2 枚の画像を融合・結合し、ラベルを加重調整または面積比率に応じて配分し、複雑なシーン理解力を向上させる。
  • スタイル変換:Style Transfer GAN は異なるスタイルの画像を生成し、CNN が特定の材質やテクスチャに過度に依存するのを抑制する。

ラベルスムージングと知識蒸留

入力画像の処理に加え、ラベル操作も無料の最適化の一環である。

分類タスクでは、ラベルは通常 one-hot 形式で表される。この「ハードラベル」は明確だが、意味レベルの曖昧さや柔軟性に欠ける。そこで Label Smoothing が提案され、元のラベルを「ソフトラベル」に変換し、モデルが特定のクラスに過度に自信を持つことを防ぎ、未知データに対する安定性を向上させる。

さらに、知識蒸留を導入し、高性能な Teacher モデルがより細かな出力分布を提供し、Label Refinement Network を通じて学生モデルにクラス間の相対関係を学習させる手法もある。

損失関数の最適化

物体検出タスクで極めて重要な境界ボックス回帰問題に対し、従来は MSE や L1/L2 Loss で座標(中心点や対角線など)を直接回帰していた。しかしこれらはボックス全体の幾何構造を無視し、物体のスケール変化にも弱い。

そのため近年は IoU Loss が主流となり、予測ボックスと真実ボックスの重なり領域を損失関数の中心に据え、スケール不変性と意味的一貫性の利点を持つ。

さらに改良版も登場している:

  • GIoU (Generalized IoU):最小の包囲ボックスを加味し、IoU が完全に重ならない場合の勾配消失問題を解決。
  • DIoU (Distance IoU):中心点距離を組み込み、位置精度を強化。
  • CIoU (Complete IoU):重なり率、中心距離、縦横比を同時に考慮する。本論文の候補の一つです。

これらの回帰損失改良は収束の安定性を高め、モデルの位置精度向上に不可欠である。

精巧なモジュール設計

Bag of Freebies と対をなす、精度向上のもう一つの戦略がBag of Specialsである。

これは推論コストを多少増やすが、その計算増加に見合わないほどの精度向上をもたらすため、物体検出において高いコストパフォーマンスを誇る技術群だ。

これらの技術は主に 4 つの視点に分かれ、さらに見落とされがちだが強い影響力を持つ「活性化関数設計」も含む:

受容野拡張、注意機構、特徴統合モジュール、非極大値抑制(NMS)後処理、活性化関数設計

受容野の拡張

モデルが文脈情報を早期に感知し空間理解力を高めるため、多くのモジュールが受容野拡張を目指す:

  • SPP(Spatial Pyramid Pooling) モジュールは従来の SPM 概念に由来し、画像分類で多尺度の領域表現を作成するために使われた。YOLOv3 ではこれを畳み込みネットワークに統合し、空間サイズを変えずに複数の MaxPooling(例:k=1,5,9,13)を連結して大幅な受容野拡張を実現。YOLOv3-608 では計算量が 0.5%増加するのみで AP50 が 2.7%向上。
  • ASPP(Atrous Spatial Pyramid Pooling) は複数の異なる膨張率の 3×3 膨張畳み込みを用い、多尺度の受容野相当の空間認識を行う。
  • RFB(Receptive Field Block) はさらに多様な膨張率の畳み込みを並列処理し、密かつ広範囲の空間カバーを獲得。SSD 上で推論時間が 7%増加するのみで AP50 が 5.7%向上。

注意機構

注意モジュールは重要信号の強度を動的に調整する役割を担い、近年視覚タスク全般で広く使われている:

  • SE(Squeeze-and-Excitation) モジュールはチャネルレベルの再重み付けに注力し、識別力の高い特徴にモデルを集中させるが、GPU 上の推論負荷は比較的高い。
  • SAM(Spatial Attention Module) は空間レベルで注意を導入し、入力特徴マップを空間的に重み付け。コストは極めて低く、GPU 推論速度にほとんど影響しない。

複数尺度統合

従来はスキップコネクションやハイパーカラムで浅層と深層特徴を連結していたが、FPN を代表とする多尺度融合構造の台頭により、より効率的な融合モジュールが提案されている:

  • SFAM:SE モジュールを基にチャネル注意を強化。
  • ASFF(Adaptive Spatial Feature Fusion):ポイントワイズソフトマックスで異なる尺度の特徴融合重みを決定。
  • BiFPN:マルチインプット加重残差接続を提案し、尺度ごとに学習可能な融合を実現し、精度と効率の良好なバランスを達成。

活性化関数の進化

良い活性化関数は勾配の安定伝播を助け、余分な負担をかけない:

  • ReLU は従来の sigmoid/tanh の勾配消失問題を解決。
  • LReLU / PReLU は負の領域の勾配消失問題を克服。
  • ReLU6 / hard-Swish は量子化ネットワーク向けに最適化。
  • SELU は自己正規化(self-normalization)をサポート。
  • Swish / Mish は滑らかで微分可能な関数であり、深層ネットの収束性と精度を向上。

これらの活性化関数は微視的な設計でありながら、大規模ネットワークでは顕著な性能向上につながる。

NMS(非極大値抑制)後処理

NMS は重複する予測ボックスを除去するための最後のステップ:

  • 従来の NMS は IoU と信頼度スコアで上位のボックスを残すが、遮蔽された物体の信頼度低下問題には弱い。
  • Soft-NMS はスコアを減衰させることで「過度な除去」を緩和。
  • DIoU-NMS は中心距離情報を加え、より幾何学的な直感に基づいた選別を行う。

anchor-free 構造も増えてきたが、FCOS は推論時に NMS を使う。アンカーを使わないことと NMS を使わないことは別の選択だ。

解決問題

ついに YOLOv4 本体を見ることができる。

これまで紹介した様々な手法を踏まえると、著者は「速くて良い」構造を見つけ出そうとしていることが分かる。

アーキテクチャの選択

Backbone 設計において、著者は「分類モデル ≠ 検出モデル」という核心概念から出発し、各種アーキテクチャの異なるタスクにおける性能を再評価した。

彼らは、CSPResNeXt50 が ImageNet で優秀な成績を示す一方で、MS COCO 検出タスクではCSPDarknet53の方が優れていることを発見した。これは検出タスクが分類タスクよりも厳しい要求を持つためである:

  • より高い入力解像度:小さなターゲットを識別するため。
  • より深い層数と大きな受容野:広範な文脈情報をカバーするため。
  • より多いパラメータ容量:多目標・多尺度シーンに対応するため。

例えば受容野について、CSPResNeXt50 は 16 層の 3×3 畳み込みで 425×425 の受容野だが、CSPDarknet53 は 29 層で 725×725 の受容野を持ち、より大きなパラメータ数(27.6M)と合わせて複雑な検出シーンに対応できる。

そのため YOLOv4 はCSPDarknet53を Backbone に選択し、そこにSPP モジュールを加えて受容野を強化、さらにPANetで多層特徴を融合し、最終的にYOLOv3 Headへ接続して予測を行う構成を取った。

この構成のコアは:

  • Backbone:CSPDarknet53
  • Neck:SPP + PANet
  • Head:YOLOv3(アンカーベース)

訓練戦略の選択

YOLOv4 の訓練戦略は以下の 2 つの古典的概念に基づく:

  • Bag of Freebies (BoF):訓練コストは増やすが推論負荷は増やさない
  • Bag of Specials (BoS):推論コストを多少増やして精度を大幅向上させる

訓練構成では、候補の活性化関数を検討したうえで Mish activation を採用し、複数 GPU を必要とする SyncBN に代わって、単一 GPU でも利用できる Cross mini-Batch Normalization(CmBN)を取り入れた。

深層学習では Batch Normalization(BN)が安定訓練に重要だが、BN は十分なサイズのミニバッチが前提。モデル規模が大きくなったり GPU が 1 枚だけの場合、ミニバッチサイズが小さくなり BN 効果が激減し、不安定になることが多い。

従来は SyncBN(Cross-GPU BN)が複数 GPU 間で統計量を共有し安定化を図っていたが、単 GPU 環境には向かない。

CmBN は、同じ batch 内の複数の mini-batch にまたがって統計量を集約する。たとえば一つの batch を四つの mini-batch に分けて順に処理する場合、図の緑色の行のように、その batch 内で平均と分散の統計を蓄積する。これは Mosaic で四枚の画像を一枚に組み合わせる操作とは別の設計だ。

これにより、複数 GPU で同期せずとも、同じ batch 内の複数の mini-batch の統計情報を利用できる。図のオレンジ色の CBN は複数回の重み更新をまたぐのに対し、CmBN の集約範囲は一つの batch の中に収まる。

また DropBlock を主要正則化法に選び、CutMix、MixUp、Label Smoothing などの増強と合わせ、訓練で代表的な無料性能向上セットを構成する。

追加の増強設計

YOLOv4 の訓練には以下 3 つの重要な最適化がある:

  1. Mosaic データ増強:

    4 枚の画像を混合しシーン多様性を拡大、BatchNorm がより多くの画像情報を同期処理でき、小バッチでの安定性向上を実現。

  2. SAT(Self-Adversarial Training):

    一回の SAT では、まずモデル自身が入力画像を変えて対象を隠すようにし、次にその改変画像で検出器を訓練する。この二段階の操作を繰り返す。論文も、あらゆる偽装攻撃への頑健性を単独で検証したものではない。

  3. モジュール改良:

    • SAM を point-wise 注意力に変更する。図では元の SAM の max/average pooling 分岐を省き、畳み込みと sigmoid から重みを作る。

    • PANet の shortcut を concat に変え、入力特徴をチャネル方向に連結する。図自体は融合品質を測ったものではない。

こうした設計は単一 GPU での訓練という狙いに沿っている。個々の要素がどの程度効くかは、後述する指定モデル・入力サイズでの消融結果と合わせて読む必要がある。

コンポーネント総覧と技術選定

以上の設計を統合すると、YOLOv4 の最終モジュール選択は以下となる:

構造構成:

  • Backbone:CSPDarknet53
  • Neck:SPP、PAN
  • Head:YOLOv3 Head

訓練技術(Backbone & Detector 用 BoF):

  • CutMix / Mosaic データ増強
  • DropBlock 正則化
  • Label smoothing
  • CIoU Loss
  • CmBN
  • SAT
  • Grid sensitivity 除去策
  • 複数アンカーによる単一 ground truth 対応
  • Cosine annealing スケジューラ
  • ランダム訓練解像度
  • 遺伝的アルゴリズムによる最適パラメータ組合せ

推論技術(Backbone & Detector 用 BoS):

  • Mish activation
  • CSP モジュール
  • 複数入力加重残差接続
  • SPP モジュール
  • 改良版 SAM
  • PAN path aggregation
  • DIoU-NMS 後処理戦略

実験設定

様々な訓練戦略がモデル性能に与える影響を検証するため、著者は 2 つの標準データセットで大規模実験を行い、分類および検出タスクの訓練・評価を実施した。

ImageNet(ILSVRC 2012 val) 画像分類実験のデフォルト訓練設定は以下:

  • 訓練ステップ数:8,000,000 steps
  • バッチサイズ / ミニバッチサイズ:128 / 32
  • 学習率スケジュール:Polynomial decay、初期学習率 0.1
  • ウォームアップステップ数:1,000
  • Momentum / Weight decay:0.9 / 0.005

Bag of Freebies (BoF) の設定では以下の戦略を検証:

  • MixUp
  • CutMix
  • Mosaic
  • ブラー処理(Blurring)
  • ラベルスムージング(Label Smoothing)

MS COCO(test-dev 2017) 物体検出実験のデフォルト設定は:

  • 訓練ステップ数:500,500 steps

  • 学習率スケジュール:Step decay

    • 初期学習率:0.01
    • 400,000 および 450,000 ステップで 0.1 倍に減衰
  • Momentum / Weight decay:0.9 / 0.0005

  • バッチサイズ / ミニバッチサイズ:64 / 8 または 4(モデル・メモリ容量により調整)

遺伝的アルゴリズムによる最適ハイパーパラメータ探索実験を除き、同じタスク内の比較には上記のデフォルト設定を用いた。ただし ImageNet の BoF 比較では、訓練ステップをさらに 50% 増やしている。

ハイパーパラメータ探索では、YOLOv3-SPP 構造と GIoU Loss を用い、min-val 5k サブセットで 300 エポックの探索を実施。最終採用パラメータは以下:

  • 学習率:0.00261
  • Momentum:0.949
  • IoU 割当閾値:0.213
  • 損失正規化係数:0.07

すべての実験は単 GPU 上で実施され、syncBN などのマルチ GPU 最適化技術は用いられていない。

議論

分類器訓練における各特徴の影響

著者は分類器訓練過程で異なる訓練戦略が最終精度に与える影響を検証し、特に以下の代表的強化技術に注目した:

  • ラベルスムージング(Class label smoothing)
  • 各種データ増強(Blur 処理、MixUp、CutMix、Mosaic)
  • 活性化関数の種類(Leaky ReLU、Swish、Mish)

上の表は CSPResNeXt50 の ImageNet Top-1/Top-5 を示している。77.9% の Top-1 を基準にすると、以下の項目では精度が上がっている:

  • CutMix データ増強
  • Mosaic データ増強
  • ラベルスムージング正則化
  • Mish 活性化関数

このため、YOLOv4 の分類器訓練戦略(BoF-backbone)には以下を最終採用:

  • CutMix
  • Mosaic
  • ラベルスムージング

さらに Mish activation も補助的な活性化関数として採用された。CutMix、Mosaic、label smoothing を合わせた行は Top-1 が 78.5%、Mish も加えた行は 79.8% となる。一方、MixUp、ぼかし処理、Swish 単独の行では、この基準の Top-1 は向上していない。

検出器訓練における各特徴の影響

著者は異なる訓練戦略が検出器の精度に与える影響をさらに評価し、特に Bag of Freebies for detector(BoF-detector) に関する体系的な実験を行った(上表参照)。

YOLOv4 は BoF の選択肢を大幅に拡充し、推論速度(FPS)を犠牲にせず精度向上が見込める訓練技術に注力している。

Table 4 で検証した BoF-detector の項目は以下の通り:

  • S: Grid Sensitivity Elimination YOLOv3 ではターゲット座標は bx=σ(tx)+cxb_x = σ(t_x) + c_x で定義され、cxc_x は整数。txt_x の値が極端に大きい・小さい時のみ bxb_x がグリッド端に近づき、これが一部端のターゲットの検出困難を招いていた。 これを解決するため、sigmoid の出力に 1 以上の係数をかけてグリッド感度の制約を緩和。

  • M: Mosaic データ増強 4 枚の画像を結合して入力とし、異なるシーン・スケールのターゲットを同時学習させ、汎化能力を強化。

  • IT: IoU Threshold 各 ground truth に対し複数のアンカーを割り当て、IoU(anchor, truth) > threshold の条件を満たすものを活用しサンプル使用率を増加。

  • GA: Genetic Algorithms 訓練時間の最初の 10% でハイパーパラメータを探索する。単独で加えた行の AP は、基準の 38.0% から 38.9% へ上がる。ただし、表は収束の安定性を測っていない。

  • LS: Class Label Smoothing クラスラベルに平滑化を適用する。ただし、単独で加えた行の AP は 38.0% から 33.0% に下がっておる。

  • CBN: Cross mini-Batch Normalization (CmBN) 同じ batch の複数の mini-batch の間で統計量を集約する。単独で加えた行の AP は 38.0% から 38.4% に上がる。

  • CA: Cosine Annealing Scheduler コサイン関数で学習率を調整する。単独で加えた行の AP は 38.0% から 38.7% に上がるが、表に学習曲線はない。

  • DM: Dynamic mini-batch Size 低解像度の訓練段階で mini-batch size を増やし、ランダムな入力サイズに対応する。単独で加えた行の AP は 35.3% で、38.0% の基準より低い。

  • OA: Optimized Anchors 入力解像度(例:512×512)に最適化したアンカー位置・サイズを設定し、割当効率を改善。

  • BBox Regression Loss GIoU、CIoU、DIoU、従来の MSE など複数の境界ボックス損失関数を比較し、各種環境での回帰品質を検証。


また、Bag of Specials for detector に関する検証も実施(下表参照):

実験項目例:

  • PAN:パラメータ集約と特徴流通性の向上
  • RFB:多尺度膨張畳み込みによる受容野拡張
  • SAM:空間注意機構
  • Gaussian YOLO (G):予測ボックスを単一点ではなくガウス分布で推定
  • ASFF:スケール間の注意的融合戦略

Table 5 の CSPResNeXt50・512×512 という条件では、SPP + PAN + SAM の組み合わせが表中で最も高い 42.7% AP となり、SPP + PAN より 0.3 ポイント高い。Gaussian YOLO や RFB を加えた行はむしろ低い。すべてのモジュール組み合わせを比較した表ではない。

Backbone の違いによる影響

著者は異なる Backbone が検出精度に及ぼす影響を調査した(上表参照)。

結果は、分類性能が最良のモデルが必ずしも検出タスクで優れるわけではないことを示す。

具体的には、分類タスクで様々な訓練技術を用いたCSPResNeXt50は分類精度がCSPDarknet53より高いが、検出器の Backbone として用いると、逆に CSPDarknet53 の方が高い検出性能を示す。

特に、CSPResNeXt50に BoF や Mish activation を組み合わせた分類モデルを検出器の初期重みとして使うと精度が低下。一方、CSPDarknet53を同様に訓練し Backbone に用いると、分類精度向上に加え検出性能も向上する。

この比較は、この組み合わせでは、分類器の事前学習精度だけで後続の検出 AP を予測できないことを示している。

Table 6 の 512×512・PANet-SPP 構成では、BoF と Mish を用いた CSPDarknet53 が 43.0% AP で、表中の CSPResNeXt50 の 42.3~42.4% より高い。ただし、この比較から受容野だけの寄与を切り分けることはできない。

ミニバッチサイズの違いによる影響

最後に、著者は異なるミニバッチサイズでの訓練影響を分析した(上図参照)。

Table 7 の CSPDarknet53 + BoF/BoS・512 入力という条件では、mini-batch 4 と 8 の AP はそれぞれ 41.6%/41.7% と近い。一方、CSPResNeXt50・608 入力で BoF/BoS を使わない別の条件では 37.1%/38.4% である。両組の間では骨幹、入力サイズ、訓練技術も変わっているので、差を BoF/BoS だけに帰することはできない。

これは実務上重要な発見である。

この結果は、著者の単一 GPU 向け構成で mini-batch 4 と 8 が近い AP を得たことを支える。ただし、さらに小さい batch、別の GPU、別のデータセットにも当てはまるかは、この表では検証されていない。

ベンチマーク

この図は Maxwell、Pascal、Volta を分け、COCO test-dev AP と FPS を示す。YOLOv4 は入力サイズごとに速度と精度のトレードオフが変わり、著者の比較点では Pareto 前縁に近い(上図参照)。

たとえば YOLOv4-608 は 43.5% AP、Maxwell/Pascal の表記値はそれぞれ 23/33 FPS。416 入力に変えると 41.2% AP、38/54 FPS となる。手法ごとに使った GPU や入力サイズが異なる。

推論時間の GPU アーキテクチャ差を考慮し、著者は Maxwell、Pascal、Volta の環境を分けて評価している:

  • Maxwell:GTX Titan X(Maxwell)、Tesla M40
  • Pascal:Titan X(Pascal)、Titan Xp、GTX 1080 Ti、Tesla P100
  • Volta:Titan Volta、Tesla V100

図の FPS はそれぞれの GPU、入力サイズ、batch=1、TensorRT を使わない条件で読む必要がある。複数の GPU で即時またはそれに近い速度を測れたことは分かるが、他のデバイスへの展開性能や訓練の安定性までは推定できない。

結論

YOLOv4 は論文で比較した MS COCO の検出器の中で、高い AP50 と高速な推論を両立した。

さらに著者は、8~16GB VRAM の一般消費者向け GPU でも訓練可能な設計を重視した。開発の敷居を下げる狙いは明確だ。

物体検出に取り組む開発者なら、一度めくってみる価値のある論文だ。読んだ時間の元は取れると思う。