YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
- 発表先
- CVPR 2023国際会議
- arXiv への初回投稿
- arXiv:2207.02696
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{objectdetectionyolov72022,
title = {{YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors}},
author = {Chien-Yao Wang and Alexey Bochkovskiy and Hong-Yuan Mark Liao},
year = {2022},
eprint = {2207.02696},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2207.02696}
}
YOLOv7 の論文の著者チームは台湾の中央研究院出身です。
ところで、なぜ v7 は v6 よりも 2 か月早く公開されたのでしょうか?それは世界中に多くのチームが初代 YOLO の正統な継承者になろうとしているからです。星々が集う YOLO 宇宙へようこそ!
問題の定義
リアルタイム物体検出の分野は、常に四つの要素のバランスを取っています:速度、精度、パラメータ数、展開可能性。
これらのバランスはシーンによって優先順位が変わります。自動運転では遅延を重視し、組み込み機器では消費電力を気にし、医療画像では精度が最優先です。
過去数年、リアルタイム検出器の設計は大きく二つの方向に分かれました:
一つは「極限の軽量化」を追求し、マイクロプロセッサやエッジ CPU 向けに設計されたもの(例:MCUNet、NanoDet)。もう一つは「高効率なアーキテクチャで性能を絞り出す」ことで、YOLOX や YOLOR のようにバックボーンの改造、ネックの最適化、特徴融合設計などによって推論速度と精度を向上させています。
これらの方法に共通しているのは:
- ほぼ全て推論アーキテクチャに着目し、より速い経路でより正確な答えを出そうとしている点です。
しかし YOLOv7 は逆の道を選びました。
著者はこの論文で、あまり注目されていない切り口を提案しました:
訓練プロセスを再設計すれば、推論時の負担を増やさずに精度を上げられないか?
この出発点が YOLOv7 のコアコンセプト、「trainable bag-of-freebies」を生み出しました。
bag-of-freebies とは、訓練コストだけを増やし、推論コストは増やさない技術のことを指します。
YOLOv7 はこれらの技術を「訓練可能な」設計としてまとめ、推論時に追加の分岐を残さずに性能を高めようとしました。論文は E-ELAN やモデルスケーリングなど、アーキテクチャ自体も変更しています。
この設計はシンプルに聞こえますが、すぐに二つの構造レベルの難題を引き起こしました:
- モジュールの重パラメータ化は、訓練と推論の両方に有利になるようにどう設計するべきか?
- 動的ラベル割り当て技術を使う際、多層出力間の割り当て整合問題をどう処理するか?
これらの問題は以前は「訓練の細かい部分」として無視されがちでしたが、YOLOv7 の路線では、これら訓練過程の非顕在的なボトルネックが設計の主戦場となりました。
今回は YOLOv7 が焦点を「推論性能」から「訓練効率」へと移したのです。
この時点で思考の順序は静かに逆転しています。
問題の解決
Extended-ELAN
YOLOv7 が導入した最初の設計上のキーポイントは、E-ELAN(Extended Efficient Layer Aggregation Networks) という計算ブロックで、YOLOv7-E6E に使われます。
これは ELAN 構造を発展させたものであり、E-ELAN のコア設計理念は以下の通りです:
勾配経路の長さを変えずに、パラメータの利用率と特徴表現の多様性を向上させる。
上図からも明確にわかるように、E-ELAN は元の ELAN の勾配伝播経路を完全に保持しています。
神経ネットワークにおいて、有効な勾配経路は訓練効率と収束能力に直接影響を与えることは周知の事実です。
E-ELAN はこの主幹構造を維持しつつ、以下の重要な改良を加えています:
- 拡張(expand):グループ畳み込みを用いてチャネル数とカーディナリティを拡大。
- 再編成(shuffle):特徴マップのグループをシャッフル(再配置)。
- 結合(merge):グループ化した特徴を融合し、クロスグループ学習を促進。
これらの操作で異なるグループのブロックに多様な特徴を学ばせ、パラメータと計算の利用率を高めながら、元の勾配伝播経路を維持することを狙います。
総じて、E-ELAN は計算ブロック内の特徴の多様性を広げ、勾配経路を維持する設計です。
連結型アーキテクチャのスケーリング
二つ目の設計ポイントは、連結型アーキテクチャに対する複合スケーリング戦略(Compound Model Scaling)です。
以前 EfficientNet で見られたように、モデルスケーリングとはネットワークの幅(width)、深さ(depth)、解像度(resolution)を同時に拡大する手法です。
しかしながら、このスケーリング方法は主に ResNet や PlainNet のような「単一路径」アーキテクチャを対象としています。
しかし、この論文で扱う連結型の構造では、計算ブロックの深さだけを増やすと連結出力のチャネル数も増え、次の transition layer の入力幅やチャネル比率が変わります。これによりハードウェアの利用効率が落ちる可能性があります。
そこで著者が提案した解決策は以下の通りです:
深さをスケールアップする際には、幅も連動して調整し、チャネル比率を安定させるべきである。
この戦略は元のチャネル比率とハードウェア利用率を維持しようとするものです。
具体的な手順は:
- まず深さ(depth)のスケーリングを行い、ブロック内の積み重ね層数を増やす。
- 拡張された出力チャネルの変化に合わせて、遷移層(transition layer)の幅(width)も対応的にスケールする。
- 元のチャネル比率を維持し、深さだけの拡張で transition layer の入力幅が偏ることを避ける。
これは「結合型スケーリング手法」と呼べるもので、異なる階層のパラメータ変化を同時に考慮することで、高効率な計算を維持しつつモデル規模の拡大を可能にしています。
トレイナブル BoF
YOLOv7 が提案する trainable bag-of-freebies は、単なる既存技術の積み重ねではなく、訓練プロセス自体をモデル最適化の主戦場に押し上げています。
以下、三つの重要な革新点を詳しく見ていきましょう。
-
Planned Re-parameterized Convolution
再パラメータ化畳み込み(RepConv)は、訓練と推論を分離した構造設計です:
- 訓練時は、3×3 畳み込み、1×1 畳み込み、さらに identity ショートカット(入力を直接通す)という三つのブランチを持ちます;
- 推論時には、これら三経路を単一路径に統合し、追加コストゼロを実現します。
この設計は VGG のような単純構造で効果的であり、収束加速や精度向上に寄与します。
しかし著者は、
既に shortcut や特徴の連結があるネットワークに元の RepConv をそのまま置くと、実験で精度が下がりました。
著者の勾配経路の分析では、ResNet に residual shortcut がある層へ RepConv の identity 分岐まで加えると、元の経路が変わる可能性があります。
DenseNet のような連結構造でも、identity 付き RepConv への直接置換で精度が下がったため、そうした位置では分岐を取り除くことを提案しています。
そこで著者は、
ネットワーク構造の性質(residual/concat の有無)に応じて、identity 分支を持たない RepConvN を使う計画的な再パラメータ化を提案しました。
具体例として、
- PlainNet(残差なし基礎ネットワーク)では完全な 3×3 + 1×1 + identity 三経路の RepConv が有効;
- ResNet や DenseNet では 3×3 + 1×1 の RepConvN を使い、元の勾配経路への影響を抑えます。
- Coarse-to-Fine ラベル設計
多層検出ヘッドの訓練にあたり、著者は革新的な監督機構を導入しました:
- Coarse-to-Fine Label Assignment。
この機構は二つの重要な役割を持ちます:
- Lead Head:最終検出を担う主ヘッド;
- Auxiliary Head:浅層学習を補助し収束を助ける補助ヘッド。
従来は各ヘッドに独立したラベル割り当てを行いますが、著者は新たに
Lead Head の予測を全体訓練のリーダーとして用いるという見解を示しました。
具体的な戦略は二つ:
- Lead Head Guided Label Assigner:Lead Head の予測結果と ground truth からソフトラベルを作成し、全ヘッドに適用;
- Coarse-to-Fine Label Assigner:粗い(coarse)ラベルと細かい(fine)ラベルの二種類を作り、Auxiliary Head にはリコール向上の粗いラベルを、Lead Head には精度向上の細かいラベルを割り当てる。
この戦略の背景は、
- Lead Head は学習能力が高く指標として適している;
- Auxiliary Head は学習能力が低いため、正例条件を緩和しリコールを上げる必要がある;
- 残差学習の精神で、Lead Head は未学習部分に集中する。
粗いラベルが望ましくない事前傾向を作らないよう、著者は decoder で coarse label の objectness に上限を設け、物体中心からの距離で減衰させます。
- その他のトレイナブル Freebies
最後に、著者は過去に「訓練トリック」として扱われた技術群を トレイナブルな設計単位 に昇華させました:
- BN と畳み込み層の融合:BatchNorm の統計量を畳み込みの重みとバイアスへ折り込み、推論時の計算を簡素化;
- YOLOR スタイルの暗黙的知識注入:暗黙ベクトルを畳み込み層に結合し、推論時には固定ベクトル重みとして事前計算可能;
- EMA(指数移動平均)モデル:訓練パラメータを滑らかに平均化し、EMA モデルを最終推論モデルとすることで安定性と汎化性能を向上。
これらは新しい技術ではありませんが、YOLOv7 では訓練時に使い、推論時の追加コストをできるだけ残さない設計として整理されています。
実験設定
YOLOv7 の全実験は Microsoft COCO 2017 データセットで実施され、以下を重視しています:
- ImageNet 事前学習を使わず、スクラッチから訓練すること;
- 訓練に
train2017、検証とハイパーパラメータ調整にval2017、最終評価にtest2017を使用。
また、用途に応じて以下のモデル群が用意されています:
| モデル名 | 設計目標 | スケーリング技術 | 備考 |
|---|---|---|---|
| v7-tiny | エッジデバイス | 軽量化設計 | LeakyReLU 使用 |
| v7 | 一般 GPU | 基本モデル、v7-X の拡張元 | SiLU 使用 |
| v7-W6 | クラウド GPU | 基本モデル、E6 / D6 の拡張元 | SiLU 使用 |
| v7-E6/E6E | クラウド GPU | E6 は W6 の拡張、E6E は E-ELAN を追加 | |
| v7-D6/X | 拡張モデル | D6 は W6 から、X は v7 から |
v7-X は neck の積み重ねと複合スケーリングを使います。E6 と D6 は W6 から複合スケーリングで得られ、E6E には E-ELAN も使われます。
討論
旧版 YOLO との比較
まずは過去の YOLO シリーズおよび YOLOR との比較結果を見てみましょう(上表参照)。
この Table 1 にあるのはパラメータ、FLOPs と COCO 検証セットの AP で、速度欄はありません。YOLOR-CSP と比べると YOLOv7 はパラメータが 52.9M から 36.9M、FLOPs が 120.4G から 104.7G へ下がり、AP は 0.4 ポイント上がります。ただし tiny と YOLOv4-tiny の比較ではパラメータが 2% 多く、YOLOv7-X の AP50 は YOLOR-CSP-X より 0.2 ポイント低い。
最新 SOTA モデルとの比較
速度と精度のトレードオフにおいて:
- YOLOv7-tiny-SiLU は YOLOv5-N (r6.1) と比べ 127 fps 速く、表上の COCO AP は 10.7 ポイント高い。ただしこの AP は前者が test、後者が val の欄で、同じ split の厳密な比較ではありません。
- YOLOv7 は 161 fps で 51.4% test AP、同じ test AP の PPYOLOE-L は 78 fps です。
上位モデル同士の比較では:
- YOLOv7-X は YOLOv5-L (r6.1) より 15 fps 速く、COCO val AP は 3.9 ポイント高い。
- YOLOv7-X は YOLOv5-X (r6.1) と比べて 31 fps 速く、パラメータは 86.7M から 71.3M、FLOPs は約 8%減り、COCO val AP は 2.2 ポイント高い。
さらに大規模モデル比較:
- YOLOv7-E6 は YOLOv5-X6 (r6.1) より COCO val AP が 0.9 ポイント高く、パラメータは 140.7M から 97.2M、FLOPs は 839.2G から 515.2G、FPS は約 47%高い。
- YOLOv7-D6 と YOLOR-E6 は 44 対 45 fps。YOLOv7-D6 の COCO val AP は 0.6 ポイント、test AP は 0.8 ポイント高い。
- YOLOv7-E6E と YOLOR-D6 は 36 対 34 fps。YOLOv7-E6E の COCO val AP は 0.7 ポイント、test AP は 0.3 ポイント高い。
これらの比較から以下が読み取れます:
- 軽量から大規模モデルまで YOLOv7 は高効率を維持している
- これらの YOLOv7 モデルは事前学習重みを使っていないが、表はサイズや訓練条件の異なるモデル間の比較でもある
- モデルスケーリングとラベル割り当てそれぞれの寄与は、下の消融実験で確認する必要がある
YOLOv7 は単なる訓練技術の集合体にとどまらず、実運用ニーズを総合的に考慮したアーキテクチャ設計の模範です。
消融実験:モデルスケーリング
モデルスケーリングの一般的手法は以下の三つです:
- 幅(width)のみ拡大:各層のチャネル数を増やす
- 深さ(depth)のみ拡大:層やブロック数を増やす
- 複合スケーリング(EfficientNet など):depth、width、解像度を同時に調整
著者は特に 連結(concatenation)ベースの構造向けに最適化された手法 を採用しました:
計算ブロックの深さを 1.5 倍に拡大し、遷移ブロックの幅を 1.25 倍に同期拡大する。
この設計は以下の重要ポイントを保つことを目的としています:
- ブロックの出力特徴マップ構造の安定
- 各層間のチャネル整合性
- 元のチャネル比率とハードウェア利用率の維持
結果は以下の通りです:
- 幅だけ拡大:73.4M パラメータ、195.5G FLOPs、52.4% AP。
- 深さだけ拡大:69.3M パラメータ、187.6G FLOPs、52.7% AP。
- 複合スケーリング:71.3M パラメータ、189.9G FLOPs、52.9% AP。幅だけの場合より AP は 0.5 ポイント高くコストは低い一方、深さだけの場合より AP は 0.2 ポイント高いもののコストはやや高い。
この複合モデルスケーリングは単なるサイズ拡大ではなく、ELAN や YOLO スタイルのネットワーク構造に適した幾何学的安定手法です。
ラベル割り当て戦略
従来の多頭検出器では、Auxiliary Head は単に中間層への監督信号として追加され、勾配の伝播を速めて収束を促進する役割に留まっていました。
しかし YOLOv7 の設計はさらに踏み込み、なぜ補助ヘッドの学習内容も主出力(Lead Head)にリードさせないのか? という問いを投げかけています。
これがまさに Assistant Loss for Auxiliary Head の設計の核であり、Lead Head の予測を用いてより意味的階層のある監督構造を構築しています。
-
実験 1:3 種のラベル割り当て戦略比較
結果は、
- 補助損失(assistant loss)を加えるだけで性能が向上する
- Lead Head によるソフトラベル指導(Lead-guided Assigner)が従来方式を上回る
- Coarse-to-Fine 指導戦略では、主ヘッドに精細ラベル、補助ヘッドにリコール重視の粗いラベルを与える。Table 6 では lead-guided と全体 AP・AP50 は同じで、AP75 だけが 0.1 ポイント高い。
さらに下図は各戦略下での Objectness Map の可視化です:
この図は独立割り当てと lead-guided 割り当てで、補助・主ヘッドの objectness map を比較します。著者は、後者で二つのヘッドの対象への反応が近づくことを、主ヘッドが残りの情報を学ぶ助けになると解釈しています。ただし、図は特徴の一致を直接測ったものではありません。
中間層から上位層への情報誘導は「残差学習構造」としてネットワーク全体の学習分業と効率を向上させています。
-
実験 2:Decoder の上限制約効果
Coarse Label が最終出力に悪影響を及ぼさないように、著者はデコーダーに以下の制約を追加しました:Coarse Label の objectness スコア上限を設け、ターゲット中心からの距離に応じてスコアを減衰させるというものです。
Table 7 では上限の有無で AP と AP50 はともに 55.9%、73.5% のまま、AP75 だけが 61.0% から 61.1% に上がります。この設定で確認できるのは、厳しい IoU 閾値での小さな改善です。
-
実験 3:Partial Auxiliary Head 設計
YOLOv7 では、著者はさらに新しい設計を提案しています:E-ELAN で cardinality を結合する前の一組の特徴マップに補助ヘッドを接続することです。
これには二つの目的があります:
- 新しく作られた特徴群の重みを補助損失が直接更新することを抑えること
- 異なるサイズの物体が異なる層で学習される特徴ピラミッドの分布を維持すること
Table 8 の partial aux は AP 56.8% で、通常の aux の 56.5% より 0.3 ポイント高い結果です。この接続位置はこの設定で有利です。
Lead Head 主導の監督は単なる情報再利用に留まらず、ネットワーク全体を意味的一貫性と勾配補完性のある訓練経路にしています。
結論
YOLOv7 は 訓練プロセスを主役に引き上げながら、推論側のアーキテクチャも拡張した 物体検出設計です。
モデルスケーリング、モジュール置換、ラベル割り当てなど、「訓練の細部」と見なされがちな部分を設計の中心に据え、訓練そのものがモデル最適化の鍵であることを示しました。
実務開発者にとっての示唆は、channel matching(チャネル整合)と gradient flow(勾配の流れ) を、モデルの規模や実際のハードウェアでのコストと一緒に考えることです。モジュール置換(例えば RepConv)でも、単にパラメータ数を見るだけでなく、情報の流れやアーキテクチャの論理まで考えなければなりません。
これは研究と実装の交差点であり、多くの示唆に富んだ概念を私たちに教えてくれます。