YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
- 發表版本
- CVPR 2023會議
- arXiv 首次提交
- arXiv:2207.02696
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{objectdetectionyolov72022,
title = {{YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors}},
author = {Chien-Yao Wang and Alexey Bochkovskiy and Hong-Yuan Mark Liao},
year = {2022},
eprint = {2207.02696},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2207.02696}
}
YOLOv7 這篇論文的作者團隊來自臺灣中研院。
等等,為什麼 v7 會比 v6 還要早兩個月發布?這是因為全世界有很多團隊都想要成為原初 YOLO 的正統繼承者,歡迎來到群星薈萃的 YOLO 宇宙!
定義問題
即時物件偵測這個領域,一直都在平衡四件事:速度、準確率、參數量、可部署性。
這些平衡在不同場景裡會被重新排序:在自駕車裡,我們會在意延遲;在嵌入式裝置裡,我們則在意功耗;而在醫療影像裡,精度高於一切。
過去幾年,即時偵測器的設計大致走向兩條主路線:
第一條是追求「極限輕量化」:針對微處理器和邊緣 CPU 設計,像是 MCUNet、NanoDet;另一條則在「高效架構上壓榨效能」:例如 YOLOX、YOLOR,藉由 backbone 改造、Neck 優化、特徵融合設計等方式,提高推論速度與準確率。
這些方法的共同點是:
- 它們幾乎都從推論架構下手,試圖用更快的路徑跑出更準的答案。
但 YOLOv7 選擇了一條逆向的路。
作者在這篇論文提出了一個相對少被關注的切入點:
如果我們不改模型架構,而是重新設計訓練流程,可好?
這個出發點促成了 YOLOv7 的核心理念:trainable bag-of-freebies。
所謂 bag-of-freebies,指的是那些只會增加訓練成本、但不會增加推論成本的技術。
YOLOv7 的創新之處在於,將這些技巧升級為「可訓練」的組件,進一步提升模型性能,而不動到任何推論結構。
這樣的設計雖然聽起來簡潔,卻馬上引出兩個結構層級的棘手問題:
- 模組的重參數化該如何設計,才能同時利於訓練與推論?
- 當使用動態標籤分配技術時,如何處理多層輸出之間的分配對齊問題?
這兩個問題過去常被當成「訓練細節」略過,但在 YOLOv7 的路線裡,這些訓練過程中的非顯性瓶頸反而成為設計的主戰場。
這一次,YOLOv7 把焦點從「推論表現」移到「訓練效能」。
思維順序在此刻已經悄然反轉。
解決問題
Extended-ELAN
YOLOv7 引入的第一個設計關鍵,是名為 E-ELAN(Extended Efficient Layer Aggregation Networks) 的網路區塊設計,並用於 YOLOv7-E6E。
它延伸自 ELAN 架構,而 E-ELAN 的核心設計理念是:
在不改變 gradient path 長度的前提下,提升參數利用率與特徵表達多樣性。
從上圖中可以清楚看出,E-ELAN 完全保留了原始 ELAN 的 gradient 傳遞路徑。
我們都知道,神經網路中有效的梯度路徑會直接影響訓練效率與收斂能力。
E-ELAN 在維持這條主幹不變的同時,做了幾個關鍵改造:
- 擴張(expand):透過 group convolution 擴展 channel 與 cardinality。
- 重組(shuffle):對 feature map 進行分組重排。
- 合併(merge):將分組後的特徵進行融合,以促進跨群學習。
作者藉此讓不同群組的 block 學到更多樣的特徵,提高參數與計算的利用率,同時維持原本的梯度傳遞路徑。
整體來說,E-ELAN 是一種在計算區塊中擴展特徵多樣性、維持梯度路徑的設計。
串接式架構的縮放
第二個設計重點,是 針對串接式架構提出的複合縮放策略(Compound Model Scaling)。
過去我們在 EfficientNet 中看到過 model scaling 的概念,也就是對網路的 寬度(width)、深度(depth)、解析度(resolution) 同時進行縮放。
但這種 scaling 方法大多針對的是像 ResNet、PlainNet 等「單一路徑」架構。
然而,在本文的串接式架構中,單獨放大計算區塊的深度會增加串接輸出的 channel,進而改變 transition layer 的輸入寬度與通道比例,可能降低硬體利用率。
因此,作者在此提出了解法:
縮放深度的同時,應連帶調整寬度,讓通道比例保持穩定。
這種策略試圖維持原始設計的通道比例與硬體利用率。
具體做法是:
- 先進行 depth scaling,增加 block 中的堆疊層數;
- 根據擴張後的輸出通道變化,對應地對 transition layer 做寬度縮放;
- 維持原始設計的通道配比,避免單獨加深導致 transition layer 輸入寬度失衡。
這是一種「耦合式的縮放方法」,將不同層級的參數變化一起考慮,才能在保有高效計算的前提下擴大模型規模。
Trainable BoF
YOLOv7 所提出的 trainable bag-of-freebies,並不僅僅是使用現有技巧的堆疊,而是進一步讓訓練流程成為模型優化的主場。
我們仔細看一下三組設計。
-
Planned Re-parameterized Convolution
重參數化卷積(RepConv) 是一種訓練/推論分離的結構設計:
- 在訓練階段,它包含三個分支:一個 3×3 卷積、一個 1×1 卷積、再加上一條 identity shortcut(直接傳遞輸入);
- 在推論階段,這三個路徑會合併為單一路徑,達到零額外成本的效果。
這個設計在一些平鋪結構(例如 VGG)上表現很好,能夠加速收斂、提升準確率。
但作者發現:
當你把原始 RepConv 用在 ResNet 或 DenseNet 這類已經有 shortcut 或 feature concatenation 的網路中,準確率會明顯下降。
作者從梯度路徑分析指出:ResNet 已有 residual shortcut,若在帶有該連接的層再加入 RepConv 的 identity 分支,可能改變原本的梯度路徑。
對 DenseNet 等有 concatenation 的結構,作者也觀察到直接替換為含 identity 的 RepConv 會降低實驗精度,因此建議在這類位置去除該分支。
於是作者提出了解法:
根據網路內部的結構特性(是否已有 residual/concat),決定是否使用不含 identity 分支的 RepConvN。
這個做法被稱為 Planned Re-parameterized Convolution,目的是「依據模型結構,做有計畫的替換與配置」。舉例來說:
- 如果在一個 PlainNet(沒有殘差的基礎網路)上使用 RepConv,那完整的 3×3、1×1、identity 三路結構是有幫助的;
- 但如果是 ResNet 或 DenseNet,則應使用 RepConvN(只保留 3×3 + 1×1,移除 identity 分支),才能避免梯度傳遞混亂。
-
Coarse-to-Fine 標籤設計
在訓練多層偵測頭時,作者導入了一種創新的監督機制:
- Coarse-to-Fine Label Assignment。
這個機制包含兩個重要角色:
- Lead Head:主輸出頭,負責最終偵測任務;
- Auxiliary Head:輔助輸出頭,協助淺層學習收斂。
傳統的深度監督會對每一個 head 單獨進行標籤分配,但在這裡作者不這麼做,而是提出了一個嶄新觀點:
讓 Lead Head 的預測結果反過來作為整體訓練的領導者。
操作上分為兩種設計策略:
- Lead Head Guided Label Assigner:以 Lead Head 預測結果 + ground truth 為基礎產生 soft label,套用於所有 head;
- Coarse-to-Fine Label Assigner:產生兩種 soft label,分別為粗略(coarse)與精細(fine),用於 Auxiliary Head 與 Lead Head,提升前者的 recall、後者的 precision。
這種策略背後的邏輯是:
- Lead Head 學習力強,適合做為指標;
- Auxiliary Head 學習力弱,需放寬正樣本條件以提升召回率;
- 以 residual learning 的精神,讓 Lead Head 聚焦於尚未被學到的部分。
為避免 coarse label 產生不良的先驗知識,作者在 decoder 中進一步加以限制,使其在訓練中逐步收斂,形成動態調節的監督機制。
-
其他可訓練 Freebies
最後,作者也整合了數項過去被視為「訓練技巧」的作法,並提升為 可訓練的設計單元:
- BN 與卷積層融合:將 BatchNorm 的均值與方差併入卷積權重與 bias,以利推論階段的運算精簡。
- YOLOR 式隱式知識注入:將隱式向量結合於卷積層,可於推論階段預先計算並簡化為固定向量權重。
- EMA(Exponential Moving Average)模型:使用移動平均方式處理訓練參數,並以 EMA 模型作為最終推論模型。
這些技巧雖然不新,但在 YOLOv7 裡被整理為可於訓練階段使用、推論時盡量不增加額外成本的設計。
實驗配置
YOLOv7 全部的實驗皆在 Microsoft COCO 2017 資料集上進行,並強調以下幾點:
- 從頭訓練(train from scratch),不使用任何 ImageNet 預訓練權重;
- 使用
train2017做為訓練集,val2017做為驗證與超參數調整,test2017做為最終評估。
此外,為了對應不同應用場景,YOLOv7 系列模型分為以下幾類:
| 模型名稱 | 設計目標 | 縮放技術 | 備註 |
|---|---|---|---|
| v7-tiny | 邊緣裝置 | 輕量化設計 | 使用 LeakyReLU |
| v7 | 一般 GPU | 基礎模型,供 v7-X 縮放 | 使用 SiLU |
| v7-W6 | 雲端 GPU | 基礎模型,供 E6 / D6 縮放 | 使用 SiLU |
| v7-E6/E6E | 雲端 GPU | E6 由 W6 縮放;E6E 再用 E-ELAN | |
| v7-D6/X | 縮放模型 | D6 來自 W6;X 來自 v7 |
v7-X 使用 Neck 堆疊及複合式模型縮放;E6 與 D6 由 W6 透過複合式縮放得到,E6E 則在 E6 上使用 E-ELAN。
討論
與舊版 YOLO 的對比
首先來看與過去 YOLO 系列與 YOLOR 相比的結果,如上表。
這張 Table 1 只列參數、FLOPs 與 COCO 驗證集 AP,沒有速度欄位。與 YOLOR-CSP 相比,YOLOv7 參數從 52.9M 降至 36.9M、FLOPs 從 120.4G 降至 104.7G、AP 高 0.4 個百分點;但 tiny 對 YOLOv4-tiny 時參數多 2%,YOLOv7-X 的 AP50 也比 YOLOR-CSP-X 低 0.2 個百分點。
與最新 SOTA 模型對比
在速度與準確率權衡方面:
- YOLOv7-tiny-SiLU vs YOLOv5-N (r6.1):多出 127 fps,COCO val AP 高 10.7 個百分點
- YOLOv7:在 161 fps 下達成 51.4% AP,而 PPYOLOE-L 達到同樣精度時,僅有 78 fps
如果和高階模型對比,結果如下:
- YOLOv7-X vs YOLOv5-L (r6.1):推論速度快了 15 fps,COCO val AP 高 3.9 個百分點
- YOLOv7-X vs YOLOv5-X (r6.1):推論速度快 31 fps,參數從 86.7M 降至 71.3M,計算量減少約 8%,COCO val AP 高 2.2 個百分點
最後是巨量模型對比:
- YOLOv7-E6 vs YOLOv5-X6 (r6.1):COCO val AP 高 0.9 個百分點,參數從 140.7M 降至 97.2M、FLOPs 從 839.2G 降至 515.2G、速度快約 47%
- YOLOv7-D6 vs YOLOR-E6:FPS 為 44 對 45,COCO val AP 高 0.6 個百分點(test AP 高 0.8 個百分點)
- YOLOv7-E6E vs YOLOR-D6:FPS 為 36 對 34,COCO val AP 高 0.7 個百分點(test AP 高 0.3 個百分點)
從這些比較可歸納出幾項關鍵觀察:
- 從輕量到大型模型,YOLOv7 都能維持高效率表現;
- 這些 YOLOv7 模型未使用預訓練權重;表中是不同尺寸與訓練設定的跨方法比較;
- 模型縮放與標籤指派的貢獻,仍須參照下方各自的消融結果。
YOLOv7 不只是訓練技巧的展示,而是一次全面考量實務部署需求的架構設計範本。
消融實驗:模型縮放
傳統的模型縮放常見三種做法:
- 只放大寬度(width):增加每層的通道數;
- 只放大深度(depth):增加層數或 block 數量;
- 複合縮放(如 EfficientNet):同時調整 depth、width、resolution。
作者採用的是一種針對 concatenation-based 架構特化 的做法:
將 computational block 的深度擴張 1.5 倍,並同步將 transition block 的寬度擴張 1.25 倍。
這種設計背後的邏輯,是要保持幾個重要參數:
- block 的輸出 feature map 結構穩定;
- 各層之間的 channel 對齊;
- 維持原設計的通道比例與硬體利用率。
效果如下表:
從數據中可以看到:
- 單獨放大寬度:73.4M 參數、195.5G FLOPs、52.4% AP;
- 單獨放大深度:69.3M 參數、187.6G FLOPs、52.7% AP;
- 複合式縮放策略:71.3M 參數、189.9G FLOPs、52.9% AP;相較只加寬 AP 高 0.5 個百分點且成本較低,相較只加深 AP 高 0.2 個百分點,但成本稍高。
複合式模型縮放不只是 scale 的問題,而是一種針對特定網路架構(如 ELAN、YOLO-style)所設計的幾何穩定縮放法。
標籤指派策略
在以往的多頭偵測器中,Auxiliary Head 常常只是單純加上一個中層監督點,讓梯度更快穿透模型、加速收斂。
但 YOLOv7 的設計進一步提出:
為何不讓輔助頭的學習內容也由主輸出(Lead Head)來主導?
這正是 Assistant Loss for Auxiliary Head 的設計核心,透過 Lead Head 的預測,來建立更有語意層次感的監督結構。
-
實驗一:三種標籤指派策略策略比較
從實驗的結果可以看到:
- 只要加上輔助損失(assistant loss)就能提升效能;
- 而 由 Lead Head 引導的 soft label(Lead-guided Assigner) 更勝傳統的監督方式;
- Coarse-to-Fine 引導策略對 lead 給精細標籤,對 auxiliary 給較寬鬆、recall-oriented 的標籤;Table 6 的 AP 與 AP50 和 lead-guided 相同,AP75 則高 0.1 個百分點。
作者進一步在下圖中展示不同策略下的 Objectness Map:
這張圖比較 independent 與 lead-guided 的 auxiliary、lead head objectness map。作者將 lead-guided 下兩顆 head 較一致的目標回應,解讀為有助 lead head 學習剩餘資訊;圖本身未直接測量特徵是否一致。
這種從中層往高層的引導式資訊傳遞,構成一種特殊的「殘差式學習架構」,提升整體網路的學習分工與效率。
-
實驗二:Decoder 的上界限制效果
為了避免 Coarse Label 對最終輸出產生負面影響,作者在 decoder 中加了一項限制條件:限制 coarse label 的 objectness 分數上限,根據目標中心距離做衰減。
Table 7 中,加入上界限制前後的 AP、AP50 同為 55.9%、73.5%,AP75 從 61.0% 增至 61.1%;能支持的是這項設定在該指標上的小幅改善。
-
實驗三:Partial Auxiliary Head 的設計
在 YOLOv7 中,作者還提出了一種新的設計:
將輔助頭連接在 E-ELAN 合併 cardinality 前的一組特徵圖上,而非合併後的輸出處。
這麼做有兩個目的:
- 避免輔助損失直接更新新產生的那組特徵圖權重;
- 讓不同尺寸的物件在不同層中被學習,保持 pyramid 對小中大目標的學習分布。
Table 8 中,partial aux 的 AP 為 56.8%,比一般 aux 的 56.5% 高 0.3 個百分點;這支持該連接位置在此設定下的效果,但表格未直接量測各層學習目標的邊界。
由 Lead Head 主導 supervision,不只是資訊再利用,更是讓整個網路形成一種語意一致、梯度互補的訓練路徑。
結論
YOLOv7 是一套以 訓練流程為主體、推論結構為背景 的物件偵測設計理念。
從模型縮放、模組替換到標籤分配,作者將那些被視為「訓練細節」的部分,重新拉到設計舞台的正中央,展現出訓練本身就是優化模型的關鍵因素。
對實務開發者來說,YOLOv7 最大的啟發在於,我們應該要認識到 memory alignment、channel matching、gradient flow 等硬體導向設計對實際部署有多重要,此外模組替換(如 RepConv)時不能只看參數,而要考慮資訊路徑與架構邏輯。
這是工程與研究交會的路口,有太多觀念值得我們學習。