返回論文筆記資料庫
arXiv 2022CVPR 2023物件偵測論文筆記

YOLOv7

配角的逆襲

原始論文

YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors

論文作者

Chien-Yao Wang · Alexey Bochkovskiy · Hong-Yuan Mark Liao

發表版本
CVPR 2023會議
arXiv 首次提交
arXiv:2207.02696
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{objectdetectionyolov72022,
  title = {{YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors}},
  author = {Chien-Yao Wang and Alexey Bochkovskiy and Hong-Yuan Mark Liao},
  year = {2022},
  eprint = {2207.02696},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2207.02696}
}
本頁內容

YOLOv7 這篇論文的作者團隊來自臺灣中研院。

等等,為什麼 v7 會比 v6 還要早兩個月發布?這是因為全世界有很多團隊都想要成為原初 YOLO 的正統繼承者,歡迎來到群星薈萃的 YOLO 宇宙!

定義問題

即時物件偵測這個領域,一直都在平衡四件事:速度、準確率、參數量、可部署性。

這些平衡在不同場景裡會被重新排序:在自駕車裡,我們會在意延遲;在嵌入式裝置裡,我們則在意功耗;而在醫療影像裡,精度高於一切。

過去幾年,即時偵測器的設計大致走向兩條主路線:

第一條是追求「極限輕量化」:針對微處理器和邊緣 CPU 設計,像是 MCUNet、NanoDet;另一條則在「高效架構上壓榨效能」:例如 YOLOX、YOLOR,藉由 backbone 改造、Neck 優化、特徵融合設計等方式,提高推論速度與準確率。

這些方法的共同點是:

  • 它們幾乎都從推論架構下手,試圖用更快的路徑跑出更準的答案。

但 YOLOv7 選擇了一條逆向的路。

作者在這篇論文提出了一個相對少被關注的切入點:

如果我們不改模型架構,而是重新設計訓練流程,可好?

這個出發點促成了 YOLOv7 的核心理念:trainable bag-of-freebies。

所謂 bag-of-freebies,指的是那些只會增加訓練成本、但不會增加推論成本的技術。

YOLOv7 的創新之處在於,將這些技巧升級為「可訓練」的組件,進一步提升模型性能,而不動到任何推論結構。

這樣的設計雖然聽起來簡潔,卻馬上引出兩個結構層級的棘手問題:

  1. 模組的重參數化該如何設計,才能同時利於訓練與推論?
  2. 當使用動態標籤分配技術時,如何處理多層輸出之間的分配對齊問題?

這兩個問題過去常被當成「訓練細節」略過,但在 YOLOv7 的路線裡,這些訓練過程中的非顯性瓶頸反而成為設計的主戰場。

這一次,YOLOv7 把焦點從「推論表現」移到「訓練效能」。

思維順序在此刻已經悄然反轉。

解決問題

Extended-ELAN

YOLOv7 引入的第一個設計關鍵,是名為 E-ELAN(Extended Efficient Layer Aggregation Networks) 的網路區塊設計,並用於 YOLOv7-E6E。

它延伸自 ELAN 架構,而 E-ELAN 的核心設計理念是:

在不改變 gradient path 長度的前提下,提升參數利用率與特徵表達多樣性。

從上圖中可以清楚看出,E-ELAN 完全保留了原始 ELAN 的 gradient 傳遞路徑。

我們都知道,神經網路中有效的梯度路徑會直接影響訓練效率與收斂能力。

E-ELAN 在維持這條主幹不變的同時,做了幾個關鍵改造:

  • 擴張(expand):透過 group convolution 擴展 channel 與 cardinality。
  • 重組(shuffle):對 feature map 進行分組重排。
  • 合併(merge):將分組後的特徵進行融合,以促進跨群學習。

作者藉此讓不同群組的 block 學到更多樣的特徵,提高參數與計算的利用率,同時維持原本的梯度傳遞路徑。

整體來說,E-ELAN 是一種在計算區塊中擴展特徵多樣性、維持梯度路徑的設計。

串接式架構的縮放

第二個設計重點,是 針對串接式架構提出的複合縮放策略(Compound Model Scaling)。

過去我們在 EfficientNet 中看到過 model scaling 的概念,也就是對網路的 寬度(width)、深度(depth)、解析度(resolution) 同時進行縮放。

但這種 scaling 方法大多針對的是像 ResNet、PlainNet 等「單一路徑」架構。

然而,在本文的串接式架構中,單獨放大計算區塊的深度會增加串接輸出的 channel,進而改變 transition layer 的輸入寬度與通道比例,可能降低硬體利用率。

因此,作者在此提出了解法:

縮放深度的同時,應連帶調整寬度,讓通道比例保持穩定。

這種策略試圖維持原始設計的通道比例與硬體利用率。

具體做法是:

  1. 先進行 depth scaling,增加 block 中的堆疊層數;
  2. 根據擴張後的輸出通道變化,對應地對 transition layer 做寬度縮放;
  3. 維持原始設計的通道配比,避免單獨加深導致 transition layer 輸入寬度失衡。

這是一種「耦合式的縮放方法」,將不同層級的參數變化一起考慮,才能在保有高效計算的前提下擴大模型規模。

Trainable BoF

YOLOv7 所提出的 trainable bag-of-freebies,並不僅僅是使用現有技巧的堆疊,而是進一步讓訓練流程成為模型優化的主場。

我們仔細看一下三組設計。

  1. Planned Re-parameterized Convolution

    重參數化卷積(RepConv) 是一種訓練/推論分離的結構設計:

    • 在訓練階段,它包含三個分支:一個 3×3 卷積、一個 1×1 卷積、再加上一條 identity shortcut(直接傳遞輸入);
    • 在推論階段,這三個路徑會合併為單一路徑,達到零額外成本的效果。

    這個設計在一些平鋪結構(例如 VGG)上表現很好,能夠加速收斂、提升準確率。

    但作者發現:

    當你把原始 RepConv 用在 ResNet 或 DenseNet 這類已經有 shortcut 或 feature concatenation 的網路中,準確率會明顯下降。

    作者從梯度路徑分析指出:ResNet 已有 residual shortcut,若在帶有該連接的層再加入 RepConv 的 identity 分支,可能改變原本的梯度路徑。

    對 DenseNet 等有 concatenation 的結構,作者也觀察到直接替換為含 identity 的 RepConv 會降低實驗精度,因此建議在這類位置去除該分支。

    於是作者提出了解法:

    根據網路內部的結構特性(是否已有 residual/concat),決定是否使用不含 identity 分支的 RepConvN。

    這個做法被稱為 Planned Re-parameterized Convolution,目的是「依據模型結構,做有計畫的替換與配置」。舉例來說:

    • 如果在一個 PlainNet(沒有殘差的基礎網路)上使用 RepConv,那完整的 3×3、1×1、identity 三路結構是有幫助的;
    • 但如果是 ResNet 或 DenseNet,則應使用 RepConvN(只保留 3×3 + 1×1,移除 identity 分支),才能避免梯度傳遞混亂。

  1. Coarse-to-Fine 標籤設計

    在訓練多層偵測頭時,作者導入了一種創新的監督機制:

    • Coarse-to-Fine Label Assignment。

    這個機制包含兩個重要角色:

    • Lead Head:主輸出頭,負責最終偵測任務;
    • Auxiliary Head:輔助輸出頭,協助淺層學習收斂。

    傳統的深度監督會對每一個 head 單獨進行標籤分配,但在這裡作者不這麼做,而是提出了一個嶄新觀點:

    讓 Lead Head 的預測結果反過來作為整體訓練的領導者。

    操作上分為兩種設計策略:

    • Lead Head Guided Label Assigner:以 Lead Head 預測結果 + ground truth 為基礎產生 soft label,套用於所有 head;
    • Coarse-to-Fine Label Assigner:產生兩種 soft label,分別為粗略(coarse)與精細(fine),用於 Auxiliary Head 與 Lead Head,提升前者的 recall、後者的 precision。

    這種策略背後的邏輯是:

    • Lead Head 學習力強,適合做為指標;
    • Auxiliary Head 學習力弱,需放寬正樣本條件以提升召回率;
    • 以 residual learning 的精神,讓 Lead Head 聚焦於尚未被學到的部分。

    為避免 coarse label 產生不良的先驗知識,作者在 decoder 中進一步加以限制,使其在訓練中逐步收斂,形成動態調節的監督機制。


  1. 其他可訓練 Freebies

    最後,作者也整合了數項過去被視為「訓練技巧」的作法,並提升為 可訓練的設計單元:

    • BN 與卷積層融合:將 BatchNorm 的均值與方差併入卷積權重與 bias,以利推論階段的運算精簡。
    • YOLOR 式隱式知識注入:將隱式向量結合於卷積層,可於推論階段預先計算並簡化為固定向量權重。
    • EMA(Exponential Moving Average)模型:使用移動平均方式處理訓練參數,並以 EMA 模型作為最終推論模型。

    這些技巧雖然不新,但在 YOLOv7 裡被整理為可於訓練階段使用、推論時盡量不增加額外成本的設計。

實驗配置

YOLOv7 全部的實驗皆在 Microsoft COCO 2017 資料集上進行,並強調以下幾點:

  • 從頭訓練(train from scratch),不使用任何 ImageNet 預訓練權重;
  • 使用 train2017 做為訓練集,val2017 做為驗證與超參數調整,test2017 做為最終評估。

此外,為了對應不同應用場景,YOLOv7 系列模型分為以下幾類:

模型名稱設計目標縮放技術備註
v7-tiny邊緣裝置輕量化設計使用 LeakyReLU
v7一般 GPU基礎模型,供 v7-X 縮放使用 SiLU
v7-W6雲端 GPU基礎模型,供 E6 / D6 縮放使用 SiLU
v7-E6/E6E雲端 GPUE6 由 W6 縮放;E6E 再用 E-ELAN
v7-D6/X縮放模型D6 來自 W6;X 來自 v7

v7-X 使用 Neck 堆疊及複合式模型縮放;E6 與 D6 由 W6 透過複合式縮放得到,E6E 則在 E6 上使用 E-ELAN。

討論

與舊版 YOLO 的對比

首先來看與過去 YOLO 系列與 YOLOR 相比的結果,如上表。

這張 Table 1 只列參數、FLOPs 與 COCO 驗證集 AP,沒有速度欄位。與 YOLOR-CSP 相比,YOLOv7 參數從 52.9M 降至 36.9M、FLOPs 從 120.4G 降至 104.7G、AP 高 0.4 個百分點;但 tiny 對 YOLOv4-tiny 時參數多 2%,YOLOv7-X 的 AP50 也比 YOLOR-CSP-X 低 0.2 個百分點。

與最新 SOTA 模型對比

在速度與準確率權衡方面:

  • YOLOv7-tiny-SiLU vs YOLOv5-N (r6.1):多出 127 fps,COCO val AP 高 10.7 個百分點
  • YOLOv7:在 161 fps 下達成 51.4% AP,而 PPYOLOE-L 達到同樣精度時,僅有 78 fps

如果和高階模型對比,結果如下:

  • YOLOv7-X vs YOLOv5-L (r6.1):推論速度快了 15 fps,COCO val AP 高 3.9 個百分點
  • YOLOv7-X vs YOLOv5-X (r6.1):推論速度快 31 fps,參數從 86.7M 降至 71.3M,計算量減少約 8%,COCO val AP 高 2.2 個百分點

最後是巨量模型對比:

  • YOLOv7-E6 vs YOLOv5-X6 (r6.1):COCO val AP 高 0.9 個百分點,參數從 140.7M 降至 97.2M、FLOPs 從 839.2G 降至 515.2G、速度快約 47%
  • YOLOv7-D6 vs YOLOR-E6:FPS 為 44 對 45,COCO val AP 高 0.6 個百分點(test AP 高 0.8 個百分點)
  • YOLOv7-E6E vs YOLOR-D6:FPS 為 36 對 34,COCO val AP 高 0.7 個百分點(test AP 高 0.3 個百分點)

從這些比較可歸納出幾項關鍵觀察:

  1. 從輕量到大型模型,YOLOv7 都能維持高效率表現;
  2. 這些 YOLOv7 模型未使用預訓練權重;表中是不同尺寸與訓練設定的跨方法比較;
  3. 模型縮放與標籤指派的貢獻,仍須參照下方各自的消融結果。

YOLOv7 不只是訓練技巧的展示,而是一次全面考量實務部署需求的架構設計範本。

消融實驗:模型縮放

傳統的模型縮放常見三種做法:

  • 只放大寬度(width):增加每層的通道數;
  • 只放大深度(depth):增加層數或 block 數量;
  • 複合縮放(如 EfficientNet):同時調整 depth、width、resolution。

作者採用的是一種針對 concatenation-based 架構特化 的做法:

將 computational block 的深度擴張 1.5 倍,並同步將 transition block 的寬度擴張 1.25 倍。

這種設計背後的邏輯,是要保持幾個重要參數:

  • block 的輸出 feature map 結構穩定;
  • 各層之間的 channel 對齊;
  • 維持原設計的通道比例與硬體利用率。

效果如下表:

從數據中可以看到:

  • 單獨放大寬度:73.4M 參數、195.5G FLOPs、52.4% AP;
  • 單獨放大深度:69.3M 參數、187.6G FLOPs、52.7% AP;
  • 複合式縮放策略:71.3M 參數、189.9G FLOPs、52.9% AP;相較只加寬 AP 高 0.5 個百分點且成本較低,相較只加深 AP 高 0.2 個百分點,但成本稍高。

複合式模型縮放不只是 scale 的問題,而是一種針對特定網路架構(如 ELAN、YOLO-style)所設計的幾何穩定縮放法。

標籤指派策略

在以往的多頭偵測器中,Auxiliary Head 常常只是單純加上一個中層監督點,讓梯度更快穿透模型、加速收斂。

但 YOLOv7 的設計進一步提出:

為何不讓輔助頭的學習內容也由主輸出(Lead Head)來主導?

這正是 Assistant Loss for Auxiliary Head 的設計核心,透過 Lead Head 的預測,來建立更有語意層次感的監督結構。

  1. 實驗一:三種標籤指派策略策略比較

    從實驗的結果可以看到:

    • 只要加上輔助損失(assistant loss)就能提升效能;
    • 而 由 Lead Head 引導的 soft label(Lead-guided Assigner) 更勝傳統的監督方式;
    • Coarse-to-Fine 引導策略對 lead 給精細標籤,對 auxiliary 給較寬鬆、recall-oriented 的標籤;Table 6 的 AP 與 AP50 和 lead-guided 相同,AP75 則高 0.1 個百分點。

    作者進一步在下圖中展示不同策略下的 Objectness Map:

    這張圖比較 independent 與 lead-guided 的 auxiliary、lead head objectness map。作者將 lead-guided 下兩顆 head 較一致的目標回應,解讀為有助 lead head 學習剩餘資訊;圖本身未直接測量特徵是否一致。

    這種從中層往高層的引導式資訊傳遞,構成一種特殊的「殘差式學習架構」,提升整體網路的學習分工與效率。


  1. 實驗二:Decoder 的上界限制效果

    為了避免 Coarse Label 對最終輸出產生負面影響,作者在 decoder 中加了一項限制條件:限制 coarse label 的 objectness 分數上限,根據目標中心距離做衰減。

    Table 7 中,加入上界限制前後的 AP、AP50 同為 55.9%、73.5%,AP75 從 61.0% 增至 61.1%;能支持的是這項設定在該指標上的小幅改善。


  1. 實驗三:Partial Auxiliary Head 的設計

    在 YOLOv7 中,作者還提出了一種新的設計:

    將輔助頭連接在 E-ELAN 合併 cardinality 前的一組特徵圖上,而非合併後的輸出處。

    這麼做有兩個目的:

    1. 避免輔助損失直接更新新產生的那組特徵圖權重;
    2. 讓不同尺寸的物件在不同層中被學習,保持 pyramid 對小中大目標的學習分布。

    Table 8 中,partial aux 的 AP 為 56.8%,比一般 aux 的 56.5% 高 0.3 個百分點;這支持該連接位置在此設定下的效果,但表格未直接量測各層學習目標的邊界。

由 Lead Head 主導 supervision,不只是資訊再利用,更是讓整個網路形成一種語意一致、梯度互補的訓練路徑。

結論

YOLOv7 是一套以 訓練流程為主體、推論結構為背景 的物件偵測設計理念。

從模型縮放、模組替換到標籤分配,作者將那些被視為「訓練細節」的部分,重新拉到設計舞台的正中央,展現出訓練本身就是優化模型的關鍵因素。

對實務開發者來說,YOLOv7 最大的啟發在於,我們應該要認識到 memory alignment、channel matching、gradient flow 等硬體導向設計對實際部署有多重要,此外模組替換(如 RepConv)時不能只看參數,而要考慮資訊路徑與架構邏輯。

這是工程與研究交會的路口,有太多觀念值得我們學習。