返回論文筆記資料庫
arXiv 2021CVPR 2021重參數化論文筆記

RepVGG

讓 VGG 再次偉大

原始論文

RepVGG: Making VGG-style ConvNets Great Again

論文作者

Xiaohan Ding · Xiangyu Zhang · Ningning Ma · Jungong Han · Guiguang Ding · Jian Sun

發表版本
CVPR 2021會議
arXiv 首次提交
arXiv:2101.03697
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{reparameterizationrepvgg2021,
  title = {{RepVGG: Making VGG-style ConvNets Great Again}},
  author = {Xiaohan Ding and Xiangyu Zhang and Ningning Ma and Jungong Han and Guiguang Ding and Jian Sun},
  year = {2021},
  eprint = {2101.03697},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2101.03697}
}
本頁內容

試問:模型參數量愈少,速度愈快,對嗎?

這個問題你可能知道答案是:「不對」!

因為必須考慮計算量,通常我們會參考模型的計算量 FLOPs(浮點運算次數)。

那我們接著問: 「模型的 FLOPs 愈少,速度愈快,對嗎?」

這個問題的答案,還是「不對」!

定義問題

因為影響推論速度的因素還有很多!

很多研究論文都想方設法地要降低模型的 FLOPs,但是當我們在工程端拿來使用時,發現推論速度並沒有變快,甚至有時候還變慢了。

這可是典型的產學落差,身為工程師的我們可不能被計算量的數據給蒙蔽了。

大量記憶體佔用

隨著 Inception,ResNet 和 DenseNet 的出現,許多研究興趣轉移到了精心設計的架構上,使得模型變得越來越複雜。除此之外,還有些架構基於 NAS 自動搜索,或是使用複合縮放策略。

雖然這些網路架構有更高的精度,但是複雜得分支會導致記憶體佔用量增加,如上圖。

在殘差結構中,由於分支的存在,因此在推論時候會需要多一份記憶體來存儲分支的結果,如果你有多個分支(對就是在說你,Inception!),那麼記憶體佔用量就會變得更大。

推論速度慢

有一些操作缺乏硬體的支援,例如 MobileNets 的深度卷積,這個方法雖然參數量比一般卷積大概減少 80%,但是速度更慢:

還有像是 ShuffleNet 內的通道洗牌,這個操作看起來不占計算量,但也會降低推論速度:

可是...

多分支結構真的很好啊!

多分支架構可以讓模型成為許多淺層模型的隱式集合。

因為殘差連結提供了一個捷徑,以 ResNet 為例:理論上來說對於 N 個區塊,模型可以解釋成 2N 個模型的集合,因為每個區塊可以分為兩條路徑可以選擇。

此外,捷徑可以提供更好的梯度流動,緩解梯度消失導致的難以訓練的困難。

ResNet 的成功已經證實了殘差連接的有效性,怎麼能說放棄就放棄呢?

解決問題

模型架構

為了解決上述的問題,這篇論文首先修改了 ResNet 的殘差結構。

作者重新定義了 RepVGG 單元,由於訓練時,我們需要多分支架構來提升模型表現,因此結構如上圖 (b):

  1. 一個 3x3 卷積
  2. 一個 1x1 卷積
  3. 輸入與輸出尺寸相同時,還有一個 Identity 連接

但在推論時我們需要把所有分支合併,如上圖 (c)。

會把訓練結構定義成這樣,是為了在滿足多分支訓練架構的同時,也可以滿足模型推論時的需求:

  • 對模型進行:重新參數化。

重新參數化

移除分支不是直接刪除,在過去許多模型裁減研究已經告訴我們直接刪除分支會導致性能下降。

作者提出了一個新的方法:重新參數化。

在 RepVGG 的單元中,每個卷積運算都帶有 Batch Normalization,這樣的結構可以被重新參數化成一個等效的卷積運算。

整個過程如上圖:

  1. 將 3x3 卷積和 BatchNorm 合併成一個等效的卷積運算。
  2. 將 1x1 卷積用 Zero-padding 拓展成一個等效的 3x3 卷積,然後再和 BatchNorm 合併成一個等效的卷積運算。
  3. 將 Identity 連接拓展成一個等效的 3x3 卷積,然後再和 BatchNorm 合併成一個等效的卷積運算。
  4. 最後將三個分支相加合併成一個等效的卷積運算。

雖然你可能不喜歡這個,不過我們還是描述一下論文內提供的具體過程:

  • 用 W(3)∈RC2×C1×3×3W^{(3)} \in \mathbb{R}^{C_2 \times C_1 \times 3 \times 3} 表示具有 C1C_1 個輸入通道和 C2C_2 個輸出通道的 3×33 \times 3 卷積層的核
  • 用 W(1)∈RC2×C1W^{(1)} \in \mathbb{R}^{C_2 \times C_1} 表示具有 C1C_1 個輸入通道和 C2C_2 個輸出通道的 1×11 \times 1 卷積層的核
  • μ(3),σ(3),γ(3),β(3)\mu^{(3)}, \sigma^{(3)}, \gamma^{(3)}, \beta^{(3)} 表示 3×33 \times 3 卷積層之後的 BN 層的均值、標準差和可學習的縮放因子與偏置
  • μ(1),σ(1),γ(1),β(1)\mu^{(1)}, \sigma^{(1)}, \gamma^{(1)}, \beta^{(1)} 表示 1×11 \times 1 卷積層之後的 BN 層的均值、標準差和可學習的縮放因子與偏置
  • μ(0),σ(0),γ(0),β(0)\mu^{(0)}, \sigma^{(0)}, \gamma^{(0)}, \beta^{(0)} 則表示 Identity 分支。

令 M(1)∈RN×C1×H1×W1M^{(1)} \in \mathbb{R}^{N \times C_1 \times H_1 \times W_1} 和 M(2)∈RN×C2×H2×W2M^{(2)} \in \mathbb{R}^{N \times C_2 \times H_2 \times W_2} 分別表示輸入和輸出,並用 ∗\ast 表示卷積運算。

如果 C1=C2,H1=H2,W1=W2C_1 = C_2, H_1 = H_2, W_1 = W_2,分支相加、尚未經過 ReLU 的輸出可寫成:

M(2)=bn(M(1)∗W(3),μ(3),σ(3),γ(3),β(3))M^{(2)} = \text{bn}(M^{(1)} \ast W^{(3)}, \mu^{(3)}, \sigma^{(3)}, \gamma^{(3)}, \beta^{(3)}) +bn(M(1)∗W(1),μ(1),σ(1),γ(1),β(1))+ \text{bn}(M^{(1)} \ast W^{(1)}, \mu^{(1)}, \sigma^{(1)}, \gamma^{(1)}, \beta^{(1)}) +bn(M(1),μ(0),σ(0),γ(0),β(0))+ \text{bn}(M^{(1)}, \mu^{(0)}, \sigma^{(0)}, \gamma^{(0)}, \beta^{(0)})

需要注意的是,這種轉換的等效性要求 3x3 和 1x1 層具有相同的 stride,並且後者的填充配置應比前者少一個像素。例如, 3x3 卷積層的 padding 為 1,1x1 卷積層的 padding 為 0。

參數配置

最後是 RepVGG 的參數配置,作者提供了幾個不同的配置,在上表中,Layers of each stage 表示了不同解析度特徵圖的層數。

上表中可以看到第一個 Stage 只有一層,因為這裡圖像尺寸大,佔用非常多計算量。大多數的層數都集中在第四個 Stage,堆疊 14 層或 16 層。

參數 a 和 b 用來控制通道數量,具體配置如下表:

討論

ImageNet 性能

在這篇研究中,作者將 RepVGG 與 ImageNet-1K 數據集上的一些經典和最先進模型進行了比較。

這些模型包括 VGG-16、ResNet、ResNeXt、EfficientNet 和 RegNet,數據集包含 128 萬張訓練圖片和 5 萬張驗證圖片。

在訓練過程中,輕量級和中量級模型使用簡單的資料增強技術,如隨機裁剪和左右翻轉,而重量級模型則加入了預熱、餘弦學習率退火、標籤平滑、mixup 和 Autoaugment 技術。

作者在 8 個 GPU 上進行訓練,使用了標準的 SGD 優化器和餘弦退火學習率策略。

速度測試使用單張 1080Ti、batch size 128、FP32,並比較合併後的模型。結果顯示,RepVGG 在精度和速度上均優於許多經典模型。例如,RepVGG-A0 比 ResNet-18 的 top-1 準確率高 1.25 個百分點、吞吐量高約 33%;RepVGG-A1 比 ResNet-34 高 0.29 個百分點、約 64%。

甚至在與更大的模型如 ResNet-101 和 ResNet-152 的比較中,具有交錯分組層的 RepVGG 模型也展現了顯著的優勢。

與 VGG-16 相比,RepVGG-B2 的參數減少了 42%,運行速度提高了 10%,且 top-1 準確率增加了 6.57 個百分點。這顯示出在這組對照中,RepVGG 使用較少參數仍能提供更高的性能。

最後,RepVGG 與其他基線模型相比也展示了良好的性能。例如,RepVGG-A2 比 EfficientNet-B0 的 top-1 準確率高出 1.37 個百分點,運行速度快 59%。RepVGG-B1 比 RegNetX-3.2GF 高 0.39 個百分點,速度略快。

消融實驗

這裡作者為了驗證了結構重新參數化技術的重要性,進行了詳細的實驗和消融研究,以探討其對模型性能的影響。

所有模型均在相同的簡單訓練設置下從頭開始訓練 120 個周期。

首先,作者透過從 RepVGG-B0 的每個區塊中刪分支來進行消融研究。結果顯示,刪除兩個分支後,模型的準確率僅達到 72.39%。當保留 1 × 1 分支時,準確率提升至 73.15%;保留 Identity 分支時,準確率提升至 74.79%。而全功能的 RepVGG-B0 則達到了 75.14% 的準確率。

表中速度測的是尚未合併的訓練期結構:完整 RepVGG-B0 每秒處理 1061 張,只有 3×3 分支時為 1810 張。經結構重新參數化合併後,完整模型的推論吞吐量見前表,不能把這裡的 1061 張當成部署速度。


為了進一步比較,作者建立了一系列變體和基線模型,在 RepVGG-B0 上進行比較,如上表。

這些變體包括:

  • Identity w/o BN:刪除身份分支中的 BN。
  • Post-addition BN:刪除三個分支中的 BN 層,並在相加後追加一個 BN 層。
  • 分支中的+ReLU:在每個分支的 BN 後、相加前插入 ReLU;此變體不能合併為單一卷積。
  • DiracNet:採用了精心設計的卷積核重新參數化。
  • Trivial Re-param:直接向 3 × 3 核心添加恆等核心。
  • 不對稱卷積塊(ACB):另一種形式的結構重新參數化。
  • Residual Reorg:透過類似 ResNet 的方式重新組織每個階段。

作者認為,結構重新參數化相對於 DiracNet 和 Trivial Re-param 的優越性在於,前者依賴於透過具有非線性行為(BN)的具體結構的實際資料流,而後者僅使用卷積核的另一種數學表達式。

與 ACB 的比較表明,RepVGG 的成功不能只歸因於每層增加參數。RepVGG 區塊可以等效地轉換為單一卷積進行推理;訓練行為則受分支結構影響。與 Residual Reorg 的比較顯示,RepVGG 的 top-1 準確率高 0.58 個百分點;作者將此差距與 RepVGG 更多的分支及其隱式模型集合連結。

這些實驗結果表明,結構重新參數化技術在訓練和推理過程中對模型性能具有重要影響,並且是訓練強大普通 ConvNet 的關鍵方法。

結論

結構重新參數化是 RepVGG 成功的關鍵技術之一。

這種方法允許模型在訓練期間保持高度靈活性,而在推理期間則轉換為更加高效的單一卷積層。這樣的設計使得 RepVGG 能夠在保持高精度的同時顯著提升推理速度。

實驗結果顯示,RepVGG 在速度與精度的權衡方面優於多個最先進的模型,這使其成為高效能計算和實時應用的理想選擇。

RepVGG 代表了一種新的卷積神經網路設計思路,作者展示了如何在簡化設計的同時不犧牲性能,其簡單高效的結構和強大的性能使為卷積神經網路的發展開辟了新的道路。