返回论文笔记资料库
AAAI 2024重参数化论文笔记

QARepVGG

让 RepVGG 再次伟大

原始论文

Make RepVGG Greater Again: A Quantization-Aware Approach

论文作者

Xiangxiang Chu · Liang Li · Bo Zhang

发表版本
AAAI 2024会议
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@inproceedings{reparameterizationqarepvgg2024,
  title = {{Make RepVGG Greater Again: A Quantization-Aware Approach}},
  author = {Xiangxiang Chu and Liang Li and Bo Zhang},
  year = {2024},
  booktitle = {AAAI},
  url = {https://doi.org/10.1609/aaai.v38i10.29045},
  doi = {10.1609/aaai.v38i10.29045}
}
本页内容

RepVGG 在训练阶段利用多个分支形式的过度参数化网络,并在推理过程中将分支等效地融合为一个,称为「重参数化」。

定义问题

这种「重参数化」设计在许多场景中作为基本组件被广泛使用,涵盖低层和高层视觉任务。

近年流行的目标检测方法,如 YOLOv6 和 YOLOv7 都是基于这样的组件构建的。

但是...

RepVGG,它不能量化!

量化是一种有效的模型压缩方法,它将网络权重和输入数据映射到较低的精度(通常 INT8)以进行快速计算,这极大地提高了计算效率。

  • 训练后量化(PTQ)是最常见的方案,因为它只需要几批图像来校准量化参数,并且不需要额外的训练。
  • 量化感知训练(QAT)方法也被提出来提高量化精度,由于 QAT 通常涉及对训练代码的侵入并且需要额外的成本,通常只在训练代码手头并且 PTQ 无法产生令人满意的结果时才使用它。

有得必有失,不管采用什么量化方式,精度通常都会下降;只要性能受到的影响「不太大」,就仍可用于部署。

  • 但是 RepVGG 量化之后,精度降了 20%!

这完全没有实用价值!

首先,为什么?


作者首先使用官方发布的代码评估几个 RepVGG 模型的性能,如上表,RepVGG-A0 在标准的 PTQ(后训练量化)后,在 ImageNet 验证数据集上的 Top-1 准确率从 72.4% 大幅下降到 52.2%,总共下降 20.2 个百分点!

对于张量 XX 的量化操作通常表示为:

Q(X)=Clip(Round(X/Δx))Q(X) = Clip(Round(X/\Delta x ))

其中 RoundRound 将浮点值四舍五入到最接近的整数,ClipClip 则截断超出量化域范围的值。Δx\Delta x 是一个比例因子,用于将张量映射到给定范围内,定义为:

Δx=(xmax−xmin)2b−1\Delta x = \frac{(x_{max} - x_{min})}{2^{b}-1}

其中 xmaxx_{max} 和 xminx_{min} 是一对边界值,选择它们是为了更好地表示XX的值分布。量化误差的方差计算为 σ2=(Δx)2/12\sigma^2 = (\Delta x)^2/12。因此,问题变成如何减少 xmaxx_{max} 和 xminx_{min} 之间的范围。

在实践中,它们是以各种方式选择的。有时最大值和最小值会被直接使用,例如权重量化;有时它们是通过优化量化误差的 MSE 或熵来选择的,这通常用于量化激活值。选择的质量取决于许多因素,例如张量的方差、是否存在一些异常值等。

对于神经网络来说,有两个主要组成部分需要量化并可能导致准确度下降,即权重和激活。激活还作为下一层的输入,因此误差会逐层累积和增加。因此,神经网络的良好量化性能主要需要两个基本条件:

  • C1C1:权重分布对量化友好且范围可行,
  • C2C2:激活分布(即模型对输入特征的响应)对量化也友好。

经验上,我们将具有小方差和少量异常值的权重或激活分布定义为对量化友好,违反上述任何一个条件都会导致较差的量化性能。

作者接着展示 RepVGG-A0 模型的权重分布:

上图是每一层的权重分布,和对应的标准差。

观察发现,这些权重均匀分布在零附近,没有特别的异常值,满足了 C1 的条件。这促使作者进一步验证 C2,检查是否是激活值大大恶化了量化效果。不幸的是,激活函数是依赖于输入且与学习到的权重耦合在一起的。

因此,作者不对权重或激活值的分布做任何假设,并分析每个分支的偏差。

正则化扩大激活方差

在进一步讨论之前,我们先来介绍典型 RepVGG 区块中的计算操作。

这里作者使用与 RepVGG 相同的命名约定,以便更好地理解。

这里用 W(k)∈RC2×C1×k×kW^{(k)} \in \mathbb{R}^{C_2 \times C_1 \times k \times k} 表示 k×kk \times k 卷积的核,其中 C1C_1 和 C2C_2 分别是输入和输出通道的数量。对于 RepVGG 来说,k∈{1,3}k \in \{1, 3\},至于 k×kk \times k 卷积后的 BN 层,我们用 μ(k)∈RC2\mu^{(k)} \in \mathbb{R}^{C_2}, σ(k)∈RC2\sigma^{(k)} \in \mathbb{R}^{C_2}, γ(k)∈RC2\gamma^{(k)} \in \mathbb{R}^{C_2}, β(k)∈RC2\beta^{(k)} \in \mathbb{R}^{C_2} 作为均值、标准差、缩放因子和偏差。对于 Identity 分支中的 BN,使用 μ(0)\mu^{(0)}, σ(0)\sigma^{(0)}, γ(0)\gamma^{(0)}, β(0)\beta^{(0)}。

设 M(1)∈RN×C1×H1×W1M^{(1)} \in \mathbb{R}^{N \times C_1 \times H_1 \times W_1}, M(2)∈RN×C2×H2×W2M^{(2)} \in \mathbb{R}^{N \times C_2 \times H_2 \times W_2} 分别表示输入和输出,∗\ast 表示卷积运算。

设 Y(0)Y^{(0)}, Y(1)Y^{(1)} 和 Y(3)Y^{(3)} 分别是 Identity、1×11 \times 1 和 3×33 \times 3 分支的输出。

在不失一般性的情况下,我们假设 C1=C2C_1 = C_2, H1=H2H_1 = H_2, W1=W2W_1 = W_2。

那么我们可以将输出 M(2)M^{(2)} 写成:

M(2)=BN(M(1)∗W(3),μ(3),σ(3),γ(3),β(3))M^{(2)} = BN(M^{(1)} \ast W^{(3)}, \mu^{(3)}, \sigma^{(3)}, \gamma^{(3)}, \beta^{(3)}) +BN(M(1)∗W(1),μ(1),σ(1),γ(1),β(1))+ BN(M^{(1)} \ast W^{(1)}, \mu^{(1)}, \sigma^{(1)}, \gamma^{(1)}, \beta^{(1)}) +BN(M(1),μ(0),σ(0),γ(0),β(0))+ BN(M^{(1)}, \mu^{(0)}, \sigma^{(0)}, \gamma^{(0)}, \beta^{(0)})

接着,3×33 \times 3 分支的 BN 操作可以写成:

Y(3)=γ(3)⊙M(1)∗W(3)−μ(3)σ(3)⊙σ(3)+ϵ+β(3)Y^{(3)} = \gamma^{(3)} \odot \frac{M^{(1)} \ast W^{(3)} - \mu^{(3)}}{\sqrt{\sigma^{(3)} \odot \sigma^{(3)} + \epsilon}} + \beta^{(3)}

其中 ⊙\odot 表示逐元素相乘,ϵ\epsilon 是一个小值(默认为10−510^{-5})以确保数值稳定性。这意味着 BN 在改变其输入的统计量(均值和方差)方面起到了作用。

上式中,μ\mu 的变化不会影响量化误差,但方差的变化会直接影响量化准确性。从概率的角度来看,给定随机变量 XX 和标量 λ\lambda,λX\lambda X 的方差,即 D(λX)D(\lambda X) 等于 λ2D(X)\lambda^2 D(X)。

设 X(3)=M(1)∗W(3)X^{(3)} = M^{(1)} \ast W^{(3)},那么我们有:

D(Y(3))=γ(3)⊙γ(3)σ(3)⊙σ(3)+ϵ⊙D(X(3))D(Y^{(3)}) = \frac{\gamma^{(3)} \odot \gamma^{(3)}}{\sigma^{(3)} \odot \sigma^{(3)} + \epsilon} \odot D(X^{(3)})

其中,γ(3)⊙γ(3)σ(3)⊙σ(3)+ϵ\frac{\gamma^{(3)} \odot \gamma^{(3)}}{\sigma^{(3)} \odot \sigma^{(3)} + \epsilon} 的值控制了X(3)X^{(3)}方差的扩大或缩小,从而分别导致更好的或更差的量化性能。

基于上述分析,作者深入探讨 RepVGG 的细节:

有一个关键但容易被忽视的组件,即一种称为自定义 L2L_2 的特殊设计的权重衰减,这个组件提高了准确性并促进了量化,这种特殊设计正则化了多分支权重,就像正则化其等效融合的卷积核一样,这可能使得融合的权重具有量化友好的分布,这个自定义L2L_2损失本质上是:

L2,custom=∥Weq∥22∥γ(3)∥22σ(3)⊙σ(3)+ϵ+∥γ(1)∥22σ(1)⊙σ(1)+ϵL_{2,\text{custom}} = \frac{\|W_{\text{eq}}\|_2^2}{\frac{\|\gamma^{(3)}\|_2^2}{\sqrt{\sigma^{(3)} \odot \sigma^{(3)} + \epsilon}} + \frac{\|\gamma^{(1)}\|_2^2}{\sqrt{\sigma^{(1)} \odot \sigma^{(1)} + \epsilon}}}

这里的优化器被鼓励通过放大分母来最小化这个损失,这会放大激活的方差并带来量化困难。即自定义 L2L_2 有助于使学习的权重量化友好,但代价是激活量化不友好。

为了解决方差扩大的问题,一个简单直接的方法是从上述公式中移除分母,我们得到:

L2,custom′=∥Weq∥22L_{2,\text{custom}}' = \|W_{\text{eq}}\|_2^2

结果如下表:

移除了分母项,FP32 的准确率是 71.5%,比基线低 0.7%,令人惊讶的是量化性能大幅提升至 61.2%。

不过这种方法仍然需要不方便的等效转换,另一个考虑方向是直接应用普通的 L2L_2。使用之后的结果显示除了简单性之外,L2L_2 达到了略微优于上式的结果。

因此,最后作者选择这种方法作为默认实现方式(M1)。

不可控的异常权重

虽然 FP32 准确率比基线低 0.5%,但其 INT8 准确率比基线高 11.3%。然而,这种设计由于没有明确的正则化器来扩大激活方差,仍然无法满足应用需求。因此检查权重的分布是直接的方法。

首先,我们可以给出融合后的权重为:

W=W^(3)+W^(1)+W^(0)W = \hat{W}^{(3)} + \hat{W}^{(1)} + \hat{W}^{(0)} =γ(3)σ(3)2+ϵ⊙W(3)= \frac{\gamma^{(3)}}{\sqrt{\sigma^{2}_{(3)} + \epsilon}} \odot W^{(3)} +γ(1)σ(1)2+ϵ⊙Padding(W(1))+ \frac{\gamma^{(1)}}{\sqrt{\sigma^{2}_{(1)} + \epsilon}} \odot Padding(W^{(1)}) +γ(0)σ(0)2+ϵ⊙Padding(W(0))+ \frac{\gamma^{(0)}}{\sqrt{\sigma^{2}_{(0)} + \epsilon}} \odot Padding(W^{(0)})

其中,Padding()Padding() 用于匹配 3×33 \times 3 卷积核的形状。

在这个架构中,W(3)W^{(3)} 和 W(1)W^{(1)} 是可训练的参数,而 W(0)W^{(0)} 是一个固定的单位矩阵,在训练过程中不会衰减。标量 γ(3)σ(3)2+ϵ\frac{\gamma^{(3)}}{\sqrt{\sigma^{2}_{(3)} + \epsilon}} 和 γ(1)σ(1)2+ϵ\frac{\gamma^{(1)}}{\sqrt{\sigma^{2}_{(1)} + \epsilon}} 分别依赖于 3×33 \times 3 和 1×11 \times 1 分支的卷积层输出。

然而,γ(0)σ02+ϵ\frac{\gamma^{(0)}}{\sqrt{\sigma^{2}_{0} + \epsilon}} 直接依赖于最后一层的输出,Identity 分支是特别的,因为激活在进入 BatchNorm 层之前会通过 ReLU 层。

这个操作非常危险,因为如果某个通道完全未激活(即仅包含零),这会生成一个非常小的 σ\sigma 和一个奇异值 1σ(0)2+ϵ\frac{1}{\sqrt{\sigma^{2}_{(0)} + \epsilon}}。这个问题在广泛使用 ReLU 的网络中很常见。

如果出现这种情况,奇异值将主导融合卷积核的分布,并显著影响它们的量化偏好。

这解释了为什么量化性能不好:因为违反 C1 导致不可修复的错误。


作者进一步展示了三个分支的 γσ2+ϵ\frac{\gamma}{\sqrt{\sigma^2 + \epsilon}},如下图。

Layer 5 和 6 中来自 Identity 分支的 γσ2+ϵ\frac{\gamma}{\sqrt{\sigma^2 + \epsilon}} 的最大值分别为 692.1107 和 1477.3732。

作者重复了三次实验,这种现象一再发生。

解决问题

基于普通的 L2L_2 损失(M1),作者通过改变重参数化结构来解决上述问题。

完整设计从 Identity 和 1×11 \times 1 分支中移除 BN,并在三个分支相加后附加一个额外的 BN。作者先只移除 Identity 分支中的 BN(M2),以消除异常的不可控权重、满足 C1。

作者将 M1 与 M2 的组合命名为 S2,并在下表的第三行显示结果。

对权重量化的误差分析表明,这种设计确实满足了 C1 的要求。该模型的 FP32 准确率较低为 70.7%,INT8 准确率为 62.5%,仍然不可行。这促使作者验证它是否违反了 C2。如果 3×33 \times 3 和 1×11 \times 1 分支具有相同的均值,它们的求和容易扩大方差。

在 RepVGG 的设计中这种现象经常发生。由于 ReLU 是 RepVGG 中的激活函数,一方面,如果大多数输入都低于零(死亡神经元),这是有害的。另一方面,如果所有输入都高于零,由于失去非线性,也是不可取的。经验上,许多现代高性能 CNN 模型在 ReLU 之前通常具有零均值。

如果我们采取这个假设,我们可以得到:

E(M(2))=E(Y(1)+Y(3)+Y(0))=0E(M^{(2)}) = E(Y^{(1)} + Y^{(3)} + Y^{(0)}) = 0

如果 3×33 \times 3 和 1×11 \times 1 分支具有相同的均值,我们得到

β(3)=β(1)=−E(Y(0))2\beta^{(3)} = \beta^{(1)} = -\frac{E(Y^{(0)})}{2}

注意 E(Y(0))≥0E(Y^{(0)}) \ge 0,添加三个分支往往会扩大方差(如下图所示),遗憾的是 RepVGG 的原始设计不可避免地会遇到这个问题。


为了更好地控制方差,有几种简单的方法可以考虑,如下表所示:

作者选择移除 1×11 \times 1 分支中的 BN(M3),因为它在这组对照中具有最佳的 INT8 准确率;M1、M2、M3 的组合命名为 S3。这种设计在 ImageNet 上达到 70.1% 的 Top-1 FP32 准确率和 69.5% 的 INT8 准确率,大大提高了量化性能。

然而,它的 FP32 准确率仍然较低。

作者认为三个分支相加会造成统计分布变动,因此在相加后附加了一个额外的批量归一化(M4)来稳定训练过程,并将 M1 至 M4 的组合命名为 S4。

后置 BN 不影响部署时的等效卷积核融合。这进一步将我们的 A0 模型在 ImageNet 上的 FP32 准确率从 70.1% 提升到 72.2%。此外,其 INT8 准确率提升至 70.4%。

总结,结合上述四个修改(从 M1 到 M4)最终组成了 QARepVGG,其 FP32 准确率与 RepVGG 相当,而 INT8 性能则大大超过 RepVGG。

讨论

ImageNet 上的性能

研究结果显示,RepVGG 的 INT8 精度受到严重影响,远低于 FP32。

例如,RepVGG-B0 的 top-1 准确率从 75.1% 骤降至 40.2%。相较之下,表中 QARepVGG 各模型的 FP32 与 INT8 准确率差距都在 2 个百分点内。特别是具有组卷积的 RepVGG 表现不佳。经过 PTQ 后,RepVGG-B2g4 的准确率从 78.5% 骤降至 13.7%,下降了 64.8 个百分点。相反,QARepVGG-B2g4 的准确率仅下降了 0.7 个百分点,显示其在这组模型配置中的量化表现较稳定。

在与 RepOpt-VGG 的比较中,RepOpt-VGG 使用梯度重参数化技术,其量化精度对于尺度的搜索非常敏感。由于仅有部分预训练模型发布,作者重新训练了 RepOpt-VGG-A0/B0 模型。

结果显示,RepOpt-VGG-A0 在 ImageNet 上的 FP32 准确率为 70.3%,比 RepVGG-A0 的官方结果低 2.1 个百分点。尽管 RepOpt-VGG 的量化表现较原始 RepVGG 改善,表中的 PTQ 准确率仍低于对应的 QARepVGG。作者的方法也省去 RepOpt-VGG 搜索尺度时额外的 240 个 CIFAR-100 epoch。

最后,作者使用 NVIDIA 量化工具包中的 QAT 在 RepVGG 上进行了比较。结果显示,配备 QAT 的 QARepVGG 在表中三组模型的 INT8 准确率都高于 RepVGG+QAT,差距为 1.0 至 5.6 个百分点。QAT 阶段训练 10 个 epoch,前三个用于 warm-up,初始学习率为 0.01。

结论

通过理论和定量分析,本研究深入剖析了著名的基于重参数化结构 RepVGG 在量化过程中的失败原因。研究发现,其结构缺陷不可避免地放大量化误差,并累积产生较差的结果。为了解决这一问题,研究团队重新设计了该结构,推出了 QARepVGG。这一改进设计产生了有利于量化的权重和激活分布。

QARepVGG 在保持 RepVGG 优秀的 FP32 性能的同时,极大地简化了最终部署的量化过程。这项研究强调了在架构设计中应更注重量化意识,以提高模型的整体性能。通过这一设计,QARepVGG 展示了其在量化过程中的优越性,为未来的模型设计提供了宝贵的参考。