Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
- 发表版本
- ICML 2015会议
- arXiv 首次提交
- arXiv:1502.03167
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{normalizationbatchnorm2015,
title = {{Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift}},
author = {Sergey Ioffe and Christian Szegedy},
year = {2015},
eprint = {1502.03167},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1502.03167}
}
深度学习已经在视觉、语音等多个领域取得了显着的进展,而随机梯度下降法(SGD)及其变体如动量(Momentum)和 Adagrad,被证明是训练深度神经网络非常有效的方法。这些优化算法调整网络的参数以最小化损失,是通过在训练过程中分步处理小批次数据来进行的。
在 SGD 的过程中,我们通常不会每次只使用一个训练例子来更新参数,而是使用一小批数据(mini-batch)。这样做的好处是:首先,小批次损失的梯度是对整个训练集梯度的一个良好估计,而且随着批次大小的增加,这种估计的品质会提高;其次,现代计算平台支持的并行计算能力使得处理整个批次的数据比多次处理单个数据更为高效。
然而,随机梯度下降法需要精确调整诸如学习率之类的超参数,并且在训练过程中,网络变深时小的变化可能会被放大,导致所谓的共变量位移(Covariate Shift)。
定义问题
作者将内部共变量转移定义为:
- 由于训练过程中网络参数的变化而导致的网络启动分布的变化。
为了改进训练,我们希望减少内部共变量转移。通过固定层输入 的分布,我们预期能加快训练速度。
根据过去的研究,网络训练如果其输入被白化,即经过线性变换以具有零均值和单位方差,且去相关,则收敛更快。由于每层输入来自前一层的输出,对每层输入进行白化将是有利的。
然而,如果这些修改与优化步骤交替进行,则梯度下降步骤可能会尝试以需要更新正规化的方式来更新参数,这减少了梯度步骤的效果。
例如,考虑一个输入为 的层,加上学习的偏置 ,并通过减去启动均值进行正规化:,其中 , 是 的训练集值,。如果梯度下降步骤忽略 对 的依赖,则会更新 ,其中 。
那么 。因此,更新 和随后的正规化变化的组合导致层的输出和损失都没有变化。随着训练的继续, 将无限增长,而损失保持不变。如果正规化不仅中心化还缩放启动,这个问题会变得更糟。
上述方法的问题在于梯度下降优化没有考虑正规化的存在。
为了解决这个问题,作者希望确保,对于任何参数值,网络总是生成具有所需分布的启动。这样可以使损失对模型参数的梯度考虑到正规化及其对模型参数 的依赖。
设 为层输入,视为向量, 为训练数据集上的这些输入集合。则正规化可以写成变换:
这不仅依赖于给定的训练样本 ,还依赖于所有样本 。
对于反向传播,我们需要计算 和 ,如果忽略后者会导致上述的爆炸。
在此框架下,因为需要计算协方差矩阵 及其逆平方根,以生成白化启动 ,以及这些变换的导数以进行反向传播。
整个白化层输入非常昂贵,这促使作者寻求一种替代方法,以可微的方式执行输入正规化,且不需要在每次参数更新后分析整个训练集。
解决问题
由于对每层输入进行完全白化操作的计算成本高且不完全可微分,作者做了两个必要的简化。
首先,我们不是对层输入和输出的特征进行联合白化,而是将每个标量特征独立正规化,使其具有零均值和单位方差。对于具有 维输入 的一层,我们将每个维度正规化为:
其中期望和方差是基于训练数据集计算的。
需要注意的是,简单地正规化层的每个输入可能会改变层的表示能力。例如,对 Sigmoid 函数的输入进行正规化会将其限制在非线性区间内。为了解决这个问题,作者在网络中插入的变换能够表示恒等变换。为此,我们对每个启动值 引入一对参数 和 ,用于缩放和平移正规化后的值:
这些参数与原始模型参数一起学习,并恢复网络的表示能力。
事实上,通过设置 和 ,我们可以在最优情况下恢复原始启动值。
在基于整个训练集的批量设定中,我们一般会使用整个训练集来正规化启动值。然而,当使用随机优化时,这是不切实际的。
因此,作者做了第二个简化:在随机梯度训练中使用小批量,每个小批量会产生对每个启动值的均值和方差的估计。这样,正规化所使用的统计量可以完全参与梯度反向传播。对卷积层,同一通道的统计量还会合并批次内的所有空间位置。需要注意的是,使用小批量的方式是对每个维度计算方差而非联合协方差矩阵;在联合情况下,会需要正则化,因为小批量的大小可能小于要白化的启动值数量,导致协方差矩阵奇异。
考虑一个大小为 的小批量 。由于正规化是对每个启动值独立应用的,让我们集中于一个特定的启动值 并省略 以简化表示。我们有这个启动值在小批量中的 个值,。
设正规化后的值为 ,它们的线性变换为 。我们将该变换称为 BatchNorm 变换 ,其过程如下。在算法中, 是一个为数值稳定性而添加到小批量方差中的常数。
在 的表示中,参数 和 是需要学习的,但需要注意的是,BN 变换并不是独立处理每个训练样本中的启动值。相反, 既依赖于训练样本,也依赖于小批量中的其他样本。缩放和平移后的值 传递到其他网络层。
BN 变换是一个可微分的变换,它将正规化的启动值引入网络中。这确保了在模型训练过程中,各层可以在显示较少内部共变量转移的输入分布上继续学习,从而加速训练。此外,应用于这些正规化启动值的学习仿射变换允许 BN 变换表示恒等变换并保持网络容量。
提高学习率
在传统的深度神经网络中,过高的学习率可能导致梯度爆炸或消失,以及陷入不良的局部极小值。BatchNorm 有助于解决这些问题。通过在整个网络中正规化启动值,它防止了参数的微小变化放大成启动值和梯度中的较大和次优变化,防止了训练陷入非线性函数的饱和区域。
BatchNorm 还使训练对参数规模更加稳健。通常,大学习率可能会增加层参数的规模,从而在反向传播过程中放大梯度并导致模型爆炸。然而,有了 BatchNorm,通过一层的反向传播不受其参数规模的影响。
对于一个标量 ,
可以证明
比例不影响层的 Jacobi 矩阵,也不影响梯度传播。
作者进一步推测,BatchNorm 可能使层的 Jacobi 矩阵的奇异值接近 1,这对训练是有益的。
不需要 Dropout
在使用 BatchNorm 训练时,一个训练样本是与小批量中的其他样本一起被观察的,训练网络不再对给定的训练样本产生确定性值。在作者的实验中,发现这种效果对网络的泛化有利。虽然 Dropout 通常用于减少过拟合,但在作者的实验中,有 BatchNorm 之后,Dropout 可以被移除或减弱。
讨论
在 MNIST 实验
为了验证内部共变量转移对训练的影响以及 BatchNorm 抵御它的能力,作者在 MNIST 数据集上预测数字类别的问题。
这里使用了一个非常简单的网络,输入为 28x28 的二进制图像,并设有 3 个隐藏层,每层有 100 个启动值。每个隐藏层计算 ,其中 是 Sigmoid 非线性函数,权重 初始化为小的随机高斯值。
最后一个隐藏层后面是具有 10 个启动值(每个类别一个)的全连接层,并使用交叉熵损失。这里将网络训练了 50000 步,每个小批量包含 60 个样本,并在网络的每个隐藏层中添加 BatchNorm 进行比较。
上图显示了随着训练进行,两个网络在保留测试数据上的正确预测比例,BatchNorm 网络的测试准确率更高。在上图(b,c)中,以第 15、50、85 百分位数展示每个网络最后一个隐藏层中一个典型 Sigmoid 输入的分布如何演变。原始网络中的分布随时间显着变化,不论是均值还是方差,这使后续层的训练变得复杂。相比之下,BatchNorm 网络中的分布在训练过程中更加稳定,有助于训练。
在 ImageNet 实验
作者接着将 BatchNorm 应用到一个新的 Inception 网络变体,并在 ImageNet 分类任务上进行了训练。
实验评估了几个带有 BatchNorm 的 Inception 修改版本。在所有情况下,BatchNorm 都应用于每个非线性函数的输入,其余架构不变。
仅仅将 BatchNorm 添加到网络中并不能充分利用这个方法。为此,作者进一步改变了网络及其训练参数:
- 增加学习率:在 BatchNorm 模型中,我们能够通过更高的学习率实现训练速度的提升,且没有副作用。
- 移除 Dropout:如前述,BatchNorm 有部分与 Dropout 相同的作用。从修改后的 BatchNorm Inception 中移除 Dropout 可以加速训练,且在此实验中未增加过拟合。
- 减少 L2 权重正则化:在 Inception 中,模型参数上的 L2 损失控制了过拟合,但在修改后的 BatchNorm Inception 中,这种损失的权重减少了 5 倍。
- 加速学习率衰减:在训练 Inception 时,学习率是指数衰减的。由于 BatchNorm 网络训练速度比 Inception 快,作者将学习率降低速度加快了 6 倍。
- 移除局部响应正规化:虽然 Inception 和其他网络受益于此,但使用 BatchNorm 后并不需要。
- 更彻底地打乱训练样本:作者启用了训练数据在片段内的打乱,防止相同的样本总是出现在同一个小批量中。这导致验证准确率约提高 1%,这与将 BatchNorm 视为正则化器的观点一致。
- 减少光度失真:由于 BatchNorm 网络训练速度更快,并且每个训练样本观察次数更少,我们让训练器专注于更多「真实」图像,从而减少了对它们的扭曲。
作者共评估了以下网络,所有网络都在 LSVRC2012 训练数据上训练,并在验证数据上进行测试:
- Inception:一开始所描述的架构,初始学习率为 0.0015。
- BN-Baseline:与 Inception 相同,但在每个非线性函数之前进行 BatchNorm。
- BN-x5:带有 BatchNorm 的 Inception。初始学习率提高了 5 倍,达到 0.0075。同样的学习率提高使原始 Inception 的模型参数达到机器极限。
- BN-x30:类似于 BN-x5,但初始学习率为 0.045(是 Inception 的 30 倍)。
- BN-x5-Sigmoid:类似于 BN-x5,但使用 Sigmoid 非线性函数 ,而不是 ReLU。作者这边也尝试过用 Sigmoid 训练原始 Inception,但模型准确率始终相当于随机。
在上图中展示了随训练步数变化的网络验证准确率。Inception 在 3100 万训练步后达到 72.2%的准确率。下表显示了每个网络达到相同 72.2%准确率所需的训练步数,以及网络达到的最高验证准确率。
仅使用 BatchNorm(BN-Baseline),在不到一半的训练步数内达到了 Inception 的准确率。BN-x5 比 Inception 需要少 14 倍的步数来达到 72.2%的准确率。有趣的是,进一步提高学习率(BN-x30)使模型初期训练速度稍慢,但允许它达到更高的最终准确率。在 600 万步后达到 74.8%,即比 Inception 达到 72.2%所需的步数少 5 倍。
另外,作者还验证了内部共变量转移的减少使得带有 BatchNorm 的深层网络可以在「使用 Sigmoid 作为非线性函数时进行训练」,BN-x5-Sigmoid 达到了 69.8%的准确率。
结论
BatchNorm 主要通过对每个批次的数据进行标准化来解决内部协方差偏移问题。这种方法不仅稳定了学习过程,还允许使用更高的学习率,从而显着加快了模型训练的速度,能够在训练过程中起到正则化的作用,帮助减少过拟合现象。
然而,这种技术的效果高度依赖于批次的大小。对于较小的批次,标准化的稳定性会降低,有时还会引发数值稳定性问题,特别是当数据分布靠近极端值时,之前也引发过 RepVGG 无法量化的问题:
最后,在训练与推理阶段,BatchNorm 的行为存在差异,这是工程师常会踩到的坑。训练时使用的是当前批次的统计数据,而在推理时则通常使用整个训练数据集的全局统计数据,这种差异可能会导致模型在训练时与推理时的表现不完全一致。
在实际应用中,我们在使用 BatchNorm 时需谨慎考量这些因素,让模型能够更好地适应不同的场景。