論文ノートライブラリに戻る
arXiv 2015ICML 2015正規化・活性化関数論文ノート

BatchNorm

バッチ正規化

原論文

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

論文の著者

Sergey Ioffe · Christian Szegedy

発表先
ICML 2015国際会議
arXiv への初回投稿
arXiv:1502.03167
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{normalizationbatchnorm2015,
  title = {{Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift}},
  author = {Sergey Ioffe and Christian Szegedy},
  year = {2015},
  eprint = {1502.03167},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1502.03167}
}
このページの内容

深層学習は、視覚や音声などの多くの分野で顕著な進展を遂げており、確率的勾配降下法(SGD)とその変種であるモーメンタム(Momentum)や Adagrad は、深層神経ネットワークのトレーニングに非常に効果的な方法であることが証明されています。これらの最適化アルゴリズムは、損失を最小化するためにネットワークのパラメータを調整し、トレーニング中に小さなバッチデータを順次処理することで行われます。

SGD の過程では、通常、毎回 1 つの訓練例を使ってパラメータを更新するのではなく、少量のデータ(ミニバッチ)を使用します。この方法の利点は、まず、ミニバッチの損失勾配が全体の訓練セットの勾配をよく推定しており、バッチサイズが増えるにつれて、この推定の質が向上することです。次に、現代の計算プラットフォームがサポートする並列計算能力により、単一のデータを何度も処理するよりも、バッチ全体のデータを処理する方が効率的であるという点です。

しかし、確率的勾配降下法は、学習率のようなハイパーパラメータを慎重に調整する必要があり、トレーニング中にネットワークが深くなると、小さな変化が増幅され、いわゆる共変量シフト(Covariate Shift)を引き起こす可能性があります。

問題の定義

著者は内部共変量シフトを以下のように定義しています:

  • 訓練過程中のネットワークパラメータの変化によって引き起こされるネットワーク内部の活性化値の分布の変化。

訓練を改善するために、内部共変量シフトを減少させることが望ましいです。層の入力 xx の分布を固定することで、訓練速度を加速できると予想されます。

過去の研究によると、ネットワークの訓練は、その入力がホワイトニングされている、すなわち線形変換を通じてゼロ平均および単位分散を持ち、かつ相関がなくなっている場合、収束が速くなることが示されています。各層の入力は前の層の出力に由来するため、各層の入力をホワイトニングすることは有利です。

しかし、これらの修正を最適化ステップと交互に実行すると、勾配降下ステップは正規化が必要な方法でパラメータを更新しようとする可能性があり、これが勾配ステップの効果を減少させます。

例えば、入力が uu の層を考え、学習されたバイアス bb を加え、出力の平均を引くことで正規化します:x^=x−E[x]\hat{x} = x - E[x]、ここで x=u+bx = u + b、X={x1,…,xN}X = \{x_1,\ldots,x_N\} は xx の訓練セットの値で、E[x]=1N∑i=1NxiE[x] = \frac{1}{N} \sum_{i=1}^N x_i です。もし勾配降下ステップが E[x]E[x] の bb に対する依存を無視した場合、b←b+Δbb \leftarrow b + \Delta b で更新されます、ここで Δb∝−∂ℓ∂x^\Delta b \propto -\frac{\partial \ell}{\partial \hat{x}}。

したがって、u+(b+Δb)−E[u+(b+Δb)]=u+b−E[u+b]u + (b + \Delta b) - E[u + (b + \Delta b)] = u + b - E[u + b] となります。このように、bb の更新とその後の正規化変化の組み合わせにより、層の出力と損失は変化しません。訓練が進むにつれて、bb は無限に増加し、損失は一定のままになります。正規化が単に中心化だけでなく、スケーリングを行う場合、この問題はさらに悪化します。


上記の方法の問題は、勾配降下法が正規化の存在を考慮していないことにあります。

この問題を解決するために、著者は、任意のパラメータ値についてネットワークが常に必要な分布を持つ出力を生成することを保証したいと考えています。これにより、損失がモデルパラメータに関する勾配が正規化およびそのモデルパラメータ Θ\Theta に対する依存関係を考慮するようになります。

xx を層の入力ベクトルとし、XX を訓練データセット上のこれらの入力の集合とします。正規化は次のように書けます:

x^=Norm(x,X)\hat{x} = \text{Norm}(x, X)

これは、与えられた訓練サンプル xx に依存するだけでなく、すべてのサンプル XX に依存します。

逆伝播において、∂Norm(x,X)∂x\frac{\partial \text{Norm}(x, X)}{\partial x} と ∂Norm(x,X)∂X\frac{\partial \text{Norm}(x, X)}{\partial X} を計算する必要があります。後者を無視すると、上記の爆発が生じます。

この枠組みでは、共分散行列 Cov[x]=Ex∈X[xxT]−E[x]E[x]T\text{Cov}[x] = E_{x \in X}[xx^T] - E[x]E[x]^T とその逆平方根を計算してホワイトニングされた出力 Cov[x]−1/2(x−E[x])\text{Cov}[x]^{-1/2}(x - E[x]) を生成し、これらの変換の導関数を逆伝播のために計算する必要があります。

ホワイトニングされた層入力全体を計算するのは非常に高価であるため、著者は、パラメータ更新後に訓練セット全体を分析することなく、入力正規化を微分可能な方法で実行する代替方法を探し始めました。

問題の解決

各層入力に対する完全なホワイトニング操作は計算コストが高いため、著者は 2 つの簡略化を行いました。

まず、層の入力と出力の特徴に対して共通のホワイトニングを行うのではなく、各スカラー特徴を独立に正規化し、ゼロ平均および単位分散にします。入力が dd 次元のベクトル x=(x(1),…,x(d))x = (x^{(1)}, \ldots, x^{(d)}) である層について、各次元を次のように正規化します:

x^(k)=x(k)−E[x(k)]Var[x(k)]\hat{x}^{(k)} = \frac{x^{(k)} - \mathbb{E}[x^{(k)}]}{\sqrt{\mathrm{Var}[x^{(k)}]}}

ここで、期待値と分散は訓練データセットに基づいて計算されます。

注意すべきは、単純に各層の入力を正規化することが層の表現能力を変える可能性がある点です。例えば、シグモイド関数の入力を正規化すると、非線形領域内に制限されてしまいます。この問題を解決するために、著者はネットワークに挿入する変換が恒等変換を表現できるようにしました。そのために、各活性化値 x(k)x^{(k)} に対してパラメータ γ(k)\gamma^{(k)} と β(k)\beta^{(k)} を導入し、正規化された値をスケーリングおよび平行移動します:

y(k)=γ(k)x^(k)+β(k)y^{(k)} = \gamma^{(k)} \hat{x}^{(k)} + \beta^{(k)}

これらのパラメータは元のモデルのパラメータと一緒に学習され、ネットワークの表現能力を回復させます。

実際、γ(k)=Var[x(k)]\gamma^{(k)} = \sqrt{\mathrm{Var}[x^{(k)}]} と β(k)=E[x(k)]\beta^{(k)} = \mathbb{E}[x^{(k)}] を設定することで、統計量が固定され ϵ\epsilon を無視できる場合に、元の活性化値を回復できます。バッチ統計量が変わる場合、この回復条件も変わります。

訓練セット全体に基づくバッチ設定では、一般的に訓練セット全体を使用して活性化値を正規化します。しかし、ランダム最適化を使用する場合、これは非現実的です。

したがって、著者は 2 つ目の簡略化を行いました:ランダム勾配訓練では小さなバッチを使用し、各小バッチが各活性化値の平均と分散を推定します。このようにして、正規化に使用される統計量は勾配逆伝播に完全に参加できます。畳み込み層では、同じチャネルの統計量をバッチ内のすべての空間位置から計算します。小バッチ方式では各次元の分散を計算するだけで、共分散行列は計算しません。共分散行列を使う完全なホワイトニングでは、バッチサイズが活性化値の次元数より小さいと行列が特異になる可能性があり、正則化が必要です。

サイズが mm の小バッチ BB を考えます。正規化は各活性化値に独立に適用されるため、特定の活性化値 x(k)x^{(k)} に集中し、簡単化のために kk を省略します。この活性化値の小バッチにおける mm 個の値を B={x1,…,xm}B = \{x_1, \ldots, x_m\} とします。

正規化後の値を x^1,…,x^m\hat{x}_1, \ldots, \hat{x}_m とし、それらの線形変換を y1,…,ymy_1, \ldots, y_m とします。この変換を BatchNorm 変換 BNγ,βBN_{\gamma, \beta} と呼び、その過程は次の通りです。アルゴリズム内で、ϵ\epsilon は数値的安定性のために小バッチの分散に追加される定数です。

y=BNγ,β(x)y = BN_{\gamma, \beta}(x) の表現では、パラメータ γ\gamma と β\beta は学習が必要です。また、BNγ,β(x)BN_{\gamma, \beta}(x) は訓練サンプルに依存するだけでなく、小バッチ内の他のサンプルにも依存します。スケーリングと平行移動された値 yy は他のネットワーク層に伝達されます。

BN は統計量を計算グラフに含め、正規化を通した逆伝播を可能にします。さらに学習可能なアフィン変換で出力のスケールを調整します。内部共変量シフトの低減は原論文の説明であり、唯一の作用機序として証明されたものではありません。

学習率の向上

原論文の実験では、BN により高い学習率が使用でき、Sigmoid を使うネットワークの学習も改善しました。ただし、勾配爆発・消失や局所解の問題をすべて解消する保証はありません。

BN には正のスケール変換に関する性質があります。以下は訓練バッチを固定し、a>0a>0 として、数値安定化項 ϵ\epsilon を無視した導出です。実際に ϵ\epsilon を含めると、通常は近似的なスケール不変性になります。

BN(Wu)=BN((aW)u)\mathrm{BN}(W\mathbf{u}) = \mathrm{BN}((aW)\mathbf{u})

が成立し、

∂BN((aW)u)∂u=∂BN(Wu)∂u\frac{\partial \mathrm{BN}((aW)\mathbf{u})}{\partial \mathbf{u}} = \frac{\partial \mathrm{BN}(W\mathbf{u})}{\partial \mathbf{u}} ∂BN((aW)u)∂(aW)=1a⋅∂BN(Wu)∂W\frac{\partial \mathrm{BN}((aW)\mathbf{u})}{\partial (aW)} = \frac{1}{a} \cdot \frac{\partial \mathrm{BN}(W\mathbf{u})}{\partial W}

この仮定では入力に関するヤコビ行列は変わらず、重みに関する勾配は 1/a1/a 倍になります。

著者はさらに、BatchNorm が層のヤコビ行列の特異値を 1 に近づける可能性があり、これが訓練に有益であると推測しています。

Dropout は不要

BatchNorm を使って訓練する場合、訓練サンプルは小バッチ内の他のサンプルとともに観察され、訓練ネットワークは与えられた訓練サンプルに対して確定的な値を生成しなくなります。著者の実験では、この効果がネットワークの汎化に有利であることが分かりました。一部の実験では Dropout を除去できましたが、一般則ではありません。論文のアンサンブルモデルにも少量の Dropout を使うものがあります。

考察

MNIST 実験での結果

内部共変量シフトが訓練に与える影響と、BatchNorm がそれに対抗する能力を検証するために、著者は MNIST データセットで数字の分類問題を扱いました。

ここでは、非常にシンプルなネットワークを使用し、入力は 28×28 のグレースケール数字画像で、隠れ層は 3 層、各層に 100 個のユニットがあります。各隠れ層は y=g(Wu+b)y = g(Wu + b) を計算し、ここで gg は Sigmoid 非線形関数、重みWWは小さなランダムなガウス値で初期化されます。

最後の隠れ層の後には、10 個のユニット(各クラスに 1 つ)の全結合層があり、交差エントロピー損失を使用します。ネットワークは 50,000 ステップで訓練され、各ミニバッチには 60 個のサンプルが含まれています。最後に、ネットワークの各隠れ層に BatchNorm を追加しました。

上の図は、訓練が進むにつれて、2 つのネットワークがテストデータに対する正しい予測率を示しています。BatchNorm を使用したネットワークは、テスト精度が高くなっています。図 (b, c) では、最後の隠れ層に入る典型的な Sigmoid 入力の第 15、50、85 パーセンタイルがどう変化するかを示しています。元のネットワークでは、分布の位置や広がりが時間とともに著しく変化します。一方、BatchNorm ネットワークでは分布が比較的安定しており、訓練が容易になります。

ImageNet 実験での結果

著者は次に、BatchNorm を新しい Inception ネットワークの変種に適用し、ImageNet 分類タスクで訓練を行いました。

実験では、BatchNorm を使用したいくつかの Inception の修正バージョンが評価されました。すべての場合において、BatchNorm は各非線形関数の入力に適用され、残りのアーキテクチャは変更されませんでした。

BatchNorm をネットワークに追加するだけでは、この方法の効果を十分に活用することはできません。そこで、著者はネットワークとその訓練パラメータをさらに変更しました:

  • 学習率の増加:BatchNorm モデルでは、学習率を高くすることで訓練速度が向上し、この実験設定では悪影響が見られませんでした。
  • Dropout の削除:前述の通り、BatchNorm には Dropout と一部重なる正則化効果があります。BatchNorm を使用した Inception から Dropout を削除することで、訓練を加速でき、過学習も増加しません。
  • L2 重み正則化の削減:Inception では、モデルパラメータに対する L2 損失が過学習を抑制していますが、BatchNorm Inception では、この損失の重みが 5 倍削減されました。
  • 学習率減衰の加速:Inception の訓練中、学習率は指数関数的に減衰します。BatchNorm ネットワークは Inception よりも訓練速度が速いため、学習率の減衰速度を 6 倍速くしました。
  • 局所応答正規化の削除:Inception や他のネットワークでは有益ですが、BatchNorm を使用すると必要なくなります。
  • 訓練サンプルのシャッフルの徹底:著者は訓練データをシャード内でシャッフルし、同じサンプルが常に同じミニバッチに現れないようにしました。これにより、検証精度が約 1 ポイント向上し、BatchNorm が正則化器として機能するという見解に一致します。
  • 光度歪みの削減:BatchNorm ネットワークは訓練速度が速く、各訓練サンプルの観察回数が少ないため、訓練者は「真実に近い」画像に焦点を当てることができ、歪みが減少しました。

著者は次のネットワークを評価しました。すべてのネットワークは LSVRC2012 訓練データで訓練され、検証データでテストされました:

  • Inception:最初に説明したアーキテクチャで、初期学習率は 0.0015 です。
  • BN-Baseline:Inception と同じですが、各非線形関数の前に BatchNorm を適用します。
  • BN-x5:BatchNorm を使用した Inception。初期学習率は 5 倍に増加し、0.0075 になりました。同じ学習率の増加により、元の Inception のモデルパラメータは機械の限界に達しました。
  • BN-x30:BN-x5 と似ていますが、初期学習率は 0.045(Inception の 30 倍)です。
  • BN-x5-Sigmoid:BN-x5 に似ていますが、非線形関数として Sigmoid g(t)=11+exp⁡(−t)g(t) = \frac{1}{1+\exp(-t)} を使用します。著者はまた、Sigmoid を使って元の Inception を訓練したが、モデル精度は常にランダムに等しかったと報告しています。

上の図は、訓練ステップ数に対するネットワークの検証精度の変化を示しています。Inception は 3100 万訓練ステップ後に 72.2%の精度に達しました。以下の表は、各ネットワークが同じ 72.2%の精度に達するのに必要な訓練ステップ数と、ネットワークが達成した最高の検証精度とその精度に達するのに必要なステップ数を示しています。

BatchNorm のみ(BN-Baseline)では、Inception の精度を半分以下の訓練ステップで達成しました。BN-x5 は、Inception の約 1/14 のステップ数で 72.2%の精度を達成しました。興味深いことに、学習率をさらに高める(BN-x30)と、初期の訓練速度は少し遅くなりますが、最終的に高い精度を達成することができます。600 万ステップ後に 74.8%に達し、Inception が 72.2%に達するのに必要なステップ数の約 1/5 です。

さらに、著者は、BatchNorm を使う深いネットワークを、Sigmoid を非線形関数として使った場合にも訓練できることを確認しました。BN-x5-Sigmoid は 69.8%の精度に達しました。

結論

BatchNorm はバッチ統計量で特徴を標準化し、学習したスケールと平行移動を適用します。原論文は内部共変量シフトの低減を動機として説明し、実験ではより高い学習率を使えて訓練が速くなり、一定の正則化効果も得られました。

小さなバッチでは統計量の推定が不安定になる場合があります。畳み込みの BN は通常、チャネルごとにバッチと空間位置をまとめて統計量を計算するため、実効的なサンプル数は batch size だけでは決まりません。RepVGG の量子化には分岐統合後の重みや活性化値の範囲も関係します:

訓練と推論では使う統計量が異なります。訓練は通常、現在のバッチ統計量を使い、推論は訓練中に蓄積した移動平均の推定値を使います。必要に応じて再校正も行います。評価モードへの切り替え、統計量の保存、導入先のデータ分布の確認が必要です。

実際に使う際は、これらの点を確かめながら、適用する場面に合わせて判断したいところです。