論文ノートライブラリに戻る
arXiv 2018NeurIPS 2018モデルマージ論文ノート

Mode Connectivity

回り道すればいい

原論文

Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs

論文の著者

Timur Garipov · Pavel Izmailov · Dmitrii Podoprikhin · Dmitry Vetrov · Andrew Gordon Wilson

発表先
NeurIPS 2018国際会議
arXiv への初回投稿
arXiv:1802.10026
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{modelmergingmodeconnectivity2018,
  title = {{Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs}},
  author = {Timur Garipov and Pavel Izmailov and Dmitrii Podoprikhin and Dmitry Vetrov and Andrew Gordon Wilson},
  year = {2018},
  eprint = {1802.10026},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1802.10026}
}
このページの内容

同じネットワークを異なる二つの乱数シードで訓練すると、まったく異なる重みが得られる。それでも精度はほぼ同じになる。

この二組の重みは、パラメータ空間の二つの点に対応する。直線で結び、途中の点をいくつか評価すると、中間の誤り率が驚くほど高くなることが多い。論文の例では、CIFAR-10 の VGG-16 は線分の中点でテスト誤り率が 90% に達する。10 クラスなので、当てずっぽうと同程度だ。

そこで、解はそれぞれ孤立した谷にあり、谷の間を高い山が隔てている、と考えたくなる。

Samsung モスクワ AI センター、Skoltech、Cornell、モスクワの高等経済学院大学に所属する Garipov、Izmailov、Podoprikhin、Vetrov、Wilson は、問いを変えた。直線で通れないなら、曲がった道はどうだろう。

問題の定義

独立に訓練した二つのネットワークの重みを w^1\hat w_1、w^2\hat w_2、訓練損失を L(w)L(w) とする。直線で結ぶと、

w(t)=(1−t) w^1+t w^2,t∈[0,1]w(t) = (1-t)\,\hat w_1 + t\,\hat w_2,\qquad t\in[0,1]

著者らが探すのは、両端を w^1\hat w_1 と w^2\hat w_2 に固定し、途中の曲がり方をパラメータ θ\theta で決める曲線 ϕθ(t)\phi_\theta(t) だ。曲線全体で損失が低くなければならない。

見つかれば、「解は孤立した谷にある」という見方を改める必要がある。見つからない場合も、曲線の形が制限されすぎているのか、最適化に失敗したのか、二点を結ぶこと自体が難しいのかを分けて考える必要がある。一度の探索の失敗だけで、ほかの経路まで排除することはできない。

問題を解く

曲線そのものを学習する

曲線上の各点はネットワークの重み一式なので、ネットワークに代入すれば損失を計算できる。目的は、曲線全体の平均損失を小さくすることだ。

ℓ(θ)=∫01L(ϕθ(t)) dt=Et∼U(0,1)[L(ϕθ(t))]\ell(\theta) = \int_0^1 L\big(\phi_\theta(t)\big)\,dt = \mathbb{E}_{t\sim U(0,1)}\Big[L\big(\phi_\theta(t)\big)\Big]

この期待値の勾配はサンプリングで推定できる。各ステップで [0,1][0,1] から tt を一つランダムに選び、曲線上のその点の重みを計算する。ミニバッチで損失を求め、θ\theta を一度、勾配降下で更新する。端点 w^1\hat w_1、w^2\hat w_2 は固定し、曲線の形を決める θ\theta だけを学習する。

二種類の曲線

著者らは二つの単純なパラメータ化を使った。一つ目は、一度だけ折れ曲がる折れ線で、折れ点が θ\theta になる。

ϕθ(t)={2(t θ+(0.5−t) w^1),0≤t≤0.52((t−0.5) w^2+(1−t) θ),0.5≤t≤1\phi_\theta(t) = \begin{cases} 2\big(t\,\theta + (0.5-t)\,\hat w_1\big), & 0\le t\le 0.5\\ 2\big((t-0.5)\,\hat w_2 + (1-t)\,\theta\big), & 0.5\le t\le 1 \end{cases}

二つ目は二次ベジェ曲線で、θ\theta は制御点だ。

ϕθ(t)=(1−t)2 w^1+2t(1−t) θ+t2 w^2\phi_\theta(t) = (1-t)^2\,\hat w_1 + 2t(1-t)\,\theta + t^2\,\hat w_2

どちらも t=0t=0 と t=1t=1 で二つの端点に一致する。θ\theta の形はネットワークの重み一式と同じなので、学習するパラメータ数はネットワーク一つ分になる。

ベジェ曲線の中点を計算してみよう。t=0.5t=0.5 では、両端がそれぞれ 1/41/4、制御点が 1/21/2 を占める。制御点をある方向に 1 単位動かすと、中点の重みは同じ方向に半単位動く。逆伝播でも、制御点に対する損失の勾配は、その時点の重みに対する勾配に 2t(1−t)2t(1-t) を掛けた値になる。端点の重みをオプティマイザに登録しないので、訓練中も元の二つのモデルは変化しない。

折れ線も同様だが、更新の倍率は前半と後半で変わる。このため、曲線の訓練には通常のネットワークの順伝播と逆伝播を使え、主に増えるのは重みの線形結合だ。ただし、訓練データ、追加の最適化、制御点一つ分の保存領域が必要になる。低損失の経路を探す処理には、こうしたコストがかかる。

小さなネットワークで試す

小さなネットワークでも効果を確認できる。scikit-learn に付属する 1,797 枚の 8×8 手書き数字を使い、各隠れ層が 200 ユニットの 2 層 MLP を用意する。同じ 1,200 枚の訓練データから、初期重みを変えて二つの端点を訓練し、直線の中点からベジェ曲線を学習する。

python
import torch
import torch.nn as nn
from torch.func import functional_call
from sklearn.datasets import load_digits

X, y = load_digits(return_X_y=True)
X = torch.tensor(X / 16.0, dtype=torch.float32)
y = torch.tensor(y)
perm = torch.randperm(len(X), generator=torch.Generator().manual_seed(0))
idx_train, idx_test = perm[:1200], perm[1200:]

def make(seed):
    torch.manual_seed(seed)
    return nn.Sequential(nn.Linear(64, 200), nn.ReLU(),
                         nn.Linear(200, 200), nn.ReLU(),
                         nn.Linear(200, 10))

def train(model, seed, steps=480):
    opt = torch.optim.SGD(model.parameters(), lr=0.1)
    g = torch.Generator().manual_seed(seed)
    for _ in range(steps):
        b = idx_train[torch.randint(len(idx_train), (50,), generator=g)]
        loss = nn.functional.cross_entropy(model(X[b]), y[b])
        opt.zero_grad(); loss.backward(); opt.step()
    return {k: v.detach() for k, v in model.state_dict().items()}

w1 = train(make(1), seed=10)                 # 兩個端點:同樣的資料,不同的初始權重
w2 = train(make(2), seed=20)
net = make(0)

@torch.no_grad()
def evaluate(w):
    loss = nn.functional.cross_entropy(functional_call(net, w, (X[idx_train],)), y[idx_train]).item()
    acc = (functional_call(net, w, (X[idx_test],)).argmax(1) == y[idx_test]).float().mean().item()
    return f"loss {loss:.3f}, 測試 {acc:.1%}"

def line(t):
    return {k: (1 - t) * w1[k] + t * w2[k] for k in w1}

theta = {k: v.clone().requires_grad_(True) for k, v in line(0.5).items()}   # 彎點從直線中點出發

def bezier(t):
    return {k: (1 - t) ** 2 * w1[k] + 2 * t * (1 - t) * theta[k] + t ** 2 * w2[k] for k in w1}

opt = torch.optim.SGD(theta.values(), lr=0.1)
g = torch.Generator().manual_seed(0)
for _ in range(1200):
    t = torch.rand((), generator=g).item()   # 每一步隨機抽一個 t
    b = idx_train[torch.randint(len(idx_train), (50,), generator=g)]
    loss = nn.functional.cross_entropy(functional_call(net, bezier(t), (X[b],)), y[b])
    opt.zero_grad(); loss.backward(); opt.step()   # 只更新彎點 theta,端點不動

for t in [0, 0.25, 0.5, 0.75, 1]:
    print(f"t={t:<4}  直線: {evaluate(line(t))}  |  曲線: {evaluate(bezier(t))}")
text
t=0     直線: loss 0.119, 測試 95.5%  |  曲線: loss 0.119, 測試 95.5%
t=0.25  直線: loss 0.415, 測試 93.6%  |  曲線: loss 0.142, 測試 95.5%
t=0.5   直線: loss 0.949, 測試 88.9%  |  曲線: loss 0.156, 測試 95.3%
t=0.75  直線: loss 0.420, 測試 95.0%  |  曲線: loss 0.140, 測試 95.3%
t=1     直線: loss 0.119, 測試 94.8%  |  曲線: loss 0.119, 測試 94.8%

functional_call を使うと、同じネットワーク構造に外部から重み一式を渡して計算できる。曲線上の各点も、この方法で評価できる。両端の損失はどちらも 0.119 だ。直線の中間では 0.949 まで上がるが、学習した曲線では 0.156 にとどまり、テスト精度も 95% 前後を保つ。

このネットワークは小さく、直線上の壁もそれほど高くない。論文のネットワークはもっと大きく、壁ももっと高い。

議論

大きなネットワークの曲線

原論文 Figure 1:CIFAR-100 における ResNet-164 の訓練損失を、三つの異なる二次元平面に表示。左は独立に訓練した三つの解で、それぞれ低損失領域に位置し、その間に高損失領域がある。中央の二次ベジェ曲線と右の一度だけ曲がる折れ線は、低損失領域を通って下側の二つの解を結ぶ。二点を直結する破線は高損失領域を通る。
原論文 Figure 1(Garipov ら)、PDF 2 ページより。

この図は、CIFAR-100 における ResNet-164 の訓練損失を示している。各図はパラメータ空間の二次元断面で、横軸は二つの解を通るように固定している。赤は低損失、青は高損失の領域だ。

左は独立に訓練した三つの解で断面を決めている。それぞれに赤い領域があり、間は青く、「孤立した谷」という直感に合う。中央と右では、学習した曲線が平面に乗るよう断面を変えている。すると下側の二つの解が赤い通路でつながる。一方、二点間の直線の破線は、引き続き青い領域を横切る。

原論文 Figure 2:横軸はいずれも曲線上の位置 t。左の訓練損失では、直線が中間で約 5 まで上がり、ベジェ曲線と折れ線はほぼ底に沿う。中央のテスト誤り率では、直線が中間でほぼ 100% になる一方、二つの曲線は 20% 台を保つ。右は端点と曲線上の一点による二モデルのアンサンブル誤り率で、折れ線上を進むと t が約 0.4 以降で約 22% まで下がる。
原論文 Figure 2(Garipov ら)、PDF 5 ページより。

Figure 2 は同じ実験を曲線として描いたものだ。左と中央の赤線が直線補間で、中間の訓練損失とテスト誤り率がともに跳ね上がる。緑のベジェ曲線と青の折れ線は、ほぼ平らになっている。

直線上の壁の高さはアーキテクチャによって変わる。CIFAR-10 では、VGG-16 の中点のテスト誤り率は 90%。ResNet-158 と Wide ResNet-28-10 は低めで、最大でもそれぞれ 80% と 66% だった。著者らは、残差ネットワークの損失地形は VGG のような古典的モデルより規則的だという、先行研究の観察に対応すると考えている。

曲線は一意でもない。同じ二つの端点を使い、異なるシードで二つの折れ線を学習すると、VGG-16 では二つの折れ点の距離が 29.6、端点間の距離は 50 だった。

曲線上の点には、それぞれの予測がある

曲線全体の損失が低いなら、各点は同じモデルを別の形で書いただけなのだろうか。

右の図がこの問いに答える。端点 ϕθ(0)\phi_\theta(0) と曲線上の一点 ϕθ(t)\phi_\theta(t) で二モデルのアンサンブルを作り、出力を平均する。折れ線上を進むと、t≈0.1t\approx0.1 からアンサンブルの誤り率が下がり始め、t≥0.4t\ge0.4 では、独立に訓練した二つの端点のアンサンブルと同じ程度になる。少し進むだけで、精度を保ちながら、予測が明確に異なるモデルを得られる。

ReLU の前後の重みを互いにスケーリングする場合など、曲線上の点が同じ関数の別のパラメータ表現にすぎなければ、アンサンブルの利点は生まれない。著者らは付録で、そうした役に立たない接続曲線の作り方も示している。

曲線からアンサンブルへ

この観察から、論文の二つ目の貢献、Fast Geometric Ensembling(FGE)が生まれる。

ある解の近くを少し歩くだけで、異なる予測をする十分よいモデルが得られるなら、曲線を学習する手順を省ける。FGE は通常の学習率スケジュールで総予算の約 80% まで訓練し、その後は 1 周期が 2~4 エポックの短い循環学習率に切り替える。学習率が高いときに外へ進み、低いときに谷底へ戻る。低点に来るたび重みを保存し、最後にそれらのモデルをアンサンブルする。

先行する Snapshot Ensembles との違いは、歩幅だ。Snapshot Ensembles は 1 周期が 20~40 エポックで、最初から最後まで使う。FGE は最終段階だけで短周期を使う。CIFAR-100 の Preactivation-ResNet-164 では、連続する FGE の保存点間の重みのユークリッド距離は約 7、Snapshot Ensembles は約 40 だった。

ImageNet の結果がわかりやすい。top-1 誤り率 23.87% の訓練済み ResNet-50 に、周期 2 エポックの FGE をさらに 5 エポック適用した。元のモデルを含む 4 モデルのアンサンブルで、誤り率は 23.31% となり、0.56 ポイント下がった。

FGE はアンサンブルなので、推論時には各モデルを一度ずつ実行する。

周期の動きと保存のタイミング

原図の左半分は、上から学習率、テスト誤り率、起点からのパラメータ距離を示し、黒丸が保存のタイミングを表す。右半分は同じ訓練予算での成績だ。×印は個々のスナップショット、線で結ばれたひし形がアンサンブルになる。

FGE の短い周期、低学習率での保存点、および同じ訓練予算での Snapshot Ensembles との精度比較。
原論文 Figure 3(Garipov ら)、PDF 6 ページより。左右のグラフを残し、原図のキャプションは省略。

FGE の学習率は三角形を描く。1 周期のミニバッチ更新数を偶数 cc、周期内の位置を u∈(0,1]u\in(0,1]、上限と下限を α1>α2\alpha_1>\alpha_2 とすると、

α(u)={(1−2u)α1+2uα2,0<u≤1/2,(2−2u)α2+(2u−1)α1,1/2<u≤1.\alpha(u)= \begin{cases} (1-2u)\alpha_1+2u\alpha_2,&0<u\le 1/2,\\ (2-2u)\alpha_2+(2u-1)\alpha_1,&1/2<u\le1. \end{cases}

高い学習率から低点まで下げ、再び上げる。保存は周期の中間、つまり u=1/2u=1/2、学習率が α2\alpha_2 の時点で行う。高点付近ではモデルの誤り率が一時的に上がるため、残すのは低誤り領域へ戻った後の重みだ。

CIFAR の実験では、VGG は 1 周期 2 エポック、α1=0.01\alpha_1=0.01、α2=0.0005\alpha_2=0.0005。ResNet と WRN は 4 エポックで、α1=0.05\alpha_1=0.05、α2=0.0005\alpha_2=0.0005 を使う。例えば ResNet の標準予算 B=150B=150 epochs では、通常のスケジュールを 125 エポック目まで実行し、126~147 エポックの間に 6 モデルを集める。これらのスナップショットは前半の訓練経路を共有し、最初から訓練し直す時間を節約する。

曲線探索と FGE の役割も分かれる。論文の前半は、二つの端点を固定して折れ点を学び、低損失の通路が存在するかを検証する。FGE は一つのモデルから短い周期で近くの複数の解を探す。FGE の実行に、二つ目の端点の訓練やベジェ曲線の学習は必要ない。

同じ予算で、どこまで精度が上がるか

アンサンブルを比較するときは、訓練予算と推論時のモデル数を分けて見る。論文の BB は、通常の方法で一つのモデルを収束まで訓練するエポック数で、2B2B はその 2 倍の訓練量だ。下表は CIFAR-100、1B1B の結果で、指標は小さいほどよいテスト誤り率。

アーキテクチャ独立訓練 IndSnapshot EnsemblesFGE
VGG-16、B=200B=20027.4 ± 0.126.4 ± 0.125.7 ± 0.1
Preactivation ResNet-164、B=150B=15021.5 ± 0.420.9 ± 0.220.2 ± 0.1
WRN-28-10、B=200B=20019.2 ± 0.217.9 ± 0.217.7 ± 0.2

テスト誤り率(%)。原論文 Table 1 より整理。同じ行は訓練予算が等しく、推論時のモデル数は手法によって異なる。

三つとも Snapshot Ensembles を上回り、VGG と ResNet はそれぞれ 0.7 ポイント下がった。2B2B の CIFAR-100 の WRN では、Ind 17.48%、SSE 17.30%、FGE 16.95%。ただし、CIFAR-10、WRN、3B3B では Ind が 3.31%、FGE は 3.52% だった。アンサンブル手法の優位性は、データセット、アーキテクチャ、予算によって変わる。

予測の多様性も測っている。CIFAR-100 の ResNet-164 では、独立した二つのモデルはテスト画像の 19.97% で異なるクラスを予測するが、同じ FGE 実行から得た二つのスナップショットでは 14.57% だった。個々の FGE スナップショットも少し弱く、精度は約 78.0%、完全に独立した訓練では約 78.5%。FGE の利点は、同じ時間で有用なスナップショットを多く集められ、個々のモデルの精度と多様性の差を補えることにある。

最後に BatchNorm もある。曲線上で重みが変われば、中間活性値の分布も変わる。付録では BatchNorm を持つネットワークの統計量を推定し直してから、曲線上の損失を測っている。端点の running mean と variance を流用すると、統計量の不整合も高い壁に混ざりうる。地形を見る前に、各点のネットワークが正しく推論できる状態を整える必要がある。

結論

この論文は、素朴な訓練方法で、独立に訓練した二つの解を一度だけ曲がる線で結んだ。曲線上では損失がほぼ変わらず、直線上には高い壁がある。

「各解は孤立した谷にある」という図は、「解の間には低損失の通路があるが、まっすぐではない」という図に変わった。独立に訓練したネットワークをそのまま平均すると壊れる理由も、平均が直線上を通ることから理解できる。

FGE には、推論コストという課題が残った。2 週間後、同じ著者グループは SWA を発表する。保存した重みをアンサンブルに使う代わりに、そのまま平均して一つのモデルにする方法だ。