Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs
- 發表版本
- NeurIPS 2018會議
- arXiv 首次提交
- arXiv:1802.10026
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{modelmergingmodeconnectivity2018,
title = {{Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs}},
author = {Timur Garipov and Pavel Izmailov and Dmitrii Podoprikhin and Dmitry Vetrov and Andrew Gordon Wilson},
year = {2018},
eprint = {1802.10026},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1802.10026}
}
同一個網路,用兩組不同的亂數種子各訓練一次,會得到兩組完全不同的權重,準確率卻差不多。
這兩組權重在參數空間裡是兩個點。把它們用直線連起來,沿線取幾個點測一下,中間的錯誤率往往高得嚇人。論文給的例子是 CIFAR-10 上的 VGG-16,線段正中間的測試錯誤率到了 90%,十個類別等於亂猜。
所以大家很自然地把每個解想成一個孤立的山谷,谷與谷之間隔著高山。
Samsung 莫斯科 AI 中心、Skoltech、Cornell 與莫斯科高等經濟大學的 Garipov、Izmailov、Podoprikhin、Vetrov 與 Wilson 換了個問法。直線走不通,彎的路呢?
定義問題
令 和 是兩個獨立訓練好的網路權重, 是訓練損失。直線連接是
作者要找的是一條曲線 ,兩端固定在 和 ,中間怎麼彎由參數 決定,而且整條曲線上的損失都要低。
如果找得到,「解是孤立的山谷」這個圖像就得改寫。找不到時,還得分清楚是曲線形式太受限、最佳化沒成功,還是兩點確實難以連接;單靠一次搜尋失敗,無法排除其他路徑。
解決問題
讓曲線自己學
曲線上每個點都是一組網路權重,把它代進網路就能算損失。作者的目標是整條曲線的平均損失:
這個期望值的梯度可以用抽樣估計。每一步從 隨機抽一個 ,算出曲線上那一點的權重,拿一個小批次資料算損失,再對 做一次梯度下降。端點 、 固定不動,只有決定曲線形狀的 在學。
兩種曲線
作者用了兩種最簡單的參數化。第一種是只彎一次的折線,彎點就是 :
第二種是二次貝茲曲線, 是控制點:
兩種曲線在 、 都剛好落在兩個端點上。 和網路權重的形狀一模一樣,所以要學的參數量等於一個網路。
我們拿貝茲曲線的中點算一下。 時,兩個端點各占 ,控制點占 。所以控制點往某個方向移動一單位,中點的權重會跟著移動半單位;反向傳播時,損失對控制點的梯度也就是損失對當下權重的梯度,再乘上 。端點的權重沒有加入優化器,訓練過程就不會把原來兩個模型改掉。
折線也一樣,只是每次更新的倍率隨所在的半段改變。這使曲線訓練能沿用一般網路的前向與反向傳播,多做的主要是權重的線性組合。它仍然需要訓練資料、額外的最佳化與一個控制點的儲存空間,不能把「找得到低損失路徑」當成免費合併兩個模型的配方。
小網路上跑一次
在小網路上跑一次就能看到效果。用 scikit-learn 內建的 1,797 張 8×8 手寫數字,兩層各 200 個單元的 MLP,同樣的 1,200 張訓練資料、不同的初始權重,訓練出兩個端點;再從直線的中點出發,學一條貝茲曲線:
import torch
import torch.nn as nn
from torch.func import functional_call
from sklearn.datasets import load_digits
X, y = load_digits(return_X_y=True)
X = torch.tensor(X / 16.0, dtype=torch.float32)
y = torch.tensor(y)
perm = torch.randperm(len(X), generator=torch.Generator().manual_seed(0))
idx_train, idx_test = perm[:1200], perm[1200:]
def make(seed):
torch.manual_seed(seed)
return nn.Sequential(nn.Linear(64, 200), nn.ReLU(),
nn.Linear(200, 200), nn.ReLU(),
nn.Linear(200, 10))
def train(model, seed, steps=480):
opt = torch.optim.SGD(model.parameters(), lr=0.1)
g = torch.Generator().manual_seed(seed)
for _ in range(steps):
b = idx_train[torch.randint(len(idx_train), (50,), generator=g)]
loss = nn.functional.cross_entropy(model(X[b]), y[b])
opt.zero_grad(); loss.backward(); opt.step()
return {k: v.detach() for k, v in model.state_dict().items()}
w1 = train(make(1), seed=10) # 兩個端點:同樣的資料,不同的初始權重
w2 = train(make(2), seed=20)
net = make(0)
@torch.no_grad()
def evaluate(w):
loss = nn.functional.cross_entropy(functional_call(net, w, (X[idx_train],)), y[idx_train]).item()
acc = (functional_call(net, w, (X[idx_test],)).argmax(1) == y[idx_test]).float().mean().item()
return f"loss {loss:.3f}, 測試 {acc:.1%}"
def line(t):
return {k: (1 - t) * w1[k] + t * w2[k] for k in w1}
theta = {k: v.clone().requires_grad_(True) for k, v in line(0.5).items()} # 彎點從直線中點出發
def bezier(t):
return {k: (1 - t) ** 2 * w1[k] + 2 * t * (1 - t) * theta[k] + t ** 2 * w2[k] for k in w1}
opt = torch.optim.SGD(theta.values(), lr=0.1)
g = torch.Generator().manual_seed(0)
for _ in range(1200):
t = torch.rand((), generator=g).item() # 每一步隨機抽一個 t
b = idx_train[torch.randint(len(idx_train), (50,), generator=g)]
loss = nn.functional.cross_entropy(functional_call(net, bezier(t), (X[b],)), y[b])
opt.zero_grad(); loss.backward(); opt.step() # 只更新彎點 theta,端點不動
for t in [0, 0.25, 0.5, 0.75, 1]:
print(f"t={t:<4} 直線: {evaluate(line(t))} | 曲線: {evaluate(bezier(t))}")
t=0 直線: loss 0.119, 測試 95.5% | 曲線: loss 0.119, 測試 95.5%
t=0.25 直線: loss 0.415, 測試 93.6% | 曲線: loss 0.142, 測試 95.5%
t=0.5 直線: loss 0.949, 測試 88.9% | 曲線: loss 0.156, 測試 95.3%
t=0.75 直線: loss 0.420, 測試 95.0% | 曲線: loss 0.140, 測試 95.3%
t=1 直線: loss 0.119, 測試 94.8% | 曲線: loss 0.119, 測試 94.8%
functional_call 讓同一個網路結構直接吃一組外部給的權重,曲線上的每個點都能這樣代進去算。兩端的損失都是 0.119。直線走到中間,損失升到 0.949;學過的曲線在中間只有 0.156,測試準確率也維持在 95% 上下。
這個網路很小,直線上的牆也不算高。論文裡的網路大得多,牆也高得多。
討論
大網路上的曲線

這張圖是 ResNet-164 在 CIFAR-100 上的訓練損失。每張圖是參數空間裡的一個二維切面,橫軸固定穿過兩個解,紅色是損失低的地方,藍色是損失高的地方。
左圖用三個獨立訓練的解決定切面,三個解各自一塊紅色,彼此之間都是藍色,符合「孤立山谷」的直覺。中圖和右圖換了切面,讓學到的曲線落在平面上,下方兩個解就被一條紅色的通道連了起來;兩點之間的直線虛線,仍然穿過藍色區域。

Figure 2 把同一組實驗畫成曲線。左圖與中圖的紅線是直線段,中間的訓練損失與測試錯誤率都衝到頂;綠色的貝茲曲線與藍色的折線則幾乎是平的。
直線上的牆有多高,和架構有關。CIFAR-10 上,VGG-16 的線段中點測試錯誤率到 90%;ResNet-158 和 Wide ResNet-28-10 比較低,最差分別是 80% 和 66%。作者認為這呼應了先前的觀察,殘差網路的損失地形比 VGG 這類經典模型規則。
曲線也不唯一。同樣的兩個端點、不同的種子訓練兩條折線,VGG-16 上兩個彎點之間的距離是 29.6,兩個端點之間是 50。
曲線上的點,各有各的想法
既然整條曲線的損失都低,曲線上的點是不是只是同一個模型換了寫法?
右圖回答了這件事。拿端點 和曲線上某一點 組成兩個模型的集成(把輸出平均),沿著折線往前走,集成的錯誤率從 開始下降;到 ,就和兩個獨立訓練的端點組成的集成一樣好。只往前走一小段,就能拿到預測結果明顯不同、準確率仍高的模型。
如果曲線上的點只是同一個函數換了參數寫法,例如 ReLU 兩側的權重互相縮放,集成就不會有好處。作者在附錄也示範了怎麼構造這種沒用的連接曲線。
從曲線到集成
這個觀察帶出論文的第二個貢獻,快速幾何集成(Fast Geometric Ensembling,FGE)。
既然在一個解附近走一小步,就能找到不一樣、又夠好的模型,那就不必真的去學一條曲線。FGE 先用一般的學習率排程訓練到總預算的大約 80%,接著換成週期很短的循環學習率,每個週期 2 到 4 個 epoch。學習率高時往外走,低時回到谷底,每次走到低點就存一份權重,最後把這些權重對應的模型做集成。
和先前的 Snapshot Ensembles 相比,差別在步子的大小。Snapshot Ensembles 的一個週期是 20 到 40 個 epoch,從頭到尾都在用;FGE 只在最後階段用短週期。在 CIFAR-100 的 Preactivation-ResNet-164 上,FGE 每兩次存檔之間,權重的歐氏距離大約是 7;Snapshot Ensembles 大約是 40。
ImageNet 上的結果最直接。作者拿一個 top-1 錯誤率 23.87% 的預訓練 ResNet-50,用 FGE 多跑 5 個 epoch,週期 2 個 epoch,最後 4 個模型(含原本那個)組成的集成,錯誤率是 23.31%,少了 0.56 個百分點。
FGE 仍然是集成,推論時要把每個模型都跑一次。
週期怎麼走、模型在哪裡存
先看原圖左半邊,從上到下依序是學習率、測試錯誤率、離起點的參數距離;黑圈標出存檔時機。右半邊改看相同訓練預算的成績,叉號是單個快照,連線的菱形才是集成。

FGE 的學習率是一個三角形。令一個週期有偶數個小批次更新 ,週期內的位置是 ,上、下界是 :
從高學習率降到低點,再升回去。存檔發生在週期的中間,也就是 、學習率等於 的時候。高點附近的模型錯誤率會暫時上升,作者要留下的是走回低錯誤區之後的權重。
在 CIFAR 的實驗裡,VGG 用 2 個 epoch 一個週期,、;ResNet 和 WRN 用 4 個 epoch,、。例如 ResNet 的標準預算 epochs,先跑一般排程到第 125 個 epoch,再在 126–147 之間收集 6 個模型。這些快照共用前面的訓練路徑,省下的是反覆從頭訓練的時間。
這裡也能看出曲線搜尋和 FGE 的分工。前半篇先固定兩個端點、學彎點,拿來驗證低損失通道存在;FGE 則從一個模型出發,靠短週期找到附近的多個解。實際執行 FGE 時,完全不需要先訓練第二個端點或學一條貝茲曲線。
同樣預算,換到多少準確率
比較集成時,要把訓練預算和推論模型數分開看。論文的 是一般方法把一個模型訓練到收斂所需的 epochs; 就是兩倍訓練量。下表挑 CIFAR-100、 的結果,指標是測試錯誤率,越低越好。
| 架構 | 獨立訓練 Ind | Snapshot Ensembles | FGE |
|---|---|---|---|
| VGG-16, | 27.4 ± 0.1 | 26.4 ± 0.1 | 25.7 ± 0.1 |
| Preactivation ResNet-164, | 21.5 ± 0.4 | 20.9 ± 0.2 | 20.2 ± 0.1 |
| WRN-28-10, | 19.2 ± 0.2 | 17.9 ± 0.2 | 17.7 ± 0.2 |
測試錯誤率(%),整理自原論文 Table 1。同一列的訓練預算相同,推論時使用的模型數依方法而異。
三組都贏過 Snapshot Ensembles,其中 VGG 和 ResNet 各少了 0.7 個百分點。到 時,CIFAR-100 的 WRN 是 Ind 17.48%、SSE 17.30%、FGE 16.95%。但換到 CIFAR-10、WRN 的 設定,Ind 是 3.31%,FGE 是 3.52%;集成方法的優勢會隨資料集、架構和預算改變。
作者也量了預測多樣性。在 CIFAR-100 的 ResNet-164 上,兩個獨立模型對 19.97% 的測試影像給出不同類別,同一輪 FGE 的兩個快照則是 14.57%。FGE 的單個快照還稍弱一些,約 78.0% 準確率,完整獨立訓練約 78.5%。它的優勢來自同樣時間能取得更多有用的快照,足以補回單個模型與多樣性的差距。
最後還有 BatchNorm。曲線上的權重改了,中間啟動值的分布也會改;附錄對有 BatchNorm 的網路重新估計統計量,再量曲線上的損失。若沿用端點的 running mean 和 variance,畫出的高牆可能同時混進統計量失配。看地形之前,得先讓每個點對應的網路能正確推論。
結論
這篇論文用一個很樸素的訓練方法,把兩個獨立訓練的解用一條只彎一次的線連了起來。線上的損失幾乎不變,直線上卻有一道高牆。
「每個解是一個孤立山谷」的圖像,從此得改成「解之間有低損失的通道,只是通道不直」。這也解釋了為什麼把兩個獨立訓練的網路直接平均會壞掉,因為平均走的是直線。
FGE 的推論成本留了一個尾巴。兩週後,同一組作者就發表了 SWA,存下來的那些權重不再拿去集成,直接平均成一個模型。