返回論文筆記資料庫
arXiv 2018NeurIPS 2018模型合併論文筆記

Mode Connectivity

繞路就好

原始論文

Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs

論文作者

Timur Garipov · Pavel Izmailov · Dmitrii Podoprikhin · Dmitry Vetrov · Andrew Gordon Wilson

發表版本
NeurIPS 2018會議
arXiv 首次提交
arXiv:1802.10026
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{modelmergingmodeconnectivity2018,
  title = {{Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs}},
  author = {Timur Garipov and Pavel Izmailov and Dmitrii Podoprikhin and Dmitry Vetrov and Andrew Gordon Wilson},
  year = {2018},
  eprint = {1802.10026},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1802.10026}
}
本頁內容

同一個網路,用兩組不同的亂數種子各訓練一次,會得到兩組完全不同的權重,準確率卻差不多。

這兩組權重在參數空間裡是兩個點。把它們用直線連起來,沿線取幾個點測一下,中間的錯誤率往往高得嚇人。論文給的例子是 CIFAR-10 上的 VGG-16,線段正中間的測試錯誤率到了 90%,十個類別等於亂猜。

所以大家很自然地把每個解想成一個孤立的山谷,谷與谷之間隔著高山。

Samsung 莫斯科 AI 中心、Skoltech、Cornell 與莫斯科高等經濟大學的 Garipov、Izmailov、Podoprikhin、Vetrov 與 Wilson 換了個問法。直線走不通,彎的路呢?

定義問題

令 w^1\hat w_1 和 w^2\hat w_2 是兩個獨立訓練好的網路權重,L(w)L(w) 是訓練損失。直線連接是

w(t)=(1−t) w^1+t w^2,t∈[0,1]w(t) = (1-t)\,\hat w_1 + t\,\hat w_2,\qquad t\in[0,1]

作者要找的是一條曲線 ϕθ(t)\phi_\theta(t),兩端固定在 w^1\hat w_1 和 w^2\hat w_2,中間怎麼彎由參數 θ\theta 決定,而且整條曲線上的損失都要低。

如果找得到,「解是孤立的山谷」這個圖像就得改寫。找不到時,還得分清楚是曲線形式太受限、最佳化沒成功,還是兩點確實難以連接;單靠一次搜尋失敗,無法排除其他路徑。

解決問題

讓曲線自己學

曲線上每個點都是一組網路權重,把它代進網路就能算損失。作者的目標是整條曲線的平均損失:

ℓ(θ)=∫01L(ϕθ(t)) dt=Et∼U(0,1)[L(ϕθ(t))]\ell(\theta) = \int_0^1 L\big(\phi_\theta(t)\big)\,dt = \mathbb{E}_{t\sim U(0,1)}\Big[L\big(\phi_\theta(t)\big)\Big]

這個期望值的梯度可以用抽樣估計。每一步從 [0,1][0,1] 隨機抽一個 tt,算出曲線上那一點的權重,拿一個小批次資料算損失,再對 θ\theta 做一次梯度下降。端點 w^1\hat w_1、w^2\hat w_2 固定不動,只有決定曲線形狀的 θ\theta 在學。

兩種曲線

作者用了兩種最簡單的參數化。第一種是只彎一次的折線,彎點就是 θ\theta:

ϕθ(t)={2(t θ+(0.5−t) w^1),0≤t≤0.52((t−0.5) w^2+(1−t) θ),0.5≤t≤1\phi_\theta(t) = \begin{cases} 2\big(t\,\theta + (0.5-t)\,\hat w_1\big), & 0\le t\le 0.5\\ 2\big((t-0.5)\,\hat w_2 + (1-t)\,\theta\big), & 0.5\le t\le 1 \end{cases}

第二種是二次貝茲曲線,θ\theta 是控制點:

ϕθ(t)=(1−t)2 w^1+2t(1−t) θ+t2 w^2\phi_\theta(t) = (1-t)^2\,\hat w_1 + 2t(1-t)\,\theta + t^2\,\hat w_2

兩種曲線在 t=0t=0、t=1t=1 都剛好落在兩個端點上。θ\theta 和網路權重的形狀一模一樣,所以要學的參數量等於一個網路。

我們拿貝茲曲線的中點算一下。t=0.5t=0.5 時,兩個端點各占 1/41/4,控制點占 1/21/2。所以控制點往某個方向移動一單位,中點的權重會跟著移動半單位;反向傳播時,損失對控制點的梯度也就是損失對當下權重的梯度,再乘上 2t(1−t)2t(1-t)。端點的權重沒有加入優化器,訓練過程就不會把原來兩個模型改掉。

折線也一樣,只是每次更新的倍率隨所在的半段改變。這使曲線訓練能沿用一般網路的前向與反向傳播,多做的主要是權重的線性組合。它仍然需要訓練資料、額外的最佳化與一個控制點的儲存空間,不能把「找得到低損失路徑」當成免費合併兩個模型的配方。

小網路上跑一次

在小網路上跑一次就能看到效果。用 scikit-learn 內建的 1,797 張 8×8 手寫數字,兩層各 200 個單元的 MLP,同樣的 1,200 張訓練資料、不同的初始權重,訓練出兩個端點;再從直線的中點出發,學一條貝茲曲線:

python
import torch
import torch.nn as nn
from torch.func import functional_call
from sklearn.datasets import load_digits

X, y = load_digits(return_X_y=True)
X = torch.tensor(X / 16.0, dtype=torch.float32)
y = torch.tensor(y)
perm = torch.randperm(len(X), generator=torch.Generator().manual_seed(0))
idx_train, idx_test = perm[:1200], perm[1200:]

def make(seed):
    torch.manual_seed(seed)
    return nn.Sequential(nn.Linear(64, 200), nn.ReLU(),
                         nn.Linear(200, 200), nn.ReLU(),
                         nn.Linear(200, 10))

def train(model, seed, steps=480):
    opt = torch.optim.SGD(model.parameters(), lr=0.1)
    g = torch.Generator().manual_seed(seed)
    for _ in range(steps):
        b = idx_train[torch.randint(len(idx_train), (50,), generator=g)]
        loss = nn.functional.cross_entropy(model(X[b]), y[b])
        opt.zero_grad(); loss.backward(); opt.step()
    return {k: v.detach() for k, v in model.state_dict().items()}

w1 = train(make(1), seed=10)                 # 兩個端點:同樣的資料,不同的初始權重
w2 = train(make(2), seed=20)
net = make(0)

@torch.no_grad()
def evaluate(w):
    loss = nn.functional.cross_entropy(functional_call(net, w, (X[idx_train],)), y[idx_train]).item()
    acc = (functional_call(net, w, (X[idx_test],)).argmax(1) == y[idx_test]).float().mean().item()
    return f"loss {loss:.3f}, 測試 {acc:.1%}"

def line(t):
    return {k: (1 - t) * w1[k] + t * w2[k] for k in w1}

theta = {k: v.clone().requires_grad_(True) for k, v in line(0.5).items()}   # 彎點從直線中點出發

def bezier(t):
    return {k: (1 - t) ** 2 * w1[k] + 2 * t * (1 - t) * theta[k] + t ** 2 * w2[k] for k in w1}

opt = torch.optim.SGD(theta.values(), lr=0.1)
g = torch.Generator().manual_seed(0)
for _ in range(1200):
    t = torch.rand((), generator=g).item()   # 每一步隨機抽一個 t
    b = idx_train[torch.randint(len(idx_train), (50,), generator=g)]
    loss = nn.functional.cross_entropy(functional_call(net, bezier(t), (X[b],)), y[b])
    opt.zero_grad(); loss.backward(); opt.step()   # 只更新彎點 theta,端點不動

for t in [0, 0.25, 0.5, 0.75, 1]:
    print(f"t={t:<4}  直線: {evaluate(line(t))}  |  曲線: {evaluate(bezier(t))}")
text
t=0     直線: loss 0.119, 測試 95.5%  |  曲線: loss 0.119, 測試 95.5%
t=0.25  直線: loss 0.415, 測試 93.6%  |  曲線: loss 0.142, 測試 95.5%
t=0.5   直線: loss 0.949, 測試 88.9%  |  曲線: loss 0.156, 測試 95.3%
t=0.75  直線: loss 0.420, 測試 95.0%  |  曲線: loss 0.140, 測試 95.3%
t=1     直線: loss 0.119, 測試 94.8%  |  曲線: loss 0.119, 測試 94.8%

functional_call 讓同一個網路結構直接吃一組外部給的權重,曲線上的每個點都能這樣代進去算。兩端的損失都是 0.119。直線走到中間,損失升到 0.949;學過的曲線在中間只有 0.156,測試準確率也維持在 95% 上下。

這個網路很小,直線上的牆也不算高。論文裡的網路大得多,牆也高得多。

討論

大網路上的曲線

原論文 Figure 1:ResNet-164 在 CIFAR-100 上的訓練損失,畫在三個不同的二維平面上。左圖是三個獨立訓練的解,各自落在一塊低損失區域,彼此之間隔著高損失區;中圖是一條二次貝茲曲線、右圖是一條只彎一次的折線,都沿著低損失區把下方兩個解連起來,兩點之間的直線虛線則穿過高損失區。
原論文 Figure 1(Garipov 等人),取自 PDF 第 2 頁。

這張圖是 ResNet-164 在 CIFAR-100 上的訓練損失。每張圖是參數空間裡的一個二維切面,橫軸固定穿過兩個解,紅色是損失低的地方,藍色是損失高的地方。

左圖用三個獨立訓練的解決定切面,三個解各自一塊紅色,彼此之間都是藍色,符合「孤立山谷」的直覺。中圖和右圖換了切面,讓學到的曲線落在平面上,下方兩個解就被一條紅色的通道連了起來;兩點之間的直線虛線,仍然穿過藍色區域。

原論文 Figure 2:三張折線圖,橫軸是曲線上的位置 t。左圖是訓練損失,直線段在中間升到約 5,貝茲曲線與折線幾乎貼著底部;中圖是測試錯誤率,直線段在中間接近 100%,兩條曲線維持在 20% 多;右圖是端點與曲線上某一點組成的兩模型集成錯誤率,沿折線走,集成錯誤率在 t 約 0.4 以後降到 22% 左右。
原論文 Figure 2(Garipov 等人),取自 PDF 第 5 頁。

Figure 2 把同一組實驗畫成曲線。左圖與中圖的紅線是直線段,中間的訓練損失與測試錯誤率都衝到頂;綠色的貝茲曲線與藍色的折線則幾乎是平的。

直線上的牆有多高,和架構有關。CIFAR-10 上,VGG-16 的線段中點測試錯誤率到 90%;ResNet-158 和 Wide ResNet-28-10 比較低,最差分別是 80% 和 66%。作者認為這呼應了先前的觀察,殘差網路的損失地形比 VGG 這類經典模型規則。

曲線也不唯一。同樣的兩個端點、不同的種子訓練兩條折線,VGG-16 上兩個彎點之間的距離是 29.6,兩個端點之間是 50。

曲線上的點,各有各的想法

既然整條曲線的損失都低,曲線上的點是不是只是同一個模型換了寫法?

右圖回答了這件事。拿端點 ϕθ(0)\phi_\theta(0) 和曲線上某一點 ϕθ(t)\phi_\theta(t) 組成兩個模型的集成(把輸出平均),沿著折線往前走,集成的錯誤率從 t≈0.1t\approx0.1 開始下降;到 t≥0.4t\ge0.4,就和兩個獨立訓練的端點組成的集成一樣好。只往前走一小段,就能拿到預測結果明顯不同、準確率仍高的模型。

如果曲線上的點只是同一個函數換了參數寫法,例如 ReLU 兩側的權重互相縮放,集成就不會有好處。作者在附錄也示範了怎麼構造這種沒用的連接曲線。

從曲線到集成

這個觀察帶出論文的第二個貢獻,快速幾何集成(Fast Geometric Ensembling,FGE)。

既然在一個解附近走一小步,就能找到不一樣、又夠好的模型,那就不必真的去學一條曲線。FGE 先用一般的學習率排程訓練到總預算的大約 80%,接著換成週期很短的循環學習率,每個週期 2 到 4 個 epoch。學習率高時往外走,低時回到谷底,每次走到低點就存一份權重,最後把這些權重對應的模型做集成。

和先前的 Snapshot Ensembles 相比,差別在步子的大小。Snapshot Ensembles 的一個週期是 20 到 40 個 epoch,從頭到尾都在用;FGE 只在最後階段用短週期。在 CIFAR-100 的 Preactivation-ResNet-164 上,FGE 每兩次存檔之間,權重的歐氏距離大約是 7;Snapshot Ensembles 大約是 40。

ImageNet 上的結果最直接。作者拿一個 top-1 錯誤率 23.87% 的預訓練 ResNet-50,用 FGE 多跑 5 個 epoch,週期 2 個 epoch,最後 4 個模型(含原本那個)組成的集成,錯誤率是 23.31%,少了 0.56 個百分點。

FGE 仍然是集成,推論時要把每個模型都跑一次。

週期怎麼走、模型在哪裡存

先看原圖左半邊,從上到下依序是學習率、測試錯誤率、離起點的參數距離;黑圈標出存檔時機。右半邊改看相同訓練預算的成績,叉號是單個快照,連線的菱形才是集成。

FGE 的短循環、低學習率存檔點,以及與 Snapshot Ensembles 在相同訓練預算下的準確率比較。
原論文 Figure 3(Garipov 等人),取自 PDF 第 6 頁。保留兩側圖表,圖說未收錄。

FGE 的學習率是一個三角形。令一個週期有偶數個小批次更新 cc,週期內的位置是 u∈(0,1]u\in(0,1],上、下界是 α1>α2\alpha_1>\alpha_2:

α(u)={(1−2u)α1+2uα2,0<u≤1/2,(2−2u)α2+(2u−1)α1,1/2<u≤1.\alpha(u)= \begin{cases} (1-2u)\alpha_1+2u\alpha_2,&0<u\le 1/2,\\ (2-2u)\alpha_2+(2u-1)\alpha_1,&1/2<u\le1. \end{cases}

從高學習率降到低點,再升回去。存檔發生在週期的中間,也就是 u=1/2u=1/2、學習率等於 α2\alpha_2 的時候。高點附近的模型錯誤率會暫時上升,作者要留下的是走回低錯誤區之後的權重。

在 CIFAR 的實驗裡,VGG 用 2 個 epoch 一個週期,α1=0.01\alpha_1=0.01、α2=0.0005\alpha_2=0.0005;ResNet 和 WRN 用 4 個 epoch,α1=0.05\alpha_1=0.05、α2=0.0005\alpha_2=0.0005。例如 ResNet 的標準預算 B=150B=150 epochs,先跑一般排程到第 125 個 epoch,再在 126–147 之間收集 6 個模型。這些快照共用前面的訓練路徑,省下的是反覆從頭訓練的時間。

這裡也能看出曲線搜尋和 FGE 的分工。前半篇先固定兩個端點、學彎點,拿來驗證低損失通道存在;FGE 則從一個模型出發,靠短週期找到附近的多個解。實際執行 FGE 時,完全不需要先訓練第二個端點或學一條貝茲曲線。

同樣預算,換到多少準確率

比較集成時,要把訓練預算和推論模型數分開看。論文的 BB 是一般方法把一個模型訓練到收斂所需的 epochs;2B2B 就是兩倍訓練量。下表挑 CIFAR-100、1B1B 的結果,指標是測試錯誤率,越低越好。

架構獨立訓練 IndSnapshot EnsemblesFGE
VGG-16,B=200B=20027.4 ± 0.126.4 ± 0.125.7 ± 0.1
Preactivation ResNet-164,B=150B=15021.5 ± 0.420.9 ± 0.220.2 ± 0.1
WRN-28-10,B=200B=20019.2 ± 0.217.9 ± 0.217.7 ± 0.2

測試錯誤率(%),整理自原論文 Table 1。同一列的訓練預算相同,推論時使用的模型數依方法而異。

三組都贏過 Snapshot Ensembles,其中 VGG 和 ResNet 各少了 0.7 個百分點。到 2B2B 時,CIFAR-100 的 WRN 是 Ind 17.48%、SSE 17.30%、FGE 16.95%。但換到 CIFAR-10、WRN 的 3B3B 設定,Ind 是 3.31%,FGE 是 3.52%;集成方法的優勢會隨資料集、架構和預算改變。

作者也量了預測多樣性。在 CIFAR-100 的 ResNet-164 上,兩個獨立模型對 19.97% 的測試影像給出不同類別,同一輪 FGE 的兩個快照則是 14.57%。FGE 的單個快照還稍弱一些,約 78.0% 準確率,完整獨立訓練約 78.5%。它的優勢來自同樣時間能取得更多有用的快照,足以補回單個模型與多樣性的差距。

最後還有 BatchNorm。曲線上的權重改了,中間啟動值的分布也會改;附錄對有 BatchNorm 的網路重新估計統計量,再量曲線上的損失。若沿用端點的 running mean 和 variance,畫出的高牆可能同時混進統計量失配。看地形之前,得先讓每個點對應的網路能正確推論。

結論

這篇論文用一個很樸素的訓練方法,把兩個獨立訓練的解用一條只彎一次的線連了起來。線上的損失幾乎不變,直線上卻有一道高牆。

「每個解是一個孤立山谷」的圖像,從此得改成「解之間有低損失的通道,只是通道不直」。這也解釋了為什麼把兩個獨立訓練的網路直接平均會壞掉,因為平均走的是直線。

FGE 的推論成本留了一個尾巴。兩週後,同一組作者就發表了 SWA,存下來的那些權重不再拿去集成,直接平均成一個模型。