返回論文筆記資料庫
arXiv 2018UAI 2018模型合併論文筆記

SWA

站到中間去

原始論文

Averaging Weights Leads to Wider Optima and Better Generalization

論文作者

Pavel Izmailov · Dmitrii Podoprikhin · Timur Garipov · Dmitry Vetrov · Andrew Gordon Wilson

發表版本
UAI 2018會議
arXiv 首次提交
arXiv:1803.05407
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{modelmergingswa2018,
  title = {{Averaging Weights Leads to Wider Optima and Better Generalization}},
  author = {Pavel Izmailov and Dmitrii Podoprikhin and Timur Garipov and Dmitry Vetrov and Andrew Gordon Wilson},
  year = {2018},
  eprint = {1803.05407},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1803.05407}
}
本頁內容

2018 年 2 月底,Garipov、Izmailov 等人發表了模式連通(mode connectivity)的論文,順手提出一種集成方法 FGE。訓練快結束時,把學習率換成週期很短的循環,每次學習率降到谷底就存一份權重,最後把存下來的幾個模型一起推論、輸出取平均。

FGE 只花訓練一個模型的時間,就得到一組不錯的集成。可是推論時,每個模型都得跑一次。

兩週後,同一組作者放上這篇論文。他們看著 FGE 存下來的那些點在參數空間裡的位置,發現它們散在一片好區域的邊緣,中間是空的。

那就不要集成了,直接把權重平均,站到中間去。

定義問題

把權重沿著 SGD 的軌跡平均,這個想法不新。凸最佳化裡,Ruppert 1988 年、Polyak 與 Juditsky 1992 年就分析過,平均迭代點可以加快收斂。訓練神經網路時,實務上也有人維持一個指數移動平均(EMA),搭配逐漸衰減的學習率;作者測過,這樣的 EMA 和一般 SGD 收斂後的表現差不多。

問題出在學習率。學習率一路衰減,SGD 的軌跡收斂到一點,這時候取平均,只是把軌跡抹平一些,結果和不平均差不多。

作者想要的,是讓 SGD 在一片好區域裡多走一點,再取平均。他們也想知道,平均出來的那一點,泛化為什麼會比較好。

解決問題

演算法

SWA 的流程很短:

  1. 先用一般的學習率排程訓練,論文裡大約是總預算的 75%。
  2. 接著改用固定的學習率,或週期性在 α1\alpha_1 到 α2\alpha_2 之間線性遞減的循環學習率,繼續訓練。
  3. 每隔固定的 cc 次迭代,把當下的權重 ww 加進平均;用循環學習率時,cc 就是一個週期,剛好在學習率最低的時候取點:
wSWA←wSWA⋅nmodels+wnmodels+1w_{\text{SWA}} \leftarrow \frac{w_{\text{SWA}}\cdot n_{\text{models}} + w}{n_{\text{models}} + 1}
  1. 訓練結束,用 wSWAw_{\text{SWA}} 當作最終模型。

第 3 步是累加式的算術平均。nmodelsn_{\text{models}} 記錄已經收進來的點數;從 0 開始,第一個點直接成為平均,第二個點加入時才各占一半。第三個點加入時,舊平均乘上 2/32/3、新點乘上 1/31/3,最後三個點各占 1/31/3。不需要把每一份權重都存下來,也和越新的點權重越大的 EMA 不同。

循環學習率的細節值得分清楚。SWA 在一個週期內只做線性下降,走到底就直接跳回上界:

α(i)=(1−t(i))α1+t(i)α2,t(i)=mod⁡(i−1,c)+1c.\alpha(i)=(1-t(i))\alpha_1+t(i)\alpha_2, \qquad t(i)=\frac{\operatorname{mod}(i-1,c)+1}{c}.

FGE 的三角形週期還會慢慢升回去;SWA 把這半段省掉了,因為我們只要最後的平均好用,途中每一個快照的準確率可以差一點。固定學習率走得更遠、單點表現可能更差,也能有好的平均結果。

論文的 CIFAR 設定裡,VGG 和 WRN 在 SWA 階段用固定學習率 0.01;Preactivation ResNet 在 CIFAR-10 用 0.01、CIFAR-100 用 0.05,每個 epoch 收一次。PyramidNet 則用 3 個 epoch 一個循環,從 0.05 降到 0.001。這些是搭配各自架構得到的設定,實作時仍要用自己的驗證資料選起始時間與學習率。

BatchNorm 要重算

有一件事很容易漏掉。如果網路有 BatchNorm,訓練時累積的均值與變異數,是對應各個 ww 的,不是對應 wSWAw_{\text{SWA}} 的。作者的做法是訓練結束後,用 wSWAw_{\text{SWA}} 在訓練資料上多跑一次前向傳播,重新收集這些統計量。

PyTorch 後來把累加平均與重算統計量放進 torch.optim.swa_utils。我們用只有線性層和 BatchNorm 的小網路看一次這個差別。兩個快照的線性權重分別是單位矩陣的 1 倍與 3 倍:

python
import torch
from torch import nn
from torch.utils.data import DataLoader
from torch.optim.swa_utils import AveragedModel, update_bn

model = nn.Sequential(nn.Linear(2, 2, bias=False), nn.BatchNorm1d(2))
swa_model = AveragedModel(model)
with torch.no_grad():
    for scale in [1.0, 3.0]:
        model[0].weight.copy_(scale * torch.eye(2))
        swa_model.update_parameters(model)

print("平均權重:", swa_model.module[0].weight.tolist())
print("重算前的均值:", swa_model.module[1].running_mean.tolist())
loader = DataLoader(torch.tensor([[1., 2.], [3., 4.]]), batch_size=2)
update_bn(loader, swa_model)
print("重算後的均值:", swa_model.module[1].running_mean.tolist())
text
平均權重: [[2.0, 0.0], [0.0, 2.0]]
重算前的均值: [0.0, 0.0]
重算後的均值: [4.0, 6.0]

平均模型的線性層是 2I2I,兩筆輸入到 BatchNorm 前會變成 [2,4][2,4] 和 [6,8][6,8],所以均值應該是 [4,6][4,6]。只平均可學習參數,running mean 還停在原先的 [0,0][0,0];update_bn 才把它對上新權重。這個例子只示範統計量的更新,沒有訓練分類器。

實際訓練時,進入 SWA 階段後照常更新原模型的梯度,再按取樣頻率呼叫 update_parameters;全部平均完成後才跑一次 update_bn,最後切到 eval() 評測。用來重算的是訓練資料,不需要標籤,也不用反向傳播。

為什麼平均權重像集成

FGE 平均的是輸出,SWA 平均的是權重。兩者什麼時候差不多?作者用一階展開回答。

令 FGE 存下的點是 w1,…,wnw_1,\dots,w_n,平均是 wSWAw_{\text{SWA}},各點與平均的差是 Δi=wi−wSWA\Delta_i = w_i - w_{\text{SWA}},所以 ∑iΔi=0\sum_i \Delta_i = 0。把網路輸出 ff 在 wSWAw_{\text{SWA}} 附近展開:

f(wi)=f(wSWA)+⟨∇f(wSWA),Δi⟩+O(∥Δi∥2)f(w_i) = f(w_{\text{SWA}}) + \langle \nabla f(w_{\text{SWA}}), \Delta_i \rangle + O(\lVert\Delta_i\rVert^2)

對 ii 取平均,一次項加起來剛好是 ⟨∇f,∑iΔi⟩/n=0\langle \nabla f, \sum_i \Delta_i\rangle / n = 0,只剩下二次項:

1n∑i=1nf(wi)−f(wSWA)=O(∥Δ∥2)\frac{1}{n}\sum_{i=1}^n f(w_i) - f(w_{\text{SWA}}) = O(\lVert\Delta\rVert^2)

只要這些點彼此靠得夠近,集成的輸出和平均權重的輸出就只差一個二次小量。FGE 的點正是刻意用很小的步子找出來的,SWA 因此能用一個模型逼近 FGE 的集成。

這段推導還有一個前提,ff 在附近要足夠平滑,二階餘項也要小。若把相隔很遠、甚至來自不同隨機初始化的模型放進來,Δi\Delta_i 很大,展開式就無法支持「平均權重接近平均輸出」的判斷。SWA 收的是同一條訓練軌跡後段的點。

作者在 CIFAR-100 的 ResNet-164 上跑了 20 個 epoch 的 FGE。相鄰快照的類別機率向量,平均差異範數是 0.126;SWA 與 FGE 集成之間是 0.079。相鄰快照的類別預測一致率不超過 87.33%,SWA 與集成卻有 95.26%。這些量測讓一階項相消的推導有了實際對照,兩者輸出接近,但仍然留有差距。

討論

站在邊緣的 SGD

原論文 Figure 1:三張等高線圖,紅色代表數值低、藍色代表數值高。左圖是測試錯誤率的曲面,三個 FGE 的取樣點 W1、W2、W3 散在紅色區域的邊緣,平均權重 WSWA 落在中間;中圖是測試錯誤率、右圖是訓練損失,兩張圖都標出從第 125 個 epoch 出發、SGD 收斂到的 WSGD 與 SWA 得到的 WSWA,WSGD 位在低損失區的邊緣,WSWA 更靠近測試錯誤率低的中心。
原論文 Figure 1(Izmailov 等人),取自 PDF 第 2 頁。

這張圖是 CIFAR-100 上的 Preactivation ResNet-164。左圖可以直接看到 SWA 的動機,三個 FGE 取樣點圍在紅色區域的外圈,平均出來的 wSWAw_{\text{SWA}} 落在中間。

中圖和右圖要一起看。兩者從同一個第 125 個 epoch 的權重出發,分別跑完 SGD 和 SWA。右圖的訓練損失上,wSGDw_{\text{SGD}} 已經在低損失區裡,位置卻偏在邊緣;中圖的測試錯誤率上,wSWAw_{\text{SWA}} 比 wSGDw_{\text{SGD}} 更接近錯誤率最低的地方。

訓練損失和測試錯誤率的地形並沒有完全重疊,中間錯開了一段。站在低損失區的邊緣,地形稍微一偏,測試錯誤率就上去了;站在中間,餘裕比較多。

作者用兩個實驗支持這個說法。第一個從兩個解各沿 10 個隨機方向往外走。下圖橫軸是移動距離,左邊量測試錯誤率,右邊量訓練損失,藍色是 SWA、綠色是 SGD,每條線對應一個方向。

SWA 與 SGD 各沿十個隨機方向移動時,測試錯誤率和訓練損失的上升曲線。
原論文 Figure 4(Izmailov 等人),取自 PDF 第 6 頁。

從距離 0 的位置看,兩者的訓練損失差不多,SGD 甚至略低;但 SWA 的曲線寬得多,要走得更遠,錯誤率才會上升同樣的幅度。這個切面檢查的是離開各自解之後的敏感度。

第二個是直接看 wSGDw_{\text{SGD}} 到 wSWAw_{\text{SWA}} 這條線。線上的訓練損失和測試錯誤率明顯錯開,wSGDw_{\text{SGD}} 落在一片平坦區域的邊界,旁邊就是陡坡。作者的結論是,SWA 和 SGD 在同一個盆地裡,SWA 找到的是盆地裡更平坦的位置;它的訓練損失往往略高一點,嚴格說不是損失的局部最小值。

CIFAR 與 ImageNet

CIFAR 的實驗先用一般排程跑完約 75% 的預算,再改用 SWA 跑完剩下的部分。CIFAR-100 上的 Preactivation ResNet-164,一般 SGD 是 78.49%;同樣的總預算改用 SWA,是 79.77%,和 FGE 集成的 79.84% 幾乎一樣,推論只要一個模型。把預算加到 1.5 倍,SWA 到 80.35%。VGG-16 從 72.55% 到 73.91%,WRN-28-10 從 80.82% 到 81.46%。SWA Table 1

ImageNet 上,作者直接拿 torchvision 的預訓練模型,用循環學習率再跑 5 或 10 個 epoch:

模型SGDSWA 5 epochsSWA 10 epochs
ResNet-5076.1576.83 ± 0.0176.97 ± 0.05
ResNet-15278.3178.82 ± 0.0178.94 ± 0.07
DenseNet-16177.6578.26 ± 0.0978.44 ± 0.06

Top-1 準確率(%),整理自原論文 Table 2。

三個架構都進步了 0.6 到 0.9 個百分點,花的只是原本訓練的一小部分。

預算與平坦度,要各自讀

前面的「同樣預算」適用於 VGG、ResNet 和 WRN。PyramidNet 與 Shake-Shake 的實驗則先跑完一整份標準預算,再加 0.25 或 0.5 份預算做 SWA,所以論文沒有列它們的 1B1B 成績。CIFAR-100 的 PyramidNet-272 從 SGD 的 83.41% 到 1.5B1.5B 的 84.16%;CIFAR-10 的 Shake-Shake 從 96.93% 到 1.25B1.25B 的 97.16%,加到 1.5B1.5B 是 97.12%。多平均、更久訓練也有邊際效益。

額外成本包括訓練時保存一份平均權重、每次收樣做一次逐參數加權,以及結束後重估 BatchNorm 的前向傳播。部署時只保留平均模型,參數量與單次推論量才回到原模型的水準。對活化值很大的影像訓練,作者量到的記憶體增加不多;若權重本身占了大部分記憶體,額外一份權重就要另外評估。

再回頭看平坦度。論文量的是指定參數表示下的 10 個隨機方向,以及 SGD 到 SWA 的特定方向;尤其後者能看到 SGD 附近一側很陡、另一側較平。神經網路可以靠重新縮放參數改變地形的視覺寬度,因此作者也討論了單靠「平」來解釋泛化的爭議。這組證據支持這些架構與訓練設定中的幾何解釋,使用時仍得直接量測驗證準確率。

結論

SWA 的做法很短,訓練後段讓學習率維持在較高的水準,把走過的權重平均,再重算一次 BatchNorm。它的道理也不複雜,SGD 停在好區域的邊緣,平均把模型帶回中間。

自己用的時候,最容易漏掉的是最後那一步。網路裡有 BatchNorm 的話,平均完記得跑一次 update_bn,讓統計量對上平均後的權重。

這個平均後來走得很遠。2024 年 Llama 3 的技術報告寫到後訓練的模型平均時,引用的第一篇就是這篇。