Averaging Weights Leads to Wider Optima and Better Generalization
- 發表版本
- UAI 2018會議
- arXiv 首次提交
- arXiv:1803.05407
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{modelmergingswa2018,
title = {{Averaging Weights Leads to Wider Optima and Better Generalization}},
author = {Pavel Izmailov and Dmitrii Podoprikhin and Timur Garipov and Dmitry Vetrov and Andrew Gordon Wilson},
year = {2018},
eprint = {1803.05407},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1803.05407}
}
2018 年 2 月底,Garipov、Izmailov 等人發表了模式連通(mode connectivity)的論文,順手提出一種集成方法 FGE。訓練快結束時,把學習率換成週期很短的循環,每次學習率降到谷底就存一份權重,最後把存下來的幾個模型一起推論、輸出取平均。
FGE 只花訓練一個模型的時間,就得到一組不錯的集成。可是推論時,每個模型都得跑一次。
兩週後,同一組作者放上這篇論文。他們看著 FGE 存下來的那些點在參數空間裡的位置,發現它們散在一片好區域的邊緣,中間是空的。
那就不要集成了,直接把權重平均,站到中間去。
定義問題
把權重沿著 SGD 的軌跡平均,這個想法不新。凸最佳化裡,Ruppert 1988 年、Polyak 與 Juditsky 1992 年就分析過,平均迭代點可以加快收斂。訓練神經網路時,實務上也有人維持一個指數移動平均(EMA),搭配逐漸衰減的學習率;作者測過,這樣的 EMA 和一般 SGD 收斂後的表現差不多。
問題出在學習率。學習率一路衰減,SGD 的軌跡收斂到一點,這時候取平均,只是把軌跡抹平一些,結果和不平均差不多。
作者想要的,是讓 SGD 在一片好區域裡多走一點,再取平均。他們也想知道,平均出來的那一點,泛化為什麼會比較好。
解決問題
演算法
SWA 的流程很短:
- 先用一般的學習率排程訓練,論文裡大約是總預算的 75%。
- 接著改用固定的學習率,或週期性在 到 之間線性遞減的循環學習率,繼續訓練。
- 每隔固定的 次迭代,把當下的權重 加進平均;用循環學習率時, 就是一個週期,剛好在學習率最低的時候取點:
- 訓練結束,用 當作最終模型。
第 3 步是累加式的算術平均。 記錄已經收進來的點數;從 0 開始,第一個點直接成為平均,第二個點加入時才各占一半。第三個點加入時,舊平均乘上 、新點乘上 ,最後三個點各占 。不需要把每一份權重都存下來,也和越新的點權重越大的 EMA 不同。
循環學習率的細節值得分清楚。SWA 在一個週期內只做線性下降,走到底就直接跳回上界:
FGE 的三角形週期還會慢慢升回去;SWA 把這半段省掉了,因為我們只要最後的平均好用,途中每一個快照的準確率可以差一點。固定學習率走得更遠、單點表現可能更差,也能有好的平均結果。
論文的 CIFAR 設定裡,VGG 和 WRN 在 SWA 階段用固定學習率 0.01;Preactivation ResNet 在 CIFAR-10 用 0.01、CIFAR-100 用 0.05,每個 epoch 收一次。PyramidNet 則用 3 個 epoch 一個循環,從 0.05 降到 0.001。這些是搭配各自架構得到的設定,實作時仍要用自己的驗證資料選起始時間與學習率。
BatchNorm 要重算
有一件事很容易漏掉。如果網路有 BatchNorm,訓練時累積的均值與變異數,是對應各個 的,不是對應 的。作者的做法是訓練結束後,用 在訓練資料上多跑一次前向傳播,重新收集這些統計量。
PyTorch 後來把累加平均與重算統計量放進 torch.optim.swa_utils。我們用只有線性層和 BatchNorm 的小網路看一次這個差別。兩個快照的線性權重分別是單位矩陣的 1 倍與 3 倍:
import torch
from torch import nn
from torch.utils.data import DataLoader
from torch.optim.swa_utils import AveragedModel, update_bn
model = nn.Sequential(nn.Linear(2, 2, bias=False), nn.BatchNorm1d(2))
swa_model = AveragedModel(model)
with torch.no_grad():
for scale in [1.0, 3.0]:
model[0].weight.copy_(scale * torch.eye(2))
swa_model.update_parameters(model)
print("平均權重:", swa_model.module[0].weight.tolist())
print("重算前的均值:", swa_model.module[1].running_mean.tolist())
loader = DataLoader(torch.tensor([[1., 2.], [3., 4.]]), batch_size=2)
update_bn(loader, swa_model)
print("重算後的均值:", swa_model.module[1].running_mean.tolist())
平均權重: [[2.0, 0.0], [0.0, 2.0]]
重算前的均值: [0.0, 0.0]
重算後的均值: [4.0, 6.0]
平均模型的線性層是 ,兩筆輸入到 BatchNorm 前會變成 和 ,所以均值應該是 。只平均可學習參數,running mean 還停在原先的 ;update_bn 才把它對上新權重。這個例子只示範統計量的更新,沒有訓練分類器。
實際訓練時,進入 SWA 階段後照常更新原模型的梯度,再按取樣頻率呼叫 update_parameters;全部平均完成後才跑一次 update_bn,最後切到 eval() 評測。用來重算的是訓練資料,不需要標籤,也不用反向傳播。
為什麼平均權重像集成
FGE 平均的是輸出,SWA 平均的是權重。兩者什麼時候差不多?作者用一階展開回答。
令 FGE 存下的點是 ,平均是 ,各點與平均的差是 ,所以 。把網路輸出 在 附近展開:
對 取平均,一次項加起來剛好是 ,只剩下二次項:
只要這些點彼此靠得夠近,集成的輸出和平均權重的輸出就只差一個二次小量。FGE 的點正是刻意用很小的步子找出來的,SWA 因此能用一個模型逼近 FGE 的集成。
這段推導還有一個前提, 在附近要足夠平滑,二階餘項也要小。若把相隔很遠、甚至來自不同隨機初始化的模型放進來, 很大,展開式就無法支持「平均權重接近平均輸出」的判斷。SWA 收的是同一條訓練軌跡後段的點。
作者在 CIFAR-100 的 ResNet-164 上跑了 20 個 epoch 的 FGE。相鄰快照的類別機率向量,平均差異範數是 0.126;SWA 與 FGE 集成之間是 0.079。相鄰快照的類別預測一致率不超過 87.33%,SWA 與集成卻有 95.26%。這些量測讓一階項相消的推導有了實際對照,兩者輸出接近,但仍然留有差距。
討論
站在邊緣的 SGD

這張圖是 CIFAR-100 上的 Preactivation ResNet-164。左圖可以直接看到 SWA 的動機,三個 FGE 取樣點圍在紅色區域的外圈,平均出來的 落在中間。
中圖和右圖要一起看。兩者從同一個第 125 個 epoch 的權重出發,分別跑完 SGD 和 SWA。右圖的訓練損失上, 已經在低損失區裡,位置卻偏在邊緣;中圖的測試錯誤率上, 比 更接近錯誤率最低的地方。
訓練損失和測試錯誤率的地形並沒有完全重疊,中間錯開了一段。站在低損失區的邊緣,地形稍微一偏,測試錯誤率就上去了;站在中間,餘裕比較多。
作者用兩個實驗支持這個說法。第一個從兩個解各沿 10 個隨機方向往外走。下圖橫軸是移動距離,左邊量測試錯誤率,右邊量訓練損失,藍色是 SWA、綠色是 SGD,每條線對應一個方向。

從距離 0 的位置看,兩者的訓練損失差不多,SGD 甚至略低;但 SWA 的曲線寬得多,要走得更遠,錯誤率才會上升同樣的幅度。這個切面檢查的是離開各自解之後的敏感度。
第二個是直接看 到 這條線。線上的訓練損失和測試錯誤率明顯錯開, 落在一片平坦區域的邊界,旁邊就是陡坡。作者的結論是,SWA 和 SGD 在同一個盆地裡,SWA 找到的是盆地裡更平坦的位置;它的訓練損失往往略高一點,嚴格說不是損失的局部最小值。
CIFAR 與 ImageNet
CIFAR 的實驗先用一般排程跑完約 75% 的預算,再改用 SWA 跑完剩下的部分。CIFAR-100 上的 Preactivation ResNet-164,一般 SGD 是 78.49%;同樣的總預算改用 SWA,是 79.77%,和 FGE 集成的 79.84% 幾乎一樣,推論只要一個模型。把預算加到 1.5 倍,SWA 到 80.35%。VGG-16 從 72.55% 到 73.91%,WRN-28-10 從 80.82% 到 81.46%。SWA Table 1
ImageNet 上,作者直接拿 torchvision 的預訓練模型,用循環學習率再跑 5 或 10 個 epoch:
| 模型 | SGD | SWA 5 epochs | SWA 10 epochs |
|---|---|---|---|
| ResNet-50 | 76.15 | 76.83 ± 0.01 | 76.97 ± 0.05 |
| ResNet-152 | 78.31 | 78.82 ± 0.01 | 78.94 ± 0.07 |
| DenseNet-161 | 77.65 | 78.26 ± 0.09 | 78.44 ± 0.06 |
Top-1 準確率(%),整理自原論文 Table 2。
三個架構都進步了 0.6 到 0.9 個百分點,花的只是原本訓練的一小部分。
預算與平坦度,要各自讀
前面的「同樣預算」適用於 VGG、ResNet 和 WRN。PyramidNet 與 Shake-Shake 的實驗則先跑完一整份標準預算,再加 0.25 或 0.5 份預算做 SWA,所以論文沒有列它們的 成績。CIFAR-100 的 PyramidNet-272 從 SGD 的 83.41% 到 的 84.16%;CIFAR-10 的 Shake-Shake 從 96.93% 到 的 97.16%,加到 是 97.12%。多平均、更久訓練也有邊際效益。
額外成本包括訓練時保存一份平均權重、每次收樣做一次逐參數加權,以及結束後重估 BatchNorm 的前向傳播。部署時只保留平均模型,參數量與單次推論量才回到原模型的水準。對活化值很大的影像訓練,作者量到的記憶體增加不多;若權重本身占了大部分記憶體,額外一份權重就要另外評估。
再回頭看平坦度。論文量的是指定參數表示下的 10 個隨機方向,以及 SGD 到 SWA 的特定方向;尤其後者能看到 SGD 附近一側很陡、另一側較平。神經網路可以靠重新縮放參數改變地形的視覺寬度,因此作者也討論了單靠「平」來解釋泛化的爭議。這組證據支持這些架構與訓練設定中的幾何解釋,使用時仍得直接量測驗證準確率。
結論
SWA 的做法很短,訓練後段讓學習率維持在較高的水準,把走過的權重平均,再重算一次 BatchNorm。它的道理也不複雜,SGD 停在好區域的邊緣,平均把模型帶回中間。
自己用的時候,最容易漏掉的是最後那一步。網路裡有 BatchNorm 的話,平均完記得跑一次 update_bn,讓統計量對上平均後的權重。
這個平均後來走得很遠。2024 年 Llama 3 的技術報告寫到後訓練的模型平均時,引用的第一篇就是這篇。