返回論文筆記資料庫
arXiv 2024NeurIPS 2024優化器論文筆記

Schedule-Free

少有人排的路

原始論文

The Road Less Scheduled

論文作者

Aaron Defazio · Xingyu Alice Yang · Harsh Mehta · Konstantin Mishchenko · Ahmed Khaled · Ashok Cutkosky

發表版本
NeurIPS 2024會議
arXiv 首次提交
arXiv:2405.15682
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{optimizersschedulefree2024,
  title = {{The Road Less Scheduled}},
  author = {Aaron Defazio and Xingyu Alice Yang and Harsh Mehta and Konstantin Mishchenko and Ahmed Khaled and Ashok Cutkosky},
  year = {2024},
  eprint = {2405.15682},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2405.15682}
}
本頁內容

2024 年 8 月 1 日,MLCommons 公布了第一屆 AlgoPerf 訓練演算法競賽的結果。

如果你沒聽過 AlgoPerf,它比的是優化器與訓練流程本身。模型、資料和硬體(8 張 V100)都固定,看誰最快把 8 個任務訓練到指定的驗證分數,任務橫跨機器翻譯、影像分類、MRI 重建、語音辨識、分子圖與點擊率預測。比賽分兩組。外部調參組可以給一個超參數搜尋範圍,主辦方替你抽 5 組設定來試;自調參組不能在訓練之外搜尋超參數,方法必須在單次訓練裡自己應付所有任務,最常見的做法就是一份設定通吃,作為補償,訓練時間上限放寬到 3 倍。

自調參組只有一份投稿贏過主辦方的基準,就是 Meta 與 Samsung 研究員提交的 Schedule Free AdamW,分數 0.8542;基準是 NAdamW 加線性暖身與 cosine 衰減,0.8194;其他四份都在 0.4 以下。這個方法最大的特點,是完全不用學習率排程,也不必事先知道要訓練多少步。

背後的論文叫〈The Road Less Scheduled〉,題目借用了 Frost〈The Road Not Taken〉裡「less traveled」那一句,結論一節也真的引了原詩。第一作者是 Meta FAIR 的 Aaron Defazio,他之前的 D-Adaptation 也在處理「學習率怎麼設」這件事。程式碼 4 月就以 schedulefree 套件上了 PyPI,論文到 5 月底才放上 arXiv。

定義問題

排程需要終點

現在最常用的學習率排程是 cosine 和線性衰減,兩者都要先知道總步數 TT,曲線才畫得出來。TT 設錯了代價不小,Chinchilla 的附錄量過,cosine 週期設得比實際步數長 25% 以上,模型就明顯變差;訓練到一半想延長,也得重新規劃。

平均在理論上很好,實際上很差

另一條路是不排程,改成平均參數。Polyak–Ruppert 平均是最古典的做法,SGD 照常用固定步長走,另外維護一個所有走過的點的平均:

zt+1=zt−γgt,xt+1=(1−ct+1) xt+ct+1 zt+1,ct+1=1t+1z_{t+1} = z_t - \gamma g_t, \qquad x_{t+1} = (1 - c_{t+1})\,x_t + c_{t+1}\,z_{t+1}, \quad c_{t+1} = \frac{1}{t+1}

ct+1=1/(t+1)c_{t+1} = 1/(t+1) 讓 xx 剛好是 z1,…,ztz_1, \dots, z_t 的等權平均。依照經典的收斂理論,凸的 Lipschitz 問題該交出 xx,而不是最後一步的 zz。實際上,這個平均比 SGD 的最後一步差很多,作者稱之為最佳化領域的民間共識。

近年的理論又指出,線性衰減排程本身就能讓最後一步達到最差情況下的最佳速率。排程和平均在理論上扮演差不多的角色,但排程得先知道 TT。作者於是問,有沒有一種平均方法,實際表現追得上排程,又不放棄理論保證?

解決問題

三個序列

Schedule-Free SGD 的更新是式 (3) 到 (5):

yt=(1−β) zt+β xtzt+1=zt−γ ∇f(yt,ζt)xt+1=(1−ct+1) xt+ct+1 zt+1,ct+1=1t+1\begin{aligned} y_t &= (1-\beta)\,z_t + \beta\,x_t \\ z_{t+1} &= z_t - \gamma\,\nabla f(y_t, \zeta_t) \\ x_{t+1} &= (1 - c_{t+1})\,x_t + c_{t+1}\,z_{t+1}, \quad c_{t+1} = \frac{1}{t+1} \end{aligned}

起點 z1=x1z_1 = x_1。三個序列各有分工:

  • zz 是基礎序列,底下的優化器在這裡走步,這裡就是一般的 SGD。
  • xx 是評估序列,zz 的等權平均,也是最後交出去的模型。
  • yy 是算梯度的位置,在 zz 和 xx 之間內插。

和 Polyak–Ruppert 平均比,只多了第一行,梯度不在 zz 上算,改在 zz 與 xx 之間的 yy 上算。

兩個極端

β\beta 控制 yy 偏向哪一邊。β=0\beta = 0 時 y=zy = z,梯度在 zz 上算,就是 Polyak–Ruppert 平均。β=1\beta = 1 時 y=xy = x,梯度在平均點上算,這叫 primal averaging,同樣有最差情況的最佳保證,但一般認為收斂太慢,不實用。

原論文 Figure 2,IWSLT14 上 LSTM 翻譯模型的測試損失,橫軸是 0 到 6 萬步,縱軸是 4.0 到 5.5。Polyak 平均的橘色虛線最後停在 4.35,primal averaging 的藍綠色點虛線停在 4.44,cosine 排程的紅線在 4.23,Schedule-Free 的黑線在前 1 萬步就降到 4.35 左右,最後是 4.18,全程最低。
原論文 Figure 2(Defazio 等人),取自 PDF 第 4 頁,CC BY 4.0。

這張圖是 IWSLT14 德翻英的 LSTM。兩個極端都輸給調好的 cosine 排程,Polyak 平均最後是 4.35,primal averaging 是 4.44,cosine 是 4.23。Schedule-Free 取中間,β=0.9\beta = 0.9,最後 4.18,而且前 1 萬步就降得比誰都快。

作者的解釋是,zz 移動得比 xx 快,所以內插保留了 Polyak 平均收斂快的優點;yy 又被拉向 xx,讓算梯度的位置不會離交出去的模型太遠,增加穩定性。

另一種動量

β\beta 的角色很像動量,論文也把它和一般的指數移動平均(EMA)動量比較。第 tt 步的梯度 gtg_t 進入 yy 時,立即的影響是 (1−β) gt(1-\beta)\,g_t,β=0.9\beta = 0.9 時就是 0.1 gt0.1\,g_t,這和 EMA 動量一樣。差別在剩下的 90%。EMA 動量在接下來大約 10 步內就把大部分加完;Schedule-Free 則是透過 xx 這個平均,非常緩慢地把它加進來。

這種動量在理論上沒有副作用。Theorem 1 說,若 FF 是凸函數、每個樣本的損失 ff 都是 GG-Lipschitz、樣本獨立同分布,取 γ=D/(GT)\gamma = D/(G\sqrt{T})(DD 是起點到最佳解的距離),那麼對 [0,1][0, 1] 裡的任何 β\beta:

E[F(xT)−F(x⋆)]≤DGT\mathbb{E}[F(x_T) - F(x_\star)] \le \frac{DG}{\sqrt{T}}

這是非光滑凸問題的最佳速率,連常數都一樣。相比之下,EMA 動量在同一個設定下,反而會讓最差情況的保證變差。

1/(t+1)1/(t+1) 不就是遞減排程嗎?

讀到這裡你可能會問,xx 的更新裡有一個 1/(t+1)1/(t+1),這不就是一個遞減的學習率嗎?

某種意義上是的。作者用 Figure 4 說明,每一步的梯度最後在 yy 與 xx 裡各佔多少比例:

原論文 Figure 4,四列三欄的長條圖。四列分別是線性衰減排程、Polyak 平均、primal averaging、Schedule-Free;三欄是訓練進行到 1/3、2/3 與結束時。橫軸是時間步,縱軸是每一步的梯度最後被納入多少比例。橘色是在評估序列 x 中的比例,在 Polyak、primal 與 Schedule-Free 三列都是從 1 線性降到當下時間點的三角形,形狀和線性衰減排程一樣;藍色是算梯度的位置 y 中的比例,Polyak 平均的藍色區域在每個時間點都是 1,primal averaging 沒有藍色多出來的部分,Schedule-Free 介於兩者之間,近期梯度的比例比 primal averaging 高。
原論文 Figure 4(Defazio 等人),取自 PDF 第 7 頁,CC BY 4.0。圖中 Schedule-Free 用的是 β=0.6\beta = 0.6。

先看第一列。線性衰減排程走到 1/3、2/3、終點時,每一步的梯度依當時的學習率被加進參數,越後面的步伐越小,所以是一個斜坡;但這個斜坡的終點固定在 TT。

再看下面三列的橘色部分,也就是 xx。三種平均方法的 xx,在每個時間點都長得像一個終點就在當下 tt 的線性衰減。平均能取代排程,原因就在這裡。它其實隱含了一個排程,只是這個排程的終點會跟著 tt 往前移,不必事先知道 TT。

藍色部分是 yy,三種方法的差別在這裡。Polyak 平均的 yy 就是 zz,每一步的梯度都完整算進去,訓練後期近期梯度的份量比排程大得多;primal averaging 的 yy 就是 xx,近期梯度被壓得很小,前期收斂慢;Schedule-Free 在兩者之間,對近期梯度的份量稍微補強。

附錄 B 把這件事寫成代數。令 Δt=zt+1−zt\Delta_t = z_{t+1} - z_t 是基礎優化器的一步,mt=xt+1−xtm_t = x_{t+1} - x_t,那麼在等權平均、β\beta 固定時,yy 每一步的實際移動量是:

yt+1−yt=β mt+(1−β) Δty_{t+1} - y_t = \beta\, m_t + (1 - \beta)\,\Delta_t

也就是一個動量項,加上 (1−β)(1-\beta) 倍的基礎步伐。如果讓 1−βt1 - \beta_t 隨時間變化,恰好取成 (T−t)/T(T - t)/T 時,動量項的係數會整個消掉,剩下的就是線性衰減排程。Schedule-Free 選擇固定 β\beta,所以不需要 TT。

理論涵蓋到哪裡

Theorem 1 其實是更一般的 Theorem 2 的特例。Theorem 2 允許任意的線上學習演算法產生 zz、任意的平均權重 wtw_t 與內插係數 βt\beta_t,把它們的 regret 轉成隨機最佳化的收斂保證,也就是一種 online-to-batch conversion。設 βt=0\beta_t = 0 得到經典的 Polyak 平均,βt=1\beta_t = 1 得到 primal averaging(Defazio 先前的研究指出它等價於 heavy-ball 動量),βt=t/T\beta_t = t/T 則得到線性衰減排程的最後一步保證。附錄 C 再把它收緊成等式,推出光滑問題上的加速速率。

條件也要說清楚。這些保證都在凸問題上;Theorem 1 的步長 D/(GT)D/(G\sqrt{T}) 裡還藏著 TT,換成任何時候都成立的 D/(Gt)D/(G\sqrt{t}),實際效果又很差。實務上大家用的是大得多的固定步長 D/GD/G。Theorem 3 說明在一個可以於訓練中檢查的條件下,這麼大的步長也能拿到最佳速率;作者在 4.1 節所有問題上檢查過,條件都成立,但他們也承認,隨機問題下大步長何時可用,還沒有完整的理解。

另一個佐證來自二次函數。作者隨機生成 10 個 20 維的二次問題,掃過 β\beta 和 γ\gamma。步長小的時候 β\beta 幾乎沒有影響;步長大的時候,β<1\beta < 1 是收斂的關鍵。

Schedule-Free AdamW

把基礎優化器換成 AdamW,就是 Algorithm 1:

  1. yt=(1−β1) zt+β1 xty_t = (1 - \beta_1)\,z_t + \beta_1\,x_t,用內插取代動量。
  2. 在 yty_t 上算梯度 gtg_t。
  3. vt=β2vt−1+(1−β2) gt2v_t = \beta_2 v_{t-1} + (1 - \beta_2)\,g_t^2。
  4. γt=γ1−β2t min⁡(1,t/Twarmup)\gamma_t = \gamma\sqrt{1 - \beta_2^t}\,\min(1, t/T_{warmup}),把暖身與偏差修正都併進學習率。
  5. zt+1=zt−γt gt/(vt+ϵ)−γtλ ytz_{t+1} = z_t - \gamma_t\, g_t / (\sqrt{v_t} + \epsilon) - \gamma_t \lambda\, y_t。
  6. ct+1=γt2/∑i=1tγi2c_{t+1} = \gamma_t^2 / \sum_{i=1}^{t}\gamma_i^2。
  7. xt+1=(1−ct+1) xt+ct+1 zt+1x_{t+1} = (1 - c_{t+1})\,x_t + c_{t+1}\,z_{t+1}。

有幾個地方和 AdamW 不一樣。

  • 沒有一階動差。 β1\beta_1 拿去做內插了,所以只需要存 xx、zz 和 vv,記憶體和 AdamW 一樣;SGD 版本也和 SGD 加動量一樣。
  • 還是要暖身。 作者在 4.4 節直說,這個方法仍然需要學習率暖身。
  • 平均的權重跟著學習率走。 有暖身時,作者改用 γt2\gamma_t^2 當平均的權重,暖身期間學習率小的那幾步,在平均裡的份量也跟著變小;他們發現這樣做效果大幅改善。暖身結束後,ctc_t 就回到 1/t1/t 的速度遞減。
  • 權重衰減算在 yy 上。 也可以算在 zz 上,但在 ImageNet 與 NanoGPT 等問題上,算在 yy 明顯比較好。

實作細節

訓練時算梯度要用 yy,評估時要用 xx,所以模型參數得在兩者之間切換。官方 PyTorch 實作只多存一份 zz,參數本身的緩衝區在訓練時存 yy、評估時存 xx。由 y=(1−β)z+βxy = (1-\beta)z + \beta x 可以解出 x=y+(1−1/β)(z−y)x = y + (1 - 1/\beta)(z - y),optimizer.eval() 做的就是這個內插,optimizer.train() 再換回 yy。

這帶來幾條使用規則。model.train() 的地方要一起呼叫 optimizer.train(),model.eval() 的地方要呼叫 optimizer.eval(),存 checkpoint 前也要切到 eval 模式,否則存下來的是 yy 而不是 xx。如果程式支援 PyTorch 的 step closure,可以改用 closure 版本,省掉這些切換。

BatchNorm 最麻煩。BN 的 running mean 與 variance 是在訓練時、也就是在 yy 上累積的,換成 xx 之後統計量就對不上。官方 README 給的修正是評估前用 xx 跑幾十個訓練批次,重新累積統計量:

python
model.train()
optimizer.eval()
with torch.no_grad():
    for batch in itertools.islice(train_loader, 50):
        model(batch)
model.eval()

LayerNorm 這類不靠批次統計量的正規化層就沒有這個問題。README 另外提醒,如果框架另外快取了一份 fp16 參數(某些 GradScaler 會這樣做),也要手動更新,確保評估用的是 xx。

討論

實驗設定

作者稱這是目前規模最大的優化器評測之一,總共 28 個問題,包括 12 個邏輯迴歸、9 個深度學習任務,以及 AlgoPerf 的 7 個任務。深度學習任務裡,CIFAR-10、CIFAR-100、SVHN、ImageNet 用 Schedule-Free SGD,IWSLT14、DLRM、fastMRI、MAE 微調與 NanoGPT 用 Schedule-Free AdamW。

比較的方式是兩邊都在網格上掃學習率與權重衰減,Schedule-Free 另外在 0.9 與 0.98 兩個 β\beta 中挑一個;在習慣用階梯排程的任務上,也加上階梯排程一起比。

一次訓練,畫出整條前緣

原論文 Figure 1,左邊是 ImageNet 上 ResNet-50 的測試準確率對 epoch,右邊是 OpenWebText 上 GPT-2 124M 的測試損失對步數。紅色的細線是多條長度不同的 cosine 排程,每條都在自己的終點才達到最佳;黑線是一次 Schedule-Free 訓練,在每個時間點都貼著或超過那些紅線的終點。
原論文 Figure 1(Defazio 等人),取自 PDF 第 2 頁,CC BY 4.0。

紅線是多條長度不同的 cosine 排程,每一條都要到自己的終點才最好;把這些終點連起來,就是「訓練時間對表現」的前緣。黑線只訓練一次,卻在每個時間點都貼著這條前緣,GPT-2 那邊甚至在大部分時間都在紅線下方。換句話說,訓練到哪裡停,都差不多等於事先為那個長度調好了一條 cosine。

九個深度學習任務

任務指標Schedule-Free最佳排程
CIFAR-10準確率96.0395.73
CIFAR-100準確率78.7177.41
SVHN準確率98.4098.27
ImageNet準確率76.9076.90
IWSLT14損失 ↓4.184.23
fastMRISSIM0.91120.9110
Criteo準確率0.79150.7906
MAE 微調準確率83.5483.52
GPT-2 124M損失 ↓2.8312.853

整理自原論文 Figure 2 與 Figure 5 的圖例。最佳排程欄是作者調好的 cosine 或線性衰減排程;ImageNet 用 ResNet-50,GPT-2 124M 是 NanoGPT 在 OpenWebText 上的設定。

七個任務贏過調好的排程(fastMRI 與 Criteo 的差距很小),ImageNet 與 MAE 微調打平。差距最大的是 CIFAR-100,多了 1.3 個百分點;ImageNet 上兩者都是 76.90%,階梯排程是 76.49%。

這些數字背後有幾個設定值得一看。

  • 學習率大很多。 CIFAR-10 上 Schedule-Free 的學習率是 10,cosine 是 0.2;ImageNet 是 1.5 對 0.05;NanoGPT 是 0.005 對 0.0005。作者認為,能用更大的學習率而不發散,可能是收斂較快的原因之一。
  • NanoGPT 要特別處理。 β=0.9\beta = 0.9 時損失會在訓練中途快速上升,要改成 0.98 才穩定;梯度裁剪也必須關掉,作者說這一點很關鍵。
  • 梯度沒有崩掉。 在 CIFAR-10 上,用 cosine 排程的 SGD 到了後期訓練損失接近 0,梯度範數也跟著崩到接近 0,之後幾乎學不動;Schedule-Free 沒有這個現象。作者認為這可能是它在 CIFAR 與 SVHN 上特別好的原因。

附錄還補了 Polyak 平均與 primal averaging 在同一組任務上的結果,兩者都明顯落後。ImageNet 上分別是 72.84% 與 69.78%,NanoGPT 上 Polyak 平均的損失直接發散。

AlgoPerf

論文裡的 AlgoPerf 結果,是作者自己照比賽規則、拿 NAdamW 基準跑 10 個隨機種子的比較。ResNet-50 任務被排除,因為 AdamW 與 NAdamW 都到不了目標。剩下 7 個任務,Schedule-Free AdamW 在 WMT、ViT、fastMRI、OGBG 上較快,Conformer 和 Criteo 打平,DeepSpeech 稍慢。作者把這兩個任務的表現歸因於 BatchNorm,Conformer 與 DeepSpeech 都用 BN,而比賽的程式框架不方便在 xx 上重算 BN 統計量。

附錄也列出了自調參組用的那一份設定,學習率 0.0025、1−β1=0.11-\beta_1 = 0.1、β2≈0.9955\beta_2 \approx 0.9955、權重衰減約 0.081、暖身 2%,平均的權重另外乘上 t0.75t^{0.75}。

官方的結果則在 MLCommons 的公告與主辦方後來在 ICLR 2025 發表的分析裡。自調參組裡,Schedule Free AdamW 是唯一勝過基準的投稿,平均訓練時間快約 8%,在 8 個基礎任務中有 4 個最快;拿它和外部調參組的基準比,在雙方都訓練成功的 7 個任務上,它不調參也快了約 10%。同一組人也帶著 5 組設定的版本參加外部調參組,拿到第二名(0.7077),輸給 Distributed Shampoo 的 0.7784;在雙方都成功的 7 個任務上,Shampoo 比自調參的 Schedule-Free AdamW 快約 24%。

還有一個小插曲。自調參組的獎金最後沒有頒出。MLCommons 的公告寫著,由於多份參賽作品的單位與工作小組主席重疊,未達頒獎條件。

對動量的敏感度

原論文 Figure 9,ImageNet 上用 Schedule-Free SGD 訓練 ResNet-50 共 200 個 epoch,學習率固定為 1.5,四條線是不同的動量值。β = 0.9 的橘線最高,最後 77.78%;0.95 是 76.99%,0.75 是 76.60%,0.98 最低,75.37%。
原論文 Figure 9(Defazio 等人),取自 PDF 第 13 頁,CC BY 4.0。

如果最佳的 β\beta 會隨訓練長度改變,「不用知道 TT」就只是把問題從排程搬到動量上。作者在 ImageNet 上跑了比平常長的 200 個 epoch,掃四種動量。不論在哪個時間點停下來看,最好的都是 β=0.9\beta = 0.9。學習率的敏感度也和 cosine 排程差不多,只有訓練很短(25 個 epoch 以內)時,大一點的學習率比較好。

不過其他證據沒有這麼樂觀。NanoGPT 本身就得把 β\beta 調到 0.98;官方 README 也寫著,訓練特別長時可能要把 β\beta 提高到 0.95 或 0.98。Hägele 等人(NeurIPS 2024)在 2.1 億參數的語言模型上,拿 Schedule-Free AdamW 和「固定學習率加最後一段線性冷卻」(類似 WSD)比較。(β1,β2)=(0.9,0.95)(\beta_1, \beta_2) = (0.9, 0.95) 時明顯較差,訓練後段損失甚至往上走;換成 (0.95,0.99)(0.95, 0.99) 表現很好,但兩組設定都被冷卻排程追平或超越。他們也沒有再為任何一方多調超參數。

限制

作者在結論裡寫得很明白,最主要的實務限制是得重新掃學習率與權重衰減,因為最佳值和用排程時不同。其他需要留意的地方,前面大多已經提過。

  • 暖身仍然需要。論文的實驗大多把暖身設成總訓練量的 5%,AlgoPerf 的設定是 2%,嚴格說來,這裡還是用到了訓練長度。
  • BN 需要在 xx 上重算統計量;訓練與評估要切換模式,存 checkpoint 也一樣。
  • 理論只涵蓋凸問題,大步長何時可用還沒有完整的理論。
  • β\beta 對長時間的語言模型訓練比較敏感。

結論

Schedule-Free 用三個序列取代學習率排程。基礎優化器在 zz 上走步,xx 是 zz 的平均,梯度在兩者之間的 yy 上計算。平均本身隱含了一個終點隨時移動的線性衰減排程,所以不必事先知道 TT;在凸問題上,任何 β\beta 都保有最佳的最差情況速率。9 個深度學習任務中它贏了 7 個、平手 2 個,並拿下 AlgoPerf 2024 自調參組的第一名。

想試用的話,換掉優化器之後,記得在 model.train()、model.eval() 旁邊加上對應的 optimizer.train()、optimizer.eval(),存 checkpoint 前切到 eval;有 BN 的模型,評估前用 xx 重算統計量。學習率從排程版本的 1 到 10 倍(AdamW)或 10 到 50 倍(SGD)開始試,β\beta 先用 0.9,訓練很長時往 0.95、0.98 調,暖身照留。

畢竟名字叫 Schedule-Free,Algorithm 1 的第 8 行還是寫著 min⁡(1,t/Twarmup)\min(1, t/T_{warmup})。