論文ノートライブラリに戻る
arXiv 2024NeurIPS 2024オプティマイザ論文ノート

Schedule-Free

時刻表のない道

原論文

The Road Less Scheduled

論文の著者

Aaron Defazio · Xingyu Alice Yang · Harsh Mehta · Konstantin Mishchenko · Ahmed Khaled · Ashok Cutkosky

発表先
NeurIPS 2024国際会議
arXiv への初回投稿
arXiv:2405.15682
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{optimizersschedulefree2024,
  title = {{The Road Less Scheduled}},
  author = {Aaron Defazio and Xingyu Alice Yang and Harsh Mehta and Konstantin Mishchenko and Ahmed Khaled and Ashok Cutkosky},
  year = {2024},
  eprint = {2405.15682},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2405.15682}
}
このページの内容

2024 年 8 月 1 日、MLCommons が第 1 回 AlgoPerf 学習アルゴリズムコンテストの結果を発表した。

AlgoPerf を聞いたことがなければ説明しておくと、これはオプティマイザと学習手順そのものを競うコンテストだ。モデル、データ、ハードウェア(V100 を 8 枚)はすべて固定で、8 つのタスクを指定の検証スコアまで誰がいちばん速く学習させられるかを見る。タスクは機械翻訳、画像分類、MRI 再構成、音声認識、分子グラフ、クリック率予測にまたがる。部門は二つある。外部チューニング部門では、ハイパーパラメータの探索範囲を提出すると、主催者がそこから 5 組の設定を抽出して試してくれる。セルフチューニング部門では学習の外でハイパーパラメータを探索できず、手法は 1 回の学習の中ですべてのタスクに自力で対処しなければならない。最もよくあるやり方は一つの設定ですべてをこなすことで、その埋め合わせとして学習時間の上限が 3 倍に緩められている。

セルフチューニング部門で主催者のベースラインに勝った投稿は一つだけだった。Meta と Samsung の研究者が提出した Schedule Free AdamW で、スコアは 0.8542。ベースラインは NAdamW に線形ウォームアップと cosine 減衰を組み合わせたもので 0.8194、ほかの 4 件はすべて 0.4 未満だった。この手法の最大の特徴は、学習率スケジュールをまったく使わず、何ステップ学習するかを前もって知る必要もないことだ。

その背後にある論文の題は〈The Road Less Scheduled〉。Frost の〈The Road Not Taken〉にある「less traveled」の一節をもじったもので、結論の節では実際に原詩を引用している。第一著者は Meta FAIR の Aaron Defazio で、彼の以前の D-Adaptation も「学習率をどう設定するか」という問題を扱っていた。コードは 4 月に schedulefree パッケージとして PyPI に公開され、論文が arXiv に載ったのは 5 月末になってからだった。

問題の定義

スケジュールには終点が要る

現在最もよく使われる学習率スケジュールは cosine と線形減衰で、どちらも総ステップ数 TT がわかっていないと曲線が描けない。TT を誤ると代償は小さくない。Chinchilla の付録の測定では、cosine の周期を実際のステップ数より 25% 以上長く設定すると、モデルははっきり悪くなる。学習の途中で延長したくなっても、計画を立て直さなければならない。

平均化は理論上は優秀、実際にはいまひとつ

もう一つの道は、スケジュールを使わずにパラメータを平均することだ。Polyak–Ruppert 平均は最も古典的なやり方で、SGD はいつもどおり固定のステップサイズで進み、それとは別に、通ってきたすべての点の平均を保持する。

zt+1=zt−γgt,xt+1=(1−ct+1) xt+ct+1 zt+1,ct+1=1t+1z_{t+1} = z_t - \gamma g_t, \qquad x_{t+1} = (1 - c_{t+1})\,x_t + c_{t+1}\,z_{t+1}, \quad c_{t+1} = \frac{1}{t+1}

ct+1=1/(t+1)c_{t+1} = 1/(t+1) によって、xx はちょうど z1,…,ztz_1, \dots, z_t の等重み平均になる。古典的な収束理論に従えば、凸で Lipschitz な問題では、最後の一歩の zz ではなく xx を出力すべきだ。ところが実際には、この平均は SGD の最後の一歩よりずっと悪い。著者らはこれを、最適化の分野の通説(folk-law)だとしている。

近年の理論はさらに、線形減衰スケジュールそのものが、最後の一歩で最悪ケースの最適レートを達成できることを示した。スケジュールと平均化は理論上ほぼ同じ役割を果たすが、スケジュールのほうは TT を先に知っておく必要がある。そこで著者らは問うた。実際の性能ではスケジュールに追いつき、しかも理論保証も手放さない平均化の方法はあるだろうか。

問題の解決

三つの系列

Schedule-Free SGD の更新は式 (3) から (5) だ。

yt=(1−β) zt+β xtzt+1=zt−γ ∇f(yt,ζt)xt+1=(1−ct+1) xt+ct+1 zt+1,ct+1=1t+1\begin{aligned} y_t &= (1-\beta)\,z_t + \beta\,x_t \\ z_{t+1} &= z_t - \gamma\,\nabla f(y_t, \zeta_t) \\ x_{t+1} &= (1 - c_{t+1})\,x_t + c_{t+1}\,z_{t+1}, \quad c_{t+1} = \frac{1}{t+1} \end{aligned}

出発点は z1=x1z_1 = x_1。三つの系列にはそれぞれ役割がある。

  • zz はベース系列で、下で動くオプティマイザがここで一歩ずつ進む。ここでは普通の SGD だ。
  • xx は評価系列で、zz の等重み平均であり、最終的に出力するモデルでもある。
  • yy は勾配を計算する位置で、zz と xx のあいだを内挿する。

Polyak–Ruppert 平均と比べると、増えたのは 1 行目だけだ。勾配を zz 上ではなく、zz と xx のあいだにある yy 上で計算する。

二つの極端

β\beta は yy をどちら寄りにするかを決める。β=0\beta = 0 なら y=zy = z で、勾配を zz 上で計算するので Polyak–Ruppert 平均になる。β=1\beta = 1 なら y=xy = x で、勾配を平均点で計算する。これは primal averaging と呼ばれ、やはり最悪ケースで最適な保証を持つが、一般には収束が遅すぎて実用的でないとされている。

原論文 Figure 2。IWSLT14 における LSTM 翻訳モデルのテスト損失で、横軸は 0 から 6 万ステップ、縦軸は 4.0 から 5.5。Polyak 平均の橙の破線は最終的に 4.35、primal averaging の青緑の一点鎖線は 4.44、cosine スケジュールの赤線は 4.23。Schedule-Free の黒線は最初の 1 万ステップで 4.35 前後まで下がり、最終的に 4.18 と、全体を通じて最も低い。
原論文 Figure 2(Defazio ら)、PDF 4 ページより。CC BY 4.0。

この図は IWSLT14 独英の LSTM だ。両極端はどちらも調整済みの cosine スケジュールに負けていて、Polyak 平均は最終的に 4.35、primal averaging は 4.44、cosine は 4.23。Schedule-Free は中間をとって β=0.9\beta = 0.9 とし、最終的に 4.18、しかも最初の 1 万ステップでどれよりも速く下がっている。

著者らの説明では、zz は xx より速く動くので、内挿によって Polyak 平均の収束の速さという長所が保たれる。一方で yy は xx のほうへ引き寄せられるので、勾配を計算する位置が出力するモデルから離れすぎず、安定性が増す。

もう一つのモーメンタム

β\beta の役割はモーメンタムによく似ていて、論文でも普通の指数移動平均(EMA)モーメンタムと比べている。第 tt ステップの勾配 gtg_t が yy に入るときの即時の影響は (1−β) gt(1-\beta)\,g_t で、β=0.9\beta = 0.9 なら 0.1 gt0.1\,g_t になる。ここは EMA モーメンタムと同じだ。違うのは残りの 90% の扱いだ。EMA モーメンタムはその後のおよそ 10 ステップで大部分を足し終える。Schedule-Free は xx という平均を通して、それをごくゆっくりと加えていく。

このモーメンタムには、理論上の副作用がない。Theorem 1 によれば、FF が凸関数で、各サンプルの損失 ff がすべて GG-Lipschitz、サンプルが独立同分布のとき、γ=D/(GT)\gamma = D/(G\sqrt{T})(DD は出発点から最適解までの距離)とすれば、[0,1][0, 1] のどんな β\beta に対しても次が成り立つ。

E[F(xT)−F(x⋆)]≤DGT\mathbb{E}[F(x_T) - F(x_\star)] \le \frac{DG}{\sqrt{T}}

これは非平滑な凸問題における最適レートで、定数まで同じだ。対照的に、EMA モーメンタムは同じ設定のもとで、最悪ケースの保証をかえって悪くしてしまう。

1/(t+1)1/(t+1) は減衰スケジュールそのものでは?

ここまで読んで、疑問が湧いたかもしれない。xx の更新には 1/(t+1)1/(t+1) が入っている。これは減衰していく学習率そのものではないか。

ある意味ではそのとおりだ。著者らは Figure 4 で、各ステップの勾配が最終的に yy と xx にそれぞれどれだけの割合で含まれるかを示している。

原論文 Figure 4。4 行 3 列の棒グラフ。4 行はそれぞれ線形減衰スケジュール、Polyak 平均、primal averaging、Schedule-Free、3 列は学習が 1/3、2/3、終了まで進んだ時点。横軸は時間ステップ、縦軸は各ステップの勾配が最終的にどれだけの割合で取り込まれているか。橙は評価系列 x に含まれる割合で、Polyak、primal、Schedule-Free の 3 行ではどれも 1 からその時点まで線形に下がる三角形になり、線形減衰スケジュールと同じ形をしている。青は勾配を計算する位置 y に含まれる割合で、Polyak 平均の青い領域はどの時点でも 1、primal averaging には青がはみ出す部分がなく、Schedule-Free はその中間で、最近の勾配の割合が primal averaging より高い。
原論文 Figure 4(Defazio ら)、PDF 7 ページより。CC BY 4.0。図中の Schedule-Free は β=0.6\beta = 0.6 を使っている。

まず 1 行目を見よう。線形減衰スケジュールが 1/3、2/3、終点まで進んだとき、各ステップの勾配はその時点の学習率に応じてパラメータに足し込まれ、後になるほど歩幅が小さいので、斜面の形になる。ただし、この斜面の終点は TT に固定されている。

次に下の 3 行の橙の部分、つまり xx を見る。三つの平均化手法の xx は、どの時点でも終点がちょうど現在の tt にある線形減衰のような形をしている。平均化がスケジュールの代わりになれる理由はここにある。平均化は実は一つのスケジュールを暗に含んでいて、ただその終点が tt とともに前へ動いていくので、TT を前もって知る必要がない。

青い部分は yy で、三つの手法の違いはここに出る。Polyak 平均の yy は zz そのものなので、各ステップの勾配がまるごと計算に入り、学習後期には最近の勾配の比重がスケジュールよりずっと大きい。primal averaging の yy は xx そのものなので、最近の勾配は小さく抑え込まれ、前半の収束が遅い。Schedule-Free はその中間で、最近の勾配の比重を少しだけ補強している。

付録 B はこれを代数で書いている。Δt=zt+1−zt\Delta_t = z_{t+1} - z_t をベースオプティマイザの一歩、mt=xt+1−xtm_t = x_{t+1} - x_t とすると、等重み平均で β\beta が固定のとき、yy が各ステップで実際に動く量は次のようになる。

yt+1−yt=β mt+(1−β) Δty_{t+1} - y_t = \beta\, m_t + (1 - \beta)\,\Delta_t

つまり、モーメンタム項に (1−β)(1-\beta) 倍のベースの歩幅を足したものだ。1−βt1 - \beta_t を時間とともに変え、ちょうど (T−t)/T(T - t)/T にとると、モーメンタム項の係数がすっかり消え、残るのは線形減衰スケジュールになる。Schedule-Free は β\beta を固定する道を選んだので、TT が要らない。

理論はどこまでカバーしているか

Theorem 1 は、実はより一般的な Theorem 2 の特殊ケースだ。Theorem 2 では、zz を生成するのは任意のオンライン学習アルゴリズムでよく、平均の重み wtw_t と内挿係数 βt\beta_t も任意にとれる。それらの regret を確率的最適化の収束保証に変換する、一種の online-to-batch conversion である。βt=0\beta_t = 0 とすれば古典的な Polyak 平均、βt=1\beta_t = 1 とすれば primal averaging(Defazio の以前の研究で heavy-ball モーメンタムと等価だと指摘されている)、βt=t/T\beta_t = t/T とすれば線形減衰スケジュールの最後の一歩の保証が得られる。付録 C ではさらにこれを等式に締め直し、平滑な問題での加速レートを導いている。

条件もはっきりさせておこう。これらの保証はどれも凸問題についてのものだ。Theorem 1 のステップサイズ D/(GT)D/(G\sqrt{T}) には TT が隠れていて、いつでも成り立つ D/(Gt)D/(G\sqrt{t}) に置き換えると、実際の性能はひどく悪い。実務で使われているのは、ずっと大きな固定のステップサイズ D/GD/G だ。Theorem 3 は、学習中に確認できるある条件のもとでなら、これほど大きなステップサイズでも最適レートが得られることを示している。著者らは 4.1 節のすべての問題でこの条件を確かめ、どれでも成り立っていた。ただし、確率的な問題で大きなステップサイズがいつ使えるのかはまだ完全には理解されていないと、彼ら自身も認めている。

もう一つの傍証は二次関数から来ている。著者らは 20 次元の二次問題をランダムに 10 個生成し、β\beta と γ\gamma を掃引した。ステップサイズが小さいときは β\beta はほとんど影響しない。ステップサイズが大きいときは、β<1\beta < 1 であることが収束の鍵になる。

Schedule-Free AdamW

ベースオプティマイザを AdamW に替えたものが Algorithm 1 だ。

  1. yt=(1−β1) zt+β1 xty_t = (1 - \beta_1)\,z_t + \beta_1\,x_t。内挿でモーメンタムを置き換える。
  2. yty_t 上で勾配 gtg_t を計算する。
  3. vt=β2vt−1+(1−β2) gt2v_t = \beta_2 v_{t-1} + (1 - \beta_2)\,g_t^2。
  4. γt=γ1−β2t min⁡(1,t/Twarmup)\gamma_t = \gamma\sqrt{1 - \beta_2^t}\,\min(1, t/T_{warmup})。ウォームアップとバイアス補正をどちらも学習率に組み込む。
  5. zt+1=zt−γt gt/(vt+ϵ)−γtλ ytz_{t+1} = z_t - \gamma_t\, g_t / (\sqrt{v_t} + \epsilon) - \gamma_t \lambda\, y_t。
  6. ct+1=γt2/∑i=1tγi2c_{t+1} = \gamma_t^2 / \sum_{i=1}^{t}\gamma_i^2。
  7. xt+1=(1−ct+1) xt+ct+1 zt+1x_{t+1} = (1 - c_{t+1})\,x_t + c_{t+1}\,z_{t+1}。

AdamW と違う点がいくつかある。

  • 一次モーメントがない。 β1\beta_1 は内挿に使われるので、保存するのは xx、zz、vv だけでよく、メモリは AdamW と同じだ。SGD 版のメモリも、モーメンタムつき SGD と同じになる。
  • ウォームアップはやはり必要。 著者らは 4.4 節で、この手法にも学習率のウォームアップは依然として必要だとはっきり書いている。
  • 平均の重みが学習率に連動する。 ウォームアップがある場合、著者らは平均の重みに γt2\gamma_t^2 を使う。ウォームアップ中の学習率が小さいステップは、平均の中での比重も小さくなる。こうすると効果が大きく改善することを、著者らは見出した。ウォームアップが終われば、ctc_t は 1/t1/t のペースで減っていく。
  • 重み減衰は yy で計算する。 zz で計算することもできるが、ImageNet や NanoGPT などの問題では yy で計算したほうがはっきり良い。

実装の細部

学習時には yy で勾配を計算し、評価時には xx を使うので、モデルのパラメータは両者のあいだで切り替える必要がある。公式の PyTorch 実装は zz を 1 つ余分に保存するだけで、パラメータ自体のバッファには学習時は yy、評価時は xx を入れる。y=(1−β)z+βxy = (1-\beta)z + \beta x から x=y+(1−1/β)(z−y)x = y + (1 - 1/\beta)(z - y) が解けるので、optimizer.eval() はこの内挿を行い、optimizer.train() で yy に戻す。

ここからいくつかの使い方のルールが出てくる。model.train() を呼ぶところでは一緒に optimizer.train() を、model.eval() を呼ぶところでは optimizer.eval() を呼ぶ。チェックポイントを保存する前にも eval モードに切り替えること。そうしないと、保存されるのは xx ではなく yy になる。PyTorch の step closure に対応したコードなら、closure 版を使えばこうした切り替えを省ける。

いちばん厄介なのは BatchNorm だ。BN の running mean と variance は学習時、つまり yy 上で蓄積されるので、xx に切り替えると統計量が合わなくなる。公式 README が示している修正は、評価の前に xx で学習バッチを数十個流し、統計量を蓄積し直すことだ。

python
model.train()
optimizer.eval()
with torch.no_grad():
    for batch in itertools.islice(train_loader, 50):
        model(batch)
model.eval()

LayerNorm のようにバッチ統計量に頼らない正規化層なら、この問題はない。README はさらに、フレームワークが fp16 のパラメータを別にキャッシュしている場合(一部の GradScaler がそうする)、それも手動で更新して、評価に xx が使われるようにする必要があると注意している。

議論

実験設定

著者らは、これは現時点で最大規模のオプティマイザ評価の一つだとしている。全部で 28 の問題があり、12 のロジスティック回帰、9 の深層学習タスク、AlgoPerf の 7 タスクからなる。深層学習タスクのうち、CIFAR-10、CIFAR-100、SVHN、ImageNet では Schedule-Free SGD を、IWSLT14、DLRM、fastMRI、MAE の微調整、NanoGPT では Schedule-Free AdamW を使う。

比較のやり方は、両者ともグリッド上で学習率と重み減衰を掃引し、Schedule-Free はさらに 0.9 と 0.98 の二つの β\beta から一つを選ぶというものだ。階段状のスケジュールが慣例になっているタスクでは、それも加えて比べている。

1 回の学習でフロンティア全体を描く

原論文 Figure 1。左は ImageNet における ResNet-50 のテスト正解率をエポックに対してプロットしたもの、右は OpenWebText における GPT-2 124M のテスト損失をステップ数に対してプロットしたもの。赤の細い線は長さの異なる複数の cosine スケジュールで、どれも自分の終点ではじめて最良になる。黒線は 1 回の Schedule-Free 学習で、どの時点でもそれらの赤線の終点に沿うか、それを上回っている。
原論文 Figure 1(Defazio ら)、PDF 2 ページより。CC BY 4.0。

赤線は長さの異なる複数の cosine スケジュールで、どれも自分の終点に着いてはじめて最良になる。それらの終点をつなぐと、「学習時間対性能」のフロンティアになる。黒線は 1 回しか学習していないのに、どの時点でもこのフロンティアに沿っていて、GPT-2 のほうではほとんどの時間で赤線より下にある。言い換えれば、どこで学習を止めても、その長さに合わせて前もって cosine を 1 本調整しておいたのとほぼ同じになる。

九つの深層学習タスク

タスク指標Schedule-Free最良スケジュール
CIFAR-10正解率96.0395.73
CIFAR-100正解率78.7177.41
SVHN正解率98.4098.27
ImageNet正解率76.9076.90
IWSLT14損失 ↓4.184.23
fastMRISSIM0.91120.9110
Criteo正解率0.79150.7906
MAE 微調整正解率83.5483.52
GPT-2 124M損失 ↓2.8312.853

原論文 Figure 2 と Figure 5 の凡例をもとに整理。「最良スケジュール」列は著者らが調整した cosine または線形減衰スケジュール。ImageNet は ResNet-50、GPT-2 124M は OpenWebText 上の NanoGPT の設定。

7 つのタスクで調整済みのスケジュールに勝ち(fastMRI と Criteo の差はごく小さい)、ImageNet と MAE の微調整では引き分けた。差が最も大きいのは CIFAR-100 で、1.3 ポイント上回った。ImageNet では両者とも 76.90% で、階段状スケジュールは 76.49% だ。

これらの数字の裏には、見ておきたい設定がいくつかある。

  • 学習率がずっと大きい。 CIFAR-10 での Schedule-Free の学習率は 10 で、cosine は 0.2。ImageNet では 1.5 対 0.05、NanoGPT では 0.005 対 0.0005 だ。著者らは、発散せずに大きな学習率を使えることが、収束が速い理由の一つかもしれないと考えている。
  • NanoGPT には特別な扱いが要る。 β=0.9\beta = 0.9 では学習の途中で損失が急に上がり、0.98 にしてようやく安定した。勾配クリッピングもオフにしなければならず、著者らはこれが決定的に重要だと述べている。
  • 勾配がつぶれない。 CIFAR-10 で cosine スケジュールの SGD は、後期に訓練損失が 0 近くまで下がり、勾配ノルムも 0 近くまでつぶれて、その後はほとんど学習が進まない。Schedule-Free にはこの現象がない。著者らは、これが CIFAR と SVHN で特に良い理由かもしれないと考えている。

付録では、同じタスク群での Polyak 平均と primal averaging の結果も補っていて、どちらもはっきり後れをとっている。ImageNet ではそれぞれ 72.84% と 69.78%、NanoGPT では Polyak 平均の損失がそのまま発散した。

AlgoPerf

論文中の AlgoPerf の結果は、著者らが自分でコンテストのルールに従い、NAdamW のベースラインと 10 個の乱数シードで比べたものだ。ResNet-50 のタスクは除外されている。AdamW も NAdamW も目標に届かないからだ。残る 7 タスクでは、Schedule-Free AdamW は WMT、ViT、fastMRI、OGBG で速く、Conformer と Criteo では互角、DeepSpeech ではわずかに遅かった。著者らはこの二つのタスクでの結果を BatchNorm のせいだとしている。Conformer と DeepSpeech はどちらも BN を使っていて、コンテストのコードフレームワークでは xx 上で BN の統計量を計算し直すのが難しい。

付録には、セルフチューニング部門で使った設定も載っている。学習率 0.0025、1−β1=0.11-\beta_1 = 0.1、β2≈0.9955\beta_2 \approx 0.9955、重み減衰約 0.081、ウォームアップ 2% で、平均の重みにはさらに t0.75t^{0.75} を掛けている。

公式の結果は、MLCommons の発表と、主催者がのちに ICLR 2025 で発表した分析にある。セルフチューニング部門では Schedule Free AdamW がベースラインを上回った唯一の投稿で、平均学習時間は約 8% 短く、8 つの基本タスクのうち 4 つで最速だった。外部チューニング部門のベースラインと比べても、両者がともに学習に成功した 7 タスクで、ハイパーパラメータ調整なしで約 10% 速かった。同じチームは 5 組の設定を持つ版で外部チューニング部門にも参加して 2 位(0.7077)となり、Distributed Shampoo の 0.7784 に敗れた。両者がともに成功した 7 タスクでは、Shampoo はセルフチューニング版の Schedule-Free AdamW より約 24% 速かった。

ちょっとした裏話もある。セルフチューニング部門の賞金は、結局授与されなかった。MLCommons の発表によれば、複数の参加作品の所属がワーキンググループの議長と重なっていたため、授与条件を満たさなかったという。

モーメンタムへの敏感さ

原論文 Figure 9。ImageNet で Schedule-Free SGD により ResNet-50 を計 200 エポック学習させたもので、学習率は 1.5 に固定、4 本の線は異なるモーメンタムの値。β = 0.9 の橙線が最も高く、最終的に 77.78%。0.95 は 76.99%、0.75 は 76.60%、0.98 が最も低く 75.37%。
原論文 Figure 9(Defazio ら)、PDF 13 ページより。CC BY 4.0。

最適な β\beta が学習の長さによって変わるなら、「TT を知らなくてよい」は問題をスケジュールからモーメンタムへ移しただけになる。著者らは ImageNet で普段より長い 200 エポックを走らせ、4 通りのモーメンタムを掃引した。どの時点で止めて見ても、最良は β=0.9\beta = 0.9 だった。学習率への敏感さも cosine スケジュールと同程度で、学習がごく短い(25 エポック以内)ときだけ、大きめの学習率のほうが良かった。

ただ、ほかの証拠はここまで楽観的ではない。NanoGPT 自体が β\beta を 0.98 に調整する必要があったし、公式 README にも、学習が特に長いときは β\beta を 0.95 や 0.98 に上げる必要があるかもしれないと書かれている。Hägele ら(NeurIPS 2024)は 2.1 億パラメータの言語モデルで、Schedule-Free AdamW と「一定の学習率に最後だけ線形クールダウンをつけたもの」(WSD に近い)を比べた。(β1,β2)=(0.9,0.95)(\beta_1, \beta_2) = (0.9, 0.95) でははっきり悪く、学習の後半では損失がむしろ上がった。(0.95,0.99)(0.95, 0.99) にすると非常に良かったが、どちらの設定もクールダウンスケジュールに並ばれるか上回られた。なお、彼らはどちらの側についても、それ以上のハイパーパラメータ調整はしていない。

限界

著者らが結論で明言しているように、最大の実務上の制約は、学習率と重み減衰を掃引し直す必要があることだ。最適値がスケジュールを使う場合と異なるからである。ほかに注意すべき点は、大半がすでに触れたものだ。

  • ウォームアップは依然として必要だ。論文の実験の多くはウォームアップを総学習量の 5% に設定していて、AlgoPerf の設定は 2% だった。厳密に言えば、ここでは学習の長さを使っている。
  • BN は xx 上で統計量を計算し直す必要がある。学習と評価ではモードを切り替える必要があり、チェックポイントを保存するときも同じだ。
  • 理論がカバーするのは凸問題だけで、大きなステップサイズがいつ使えるかについてはまだ完全な理論がない。
  • β\beta は長時間の言語モデル学習では比較的敏感だ。

結論

Schedule-Free は三つの系列で学習率スケジュールを置き換える。ベースオプティマイザは zz 上で一歩ずつ進み、xx は zz の平均で、勾配は両者のあいだの yy 上で計算する。平均化そのものが、終点が刻々と動いていく線形減衰スケジュールを暗に含んでいるので、TT を前もって知る必要がない。凸問題では、どんな β\beta でも最悪ケースの最適レートが保たれる。9 つの深層学習タスクのうち 7 つで勝ち、2 つで引き分け、AlgoPerf 2024 のセルフチューニング部門で 1 位をとった。

試してみたいなら、オプティマイザを替えたうえで、model.train()、model.eval() の隣に対応する optimizer.train()、optimizer.eval() を加え、チェックポイントを保存する前には eval に切り替えること。BN のあるモデルでは、評価の前に xx で統計量を計算し直す。学習率はスケジュール版の 1〜10 倍(AdamW)か 10〜50 倍(SGD)から試し始め、β\beta はまず 0.9、学習がとても長ければ 0.95、0.98 へ上げる。ウォームアップはそのまま残しておく。

名前は Schedule-Free でも、Algorithm 1 の 8 行目にはしっかり min⁡(1,t/Twarmup)\min(1, t/T_{warmup}) と書いてある。