返回論文筆記資料庫
arXiv 2023NeurIPS 2023優化器論文筆記

Lion

獅子只認正負號

原始論文

Symbolic Discovery of Optimization Algorithms

論文作者

Xiangning Chen · Chen Liang · Da Huang …

查看全部 12 位作者

Xiangning Chen · Chen Liang · Da Huang · Esteban Real · Kaiyuan Wang · Yao Liu · Hieu Pham · Xuanyi Dong · Thang Luong · Cho-Jui Hsieh · Yifeng Lu · Quoc V. Le

發表版本
NeurIPS 2023會議
arXiv 首次提交
arXiv:2302.06675
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{optimizerslion2023,
  title = {{Symbolic Discovery of Optimization Algorithms}},
  author = {Xiangning Chen and Chen Liang and Da Huang and Esteban Real and Kaiyuan Wang and Yao Liu and Hieu Pham and Xuanyi Dong and Thang Luong and Cho-Jui Hsieh and Yifeng Lu and Quoc V. Le},
  year = {2023},
  eprint = {2302.06675},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2302.06675}
}
本頁內容

先看一段程式。它把梯度裁剪之後取 arcsin,接著做兩次內插,其中一次的係數是 1.109,比 1 還大;算出更新量之後,又把動量變數改成更新量的 cosh。

這段程式不是人寫的。Google Brain 的團隊從 AdamW 出發,讓電腦一句一句地隨機改程式,前後產生上百萬個候選,花掉大約 3,000 個 TPU v2 天,篩出這一份。把沒有作用的語句刪掉、化簡之後,它只剩四行,名字叫 Lion(EvoLved Sign Momentum)。

這四行只存一份動量,每個參數的更新只看正負號。論文報告它讓 ViT 在 ImageNet 上最多高 2%,在 JFT 上省下最多 5 倍的預訓練計算,還把 BASIC-L 的零樣本 ImageNet 推到 88.3%。

同一篇論文也列出 Lion 贏不了的地方,而且列得相當誠實。這篇筆記分兩半讀。前一半看電腦怎麼搜出這四行,後一半看「只看正負號」這個設計換來什麼、要付出什麼,以及它後來在語言模型預訓練上的表現。

定義問題

到 2023 年,手工設計的優化器已經很多,大多是自適應方法。可是訓練大型語言、視覺、多模態模型時,大家用的還是 AdamW,或是為了省記憶體改用 Adafactor。

讓電腦找優化器的嘗試也不少,各有卡住的地方。

  • 學習怎麼優化(learning to optimize):訓練一個神經網路,讓它直接輸出參數更新量。這種黑盒優化器只在少數小任務上學過,換到大模型、長訓練就泛化不了。
  • 在算式樹裡搜尋:例如 2017 年 Bello 等人用強化學習找出 PowerSign、AddSign。為了讓搜尋跑得動,運算元固定、樹的大小受限,動量怎麼累積、怎麼進入更新,這些都改不了。論文特別點出,這正好是 Lion 最關鍵的部分。
  • AutoML-Zero:連整個機器學習流程都交給搜尋,但只在玩具任務上評估。

作者把問題拆成兩個。第一,程式的空間是無限的,好程式又極度稀疏;他們在便宜的代理任務上隨機抽了 200 萬個程式,最好的一個還是明顯輸給 AdamW。第二,搜尋只能在小任務上評估,真正要用的任務大上一萬倍以上,在小任務上贏的程式,到了大任務常常就不行了。

解決問題

把優化器寫成一段程式

搜尋的對象是一個 train 函式。輸入是權重 w、梯度 g、這一步的學習率 lr,加上兩個初始為零的變數 m、v,用來記錄歷史;輸出是這一步要減掉的更新量。AdamW 寫成這種形式是這樣(論文的 Program 3,省略偏差修正與 ϵ\epsilon):

python
def train(w, g, m, v, lr):
    g2 = square(g)
    m = interp(g, m, 0.9)
    v = interp(g2, v, 0.999)
    sqrt_v = sqrt(v)
    update = m / sqrt_v
    wd = w * 0.01
    update = update + wd
    lr = lr * 0.001
    update = update * lr
    return update, m, v

interp(x, y, a) 等於 (1 - a) * x + a * y,也就是指數移動平均。這個簽章刻意和 AdamW 一樣只留兩個額外變數,搜到的演算法因此不會比 AdamW 更吃記憶體。

函式本體是一串指定敘述,長度和區域變數都不設上限,每一句呼叫四十多個常用數學函式之一,大多對應 NumPy 的函式或線性代數運算。條件判斷、迴圈和自訂函式也試過,沒有帶來更好的結果,就沒放進來。

突變有三種:隨機插入一句、刪掉一句、改掉某一句的一個參數。參數可以換成既有變數,也可以換成新的常數;既有常數則乘上 2a2^a,aa 從標準常態分布抽。常數就是演算法裡的超參數,例如上面的 0.001 是峰值學習率、0.01 是權重衰減。

程式裡允許出現對輸出沒有影響的冗餘語句。每次突變只改一句,想做一個需要兩三句配合的大改動時,冗餘語句可以先當墊腳石。

讓搜尋跑得動

搜尋用的是正則化演化(regularized evolution)。族群維持 1,000 個程式,每一輪隨機抽兩個,比較好的那個複製一份再突變,新程式加進族群,最老的移出。

初始族群全部設成 AdamW,再搭配兩種重啟。一種是從 AdamW 重新開始,多跑幾次來換探索;另一種是從目前最好的程式重新開始,往下深挖。不同次搜尋的成績變異很大,所以多跑幾次是必要的。和花了四倍計算的 AdamW 超參數調整、四倍計算的隨機搜尋相比,演化搜尋都明顯勝出。

還有一個省錢的關鍵,叫抽象執行(abstract execution)。程式真正執行之前,先做三件事:

  1. 推算每個變數的型別與形狀,型別或形狀對不上的程式直接丟掉,繼續突變直到生出合法的子程式;
  2. 從輸入到輸出算一個函數雜湊,語意相同但寫法不同的程式查表就好,不必重跑;
  3. 追蹤輸出依賴哪些語句,把冗餘語句挑出來。

五次搜尋、每次 30 萬個程式的統計,到搜尋後期有約 70% 的語句是冗餘的,刪掉後程式平均短了 3 倍;快取命中率約 89%,搜尋成本約降為十分之一。

代理任務都很小。視覺是在 10% 的 ImageNet 上訓練一個 3 層、96 維的 ViT,影像縮到 64×64,批次大小(batch size)64、30k 步;語言是在 LM1B 上訓練一個 2 層、128 維的 Transformer,20K 步。每個程式在一顆 TPU v2 上 20 分鐘內評估完,用驗證準確率或 perplexity 當 fitness。

每次搜尋用 100 顆 TPU v2 跑約 72 小時,產生 20 到 30 萬個程式,因為快取,實際執行的只有 2 到 3 萬個。五次搜尋再加一輪從最佳程式重啟,總成本約 3,000 個 TPU v2 天。

從小任務走到大任務

搜尋 fitness 一直上升,拿到大一點的任務上驗證卻開始下降,論文把這叫 meta-overfitting,也就是對代理任務過擬合。作者跑了 50 次搜尋,記錄每次在哪個進度開始過擬合。一半的搜尋很早就過擬合,也有一條長尾到很後面才發生,而越晚過擬合的搜尋,找到的程式在大任務上越好。

所以他們在搜尋之外又加了一道漏斗篩選(funnel selection)。從代理任務 A 出發,把模型和步數加大,做出大 10 倍的任務 B;只有在 B 上贏過基準的程式,才送去大 100 倍的任務 C。

通過篩選的程式再簡化三次。先用抽象執行刪掉冗餘語句;再刪掉那些「有作用但刪掉後差別很小」的語句(也可以用禁止插入的演化來做);最後由人工重排、改變數名,化成數學上等價的簡單形式。

從 Program 4 到四行 Lion

原論文 Program 4:搜尋與篩選後、刪掉冗餘語句的程式。包括 clip、arcsin、以係數 0.899 和 1.109 做的兩次 interp(綠色)、平方再開根號再相除的三行(紅色,和綠色兩行穿插)、乘 0.4602 的權重衰減、乘 0.0002 的學習率,以及倒數第二行把 m 設成 cosh(update)。
原論文 Program 4(Chen 等人),取自 PDF 第 3 頁,arXiv 授權,學術引用。

開頭那段奇怪的程式就是它。我們一行一行化簡。

  • 紅色三行:m2 = m * m、abs_m = sqrt(m2)、update = m / abs_m,就是 m/∣m∣m/|m|,也就是 sign(m)。
  • clip 和 arcsin:拿掉之後品質沒有下降,就刪了。這一步和原式並不等價,clip 依當步的梯度範數把整個梯度縮小,倍數每步不同,梯度進了動量內插之後,仍會改變當步與歷史的相對比重;刪掉它們靠的是實驗結果。
  • 最後的 cosh:它寫進 m,可是下一輪一開始 m 就被重新指定,這一行沒有作用。
  • 綠色兩行:m 是當前梯度和 v 以 0.899 內插,v 又是梯度和這個新 m 以 1.109 內插。把第一行代進第二行,v 變成一個係數接近 1 的移動平均,只是換了一種寫法;論文把它整理成 β2=0.99\beta_2 = 0.99。m 則是送進 sign 之前,當前梯度與歷史以約 0.9 內插的結果。
  • 常數:0.4602 是權重衰減,0.0002 是學習率的縮放,化簡後變成兩個超參數。

另外,Adam 的移動平均從 0 開始,前幾步的估計偏小,需要偏差修正才不會讓更新的大小失準。論文指出,偏差修正不會改變方向,而 sign 只看方向,所以這一步也拿掉了。

整理後的 Lion(論文 Algorithm 2):

ct=β1mt−1+(1−β1) gtθt=θt−1−ηt(sign⁡(ct)+λ θt−1)mt=β2mt−1+(1−β2) gt\begin{aligned} c_t &= \beta_1 m_{t-1} + (1-\beta_1)\,g_t \\ \theta_t &= \theta_{t-1} - \eta_t\left(\operatorname{sign}(c_t) + \lambda\,\theta_{t-1}\right) \\ m_t &= \beta_2 m_{t-1} + (1-\beta_2)\,g_t \end{aligned}

預設 β1=0.9\beta_1=0.9、β2=0.99\beta_2=0.99。和 AdamW 比,少了二階動差 vv,少了 ϵ\epsilon,也少了偏差修正。官方 PyTorch 實作的一步就這幾行(google/automl):

python
p.data.mul_(1 - lr * weight_decay)                # 解耦權重衰減
update = exp_avg * beta1 + grad * (1 - beta1)     # c_t:當前梯度與動量內插
p.add_(update.sign_(), alpha=-lr)                 # 只取正負號
exp_avg.mul_(beta2).add_(grad, alpha=1 - beta2)   # m_t:用 beta2 更新動量

注意最後兩行的順序。更新權重用的是 ctc_t,存起來留到下一步的是 mtm_t,兩者用的係數不同。

兩個 β 各管什麼

為什麼要兩個 β?把 ctc_t 展開,可以算出每一個過去的梯度在更新方向裡占多少比重。當前梯度 gtg_t 占 1−β1=10%1-\beta_1 = 10\%;kk 步之前的梯度占 β1(1−β2)β2k−1\beta_1(1-\beta_2)\beta_2^{k-1},以預設值算大約是 0.009×0.99k−10.009 \times 0.99^{k-1}。下圖把最近 k+1k+1 步的比重加總起來畫。

三條累積比重曲線。只用 β = 0.9 的動量(橘)在當步占 10%,約 30 步內就累積到接近 100%;只用 β = 0.99 的動量(綠)在當步只占 1%,200 步時約 87%;Lion 的更新方向(藍)在當步和橘線一樣占 10%,之後幾乎平行地跟著綠線的長尾。
本文整理,依原論文 Algorithm 2 與 §4.6 消融的設定計算。

橘線是只用一個 β=0.9\beta=0.9 的動量,當步梯度占 10%,但只記得最近二三十步。綠線是只用 β=0.99\beta=0.99,記得的歷史長了約 10 倍,當步梯度卻只剩 1%。Lion 的藍線兩邊都要。更新時當步梯度占 10%,和橘線一樣;往前的部分則跟著綠線的長尾。

論文的消融做的就是橘線和綠線。在 ViT-B/16 上(ImageNet、加 RandAug 與 Mixup),只用一個動量再取 sign 的兩個版本,準確率是 79.54%(β=0.9\beta=0.9)和 79.90%(β=0.99\beta=0.99),都輸給 AdamW 的 80.12%,Lion 是 80.77%。在 PG-19 的語言模型上,結論相同。

Lion 和 2018 年的 signSGD(以及它的動量版)也差在這裡。兩者都取 sign,但動量的累積規則不同;signSGD 的出發點是降低分散式訓練的通訊量,在影像分類的卷積網路上表現較差。

取 sign 的代價

sign 讓每個座標的更新大小都一樣。不計權重衰減,每個參數每一步不是 +η+\eta 就是 −η-\eta。

Adam 的更新 m^/v^\hat m/\sqrt{\hat v} 每個座標大小不同,整體的均方根(RMS)通常小於 1,月之暗面在 Muon 那篇論文裡量到的是 0.2 到 0.4;sign 的輸出全是 ±1,RMS 就是 1,整個更新向量的範數因此比較大。論文的建議是 Lion 的學習率要比 AdamW 小 3 到 10 倍,初始、峰值、結束學習率都按同一個比例縮小;學習率排程、梯度裁剪這些其他設定都不用改。

學習率一縮小,權重衰減也得跟著調。解耦權重衰減實際作用在權重上的強度是 ηλ\eta\lambda,η\eta 小了 3 到 10 倍,λ\lambda 就要大 3 到 10 倍,才能維持相近的強度。論文列了幾組實際用的數字:

任務Lion(η\eta、λ\lambda)對照(η\eta、λ\lambda)
ViT-B/16,強增強1e-4、10.0AdamW 1e-3、1.0
擴散模型3e-5、0.1AdamW 3e-4、0.01
7.5B 語言模型1e-4、0.01Adafactor 1e-3、0.001

整理自原論文 §5。

β\beta 原則上用預設值即可;只有語言模型實驗另外調過,改成 β1=0.95\beta_1=0.95、β2=0.98\beta_2=0.98。作者的經驗是 β2\beta_2 小一點,記得的歷史短一點,訓練比較穩定。

好處在記憶體與速度。Lion 只存一份動量,AdamW 要存兩份。以 ViT-B/16、解析度 224、批次 4,096 為例,AdamW 至少要 16 顆 TPU v4 才放得下,Lion 只要 8 顆(兩者的動量都用 bfloat16 存)。因為運算簡單,實驗中每秒步數也比 AdamW 和 Adafactor 快 2% 到 15%,依任務、程式碼與硬體而定。

討論

所有比較都和 AdamW 對照,記憶體吃緊的大模型則對照 Adafactor;動量 SGD 只在 ResNet 上比。每個優化器都以對數尺度調過峰值學習率與權重衰減。預設用 cosine 衰減加 10K 步暖身,動量以 bfloat16 存。

影像分類:最好看的一組

在 ImageNet 上從頭訓練(三次平均,ResNet-50 用批次 1,024 訓練 90 個 epoch,其他模型用批次 4,096 訓練 300 個 epoch),節錄 Top-1:

模型增強AdamWLion
ResNet-50無76.3476.45
Mixer-B/16無68.1270.11
ViT-B/16無75.4877.44
ViT-B/16有80.1280.77
CoAtNet-3有84.4584.87

整理自原論文 Table 2;「有」為 RandAug 與 Mixup。ResNet-50 另有動量 SGD 76.22。

趨勢很一致。歸納偏差越少的架構,例如 ViT、MLP-Mixer,差距越大;加上強資料增強,差距縮小;卷積網路 ResNet-50 上,三個優化器幾乎打平。

作者對 ViT 的解釋是 sign 帶來一種雜訊,有正則化的效果。Lion 訓練的 ViT-B/16 訓練損失反而比較高(0.75 對 0.61),驗證準確率卻高了 2%;對權重加高斯雜訊後,Lion 模型的損失(1.37)也遠低於 AdamW 模型(3.74),表示它收斂到比較平坦的區域。這個解釋目前只有這些間接證據。

到了 JFT 這種大規模資料,差距更明顯。

原論文 Figure 1。左圖:ViT 在 JFT-300M 上預訓練的計算量(橫軸,exaFLOPs)對 ImageNet 微調準確率(縱軸),藍線 Lion 在約 1,500 exaFLOPs 時就達到 88.1%,橘線 AdamW 要到約 4,300 exaFLOPs 才到 88.0%,標示約 3 倍加速。右圖:256×256 擴散模型的 FID 對訓練步數,Lion 在約 44 萬步時就達到 AdamW 一百萬步的 FID,標示約 2.3 倍加速。
原論文 Figure 1(Chen 等人),取自 PDF 第 2 頁,arXiv 授權,學術引用。

左圖橫軸是預訓練計算量,縱軸是微調後的 ImageNet 準確率,曲線上的點涵蓋 ViT-B/16、ViT-L/16、ViT-H/14 與不同的預訓練預算。箭頭標出的是,Lion 訓練的 ViT-L/16 就追上 AdamW 訓練的 ViT-H/14,在 ImageNet 與 ImageNet V2 上省下 3 倍預訓練計算,在 ImageNet ReaL 上省 5 倍。Zhai 等人用 AdamW 把 ViT-L/16 訓練到 400 萬步,成績還是比不上 Lion 訓練 100 萬步。

微調之後,在較難的分布偏移測試集上,Lion 訓練的 ViT-L/16 領先得更多,ImageNet-A 高 6.08、ImageNet-R 高 5.54。資料換成 JFT-3B 後,Lion 訓練的 ViT-g/14 以少 1.8 倍的參數超過了先前的 ViT-G/14,Lion 的 ViT-G/14 則達到 90.71%。

圖文對比學習也有進步。LiT 凍結影像塔、只訓練文字塔,零樣本 ImageNet 在三種規模都高約 0.7 到 1.1。BASIC-L 的影像塔預訓練和對比學習兩個階段都換成 Lion,零樣本 ImageNet 從 Adafactor 的 85.7% 升到 88.3%,比當時的最佳紀錄高 2.0;微調後 91.1%,比紀錄高 0.1。

擴散模型:解析度越高差越多

右圖是 ImageNet 256×256 的無條件生成(改良版 U-Net、批次 2,048、常數學習率、DDPM 取樣 1,000 步、不用 guidance)。Lion 在 44 萬步就達到 AdamW 的最終 FID,省下 2.3 倍的步數,最終 FID 是 4.1 對 4.7。64×64、128×128 也有改善,但解析度越高,差距越大。

Imagen 式的文字生成影像則好壞參半。64×64 的基礎模型沒有明顯改善;64→256 的超解析模型上,Lion 的 CLIP 分數較高,FID 曲線的雜訊也較少。

語言模型:規模一大就打平

小規模實驗用 Wiki-40B 與 PG-19,模型 110M、336M、731M,每批 2182^{18} 個 token、訓練 12.5 萬步。Lion 的驗證 perplexity 一直比較低,中型模型分別有 1.6 倍、1.5 倍的加速,大型模型在 PG-19 上到 2 倍。

規模放大之後就不一樣了。作者在一個 1.6 兆 token 的資料集上,照 GPT-3 的做法訓練 1.1B、2.1B、7.5B 三個模型,各 300B token、批次 3M token,對照組是 Adafactor。整個訓練過程中,兩者的 perplexity 沒有差別。Lion 只在單樣本的 in-context 評測平均分數上小幅領先,例如 7.5B 模型的生成類任務平均 24.1 → 24.7、理解類任務平均 61.3 → 61.7。

遮罩語言模型(C4)的 perplexity,Lion 對 AdamW 是 4.18 對 4.25、3.42 對 3.54、3.18 對 3.25;T5 在 GLUE 上微調,三種規模的平均分數各高 0.4 到 0.5。

批次大小與調參的容錯

sign 會放大梯度雜訊,直覺上 Lion 應該需要比較大的批次,才能把方向估準。作者直接量了。

原論文 Figure 8。左圖:ViT-B/16 在 ImageNet 上從頭訓練 300 個 epoch,橫軸批次大小從 64 到 32K,Lion(藍)在 4,096 時最高約 80.8%,32K 時仍有約 77.9%;AdamW(橘)在 256 時最高,32K 時掉到約 75.4%。中圖與右圖:AdamW 與 Lion 在不同峰值學習率、權重衰減組合下的準確率熱圖;AdamW 在學習率與權重衰減都大時降到 67% 左右,Lion 的格子大多落在高準確率的紅色區。
原論文 Figure 8(Chen 等人),取自 PDF 第 13 頁,arXiv 授權,學術引用。

左圖固定訓練 300 個 epoch,改變批次大小。AdamW 的最佳批次是 256,Lion 是 4,096,確實偏好大批次;不過批次縮到 64,Lion 也沒有崩。批次放大到 32K(只剩 1.1 萬步)時,Lion 77.9%、AdamW 75.4%。

中、右兩張熱圖各自掃了三個學習率與三個權重衰減。AdamW 在學習率和權重衰減都偏大的角落掉到 67.5% 附近;Lion 的九格裡,只有學習率與權重衰減都最小的那一格顏色明顯較淺。在這組設定下,Lion 對超參數比較不敏感。要注意兩張圖的格子是各自依建議範圍挑的,Lion 的學習率本來就小 3 到 10 倍。

論文也比了 RAdam、NAdam、AdaBelief、AMSGrad,以及 AutoML 找到的 PowerSign、AddSign(各自調學習率與權重衰減,其餘用 Optax 預設值)。在 ViT-B/16 上,這些基準落在 78.50% 到 80.32% 之間,彼此沒有明顯贏家,Lion 是 80.77%。PowerSign、AddSign 是最差的兩個,這也符合「自動搜到的優化器很難推廣到真實任務」的舊經驗。

論文自己寫的限制

作者在第 6 節把限制列得很清楚。

  1. 搜尋的偏差:搜尋空間的設計仍受一階優化器啟發,搜到的東西容易長得像既有演算法,也缺少二階方法需要的函式;搜尋成本高,簡化還要人工。
  2. 差距很小或沒差的任務:ResNet 上三種優化器差異很小;強增強會吃掉增益;Imagen 基礎模型、大型內部資料集上的語言模型 perplexity、C4 的遮罩語言模型,Lion 都和 AdamW 差不多。作者認為共同點是資料量大、品質高。
  3. 批次太小:批次小於 64 時,Lion 可能不比 AdamW 好。
  4. 記憶體:還是要存一份 bfloat16 的動量,對超大模型仍然貴。

列第 2 點時,作者還補了一句,說 perplexity 可以算是比 in-context 評測更可靠的指標。換句話說,在作者自己認為較可靠的那個指標上,大規模語言模型沒有看到差別。

後來的評估

語言模型預訓練後來成了優化器的主戰場,Lion 被多篇獨立研究重測過,看到的增益都比原論文小。

  • Kaddour 等人(NeurIPS 2023):在固定計算預算下預訓練 BERT 與 T5,Lion、Sophia 等方法的增益,碰到學習率完全衰減到底的基準就消失了。
  • Zhao 等人(ICLR 2025):在 150M 到 1.2B 的自迴歸語言模型上,除了 SGD,Adam、Adafactor、Lion、Sophia 的最佳表現與對學習率的穩定性都差不多。他們也指出,β1=β2\beta_1=\beta_2 的 Lion 就是 Signum(帶動量的 signSGD)。
  • Semenov 等人(2025 年 9 月):Lion 和 Signum 在小批次時很差,加大批次後大幅改善;可是到了 720M 模型、每批 100 萬 token,它們又跟不上其他方法。
  • Wen 等人(2025 年 9 月):每個優化器各自做完整的超參數掃描之後,Lion 最多比 AdamW 慢 5%,偶爾稍快,模型越大落後越多。他們掃出的最佳值剛好可以拿來驗證上面的建議。130M、1× Chinchilla 的設定上,AdamW 的最佳學習率是 0.008、權重衰減 0.1;Lion 表上的最佳組合是 0.002 和 0.7,單獨把學習率改成 0.001 或權重衰減改成 0.6,loss 還略低 0.003。學習率小 4 到 8 倍、權重衰減大 6 到 7 倍,都落在 Lion 論文「3 到 10 倍」的建議內。

社群實作的經驗也類似。lucidrains 的 lion-pytorch README 記錄了一連串使用回報。沿用 Adam 的學習率時,Lion 比 Adam 差很多;學習率除以 3,早期反而贏;直接照「小 10 倍」的規則,卻跑出最差的一次。README 最後建議只在批次 64 以上使用,也記下負面結果多半出現在論文沒評估過的設定,例如強化學習。

結論

Lion 是一個由程式搜尋找到、再由人工化簡的優化器。它的更新是 sign⁡(β1m+(1−β1)g)\operatorname{sign}(\beta_1 m + (1-\beta_1) g),動量另外用 β2\beta_2 累積;每個參數每一步的移動量都是固定的 η\eta,只存一份動量。它在 ViT 與 JFT、圖文對比學習、高解析度擴散模型上的進步最明顯,這些進步也都有條件,大批次、Transformer 類架構、沒有太強的資料增強。

如果要把 AdamW 換成 Lion,學習率除以 3 到 10,權重衰減乘上同一個倍數,並確認批次不要太小。然後從 3 倍開始掃,不要直接套 10 倍。語言模型可以先試 β1=0.95\beta_1=0.95、β2=0.98\beta_2=0.98。

搜尋從 AdamW 出發,演化了 3,000 個 TPU 天,最後在語言模型預訓練上跑出一個和 AdamW 差不多快的優化器。至少優化器狀態省了一半。