Learning to summarize from human feedback
- 發表版本
- NeurIPS 2020會議
- arXiv 首次提交
- arXiv:2009.01325
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{modeltuninglearningtosummarize2020,
title = {{Learning to summarize from human feedback}},
author = {Nisan Stiennon and Long Ouyang and Jeff Wu and Daniel M. Ziegler and Ryan Lowe and Chelsea Voss and Alec Radford and Dario Amodei and Paul Christiano},
year = {2020},
eprint = {2009.01325},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2009.01325}
}
訓練摘要模型的標準做法,是拿人寫的參考摘要做監督式學習,再用 ROUGE 評分。
這兩件事都只是「好摘要」的近似。最大概似估計會要求模型把機率分給每一份人寫的摘要,包括寫得很差的那些;它也分不出重要錯誤和無關緊要的錯誤,捏造事實和挑錯同義詞,在損失函數裡差不多。ROUGE 計算的是和參考摘要重疊的詞,和人類判斷的相關性一直被批評。
OpenAI 的 Stiennon、Ouyang、Wu、Ziegler 等人在 2020 年 9 月發表這篇論文。他們直接讓人比較兩份摘要,學一個預測人類偏好的獎勵模型,再用強化學習最佳化它。結果是 13 億參數的模型,被標註者偏好的比例超過 10 倍大的監督式模型,也超過資料集裡人寫的參考摘要。
這套流程沿用 2017 年 Christiano 等人的「從偏好學獎勵」,把影片片段換成文字摘要;團隊負責人正是 Christiano。一年半後的 InstructGPT,幾乎原封不動地使用了這三個步驟。
定義問題
作者選摘要作為測試任務,原因是它有很長的研究歷史,而且品質很主觀,不靠人判斷很難量。
資料集是 Reddit 的 TL;DR:約 300 萬篇貼文,每篇附有原作者自己寫的「太長不看」摘要。作者過濾掉一般人看不懂的子版,並且只保留參考摘要長度在 24 到 48 個 token 之間的貼文,盡量排除長度對品質判斷的影響,最後剩下 123,169 篇。(這份過濾後的資料後來成了 RLHF 的常用考題,三年後 DPO 論文的摘要實驗用的也是它。)
他們刻意沒用更常見的 CNN/DailyMail 新聞摘要。在 CNN/DM 上,直接取文章前三句的 lead-3 基線就很強,標註者甚至比較喜歡 lead-3,勝過資料集的參考摘要;低溫取樣的 T5 已經超過參考摘要,而且大量照抄原文。TL;DR 上的抽取式基線則表現很差,比較能看出模型真正的摘要能力。
任務的定義是產生少於 48 個 token、品質盡可能好的摘要。品質看的是一位只讀摘要、不讀原文的讀者,能多忠實地理解原文在說什麼。
前一年,同團隊的 Ziegler 等人已經在 TL;DR 和 CNN/DM 上試過人類回饋,但遇到一個問題。他們回報,模型學到的「品質」和研究者想要的不一樣。標註者覺得好的摘要,在研究者看來品質普通,而且模型變得幾乎只會照抄原文。那麼,要怎麼讓人類回饋真正反映研究者想要的品質?
解決問題
三個步驟

- 收集人類比較:對每篇貼文,從目前的策略、初始策略、參考摘要與各種基線取樣摘要,兩兩送給標註者,請他們挑出比較好的那份。
- 訓練獎勵模型:給定貼文與一份摘要,預測這份摘要被人選中的對數勝算。
- 用 PPO 最佳化策略:把獎勵模型的輸出當作獎勵,用強化學習訓練摘要模型。
這三步可以反覆進行,新策略的取樣再送回去給人比較。作者也坦承,實際做法沒有嚴格照輪次循環,而是在累積標註的過程中不斷調整資料收集與訓練方式。
所有模型都是 GPT-3 風格的 Transformer 解碼器,主要實驗用 13 億(1.3B)和 67 億(6.7B)參數。起點是在 TL;DR 上監督式微調過的模型,後面稱為 SFT 模型;它同時用來產生最初的比較樣本、初始化策略與獎勵模型,也是比較的基線。
獎勵模型
獎勵模型從 SFT 模型出發,在最後接一個隨機初始化的線性層,輸出一個純量 , 是貼文, 是摘要。若人選了 ,損失是:
這和 2017 年那篇的 Bradley–Terry 損失是同一件事,只是兩段軌跡的獎勵總和,換成了兩份摘要各自的分數。 是 sigmoid,兩份摘要的分差越大,模型越確定人會選哪一份。訓練結束後,作者把輸出平移到讓參考摘要的平均分數為 0。
策略:PPO 加上 KL 懲罰
策略同樣從 SFT 模型初始化。每生成一個 BPE token 算一步,一份摘要結束(輸出 EOS)就是一個回合,獎勵模型只在最後給整份摘要打一次分,折扣因子 。
關鍵的設計是在獎勵裡加一項 KL 懲罰:
是正在訓練的策略, 是凍結的 SFT 模型。如果策略生成的摘要,在 SFT 模型眼中機率很低,第二項就會很大,扣掉的分數也多。
我們拿一份只有 4 個 token 的摘要算一次。實作上常把 KL 懲罰攤到每個 token,獎勵模型的分數只加在最後一個 token:
import torch
beta = 0.05
rm_score = torch.tensor(2.0) # 獎勵模型對整篇摘要的分數
logp_rl = torch.tensor([-1.2, -0.4, -2.0, -0.7]) # RL 策略生成每個 token 的對數機率
logp_sft = torch.tensor([-1.5, -0.5, -3.1, -0.9]) # SFT 模型對同樣 token 的對數機率
log_ratio = logp_rl - logp_sft # tensor([0.3000, 0.1000, 1.1000, 0.2000])
rewards = -beta * log_ratio # 每個 token 先扣 KL 懲罰
rewards[-1] += rm_score # 獎勵模型的分數只加在最後一個 token
print(rewards) # tensor([-0.0150, -0.0050, -0.0550, 1.9900])
print(rewards.sum()) # tensor(1.9150)
加總起來就是上面的 。第三個 token 是 RL 策略比 SFT 模型更偏好的寫法,對數比值 1.1,被扣得最多。 在論文的主要實驗是 0.05。
作者說這項懲罰有兩個作用。一是像熵獎勵一樣鼓勵探索,避免策略塌縮到單一種寫法。二是讓策略的輸出不要離獎勵模型在訓練時見過的摘要太遠;獎勵模型只在 SFT 模型附近的摘要上學過,離得太遠,它的分數就不可信。
PPO 的價值函數也是一個獨立的 Transformer,和策略完全不共用參數,並以獎勵模型的權重初始化。作者的消融顯示,共用參數時,訓練初期價值函數的更新會破壞預訓練好的策略。代價是 RL 階段要多放一整個模型的記憶體,策略、價值函數、獎勵模型和計算 KL 用的 SFT 模型,是四個同樣大小的模型。
標註的品質
前作的問題出在標註。作者做了兩項改變。第一,完全改成離線收集:一次送一大批比較給標註者,收齊後用累積的所有資料重新訓練,不再邊訓練邊收。第二,和標註者保持密切合作。
研究者先自己做很多比較、討論分歧,寫出標註指引;標註者經過付費的訓練階段,前期會立即看到研究者選了哪一份、理由是什麼;通過速度與一致率門檻的人才留下。正式標註時,標註者要先在不看原文的情況下,寫下自己對摘要的「天真解讀」,再用 9 級量表表示自己多確定 A 比 B 好。每個人會分到 10% 到 20% 的共同題目用來校準;團隊開了共用聊天室回答問題,偶爾和標註者一對一視訊討論分歧,並淘汰表現最差的人。
結果是標註者和研究者的一致率達到 77% ± 2%,研究者彼此之間只有 73% ± 4%。比較本身很主觀,研究者之間也常有分歧,這組數字說明標註者和研究者的一致程度,已經和研究者彼此之間相當。最後公開的資料集有 64,832 筆摘要比較。
討論
主要結果:超過參考摘要

縱軸是標註者偏好模型摘要、勝過參考摘要的比例,0.5 的虛線代表和人寫的摘要打平。三條線分別是只預訓練(在提示裡塞範例的零樣本)、監督式微調,以及人類回饋訓練的模型。
1.3B 的人類回饋模型被偏好的比例是 61%,比 10 倍大的監督式模型(12.9B,43%)高出一截。6.7B 的人類回饋模型再提升到約 70%,代表這個方法也受益於規模。監督式模型即使放大到 12.9B,仍然輸給參考摘要。
長度是一個干擾因素。人類回饋模型學會寫比較長的摘要,在 48 個 token 的上限內,多寫一點通常涵蓋更多資訊。作者用邏輯斯迴歸控制長度後,人類回饋模型對參考摘要的偏好率下降約 5%,6.7B 模型仍有約 65%。圖說裡也寫明,在 6.7B 時,長度大約解釋了人類回饋與監督式模型差距的三分之一。
作者還請標註者用 7 分量表,從涵蓋度、準確度、連貫性與整體品質四個面向評分。人類回饋模型在每個面向都勝過監督式基線,差最多的是涵蓋度。6.7B PPO 模型有 45% 的摘要拿到整體 7 分滿分,監督式基線是 20%,參考摘要是 23%。
遷移到新聞
只在 Reddit 上訓練的人類回饋模型,不做任何新聞相關的微調,直接拿去摘要 CNN/DM 的新聞。它明顯勝過同樣在 TL;DR 上訓練的監督式模型,6.7B 版本幾乎追上直接在 CNN/DM 上監督式微調的 6.7B 模型,而且摘要只有對方的一半左右長。
這裡的比較用 7 分量表,因為兩者的長度分布幾乎沒有重疊,很難直接兩兩比較。作者按長度分組後發現,人類回饋模型若寫得更長,分數可能更高。
最佳化過頭會怎樣
獎勵模型只是標註者偏好的近似。它的容量有限,也只看過範圍很窄的一批摘要。那麼對它最佳化到什麼程度,分數就開始不可信?

作者用一個較早版本的獎勵模型,以不同的 KL 係數 訓練出一系列策略。 越小,策略離 SFT 模型越遠,橫軸的 KL 就越大。虛線是獎勵模型自己預測的偏好率,一路往上,到最右邊接近 100%。實線是標註者實際的偏好:輕度最佳化時跟著上升,在 KL 約 10 的地方到頂,接著開始下滑,KL 250 時幾乎掉到零。獎勵模型最後和人的偏好呈負相關。
附錄列出了 KL 250 那個策略的摘要。一篇 28 歲男性想學體操的貼文,被摘成「28yo dude stubbornly postponees start pursuing gymnastics hobby citing logistics reasons despite obvious interest???」,後面再接一串文法錯亂、帶粗口的句子。附錄列出的幾份摘要裡,幾乎每一份都冒出同一句「want change this ...」。作者的評語是,這些摘要又長又怪,但還勉強抓得到大意。
這就是前面 KL 懲罰要防的事。OpenAI 在 2022 年的 Scaling Laws for Reward Model Overoptimization 後來用一個固定的「黃金」獎勵模型扮演人類,系統性地量了這條曲線,發現它的形狀依最佳化方法而異,係數則隨獎勵模型的參數量平滑變化。ROUGE 也有一樣的問題。用 best-of-N 取樣對 ROUGE 最佳化時,品質比對獎勵模型最佳化更早到頂,頂點也低得多。
獎勵模型學到了什麼
作者訓練了 7 個獎勵模型,參數從 1.6 億到 130 億,資料從 8k 到 64k 筆比較。資料加倍,驗證準確率約提升 1.1%;模型加倍,約提升 1.8%。用全部資料訓練的 6.7B 獎勵模型,準確率開始接近單一標註者的水準。
在沒訓練過的 CNN/DM 上,1.3B 和 6.7B 獎勵模型與標註者的一致率分別是 62.4% 和 66.5%;標註者彼此之間是 66.9%。
它也對細節很敏感。請標註者對摘要做最小幅度的改善,6.7B 獎勵模型有 82.8% 的機率選改善後的版本,另一組人類評審是 84.1%。把參考摘要裡兩個人物的角色對調,6.7B 模型有 97.2% 的機率選回原本正確的版本。
偏差也找得到。對於「把摘要改短」的改善,6.7B 獎勵模型只有 62.6% 的機率認同,人類是 76.4%。獎勵模型偏好長摘要,這也呼應了前面人類回饋模型傾向寫長的現象。
ROUGE 的表現則隨模型變強而變差。比較監督式模型的兩份樣本時,ROUGE 和標註者的一致率約 57%;比較人類回饋模型的兩份樣本時,掉到約 50%,等於丟硬幣。用監督式模型的對數機率當指標也一樣,在人類回饋模型的樣本上降到 50% 以下,獎勵模型仍有 62%。
代價
最直接的限制是成本。6.7B 模型的 RL 微調約需 320 GPU 天;訓練集花了標註者數千小時,還需要研究者大量時間維持品質。也因為太貴,作者沒能做一個重要的對照,也就是用同樣多的高品質人類示範做監督式學習,結果會如何。
2024 年,Huang 等人從頭重現了這條流程,列出二十多個關鍵實作細節,並用 Pythia 模型複製出品質隨模型規模上升的趨勢。他們的 2.8B 和 6.9B 模型勝過 OpenAI 公開的 1.3B checkpoint。
結論
1.3B 的人類回饋模型,被偏好的程度勝過 10 倍大的監督式模型,也勝過 Reddit 原作者自己寫的 TL;DR。在寫不出評分標準的任務上,讓人比較、再讓模型去追這個比較,是行得通的。
要自己做的話,這篇最值得照抄的反而是標註流程。先寫指引、先做校準、留共同題、盯著和研究者的一致率,獎勵模型才學得到你要的品質;PPO 那一段,相比之下好處理得多。
還有,KL 懲罰千萬別省。少了它,模型很快就學會寫出獎勵模型愛看、人卻看不懂的句子。