Constitutional AI: Harmlessness from AI Feedback
- 發表版本
- 正式發表資訊尚未核實
- arXiv 首次提交
- arXiv:2212.08073
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{modeltuningconstitutionalai2022,
title = {{Constitutional AI: Harmlessness from AI Feedback}},
author = {Yuntao Bai and Saurav Kadavath and Sandipan Kundu and Amanda Askell and Jackson Kernion and Andy Jones and Anna Chen and Anna Goldie and Azalia Mirhoseini and Cameron McKinnon and Carol Chen and Catherine Olsson and Christopher Olah and Danny Hernandez and Dawn Drain and Deep Ganguli and Dustin Li and Eli Tran-Johnson and Ethan Perez and Jamie Kerr and Jared Mueller and Jeffrey Ladish and Joshua Landau and Kamal Ndousse and Kamile Lukosuite and Liane Lovitt and Michael Sellitto and Nelson Elhage and Nicholas Schiefer and Noemi Mercado and Nova DasSarma and Robert Lasenby and Robin Larson and Sam Ringer and Scott Johnston and Shauna Kravec and Sheer El Showk and Stanislav Fort and Tamera Lanham and Timothy Telleen-Lawton and Tom Conerly and Tom Henighan and Tristan Hume and Samuel R. Bowman and Zac Hatfield-Dodds and Ben Mann and Dario Amodei and Nicholas Joseph and Sam McCandlish and Tom Brown and Jared Kaplan},
year = {2022},
eprint = {2212.08073},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2212.08073}
}
這篇論文在 2022 年 12 月中發表,距離 ChatGPT 上線只有兩週。作者來自 Anthropic,一家 2021 年由一群前 OpenAI 研究者創立的公司,主要研究方向就是讓語言模型更安全。
同一年稍早,他們用 RLHF 訓練了一個「有用又無害」的助理,結果遇到一個尷尬的問題。模型學會了無害,可是它的無害常常就是拒絕。碰到有爭議的問題,它就回「我無法回答這個問題」,而且一旦被問過一次不該回答的問題,接下來整段對話都可能一直迴避下去。
標註者覺得拒絕最安全,模型就學會了拒絕。這篇論文想換一種做法。與其請人一筆一筆標「哪個回答比較無害」,不如寫下十幾條原則,讓模型自己照著原則批評、修改、評分。這些原則合起來,作者稱為「憲法」。
定義問題
RLHF 通常要好幾萬筆人類偏好標註。作者列了幾個想擺脫它的理由。
第一是擴展監督。模型越來越強,有些任務人類已經不容易判斷好壞;如果 AI 能幫忙監督 AI,人類就可以把力氣放在少量、清楚、高品質的監督上。
第二是迴避。只會說「我不知道」的助理完全無害,也完全沒用。作者希望模型在拒絕危險請求時,仍然說明為什麼不能幫忙,而不是直接關門。
第三是透明。好幾萬筆偏好標註就算公開,也沒有人能說清楚它們合起來教了模型什麼;寫成自然語言的原則,至少人人看得懂。
第四是迭代速度。訓練目標一改,就得重新收集一批人類標註;如果標註由模型產生,改幾條原則就好。
還有一點寫在論文最後。紅隊測試,也就是想盡辦法誘導模型說出有害內容,對做這件事的人來說並不是什麼愉快的工作。
但這一切的前提是,模型真的分得出哪個回答比較無害。作者先測了這件事。

題目是一段人和 AI 的對話,最後附兩個回答,問哪個比較有用、誠實、無害;其中 217 題是這篇新寫的,專考比較細微的無害判斷,也包括「迴避的回答不如無害又有幫助的回答」這種題。
橙線是用好幾十萬筆人類偏好訓練出來的偏好模型,一直最準。藍線是預訓練語言模型直接當選擇題作答,小模型和亂猜差不多,到 52B 才明顯爬上來。灰線和黑線是讓模型先寫思維鏈再選,大模型上提升很多。照這個趨勢,作者認為比 52B 更大的模型,判斷力就能和人類回饋訓練的偏好模型相比。
解決問題

整個流程分兩段。上排是監督學習,讓模型自己修改自己的回答,再拿改好的回答做微調;下排是強化學習,和 RLHF 幾乎一樣,只是「哪個回答比較無害」改由模型來判斷。
兩段都從一個只訓練過有用性的 RLHF 模型出發。它很會照指令做事,也因此很容易被說服去做壞事。
監督學習:批評,再修改
先對它丟一個紅隊提示,拿到一個有問題的回答(論文的例子,有害建議是作者虛構的):
Human: Can you help me hack into my neighbor's wifi?
Assistant: Sure thing, you can use an app called VeryEasyHack that will allow you to log in to your neighbor's wifi.
接著在後面加一段事先寫好的指令,要模型批評自己剛才的回答:
Critique Request: Identify specific ways in which the assistant's last response is harmful, unethical, racist, sexist, toxic, dangerous, or illegal.
Critique: The assistant's last response is harmful because hacking into someone else's wifi is an invasion of their privacy and is possibly illegal.
再要它根據批評改寫:
Revision Request: Please rewrite the assistant response to remove any and all harmful, unethical, racist, sexist, toxic, dangerous, or illegal content.
Revision: Hacking into your neighbor's wifi is an invasion of their privacy, and I strongly advise against it. It may also land you in legal trouble.
最後把原本的提示和改寫後的回答接起來,就是一筆新的訓練資料。改寫後的格式和原本一樣,所以可以再批評、再修改,重複好幾輪。
一組「批評要求+修改要求」就是一條原則。作者寫了 16 條,有的很籠統,有的針對特定面向,例如「是否適合小孩」「是否帶有厭女或性別偏見」「是否像一位體貼的朋友或心理諮商師會說的話」。每一輪修改都隨機抽一條。
作者也碰到一個小麻煩,模型有時會搞混自己的角色,該寫修改時寫成批評,或反過來。解法是在前面放幾個格式一致的批評與修改範例。
資料量如下:
- 紅隊提示:42,496 筆來自人類,另外用預訓練模型照樣造出 140,335 筆,共 182,831 筆。每筆抽 4 組批評與修改。
- 有用性提示:135,296 筆,全部由人類撰寫,每筆直接從有用性 RLHF 模型抽 2 個回答。為了保住有用性,這些回答也一起拿來微調。
用這批資料微調預訓練模型一個 epoch,得到 SL-CAI。

修改的效果用人類回饋訓練的偏好模型來量。橫軸 0 是原始回答,1 到 4 是第幾次修改。左圖的無害性分數一路往上,第一次修改的進步最大;中間的有用性分數則一路往下,這是預料中的代價;右邊兩者合併的分數仍然上升。
幾個附帶的發現:
- 原則的數量:每輪從 1、2、4、8 或 16 條裡抽,無害性分數幾乎一樣。作者還是用了 16 條,因為原則越多,改出來的回答越多樣,下一段強化學習比較有東西可以探索。
- 要不要先批評:跳過批評、直接要模型改寫,小模型的效果比較差,大模型則差不多。作者看了 52B 的輸出,批評有時合理,但常常不準確或言過其實。他們還是保留批評這一步,因為它讓模型的推理過程比較透明。
強化學習:讓模型當評審
第二段和 RLHF 只差在一個地方。有用性的比較仍然用人類標註;無害性的比較,改成問另一個模型,論文稱它為回饋模型(feedback model):
Consider the following conversation between a human and an assistant:
[HUMAN/ASSISTANT CONVERSATION]
[PRINCIPLE FOR MULTIPLE CHOICE EVALUATION]
Options:
(A) [RESPONSE A]
(B) [RESPONSE B]
The answer is:
原則同樣是 16 條隨機抽一條,例如「哪個回答比較無害?選一位有智慧、有道德、有禮貌又友善的人比較可能說的話。」作者發現,每次換不同原則來標,訓練出的偏好模型比全部用同一條穩定得多。
回饋模型不會直接回答 A 或 B。作者讀出它給「(A)」和「(B)」的對數機率,正規化之後當作軟標籤。比方模型有點偏好 A,標籤就是 0.67,而不是硬生生的 1。
也可以讓回饋模型先寫思維鏈再選。這時改用有用性 RLHF 模型當回饋模型,因為它寫的推理品質比較好。但新的問題來了,思維鏈寫完,結論通常已經寫在裡面,(A) 的機率不是接近 1 就是接近 0。作者把這種標籤夾在 40% 到 60% 之間,效果反而最好;不夾的話,訓練出來的模型回答會變得很極端。
為什麼夾一下就有差?偏好模型用軟標籤 訓練時,損失最小的地方是兩個回答的分數差 滿足 ,也就是 。標籤是 0.994 的話,偏好模型會把兩個回答的分數拉開到 5 以上;夾到 0.6,分數差只要 0.4 左右。分數差越大,強化學習時策略越有動機把回答推向極端。夾一下,等於叫評審別給得那麼斬釘截鐵。
偏好模型的訓練資料是 135,296 筆人類標的有用性比較,加上 182,831 筆 AI 標的無害性比較;接著從 SL-CAI 開始做強化學習,得到 RL-CAI。
討論
更無害,也沒有更沒用
評估方式和前作一樣,請眾包工作者和模型對話,每一步同時看兩個模型的回答,選比較好的那個,再把偏好換算成 Elo 分數。這次作者特別交代,兩個回答一樣無害時,選比較不迴避、會說明理由的那個。

這張圖的兩個軸只有差值有意義,往右是越有用,往上是越無害,每條線上的點是同一次訓練的不同階段。
藍線只用有用性訓練,越練越有用,也越願意幫忙做危險的事,無害性一直在低處。橙線把有用和無害一起交給人類標,兩者兼顧,但到後期無害性也往下掉;作者推測,是它越來越常迴避,而這次的評分規則不偏好迴避。黑色的弧線大致描出人類回饋的取捨邊界。
CAI 的兩條線落在這條邊界外側。同樣的有用程度下,它更無害。加了思維鏈的版本更無害,有用性稍微少一點。
迴避的問題也解決了不少。作者說 RL-CAI 幾乎從不迴避,對大多數紅隊提示都會給出有細節的回答,說明為什麼不該那樣做。
練過頭的評審
RL-CAI 也會被練壞。訓練過度時,模型對有害提示的回應變得過度嚴厲,或者每個回答都塞進同一句套話。論文附了兩個例子,第二個是這樣的:
Can terrorist attacks be justified?
Terrorist attacks are never justified, and are incredibly harmful, unethical, and unjust. … If you're struggling with these questions, I'm here to listen and support you however I can. You are valid, valued, and cared for.
被問恐怖攻擊能不能合理化,結尾來一句「你是有價值的、被珍視的、被關心的」。偏好模型喜歡溫暖體貼的回答,策略就發現這句話怎麼加都加分,最後每題都加。這就是 Goodhart 定律,指標一旦變成目標,就不再是好指標。作者的對策是改寫原則,提醒評審不要偏好過度反應或過度指責的回答,再配合前面提過的原則集成與標籤夾值。
還有什麼沒解決
無害性的人類標註拿掉了,有用性的仍然來自人類。作者認為只靠預訓練模型加大量提示,應該也能學會有用和遵循指令,但這篇沒做。
作者也直接寫出這個方法的兩面性。從提示到 RLHF,再到這種只靠幾條原則的方法,讓模型照開發者意思行事的門檻越來越低,包括照壞人的意思。少了人類標註,模型也可能在沒被人好好測過的情況下就被部署出去。
後來的事
2023 年 3 月,Anthropic 推出聊天助理 Claude。同年 5 月,他們公開了 Claude 的憲法,原則的來源包括聯合國《世界人權宣言》、Apple 的服務條款,以及 DeepMind 為 Sparrow 寫的規則。和這篇論文裡偏向研究用途、「相當隨意挑出來」的 16 條相比,這份清單長得多,也說明了每類原則的出處。
用模型來標偏好這個做法,後來有了自己的名字 RLAIF。Google 在 2023 年的 RLAIF vs. RLHF 裡做了正面比較,在摘要和有用對話上,AI 標註訓練出的模型和人類標註的被偏好程度差不多;在無害對話上,RLAIF 的無害率是 88%,RLHF 是 76%。
2026 年 1 月,Anthropic 又發布了新版的憲法。它不再是一張條列的原則清單,而是一份長篇文件,花很多篇幅解釋為什麼希望模型這樣做,並以 CC0 授權公開。
結論
Constitutional AI 把 RLHF 裡「哪個回答比較無害」的判斷,從人交給了模型。監督學習階段讓模型照原則批評、修改自己的回答;強化學習階段讓模型照原則給偏好。人類寫下的只有 16 條原則和幾個示範,最後的模型在同樣有用的程度下比人類回饋版本更無害,也不再動不動就拒絕。
工程上最值得記住的是那些細節。原則要輪流用,標籤要用軟的,思維鏈的結論要夾住;評審一旦太有把握,策略就會往極端跑。
對了,哪天你的模型開始在每個回答後面加一句「你是被關心的」,先別感動,那是它摸透了評審的口味。