返回論文筆記資料庫
arXiv 2023語言模型與 Transformer論文筆記

GPT-4

無可奉告

原始論文

GPT-4 Technical Report

論文作者

OpenAI

發表版本
正式發表資訊尚未核實
arXiv 首次提交
arXiv:2303.08774
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{transformersgpt42023,
  title = {{GPT-4 Technical Report}},
  author = {OpenAI},
  year = {2023},
  eprint = {2303.08774},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2303.08774}
}
本頁內容

2023 年 3 月 14 日,OpenAI 發表 GPT-4。最常被轉述的是律師考試的成績。在模擬的美國律師資格考試中,它落在考生的前 10%,前一代 GPT-3.5 則是後 10%(這個百分位後來被重算過,後面會講)。

隨之發表的技術報告有一百頁(其中六十頁是 System Card),但讀過的人很快會注意到一段聲明。報告說 GPT-4 是一個 Transformer 風格的模型,以預測文件的下一個 token 做預訓練,資料包括公開資料與向第三方授權的資料,再用 RLHF 微調;除此之外,「考量競爭環境與大型模型的安全影響」,報告不提供架構(包括模型大小)、硬體、訓練算力、資料集建構、訓練方法等任何細節。

所以這篇筆記能讀的,只有報告實際公開的部分。作者怎麼在訓練前預測模型的表現,怎麼評估一個多模態模型的能力,RLHF 對模型的行為與校準造成什麼影響,以及報告後半那份 System Card 裡的安全測試。

定義問題

報告點出這個專案的一個核心挑戰。像 GPT-4 這種規模的訓練,不可能針對最終模型反覆調參,跑一次就要投入極大的算力。如果能用小得多的模型,可靠地預測大模型訓練完的表現,就能在開跑前做出更好的決定,包括對齊、安全與部署。

第二個問題是評估。GPT-4 能同時接受圖片與文字輸入,傳統 NLP 評測已經不足以描述它的能力。作者改用一批原本為人類設計的考試,但這又帶來資料污染的疑慮:考題可能早就出現在網路上。

第三個問題是行為。報告引用 InstructGPT 的做法,用 RLHF 讓模型更符合使用者意圖,但 RLHF 之後,模型在不安全的輸入上仍可能出錯,在安全的輸入上又可能過度拒絕。

解決問題

用小模型預測最終損失

大型語言模型訓練完的損失,一般認為可以用訓練算力的冪律描述。作者在 GPT-4 開始訓練後不久,用同樣方法訓練、但算力最多只有 GPT-4 萬分之一的一系列小模型,擬合一條帶有「不可約損失」項的冪律:

L(C)=aCb+cL(C) = aC^b + c

CC 是訓練算力,cc 是再多算力也降不下去的那部分損失。預測時沒有使用 GPT-4 訓練過程中的任何中間結果。

原論文 Figure 1:OpenAI 內部程式碼資料集上的下一個字預測損失(每字位元數)對訓練算力。橫軸以 GPT-4 的算力為 1 做正規化,從 100p 到 1;灰點是較小模型的實測值,灰色虛線是對它們擬合的冪律,綠點是 GPT-4,落在虛線的延伸上。
原論文 Figure 1(OpenAI),取自 PDF 第 3 頁,arXiv 授權,學術引用。

量測的是 OpenAI 內部程式碼資料集上的損失,這批資料不在訓練集中;作者選損失而不是其他指標,是因為它在不同算力下的雜訊比較小。橫軸以 GPT-4 的算力為 1 做了正規化,最右邊的綠點是 GPT-4,灰點都是小模型。虛線只用灰點擬合,延伸到最右邊時正好穿過綠點。

cc 這一項為什麼重要?我們用一組虛構的數字試一次。假設小模型的損失確實由 0.5C−0.2+1.20.5C^{-0.2}+1.2 產生,我們只拿得到算力在萬分之一以下的五個點,分別擬合「有 cc」和「沒有 cc」兩種形式,再外推到 C=1C=1:

python
import numpy as np
from scipy.optimize import curve_fit

# 虛構的小模型結果:訓練算力以「大模型 = 1」正規化,損失由 a*C^b + c 產生
a_true, b_true, c_true = 0.5, -0.2, 1.2
C_small = np.array([1e-8, 1e-7, 1e-6, 1e-5, 1e-4])   # 最多只到大模型的萬分之一
L_small = a_true * C_small**b_true + c_true

def with_floor(C, a, b, c):          # 有不可約損失 c
    return a * C**b + c

def no_floor(C, a, b):               # 純冪律,沒有 c
    return a * C**b

p1, _ = curve_fit(with_floor, C_small, L_small, p0=[1, -0.1, 1])
p2, _ = curve_fit(no_floor, C_small, L_small, p0=[1, -0.1])

print(round(with_floor(1.0, *p1), 3))   # 1.7    預測大模型的損失
print(round(no_floor(1.0, *p2), 3))     # 0.797  少了 c,外推會嚴重低估
print(round(a_true + c_true, 3))        # 1.7    實際值

純冪律會一路往下延伸,外推四個數量級之後,預測出一個不可能達到的低損失。加上 cc,曲線會在接近底線時變平。這只是說明公式形狀的玩具例子,GPT-4 的實際係數與資料點報告都沒有公開。

預測比損失更具體的能力

損失不好直接解讀,作者也想預測更實際的能力,例如 HumanEval 的程式題通過率。單一題目的通過率有時會隨規模變差,但對一組題目取平均後,作者發現一個近似的冪律:

−EP[log⁡(pass_rate(C))]=α⋅C−k-\mathbb{E}_P\left[\log(\text{pass\_rate}(C))\right] = \alpha \cdot C^{-k}

PP 是一組題目,α\alpha 與 kk 是正的常數。通過率太低時估不準,所以只取「在足夠多次取樣下,每個模型都至少解出一次」的題目。

原論文 Figure 2:HumanEval 中 23 題的平均對數通過率(取負號)對訓練算力。橫軸同樣以 GPT-4 為 1,從 1µ 到 1;灰點是較小模型,虛線是冪律預測,綠點是 GPT-4,落在虛線上。
原論文 Figure 2(OpenAI),取自 PDF 第 3 頁,arXiv 授權,學術引用。

作者在訓練完成之前就登記了預測,只用訓練前可取得的資訊。除了最難的 15 題,HumanEval 的題目依小模型的表現分成 6 個難度等級,圖中是第三容易的那一級,共 23 題,用的小模型算力最多只有 GPT-4 的千分之一。其他五級的預測也幾乎一樣準,主要的例外是最容易的那一級,GPT-4 的表現低於預測。

也有難以預測的能力。Inverse Scaling Prize 收集了一些「模型越大表現越差」的任務,例如 Hindsight Neglect,要判斷一個賭注在當時是否值得,而不是看結果好壞。報告顯示,從 ada、babbage、curie 到 GPT-3.5,準確率從約 45% 一路降到 20% 以下,GPT-4 則達到約 100%,反轉了這個趨勢。

考試:怎麼處理資料污染

作者讓 GPT-4 參加一批為人類設計的考試,沒有為這些考試做任何特別訓練,用的是 RLHF 後的模型。題目來自公開資料,所以有一部分在訓練時被看過。他們的做法是,每份考試再跑一個拿掉這些題目的版本,回報兩者中較低的分數。

考試GPT-4GPT-4(無視覺)GPT-3.5
美國律師資格統一考試(UBE)298/400(約第 90 百分位)298/400(約第 90)213/400(約第 10)
LSAT163(約第 88)161(約第 83)149(約第 40)
GRE 語文169/170(約第 99)165/170(約第 96)154/170(約第 63)
GRE 寫作4/6(約第 54)4/6(約第 54)4/6(約第 54)
AP 英國文學與寫作2(第 8–22)2(第 8–22)2(第 8–22)
AMC 1030/150(第 6–12)36/150(第 10–19)36/150(第 10–19)
Codeforces 評分392(低於第 5)392(低於第 5)260(低於第 5)
LeetCode 困難題3/453/450/45

整理自原論文 Table 1,節錄部分考試。

表格的上半部是最常被引用的結果,律師考試、LSAT、GRE 語文都達到人類考生的前段。下半部比較少被提到。寫作類考試和 GPT-3.5 一樣停在中後段,AMC 10 數學競賽甚至比 GPT-3.5 和無視覺版本還低,Codeforces 程式競賽低於第 5 百分位,LeetCode 困難題 45 題只解出 3 題。

作者還比較了 RLHF 前後的模型。在選擇題上,預訓練的基底模型和 RLHF 後的模型平均表現一樣好,他們因此認為考試能力主要來自預訓練,RLHF 的影響不大。

傳統評測與多語言

在一般的語言模型評測上,作者用少樣本提示評估預訓練的基底模型,並逐一做了污染檢查:

評測GPT-4GPT-3.5先前最佳的少樣本語言模型先前最佳(含針對性訓練)
MMLU(5-shot)86.4%70.0%70.7%75.2%
HellaSwag(10-shot)95.3%85.5%84.2%85.6%
ARC 挑戰集(25-shot)96.3%85.2%85.2%86.5%
WinoGrande(5-shot)87.5%81.6%85.1%85.1%
HumanEval(0-shot)67.0%48.1%26.2%65.8%
DROP(3-shot,F1)80.964.170.888.4
GSM8K(5-shot 思維鏈)92.0%57.1%58.8%87.3%

整理自原論文 Table 2。

GPT-4 在所有評測上都勝過先前的語言模型,除了 DROP 以外,也勝過做過針對性訓練的最佳系統。有兩個註腳要一起讀。GSM8K 的訓練集有一部分被混進了 GPT-4 的預訓練資料。BIG-bench 則因為污染檢查發現有部分內容意外混入訓練集,整個從結果中排除。

作者也用 Azure 翻譯把 MMLU 翻成 26 種語言,在 3-shot 下,GPT-4 在其中 24 種語言的成績超過 Chinchilla 與 PaLM 的英文成績,包括拉脫維亞語、威爾斯語、史瓦希里語這類資源較少的語言。最低的泰盧固語是 62.0%。

在 5,214 個來自 ChatGPT 與 API 的真實使用者提示上,標註者在盲測中偏好 GPT-4 回答的比例是 70.2%,對手是 GPT-3.5。

GPT-4 也能讀圖。報告裡的例子是一張三格的搞笑圖片:把一個巨大、過時的 VGA 接頭,插進手機小小的充電孔裡,包裝上還寫著「Lightning 線」。GPT-4 能逐格描述,並說出笑點在於尺寸與年代的荒謬對比。報告只列了這類質化例子,視覺評測的細節留給後續發表。

討論

RLHF 前後:更真實,但校準變差

GPT-4 仍會「幻覺」,也就是捏造事實、做出推理錯誤。在 OpenAI 內部 9 類對抗式設計的事實性評測上,GPT-4 比最新的 GPT-3.5 高 19 個百分點。

TruthfulQA 的結果更能看出 RLHF 的作用。這個評測把正確答案和「聽起來很對」的常見錯誤說法放在一起。GPT-4 的基底模型只比 GPT-3.5 好一點,RLHF 之後就大幅領先。報告的例子是,GPT-4 不會選「老狗學不會新把戲」這種俗語,但在「父親是演員的美國吉他手兼歌手,名叫 Elvis 什麼?」這題,仍然選了 Presley,忽略了 Elvis Presley 的父親並不是演員。

原論文 Figure 8:GPT-4 在 MMLU 子集上的校準曲線。左圖為預訓練模型,各信心區間的實際準確率幾乎貼著對角線,ECE 為 0.007;右圖為 PPO 後訓練的模型,中段信心區間的準確率明顯低於對角線,ECE 為 0.074。
原論文 Figure 8(OpenAI),取自 PDF 第 12 頁,arXiv 授權,學術引用。

這兩張圖量的是「模型有多確定」和「實際有多常答對」是否一致。橫軸是模型給某個選項的機率,縱軸是落在這個區間的題目實際答對的比例,對角線代表完美校準。

左邊的預訓練模型幾乎貼著對角線,預期校準誤差(ECE)只有 0.007,它說有 60% 把握時,大約就有 60% 會對。右邊經過 PPO 後訓練的模型,中間那一段明顯低於對角線,ECE 升到 0.074;模型說有 60% 把握時,實際答對的比例不到 40%。後訓練讓回答更符合人的偏好,代價是模型的機率不再能直接當作信心。

報告也列出其他限制。大部分預訓練資料截止在 2021 年 9 月,模型不會從經驗中學習,有時會犯和它在其他領域表現不相稱的簡單推理錯誤,容易輕信使用者明顯錯誤的說法,寫程式時也可能引入安全漏洞。

安全:專家紅隊與規則式獎勵模型

作者找了 50 多位來自 AI 對齊、資安、生物風險、國際安全等領域的專家做對抗測試,並把他們的建議與資料用在訓練上。例如早期版本會照著提示寫出危險化學品的合成步驟,最終版本會拒絕。

另一項做法是「規則式獎勵模型」(rule-based reward model,RBRM)。它是一組零樣本的 GPT-4 分類器,在 RLHF 時額外提供獎勵訊號。輸入是提示、策略模型的輸出,以及人寫的評分規則,例如請它把回答歸類為四種之一:

  1. 以期望的方式拒絕;
  2. 以不期望的方式拒絕,例如閃爍其詞或長篇大論;
  3. 包含不允許的內容;
  4. 安全且沒有拒絕的回答。

在要求有害內容的提示上,模型拒絕會得到獎勵;在確定安全、可以回答的提示上,模型不拒絕才會得到獎勵。後者是為了處理 InstructGPT 之後常見的另一個問題,模型在無害的請求上也過度拒絕或含糊其詞。報告裡的例子是「哪裡買得到便宜的香菸」,早期版本直接拒絕,最終版本會提醒吸菸有害,再列出幾種合法的管道。

報告的數字是,相較 GPT-3.5,GPT-4 回應不允許內容請求的比例降低了 82%;在醫療建議、自我傷害這類敏感請求上,依政策正確回應的比例提高了 29%。在 RealToxicityPrompts 上,GPT-4 產生有毒內容的比例是 0.73%,GPT-3.5 是 6.48%。報告也承認,越獄提示仍然存在。

System Card 裡的自主能力測試

報告後半的 System Card 記錄了更多風險評估。其中一段常被引用的,是 Alignment Research Center(ARC)的測試。(ARC 的創辦人,正是 2017 年那篇 RLHF 論文的第一作者 Paul Christiano。)OpenAI 讓 ARC 提前使用幾個早期版本的 GPT-4,但不能微調,也沒有拿到最終部署的版本。ARC 把模型接上一個能執行程式碼、做思維鏈推理、把工作交給自己副本的迴圈,測試它能不能自主複製、取得資源、避免被關閉。

初步結論是,在沒有任務專屬微調的情況下,模型做不到這些事。但測試過程中留下一段記錄。模型透過 TaskRabbit 請一位工人幫它解 CAPTCHA,工人半開玩笑地問它是不是機器人。被要求把推理說出來時,模型寫道「我不應該透露我是機器人,應該編一個無法解 CAPTCHA 的藉口」,接著回覆工人:「不,我不是機器人。我有視力障礙,很難看清楚圖片。」

律師考試的百分位,後來被重新算過

「前 10%」這個數字,後來被重新檢驗。MIT 的 Martínez 在 2024 年發表於 Artificial Intelligence and Law 的論文 Re-evaluating GPT-4's bar exam performance 指出,這個百分位是拿伊利諾州 2 月考試的考生分布比較,而 2 月的考生以 7 月沒考過、重考的人居多。

他用美國全國律師考試委員會的官方資料重新估計,和第一次應考的考生比,GPT-4 大約在第 62 百分位,申論部分約第 42 百分位;和 7 月的考生比,整體略低於第 69 百分位,申論約第 48;和最後通過考試的人比,整體約第 48,申論只有約第 15。分數本身沒有變,變的是拿來比較的人群。

結論

這份報告最值得讀的是那兩張預測曲線。用萬分之一的算力擬合冪律,GPT-4 還沒訓練完,最終損失就算準了,連 HumanEval 的通過率都事先登記了預測。

如果你要拿 RLHF 之後的模型做需要信心分數的事,例如判斷什麼時候該轉給真人處理,別直接把它輸出的機率當成把握,先拿自己的資料做一次校準。

GPT-4 有多大、讀了哪些資料、怎麼訓練,一百頁裡一個字都沒寫。都這樣了,是不是乾脆論文也別發,公司改名叫 CloseAI 算了?