返回論文筆記資料庫
arXiv 2021模型評測論文筆記

Codex

測試說了算

原始論文

Evaluating Large Language Models Trained on Code

論文作者

Mark Chen · Jerry Tworek · Heewoo Jun …

查看全部 58 位作者

Mark Chen · Jerry Tworek · Heewoo Jun · Qiming Yuan · Henrique Ponde de Oliveira Pinto · Jared Kaplan · Harri Edwards · Yuri Burda · Nicholas Joseph · Greg Brockman · Alex Ray · Raul Puri · Gretchen Krueger · Michael Petrov · Heidy Khlaaf · Girish Sastry · Pamela Mishkin · Brooke Chan · Scott Gray · Nick Ryder · Mikhail Pavlov · Alethea Power · Lukasz Kaiser · Mohammad Bavarian · Clemens Winter · Philippe Tillet · Felipe Petroski Such · Dave Cummings · Matthias Plappert · Fotios Chantzis · Elizabeth Barnes · Ariel Herbert-Voss · William Hebgen Guss · Alex Nichol · Alex Paino · Nikolas Tezak · Jie Tang · Igor Babuschkin · Suchir Balaji · Shantanu Jain · William Saunders · Christopher Hesse · Andrew N. Carr · Jan Leike · Josh Achiam · Vedant Misra · Evan Morikawa · Alec Radford · Matthew Knight · Miles Brundage · Mira Murati · Katie Mayer · Peter Welinder · Bob McGrew · Dario Amodei · Sam McCandlish · Ilya Sutskever · Wojciech Zaremba

發表版本
正式發表資訊尚未核實
arXiv 首次提交
arXiv:2107.03374
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{modelevaluationcodex2021,
  title = {{Evaluating Large Language Models Trained on Code}},
  author = {Mark Chen and Jerry Tworek and Heewoo Jun and Qiming Yuan and Henrique Ponde de Oliveira Pinto and Jared Kaplan and Harri Edwards and Yuri Burda and Nicholas Joseph and Greg Brockman and Alex Ray and Raul Puri and Gretchen Krueger and Michael Petrov and Heidy Khlaaf and Girish Sastry and Pamela Mishkin and Brooke Chan and Scott Gray and Nick Ryder and Mikhail Pavlov and Alethea Power and Lukasz Kaiser and Mohammad Bavarian and Clemens Winter and Philippe Tillet and Felipe Petroski Such and Dave Cummings and Matthias Plappert and Fotios Chantzis and Elizabeth Barnes and Ariel Herbert-Voss and William Hebgen Guss and Alex Nichol and Alex Paino and Nikolas Tezak and Jie Tang and Igor Babuschkin and Suchir Balaji and Shantanu Jain and William Saunders and Christopher Hesse and Andrew N. Carr and Jan Leike and Josh Achiam and Vedant Misra and Evan Morikawa and Alec Radford and Matthew Knight and Miles Brundage and Mira Murati and Katie Mayer and Peter Welinder and Bob McGrew and Dario Amodei and Sam McCandlish and Ilya Sutskever and Wojciech Zaremba},
  year = {2021},
  eprint = {2107.03374},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2107.03374}
}
本頁內容

2021 年 6 月底,GitHub 推出 Copilot 的技術預覽版。在編輯器裡寫好函式名稱和註解,它就把函式本體補完。一週後,OpenAI 發表這篇論文,介紹背後的模型 Codex;論文第一段就寫明,Copilot 用的是另一個生產版本的 Codex。

這個想法來自 GPT-3。作者早先發現,GPT-3 讀了 Python 的 docstring 之後,能寫出一些簡單的程式。功能很陽春,但 GPT-3 從沒特別為程式碼訓練過。於是他們拿 GPT 在 GitHub 的程式碼上繼續訓練,看它能寫到什麼程度。

不過這篇論文花最多力氣的地方,是「怎麼判斷模型寫得好不好」。它留下的 HumanEval 和 pass@k,後來成了程式模型的標準考卷和計分方式,比 Codex 本身活得還久。

定義問題

在這之前,生成程式碼的模型多半用比對來評分。把模型寫的程式和參考答案比,完全一樣或 BLEU 分數夠高,就算寫得好。

問題是程式有無數種寫法。return [i + 1 for i in l] 和用 for 迴圈逐一 append,功能完全一樣,字面上卻差很多;反過來,只差一個字元的兩段程式,可能一個對、一個錯。作者後面也實際檢查了,Codex 寫錯的程式,BLEU 分數常常比寫對的還高。

作者主張改看功能正確性,程式跑過單元測試才算對。這也是工程師平常判斷程式的方式,測試驅動開發就是先把需求寫成測試,再寫實作。

要這樣評分,得先處理三件事:

  1. 考題不能出現在訓練資料裡。 Codex 讀過大半個 GitHub,而 GitHub 上光是 Codeforces 題目的解答,就有十幾個公開的 repo。
  2. 一題抽很多個答案時,分數要怎麼算才公平。
  3. 模型寫的程式不可信,要有地方安全地執行。

第三件是工程問題。作者用 gVisor 容器執行環境把主機和容器隔開,再用 eBPF 防火牆擋掉實驗控制以外的所有網路連線。前兩件則是 HumanEval 和 pass@k。

HumanEval

作者手寫了 164 道題,每題有函式簽名、docstring、參考解答,平均 7.7 個單元測試。題目涵蓋語言理解、推理、演算法和簡單數學,有些和簡單的軟體面試題差不多難。

原論文 Figure 2:HumanEval 的三道範例題。白底是給模型的提示,包含函式簽名與 docstring;黃底是模型寫出且通過測試的答案。第一題把串列每個元素加一,第二題加總偶數位置上的奇數,第三題要根據 encode_cyclic 寫出解碼函式 decode_cyclic。
原論文 Figure 2(Chen 等人),取自 PDF 第 3 頁,arXiv 授權,學術引用。

白底是給模型的提示,黃底是模型寫出的答案。三題由易到難,Codex-12B 抽一次就寫對的機率分別是 0.9、0.17 和 0.005。最難的那題要先看懂 encode_cyclic 怎麼把每三個字元輪轉一次,再寫出反過來的操作。

提示只有標頭、函式簽名和 docstring。模型會一直往下寫,所以遇到 \nclass、\ndef、\n#、\nif、\nprint 就停,否則它會接著寫下一個函式或測試程式。

pass@k

一題可以讓模型抽很多次。pass@k 指的是抽 k 個答案,只要有一個通過測試,這題就算解出,再把所有題目平均。

最直接的算法是每題真的抽 k 次,但這樣變異很大。作者改成每題抽 n≥kn \ge k 個樣本(論文用 n=200n=200、k≤100k\le100),數出其中有 cc 個通過,再這樣估計:

pass@k=E題目[1−(n−ck)(nk)]\text{pass@}k = \mathop{\mathbb{E}}_{\text{題目}}\left[1-\frac{\binom{n-c}{k}}{\binom{n}{k}}\right]

分數那一項是「從 nn 個樣本裡隨機拿 kk 個,全部都是錯的」的機率;一減掉它,就是 kk 個裡至少有一個對的機率。

組合數直接算會非常大,所以論文附了一個數值穩定的寫法,把連乘逐項展開。我們拿它算一題:

python
import numpy as np
from math import comb

def pass_at_k(n, c, k):
    """論文 Figure 3 的寫法:n 個樣本中有 c 個通過,估計 pass@k"""
    if n - c < k:
        return 1.0
    return 1.0 - np.prod(1.0 - k / np.arange(n - c + 1, n + 1))

n, c = 200, 10              # 一題抽 200 次,10 次通過測試
for k in (1, 10, 100):
    exact = 1 - comb(n - c, k) / comb(n, k)       # 直接用組合數算
    naive = 1 - (1 - c / n) ** k                  # 拿 pass@1 硬推
    print(f"k={k:3d}  unbiased={pass_at_k(n, c, k):.4f}  comb={exact:.4f}  naive={naive:.4f}")

# k=  1  unbiased=0.0500  comb=0.0500  naive=0.0500
# k= 10  unbiased=0.4085  comb=0.4085  naive=0.4013
# k=100  unbiased=0.9992  comb=0.9992  naive=0.9941

穩定的寫法和直接算組合數的結果一樣。直覺的 1−(1−p^)k1-(1-\hat p)^k 則略為偏低,論文在附錄證明它一定會低估。它相當於從 nn 個樣本裡「放回」抽 kk 次,而無偏的估計是不放回地抽。

還有一個更容易踩的坑,pass@k 要每題各自估計再平均,不能拿整份資料集的 pass@1 去推。拿三道難度差很多的題目當例子,單次通過機率分別是 0.9、0.17、0.005,也就是 HumanEval 範例裡那三題。假設每題抽 200 次,分別有 180、34、1 次通過。

三題的 pass@1 平均是 0.358,拿它去推 pass@100 會得到 1.0。實際上最難那題 200 次只對 1 次,隨機拿 100 個,只有一半的機會拿到那一個,所以三題平均是 0.833。題目難度差很多的時候,簡單題的成績會把難題蓋過去。

解決問題

Codex:在 GitHub 上繼續訓練 GPT

訓練資料是 2020 年 5 月從 GitHub 5,400 萬個公開 repo 收集的 Python 檔,去重後、小於 1MB 的檔案共 179GB。作者再過濾掉可能是自動產生的檔案、平均行長超過 100、最長一行超過 1,000,或英數字元比例太低的檔案,最後剩 159GB。

模型從 GPT-3 家族的權重開始微調,最大 120 億參數。作者原本以為 GPT 已經有很強的自然語言表示,從它開始會比較好;結果最後的表現和從頭訓練差不多,作者猜是因為微調資料量太大。不過從 GPT 開始收斂比較快,所以後續實驗都這麼做。訓練共 1,000 億個 token,學習率沿用對應 GPT 模型的設定。

分詞器也沿用 GPT-3 的,但程式碼裡的字詞分布和自然語言差很多,最浪費的是縮排的空白。作者另外加了一組 token,代表不同長度的連續空白,同樣的程式碼大約少用 30% 的 token。

取樣用 nucleus sampling,top p = 0.95,溫度則要跟著 k 調。以 679M 的模型來說,pass@1 的最佳溫度是 0.2,pass@100 是 0.8。k 大的時候,樣本彼此越不同越好,反正只要有一個對就算。

原論文 Figure 1:HumanEval 通過率對非嵌入參數量(十萬到一百二十億,對數軸)。所有樣本以溫度 0.8 取樣。12B 時,GPT-3 的 pass@1 為 0,Codex 約 0.22,Codex-S 約 0.32;Codex-S 抽 100 個樣本、以平均對數機率挑一個約 0.45,由知道測試結果的 oracle 挑選接近 0.8。
原論文 Figure 1(Chen 等人),取自 PDF 第 2 頁,arXiv 授權,學術引用。

這張圖把整篇的結果放在一起。橫軸是非嵌入參數量。藍線是 GPT-3 的 pass@1,一路貼在 0;橙線是 Codex,綠線是下一節的 Codex-S。圖裡的樣本一律用溫度 0.8,所以這兩條 pass@1 比論文報告的最佳成績低;改用各自最適合的溫度,12B 的 Codex 抽一次解出 28.8%,Codex-S 是 37.7%。紅線和紫線都是讓 Codex-S 每題抽 100 個樣本,差別在怎麼挑。紅線挑平均對數機率最高的那個,44.5%;紫線由一個知道測試結果的 oracle 挑,100 個裡有一個通過就算,77.5%。

和其他模型比:

模型pass@1pass@10pass@100
TabNine2.58%4.35%7.59%
GPT-Neo 2.7B6.41%11.27%21.37%
GPT-J 6B11.62%15.74%27.74%
Codex-300M13.17%20.37%36.27%
Codex-2.5B21.36%35.42%59.50%
Codex-12B28.81%46.81%72.31%

整理自原論文 Table 1。

GPT-Neo 和 GPT-J 是 EleutherAI 用 The Pile 訓練的開源模型,資料裡約 8% 是 GitHub 程式碼,GPT 系列在同樣大小下幾乎是 0。GPT-J 6B 大約和 Codex-300M 相當,參數多了 20 倍。TabNine 是當時主流的程式自動補全工具,它最大的免費模型大約和 Codex-12M 相當。

Codex-S:讓訓練資料更像考題

GitHub 上的 Python 不只有獨立函式,還有類別、設定檔、腳本,甚至拿來存資料的檔案,和「讀 docstring 寫函式」差很遠。作者另外收集了一批正確實作的獨立函式,再做一次監督式微調,稱為 Codex-S。

資料有兩個來源:

  • 競賽與面試練習網站:題目描述當 docstring,加上函式簽名與解答。完整測試通常不公開,作者就用題目敘述裡的範例建測試,或者故意提交錯誤的解答,從回饋中挖出更多測試案例。共 10,000 題。
  • 有持續整合(CI)的開源專案:用 Python 的 sys.setprofile 追蹤整合測試時每個函式的輸入與輸出,再把它們變成單元測試。作者照 travis 和 tox 的設定檔建環境、跑測試,也用了 PyPI 上的套件。這類函式多半是命令列工具的零件,考的是照著 docstring 實作功能,而不是演算法。共約 40,000 題。

自動收集的題目品質參差,有的描述不完整,正確的答案也會被測試判錯;有的帶有狀態,每次跑的結果不同。作者讓 Codex-12B 對每題抽 100 個答案,一個都過不了的,就當作題目有問題或太難,直接刪掉;這個檢查重跑了幾次,把結果不穩定的題目也篩掉。

訓練時只對參考解答計算損失,提示的部分遮掉。學習率是 Codex 的十分之一,訓練到驗證損失不再下降,用不到 100 億個 token。

在各個模型大小上,Codex-S 的 pass@1 平均比 Codex 高 6.5 個百分點,pass@100 高 15.1 個百分點。

沒有測試的時候怎麼挑

pass@k 假設有人知道哪個答案是對的。實際當成自動補全用的時候,使用者只會看到一個建議,手邊也沒有單元測試。

作者比較了幾種挑法。挑「平均每個 token 的對數機率」最高的樣本,比隨機挑好;改挑「總對數機率」最高的,反而可能比隨機還差一點。

另一個想法是反過來寫。作者訓練了 Codex-D,讀程式碼、寫 docstring,再用它算「從這段程式碼寫回原本 docstring」的機率,挑最高的那個。這個方法勝過隨機,但輸給平均對數機率,而且很快就過擬合。

Codex-D 本身也有點意思。作者人工評分它寫的 docstring,能唯一而正確地描述程式才算對;它的 pass@1 是 20.3%,同樣條件下 Codex-S 寫程式是 32.2%。作者提到一個可能的原因,開發者寫 docstring 本來就不太用心,模型甚至學會寫出「I just found this function online」和「This test is not correctly written and it's not my solution」。

討論

說明越長,越寫不對

作者用 13 個簡單的字串操作當零件,例如「把字串轉成小寫」「刪掉每第三個字元」,串成越來越長的 docstring,再看 Codex-12B 寫不寫得出來。

原論文 Figure 11:合成任務中,Codex-12B 的通過率對 docstring 串接的零件數(1 到 7)。一個零件時約 0.24,兩個約 0.07,三個約 0.05,四個約 0.01,五個以上為 0。
原論文 Figure 11(Chen 等人),取自 PDF 第 10 頁,arXiv 授權,學術引用。

每多串一個零件,通過率大約掉成原來的二分之一到三分之一,串到五個以上就是 0。人類工程師不會這樣,會寫兩步的人,寫七步只是比較花時間。

另一個問題是把操作綁到正確的變數上。論文舉了這個例子,要求「y 加 3,x 和 w 都減 4,回傳四個數的乘積」:

python
def do_work(x, y, z, w):
    """ Add 3 to y, then subtract 4
    from both x and w. Return the
    product of the four numbers. """
    t = y + 3
    u = x - 4
    v = z * w
    return v

Codex-12B 沒有把 w 減 4,最後也只回傳了兩個數的乘積。

明明會,卻跟著寫錯

這是論文裡最有遠見的一個實驗。作者在提示裡先放幾個範例,一組是正確的程式,另一組帶著細微的錯誤,例如差一的邊界錯誤或打錯一個字元,再要模型寫下一題。

原論文 Figure 12:pass@1 對非嵌入參數量。綠線為上下文放正確範例,橙線為放有細微錯誤的範例,灰線為不放範例。小模型三條線幾乎重疊;模型越大,橙線越落後,12B 時綠線約 0.29、橙線約 0.22。
原論文 Figure 12(Chen 等人),取自 PDF 第 11 頁,arXiv 授權,學術引用。

綠線是看了正確範例,橙線是看了有錯的範例,灰線是沒有範例。模型小的時候三條線差不多;模型越大,橙線落後越多,12B 時大約是 0.22 對 0.29。作者也試過在提示裡明白要求「寫正確的程式」,只有一點幫助。

Codex 的訓練目標是模仿訓練資料,上下文裡有 bug,它就跟著寫有 bug 的程式。它有能力寫對,卻沒照使用者真正想要的做。論文把這叫做未對齊(misalignment),並和「能力不足」分開:做不到是能力問題,做得到卻不做才是未對齊。麻煩的是,這個差距隨模型變大而擴大。論文在附錄列出的改善方向裡,就包括用人類回饋做強化學習。

危害分析

論文第 7 節是一份危害分析,篇幅不輸前面的實驗。

  • 過度依賴:Codex 可能給出看起來對、其實沒做到使用者要求的程式,新手特別容易中招。能力越強,人越容易放下戒心。
  • 安全性:模型可能寫出有漏洞的程式。作者測試後認為,以當時的能力,Codex 並沒有明顯降低寫惡意程式的門檻。
  • 經濟:工程師一天不是只在寫程式,短期影響有限;但 Codex 引用各個套件的頻率不同,被推薦的套件作者可能因此得利。
  • 法律:生成的程式和訓練資料完全相同的情況少於 0.1%,而且多半是語言裡反覆出現的慣用寫法。

後來的事

HumanEval 很快成了程式模型的標準考卷,幾乎每份 LLM 技術報告都會列它的 pass@1。只是 164 題、平均 7.7 個測試,用久了就看得到漏洞。2023 年的 EvalPlus 替每題自動補了大量測試,總數約為原本的 80 倍,各模型的 pass@k 最多掉了 19.3% 到 28.9%,排名也跟著變動。原本「通過」的程式,有不少只是剛好沒被測到。

分數也很快被推到頂。2023 年的 GPT-4 是 67%,到了 2024 年,前沿模型的 pass@1 已經超過九成。大家只好改用更像真實工作的評測,例如要模型修好 GitHub issue 的 SWE-bench。

至於 Codex 這個模型,OpenAI 在 2023 年 3 月就停用了 API 上的 Codex 系列。名字倒是沒浪費。2025 年 4 月,OpenAI 推出在終端機裡寫程式的 Codex CLI,5 月又推出雲端的程式代理,兩個都叫 Codex。

結論

Codex 證明了,GPT 在大量程式碼上繼續訓練之後,就能從 docstring 寫出能跑的函式。12B 抽一次可以解出 28.8% 的 HumanEval;每題抽 100 次,七成以上的題目至少會寫對一次。

這篇留得最久的是評分的規矩。程式的對錯交給測試判斷,不和參考答案比字面;pass@k 每題各自估計,再平均。後來幾年的程式模型,幾乎都照這套規矩比。

所以 docstring 寫得隨便,模型寫出來的東西也很難多認真。它在 GitHub 上讀過的 docstring,連「I just found this function online」都有。