返回論文筆記資料庫
arXiv 2023ICLR 2024模型評測論文筆記

SWE-bench

真槍實彈

原始論文

SWE-bench: Can Language Models Resolve Real-World GitHub Issues?

論文作者

Carlos E. Jimenez · John Yang · Alexander Wettig …

查看全部 7 位作者

Carlos E. Jimenez · John Yang · Alexander Wettig · Shunyu Yao · Kexin Pei · Ofir Press · Karthik Narasimhan

發表版本
ICLR 2024會議
arXiv 首次提交
arXiv:2310.06770
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{modelevaluationswebench2023,
  title = {{SWE-bench: Can Language Models Resolve Real-World GitHub Issues?}},
  author = {Carlos E. Jimenez and John Yang and Alexander Wettig and Shunyu Yao and Kexin Pei and Ofir Press and Karthik Narasimhan},
  year = {2023},
  eprint = {2310.06770},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2310.06770}
}
本頁內容

2023 年,語言模型寫程式的能力,大多用 HumanEval 這類評測衡量:給一個函式簽名和說明,寫出函式本體,跑幾個單元測試。題目都是獨立的,幾行程式就能解決。

真實的軟體工作不是這樣。修一個 bug,可能要在幾千個檔案的專案裡找到相關的程式碼,搞懂不同檔案之間的函式怎麼互相呼叫,從一團複雜的邏輯裡找出那一行寫錯的地方,再改得不弄壞其他功能。

當時的評測一個接一個被做到接近滿分,已經量不出最強的模型到底能做到什麼。Princeton 的 Jimenez、Yang 等人把目光轉向 GitHub:開源專案裡有大量真實的問題回報(issue),以及實際修好它們的合併請求(pull request),還附帶專案自己的測試。

定義問題

好的評測要夠難,難倒現有的模型;答案又要容易驗證。程式題的好處在於能跑測試,但現有的程式評測太簡單、太乾淨。

作者想要的評測要符合幾個條件:題目來自真實的工作,輸入很長、很雜,要改的地方可能分散在好幾個檔案,用專案原本的測試來判斷對錯,而且能持續加入新題目,避免模型在訓練時已經看過答案。

解決問題

原論文 Figure 1:SWE-bench 的任務。左邊是輸入:一則 GitHub issue(例如 scikit-learn 回報 GBDT 在 warm start 時有資料洩漏),以及整個程式庫的快照(sklearn/、examples/、README.rst、setup.py 等)。中間是語言模型產生的修改,例如在 gradient_boosting.py 和 helper.py 增加 20 行、刪除 12 行。右邊是單元測試:同一組測試在修改前失敗、修改後通過(例如 join_struct_col、vstack_struct_col、dstack_struct_col),另一些修改前後都要通過(例如 matrix_transform、euclidean_diff)。
原論文 Figure 1(Jimenez 等人),取自 PDF 第 1 頁,CC BY 4.0。

任務很直接。給模型一則 issue 的文字和整個程式庫,要它產生一個修改,用 patch 檔的格式表示要改哪幾行。評估時用 Unix 的 patch 程式把修改套上去,再執行這一題相關的測試;修改能成功套用、而且測試全部通過,才算解決。整份評測的成績,就是解決的題目比例。

從九萬個合併請求篩到 2,294 題

作者分三個階段篩選:

  1. 挑專案、抓資料:選 12 個熱門的 Python 開源專案,總共抓到約 9 萬個合併請求。熱門專案通常維護得比較好,貢獻規範清楚,測試也比較完整。每個合併請求對應的程式庫版本,就是它的 base commit。
  2. 用屬性篩選:只留下已經合併、解決了某個 issue,而且有修改測試檔的合併請求。修改了測試檔,表示作者很可能加了測試來確認問題已經修好。
  3. 用執行結果篩選:先只套用合併請求裡的測試修改,記錄測試結果;再套用其餘的程式修改,記錄一次。至少要有一個測試從失敗變成通過,才留下來;安裝失敗或執行出錯的也刪掉。

最後剩下 2,294 題。

題目長什麼樣

原論文 Figure 3:SWE-bench 的 2,294 題在 12 個專案的分布圓餅圖。django 850 題最多,其次是 sympy 386、scikit-learn 229、sphinx 187、matplotlib 184、pytest 119、xarray 110、astropy 95、pylint 57、requests 44、seaborn 22、flask 11。
原論文 Figure 3(Jimenez 等人),取自 PDF 第 4 頁,CC BY 4.0。
項目平均最大
issue 文字長度(字)195.14,477
程式庫的檔案數(不含測試)3,0105,890
程式庫的行數(不含測試)438K886K
標準修改改動的行數32.85,888
標準修改改動的檔案數1.731
標準修改改動的函式數336
修改前失敗、修改後通過的測試數9.11,633
測試總數120.89,459

整理自原論文 Table 1;「標準修改」是實際合併的那份修改(gold patch)。

平均每題的程式庫有 3,000 個檔案、43.8 萬行程式,要改的卻只有 1.7 個檔案、30 多行。模型得在一大片程式碼裡,找到真正要改的那幾行。

測試分成兩種。修改前失敗、修改後通過(fail-to-pass,F2P)的測試,檢查 issue 回報的問題有沒有修好,每題至少一個,40% 的題目有兩個以上。修改前後都要通過(pass-to-pass,P2P)的測試,檢查原本的功能有沒有被改壞,每題的中位數是 51 個。

兩種測試都要通過才算解決。舉個簡單的例子,issue 回報 1900 年被誤判成閏年,F2P 測試就檢查 1900 年;如果修補只加上「不能被 100 整除」,1900 年修好了,2000 年卻也變成平年,原本通過的 P2P 測試會抓到這個錯。

這樣設計的好處

  • 真實:題目和解答都是使用者實際提交的,要的是資深工程師的技能。
  • 能持續更新:收集流程幾乎不需要人工,可以套用到任何 Python 專案。只要拿模型訓練截止之後才出現的 issue 來考,就能確定答案不在訓練資料裡。
  • 輸入又長又雜:issue 平均 195 字,程式庫動輒上千個檔案。
  • 跨檔案修改:不像 HumanEval 只改一個函式,或是填空式的題目,這裡沒有任何提示告訴你該改哪裡。
  • 解法開放:模型的修改不必和標準修改一樣,只要通過測試就算數;檢索、長上下文、代理(agent)等各種做法都能在同一個標準上比較。

全部 2,294 題跑一次很花時間和 API 費用,作者另外挑了 300 題組成 SWE-bench Lite,偏向比較獨立的功能性 bug,涵蓋 12 個專案中的 11 個。

SWE-Llama

開源模型裡,當時只有 CodeLlama 能處理這麼長的上下文,但現成的版本不太會照指示產生整個程式庫的修改,常常只輸出佔位文字或不相關的程式。作者用同樣的流程,從另外 37 個 Python 專案收集了 1.9 萬組 issue 和合併請求,這次不要求一定要有測試修改,專案也和評測完全不重疊。

用這份資料微調 CodeLlama-Python 7B 和 13B,得到 SWE-Llama。為了省記憶體,只用 LoRA 微調注意力層,並排除超過 3 萬 token 的訓練序列,實際用到約 1 萬筆。輸入是指示、issue 和相關的程式檔案,目標是產生標準修改。

怎麼把程式庫塞進上下文

平均 43.8 萬行的程式庫,不可能整個塞進當時的上下文。作者用兩種方式挑檔案:

  • BM25 檢索:用 issue 的文字當查詢,檢索相關的檔案,塞到 1.3 萬、2.7 萬或 5 萬個 token 的上限為止。程式碼配上自然語言查詢,而且查詢和文件都很長,作者認為不適合用稠密檢索。
  • Oracle 檢索:直接給標準修改動到的那幾個檔案。這不切實際,工程師一開始也不知道要改哪些檔案,但可以拿來分析。

上限 2.7 萬 token 時,BM25 大約四成的題目能把 oracle 的檔案全部找到,但也有將近一半的題目,一個都沒找到。

評測的模型有 ChatGPT-3.5(16K 上下文)、GPT-4(32K)、Claude 2(100K)和 SWE-Llama。上下文越短,能把 oracle 檔案完整放進去的題目就越少,GPT-4 是 84.1%,ChatGPT-3.5 只有 58.1%。

討論

幾乎都解不出來

模型解決修改能套用Lite 解決
Claude 3 Opus3.7946.564.33
Claude 21.9743.073.00
ChatGPT-3.50.1726.330.33
GPT-4-turbo1.3126.902.67
SWE-Llama 7b0.7051.741.33
SWE-Llama 13b0.7053.621.00

整理自原論文 Table 5;BM25 檢索,單位為 %。

最好的模型解決不到 4%,論文發表時最好的 Claude 2 不到 2%。有一半以上的修改,連格式都不對,根本套不上去。

給 oracle 檔案會好一些。Claude 2 從不到 2% 升到 4.80%,SWE-Llama 13b 是 3.97%,GPT-4(只測了隨機四分之一的題目)是 1.74%。

各專案的難度差很多

原論文 Figure 4:oracle 檢索下,ChatGPT-3.5、Claude 2、SWE-Llama 13b 在 12 個專案上的解決率長條圖。三個模型的高低趨勢相近;requests 最高,Claude 2 約 15%、SWE-Llama 13b 約 13%;flask 只有 SWE-Llama 13b 解出約 9%;seaborn 三個模型都是 0;ChatGPT-3.5 在大多數專案上都接近 0。
原論文 Figure 4(Jimenez 等人),取自 PDF 第 6 頁,CC BY 4.0。

三個模型在各專案的高低趨勢相似,但解出來的題目重疊不多。oracle 設定下,Claude 2 解出 110 題,SWE-Llama 13b 解出 91 題,而 SWE-Llama 解出的題目,Claude 2 只解出其中 42%。

有些專案的 issue 帶圖片,以 Markdown 的圖片連結嵌在文字裡。matplotlib 有 32% 的題目帶圖,seaborn 有 10%,整體只有 2%。這類題目可能需要多模態模型,或是能處理圖片的工具。

上下文越長,表現越差

Claude 2 的表現隨著輸入的總長度增加而明顯下降,其他模型也一樣。BM25 的上限從 1.3 萬放寬到 5 萬 token,找到 oracle 檔案的比例變高了,Claude 2 的解決率反而從 1.96% 降到 1.22%。模型看到太多和問題無關的程式碼,就找不到真正要改的地方。

作者另外做了一個「oracle 摺疊」的實驗:一樣給 oracle 檔案,但只保留標準修改動到的行,上下各留 15 行,其餘全部摺起來。Claude 2 從 4.8% 升到 5.9%,GPT-4 升到 3.40%。

其他觀察

  • 和 issue 的日期無關:把題目分成 2023 年以前和以後,大部分模型的表現差不多(GPT-4 只測了四分之一的題目,以後的那組是 0)。作者認為這表示模型就算看過舊版的程式庫,也很難靠背答案來作弊。
  • 微調的模型怕換上下文:SWE-Llama 是用 oracle 檔案訓練的,學到的是「給我的每個檔案都要改」;換成 BM25 給的一堆不相關檔案,表現就很差。
  • 寫 patch 比重寫整個檔案容易:模型平常看的多半是完整的程式檔,很少看到 patch,作者試過讓模型直接輸出修改後的整個檔案。結果反而更差,Claude 2 在 oracle 檢索下從 4.8% 掉到 2.2%。
  • 模型改得比較少:以整個修改檔的總行數(含上下文)來算,成功套用的修改平均只有 17 到 30 行,同一批題目的標準修改是 34 到 44 行,全部標準修改則是 74.5 行。模型幾乎都只改一個檔案。

一個沒修好的例子

原論文 Figure 6:Sphinx 的 sphinx-8713 這一題。左邊是模型的輸入:指示、issue(napoleon_use_param 也應該影響「Other Parameters」區段的輸出)、相關的程式碼。右上是標準修改:在 _parse_other_parameters_section 裡先檢查 self._config.napoleon_use_param,是的話改用 _format_docutils_params,否則維持原本的 _format_fields。右中是 SWE-Llama 的修改:同一個函式,直接一律改用 _format_docutils_params。右下是測試結果:45 個通過,2 個失敗,其中一個是 test_parameters_with_class_reference。
原論文 Figure 6(Jimenez 等人),取自 PDF 第 8 頁,CC BY 4.0。

這則 issue 說,Sphinx 的 napoleon 擴充套件在設定 napoleon_use_param 為 True 時,「Other Parameters」區段的格式不對。issue 寫得很詳細,還附上了可能有問題的程式碼片段。

oracle 設定下,輸入共 1,558 行、20,882 個 token。SWE-Llama 改對了函式,卻讓它不管設定是什麼,都當成 napoleon_use_param 為 True 來處理;標準修改則是先檢查設定,照著隔壁 _parse_parameters_section 的寫法。有一個測試正好在設定為 False 的情況下比對輸出,馬上抓到了這個錯。

作者看了 11 份 SWE-Llama 和 Claude 2 的輸出,歸納出幾個傾向。模型寫的程式很原始,不太會用現成的函式庫或程式庫裡已有的工具;解法很「貪心」,只針對 issue 描述的情況修,不太在意程式風格或專案的慣例,例如該用相對匯入還是絕對匯入。人寫的標準修改,常常順手做結構上的改進,連可能發生的相關問題也一起處理掉。

限制

  • 只有 Python:作者希望未來把同樣的收集流程用在其他語言。
  • 只建立基準線:論文用的是最簡單的做法,檢索幾個檔案、一次產生修改。作者鼓勵之後嘗試代理、搭配工具等其他做法。
  • 測試抓不到的地方:通過測試的程式,還是可能寫得不完整、沒效率或難讀;模型寫的修改常常在這些方面不如人寫的。

後來的事

作者在限制裡建議的代理做法,很快由同一個團隊做出來了。2024 年 5 月的 SWE-agent 替語言模型設計了一套專用的操作介面,讓它能瀏覽整個程式庫、開檔案、編輯、跑測試,在完整的 SWE-bench 上解決了 12.5% 的題目。

2024 年 8 月 13 日,OpenAI 發布了 SWE-bench Verified。他們請 93 位有經驗的 Python 開發者檢查了隨機抽出的 1,699 題,排除描述不清楚、或測試對正確解法不公平的題目,留下 500 題。在當時最好的開源框架下,GPT-4o 解決了 33.2%。

之後 SWE-bench Verified 成了各家發布新模型時,最常列出的程式能力指標。2024 年 10 月,升級版的 Claude 3.5 Sonnet 從 33.4% 提高到 49.0%;2025 年 5 月,Claude Opus 4 是 72.5%。這些都是在人工篩選過的 Verified 上,不能直接和原始 2,294 題的數字相比,但從不到 2% 走到七成,只花了一年半。

結論

SWE-bench 從 12 個熱門 Python 專案的 9 萬個合併請求裡,篩出 2,294 個真實的 issue,用專案自己的測試判斷有沒有修好。論文發表時,最好的 Claude 2 只解出不到 2%,給它正確的檔案也只有 4.8%。

難的地方不只是寫程式。模型得在 43.8 萬行的程式庫裡找到要改的那 30 行,給它的程式碼越多,反而越找不到;改了還要不弄壞其他功能,每題的 P2P 測試中位數有 51 個在旁邊看著。

這份評測設計得夠真實,所以沒有很快被做到滿分。一年半後,排行榜上的數字從個位數爬到七成,靠的不只是模型變強,還有模型學會了像工程師一樣,在程式庫裡四處翻找、跑測試、看錯誤訊息再改。