返回論文筆記資料庫
arXiv 2023NeurIPS 2023強化學習論文筆記

Reflexion

下次記得

原始論文

Reflexion: Language Agents with Verbal Reinforcement Learning

論文作者

Noah Shinn · Federico Cassano · Edward Berman · Ashwin Gopinath · Karthik Narasimhan · Shunyu Yao

發表版本
NeurIPS 2023會議
arXiv 首次提交
arXiv:2303.11366
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{reinforcementlearningreflexion2023,
  title = {{Reflexion: Language Agents with Verbal Reinforcement Learning}},
  author = {Noah Shinn and Federico Cassano and Edward Berman and Ashwin Gopinath and Karthik Narasimhan and Shunyu Yao},
  year = {2023},
  eprint = {2303.11366},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2303.11366}
}
本頁內容

2023 年春天,用語言模型當代理(agent)的研究一下子多了起來。ReAct 讓模型邊想邊查資料,Toolformer 讓模型自己呼叫工具,還有人讓模型在遊戲、網頁、程式環境裡做事。

這些代理都一樣,失敗了也學不到東西。傳統的強化學習可以從失敗中學習,但要大量的嘗試和昂貴的微調,對幾百億參數的模型來說不太實際。所以當時的代理只能靠提示裡的範例,這一次做錯,下一次還是照樣錯。

美國 Northeastern University 的 Shinn 等人(後來的版本加入了 Princeton 的 Narasimhan 和 Yao)換了一個思路。人做錯事之後,會回想自己哪裡做錯、下次該怎麼做;模型也可以這樣做,把反省寫成文字,放進下一次嘗試的提示裡。權重完全不動,學到的東西全部寫在文字裡。

定義問題

代理在環境裡做一連串的動作,最後拿到回饋。這個回饋常常很稀疏,可能只有「成功」或「失敗」,或者一個分數。

傳統強化學習要從這種訊號裡學,難在功勞分配(credit assignment):一連串幾十個動作,到底是哪一步出錯?只靠一個 0 或 1,很難回答。

作者想問的是,能不能讓語言模型自己把這個稀疏的訊號「放大」成具體的建議,例如「第 3 步拿錯了東西,下次應該先去書桌找檯燈」,再用這段文字引導下一次嘗試?

解決問題

原論文 Figure 1:Reflexion 在三類任務上的運作。決策任務:代理要清洗平底鍋放到檯面上,試圖從爐子上拿鍋子,但鍋子不在那裡;規則判斷出現幻覺,反省寫下「我試圖從爐子 1 拿鍋子,但鍋子不在那裡」,下一次就先找對位置。程式任務:寫一個檢查括號是否成對的函式,自己寫的單元測試沒通過,反省指出程式只檢查左右括號數量相等,沒檢查順序,下一次改用正確的檢查。推理任務:問兩個人的共同職業,第一次答錯,反省指出錯在假設兩人的多重職業都相同,下一次答對 novelist。
原論文 Figure 1(Shinn 等人),取自 PDF 第 3 頁,CC BY 4.0。

三個模型

原論文 Figure 2:(a) Reflexion 的架構。代理內有三個語言模型:Actor 根據短期記憶(這次的軌跡)和長期記憶(過去的反省)在環境中行動;Evaluator 根據軌跡給出內部回饋;Self-reflection 結合外部和內部回饋,寫出反省文字,存進長期記憶。(b) 演算法:先產生一條軌跡、評估、寫反省、存入記憶;接著反覆「產生軌跡、評估、寫反省、加入記憶」,直到評估通過或達到嘗試次數上限。
原論文 Figure 2(Shinn 等人),取自 PDF 第 4 頁,CC BY 4.0。

Reflexion 由三個角色組成,三者都可以是同一個語言模型,只是提示不同:

  • Actor:在環境裡做事,產生文字和動作。作者試了思維鏈和 ReAct 兩種寫法,並在提示裡加入一段記憶。
  • Evaluator:評估這次的表現。推理題用和標準答案完全相同(exact match)來判斷;決策任務用事先寫好的規則,或請另一個語言模型判斷成敗;程式題則跑模型自己寫的單元測試。
  • Self-reflection:拿到成敗訊號、這次的軌跡和過去的記憶,寫出一段反省,說明哪裡做錯、下次怎麼做。

兩種記憶

這次嘗試的完整軌跡是短期記憶,細節很多;反省寫成的文字是長期記憶,比較精簡,存的是學到的教訓。下一次嘗試時,Actor 同時看到這兩種記憶。

長期記憶不能無限累積,否則會超過提示的長度上限。作者只保留最近的幾段反省,決策和推理任務是 3 段,程式任務是 1 段。

流程

  1. Actor 做一次嘗試,得到軌跡 τ0\tau_0。
  2. Evaluator 給出分數 r0r_0。
  3. Self-reflection 根據 {τ0,r0}\{\tau_0, r_0\} 寫出反省 sr0sr_0,放進記憶。
  4. 重複:Actor 帶著記憶再試一次,評估,寫新的反省,加入記憶,直到 Evaluator 判斷成功,或嘗試次數用完。

作者把它稱為「口語的」強化學習。傳統強化學習的策略由權重決定,這裡的策略是「語言模型 + 記憶」,更新策略的方式是改寫記憶裡的文字。作者也直接承認,這個做法依賴語言模型自我評估的能力,沒有任何保證一定會成功。

討論

決策:AlfWorld

原論文 Figure 3:(a) AlfWorld 134 個任務中,累計解出的比例對嘗試次數。ReAct 單獨使用時從約 0.63 升到約 0.75 後停住;ReAct + Reflexion 用規則判斷時一路升到約 0.97,用 GPT 判斷時約 0.94。(b) 失敗原因的比例:單獨使用 ReAct 時,幻覺造成的失敗從約 0.32 降到約 0.22 就停住;加上 Reflexion 之後,幻覺降到約 0.03,低效率規劃降到 0。
原論文 Figure 3(Shinn 等人),取自 PDF 第 6 頁,CC BY 4.0。

AlfWorld 是文字版的居家環境,代理要用文字指令完成任務,例如找到藏在抽屜裡的鍋鏟、把刀拿到砧板上、把番茄放進冰箱冷卻。作者沿用 ReAct 的設定,在 134 個環境上測試,Actor 是 ReAct。

這個環境只會告訴代理任務完成了沒有,所以 Evaluator 要自己判斷什麼時候算失敗。作者用了兩條簡單的規則。同一個動作重複超過 3 次、得到同樣的回應,就判定為幻覺;這個環境裡的動作超過 30 步,就判定為低效率的規劃。

結果 ReAct + Reflexion 解出 134 個任務中的 130 個,ReAct 單獨使用則在第 6、7 次嘗試之後就不再進步。

右圖把失敗按原因分類。ReAct 最常見的失敗,是以為自己已經拿到某個東西,其實沒有,接著做了一長串動作也找不回錯誤,這類幻覺一直停在 22% 左右。Reflexion 會把很長的失敗軌跡濃縮成幾句提醒,下一次就避開。

附錄有一個具體的例子。任務是「用檯燈檢查杯子」,代理先找到杯子拿起來,再去找檯燈,結果用不了。反省寫道:我的計畫是先找杯子再找檯燈,但任務要用檯燈來檢查杯子,應該先找檯燈;我注意到檯燈在書桌 1 上,下次直接去書桌 1。第二次嘗試,代理三個動作就完成了。

推理:HotPotQA

原論文 Figure 4:100 題 HotPotQA 上,解出的比例對嘗試次數。(a) 思維鏈和 ReAct 單獨使用時都約在 0.3 上下,不隨嘗試次數改變;加上 Reflexion 後,ReAct 升到約 0.53,思維鏈升到約 0.4。(b) 給定正確背景段落的思維鏈,單獨使用約 0.61,加上 Reflexion 升到約 0.75。(c) 消融實驗:只把上一次的軌跡放進提示(EPM)約 0.66,再加上反省約 0.74。
原論文 Figure 4(Shinn 等人),取自 PDF 第 7 頁,CC BY 4.0。

HotPotQA 是要跨好幾篇維基百科文章才能回答的問題。作者測了三種代理,都用 100 題:

  • ReAct:可以用維基百科 API 搜尋,邊想邊查。
  • 思維鏈:不查資料,只靠推理。
  • 思維鏈加上正確的背景段落(CoT (GT)):直接把資料集附的正確段落給模型,單獨測推理能力。

單獨使用時,三種代理重試幾次都沒有新的題目答對,就算用溫度 0.7 取樣也一樣。加上 Reflexion 之後,ReAct 多答對了約 20 個百分點。有正確段落的思維鏈本來就比較高,但仍有 39% 的題目答錯,Reflexion 把準確率再拉高了 14 個百分點。

進步是來自反省,還是只是因為看到了上一次的嘗試?右圖的消融實驗把兩者分開比較。只把上一次的完整軌跡放進提示,也有一些幫助;加上一段第一人稱的反省,再多 8 個百分點。作者據此認為,光是讓模型重寫一次,效果不如先反省再重寫。

這裡要注意評分方式。HotPotQA 每次嘗試之後,環境會用標準答案判斷對錯,告訴代理這次是成功還是失敗。換句話說,代理每次都知道自己答錯了,只是不知道正確答案是什麼。這個設定後面會再談到。

程式:HumanEval、MBPP 和 LeetCode

程式題是 Reflexion 最漂亮的戰場,因為有一個不需要標準答案的評估方式:自己寫測試。

作者先用思維鏈請模型寫出各種單元測試,用語法樹檢查,只留下語法正確的,再從中抽最多 6 個組成測試集。程式寫完後跑這些測試,沒過就反省、重寫,全部通過才交出去。因為整個過程沒有碰到題目隱藏的測試,交出去的那一份仍然算是 pass@1。

評測(語言)先前最佳GPT-4Reflexion
HumanEval(Python)65.880.191.0
HumanEval(Rust)-60.068.0
MBPP(Python)67.780.177.1
MBPP(Rust)-70.975.4
LeetCode Hard(Python)-7.515.0

整理自原論文 Table 1;先前最佳是 CodeT 搭配 GPT-3.5 或 Codex,單位為 pass@1 %。

  • Rust 的題目是用 MultiPL-E 把 Python 題目自動翻譯過去的,HumanEval 只取最難的 50 題,用來展示方法和語言無關。
  • LeetCode Hard 是作者新做的 40 題,都在 2022 年 10 月 8 日(GPT-4 的預訓練資料截止日)之後才公開。
  • 這裡的 GPT-4 是作者自己測的,HumanEval 80.1%,比 GPT-4 技術報告寫的 67.0% 高。

HumanEval Python 從 80.1% 升到 91.0%,但 MBPP Python 反而從 80.1% 掉到 77.1%。作者追查原因,發現問題出在模型自己寫的測試。

測試可能出兩種錯。一種是測試太鬆,錯誤的程式也全部通過,代理就會提早交出錯誤的答案;另一種是測試本身寫錯,正確的程式通不過,代理會去反省一個其實沒錯的程式。作者認為後者比較能接受,代理還有機會從反省中發現是測試錯了。

在 MBPP Python 上,「測試全部通過、程式卻是錯的」的比例是 16.3%,在 HumanEval Python 上只有 1.4%。兩者的基準準確率差不多,差別就在測試的品質。

拿掉一部分會怎樣

作者在 HumanEval Rust 最難的 50 題上做了消融,基礎模型是 GPT-4:

做法自己寫測試反省pass@1
基礎模型否否60%
不寫測試否是52%
不反省是否60%
Reflexion是是68%

整理自原論文 Table 3。

不寫測試、只反省,反而比基礎模型更差。代理無法判斷目前的程式對不對,只能把所有回合都用完,一路修改,把原本正確的程式也改壞了。

有測試、不反省,則完全沒有進步。測試和編譯器確實抓到了語法和邏輯錯誤,但模型直接重寫時,修改的內容沒有對應到這些錯誤。作者據此認為,沒有反省、只靠盲目試錯的除錯方法,在 Rust 這種較難的任務上效果不大。

模型要夠強

附錄在不同模型上重做了一次。開源的 starchat-beta 在 HumanEval Python 上,用不用 Reflexion 都是 26%;HotPotQA 上,text-davinci-003、gpt-3.5-turbo、gpt-4 加上 Reflexion 都有進步。作者的結論是,能寫出有用的自我修正,是比較強、比較大的模型才有的能力。

限制

  • 局部最佳:Reflexion 本質上是用文字做策略最佳化,仍可能卡在不夠好的解。附錄的 WebShop 實驗就是例子,代理要在購物網站上找出符合需求的商品,跑了 4 次嘗試都沒有進步,寫出來的反省也沒有幫助。作者認為這類任務需要很多樣、很有創意的探索,例如換不同的搜尋關鍵字,Reflexion 做不到。
  • 記憶很簡單:只是一個保留最近幾段的滑動視窗,作者建議未來改用向量資料庫或 SQL 資料庫。
  • 測試的限制:非確定性的函式、會呼叫外部 API 的函式、輸出依硬體而異或涉及平行處理的函式,都很難寫出準確的測試。

作者也提醒,自動寫程式的實驗要在隔離的環境裡跑,因為生成的程式在執行前沒有經過任何檢查。

後來的事

2023 年 10 月,Google DeepMind 與 UIUC 的 Huang 等人在 Large Language Models Cannot Self-Correct Reasoning Yet 裡,指出這類自我修正研究的一個共同問題。包括 Reflexion 在內的做法,都用標準答案來決定什麼時候停止修正:答對了就停,答錯了才繼續。在真實情境裡,我們不會知道正確答案。

他們設計了一個很尖銳的對照組。同樣用標準答案決定要不要再試,但「修正」的方式是從剩下的選項裡隨便換一個。CommonsenseQA 是五選一,每答錯一次就排除一個選項,最多猜四輪一定猜中。

GPT-3.5 和 GPT-4 在 CommonsenseQA 上的起點分別是 75.8% 和 82.0%。亂猜兩輪,GPT-3.5 就到 87.9%,和讓模型自我修正兩輪的 89.7% 差不多;GPT-4 亂猜是 91.0%,比自我修正的 85.5% 還高;猜四輪,兩個都是 100%。只要有人告訴你「錯了,再來」,就算完全不動腦也會越來越準。拿掉標準答案之後,他們發現模型自己修正推理題,成績不升反降。

這個批評主要針對推理題。程式題的情況不同,測試和執行器本身就是不需要標準答案的檢查,Reflexion 在 HumanEval 上的 91% 正是用這種方式拿到的。Huang 等人也提到,程式生成這類可以用執行器和單元測試驗證的任務,是另一回事。

後來的程式代理也走了這條路:寫程式、跑測試、讀錯誤訊息、修改,反覆進行。差別在於測試換成了專案原本的測試,回饋換成了真實的錯誤訊息。

結論

Reflexion 不改權重,把每次失敗的經驗寫成一段反省,放進下一次嘗試的提示裡。AlfWorld 解出 134 個任務中的 130 個,HotPotQA 多答對約 20 個百分點,HumanEval Python 的 pass@1 從 80.1% 到 91.0%。

它最有說服力的地方在程式題。測試是模型自己寫的,交出去之前沒有看過任何標準答案;消融也說明了測試和反省缺一不可,只反省不測試,成績反而更差。

推理題那部分就要打個折扣,代理每次都被告知「答錯了」,而這正是真實世界最缺的那一項資訊。反省寫得再好,也得先有人說它錯了。