Toolformer: Language Models Can Teach Themselves to Use Tools
- 發表版本
- NeurIPS 2023會議
- arXiv 首次提交
- arXiv:2302.04761
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{modeltuningtoolformer2023,
title = {{Toolformer: Language Models Can Teach Themselves to Use Tools}},
author = {Timo Schick and Jane Dwivedi-Yu and Roberto Dessì and Roberta Raileanu and Maria Lomeli and Luke Zettlemoyer and Nicola Cancedda and Thomas Scialom},
year = {2023},
eprint = {2302.04761},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2302.04761}
}
大型語言模型有一個很矛盾的地方。它看幾個範例就能做新任務,寫文章、翻譯、回答問題都很像樣,卻常常算錯簡單的除法,記錯某個人的出生地,也不知道今天是幾月幾號。這些事情,一台計算機、一個搜尋引擎、一個日曆就能解決。
讓模型使用工具,在 2023 年初已經有人做。只是做法大致有兩種:一種要大量人工標註,例如 LaMDA 讓標註者示範什麼時候該查資料;另一種是替特定任務寫少樣本提示,事先告訴模型這題要用計算機、那題要用搜尋。前者很貴,後者換一個任務就得重寫。
Meta 的 Schick 等人想讓模型自己學。只給每種工具幾個示範,讓模型在大量的一般文字裡自己插入工具呼叫,再由模型自己判斷,哪些呼叫真的有幫助。
定義問題
作者希望學到的工具使用能力滿足兩個條件:
- 自我監督:不需要大量人工標註。這不只是因為標註很貴,也因為人覺得有用的資訊,不一定是模型需要的。
- 不失去通用性:模型自己決定要不要用工具、用哪一個、怎麼用,而不是綁在特定任務上。
為了讓工具呼叫能直接寫進文字裡,作者把每個 API 呼叫寫成一段文字。呼叫 由 API 名稱 和輸入 組成,得到的結果是 :
實作上用「[」、「]」、「->」這幾個現成的字元代替特殊符號,不用改動模型的詞彙表。

解決問題

整個流程是在一份一般的語言模型訓練資料上動手腳。原本的資料集 是一堆純文字,作者讓模型替它插入工具呼叫,得到新的資料集 ,再用它微調模型自己。
一、取樣呼叫
每種工具各寫一個提示,裡面有幾個示範。問答工具的提示是這樣:
Your task is to add calls to a Question Answering API to a piece of text.
The questions should help you get information required to complete the text.
You can call the API by writing "[QA(question)]" where "question" is the
question you want to ask. Here are some examples of API calls:
Input: Joe Biden was born in Scranton, Pennsylvania.
Output: Joe Biden was born in [QA("Where was Joe Biden born?")] Scranton,
[QA("In which state is Scranton?")] Pennsylvania.
Input: Coca-Cola, or Coke, is a carbonated soft drink manufactured by
the Coca-Cola Company.
Output: Coca-Cola, or [QA("What other name is Coca-Cola known by?")] Coke,
is a carbonated soft drink manufactured by [QA("Who manufactures Coca-Cola?")]
the Coca-Cola Company.
Input: x
Output:
原論文 Figure 3 的提示。
把一段文字 放進提示,對每個位置 算出模型在這裡開始寫 <API> 的機率 。機率超過門檻 的位置留下,最多 個;每個位置再取樣最多 個呼叫內容。
二、執行呼叫
作者準備了五種工具,輸入和輸出都是文字:
| 工具 | 輸入範例 | 輸出範例 |
|---|---|---|
| 問答 | Where was the Knights of Columbus founded? | New Haven, Connecticut |
| 維基百科搜尋 | Fishing Reel Types | 一段關於釣竿與捲線器種類的維基百科摘錄 |
| 計算機 | 27 + 4 * 2 | 35 |
| 日曆 | (不需輸入) | Today is Monday, January 30, 2023. |
| 翻譯 | sûreté nucléaire | nuclear safety |
整理自原論文 Table 1。
- 問答:Atlas,一個在 Natural Questions 上微調過、會先檢索再回答的語言模型。
- 維基百科搜尋:用 BM25 在 KILT 的維基百科資料上檢索,回傳短的文字片段。
- 計算機:只有加減乘除,結果四捨五入到小數點後兩位。
- 日曆:不需要輸入,回傳今天的日期。
- 翻譯:600M 參數的 NLLB,用 fastText 自動判斷來源語言,一律翻成英文。
三、過濾:這次呼叫有沒有幫上忙
這是整篇最關鍵的一步。作者用模型自己的損失來判斷呼叫有沒有用。
令 為在前面加上 之後,模型預測位置 之後各個 token 的加權交叉熵:
接著比較兩種情況:
是呼叫並拿到結果; 是不呼叫,或呼叫了但沒拿到結果,兩者取比較好的那個。只有 的呼叫會留下來。
和「呼叫了但沒拿到結果」比,是為了排除一種情況。有時候光是寫出問題本身,就提示了後面的內容;這種呼叫的功勞不在工具,不該留下。
權重 用 再正規化,呼叫之後第 1 到第 5 個 token 的原始權重依序是 1、0.8、0.6、0.4、0.2,再往後就是 0。越近越重,讓呼叫出現在資訊真正派上用場的地方。以「Pittsburgh is also known as the Steel City」這句為例,在 the 之前插入問答呼叫,拿到「Steel City」之後,模型幾乎能確定下一個詞是 Steel,損失大幅下降,這個呼叫會留下;問 Pittsburgh 在哪個國家、拿到「United States」,對預測「the Steel City」毫無幫助,就會被丟掉。
過濾時還有一個細節。這時候的模型還沒看過任何工具呼叫,如果把呼叫硬插在句子中間,會打斷文字的流暢度,反而拉高困惑度。所以在算 時,作者把呼叫和結果放在整段文字的最前面當前綴。
四、微調
把各種工具留下的呼叫合併,插回原本的文字,得到 。 除了多出來的呼叫,文字內容和 一模一樣,所以模型在上面微調,看到的知識和原本相同,語言能力也不至於受損。
文字資料是 CCNet 的一部分,模型是 GPT-J 6B。為了省下標註的計算量,作者先用規則挑出比較可能用到工具的文字,例如計算機只處理至少含有三個數字的段落。微調的 batch 大小是 128,學習率 ,前 10% 的步數線性暖身。
最後能留下多少呼叫,因工具而異。過濾門檻 時,維基百科搜尋有 60,974 筆,日曆 20,587 筆,問答 18,526 筆,翻譯 1,034 筆,計算機只有 994 筆。
推論
微調之後正常解碼。模型寫出「→」,表示它在等工具的結果;這時暫停解碼,真的去呼叫工具,把結果和「]」接上去,再讓模型繼續寫。例如模型寫到「[Calculator(400 / 1400) →」時暫停,計算機算出 0.29,接上「0.29]」之後,模型再往下寫「29%」。
解碼也做了兩處調整。只要 <API> 是機率最高的前 10 個 token 之一,就讓模型開始呼叫,而不是一定要排第一,鼓勵它多用工具;每個輸入最多呼叫一次,避免模型陷入一直呼叫、不寫答案的迴圈。
討論
實驗設定
主要比較四個模型:原本的 GPT-J;在同一批 CCNet 文字上微調、但不加工具呼叫的 GPT-J + CC;Toolformer;以及把 <API> 的機率設成 0、不准用工具的 Toolformer。另外也和 OPT 66B、GPT-3 175B(沒有指令微調的 davinci)比較。
全部是零樣本,只用文字說明任務,不給範例,而且不告訴模型該用哪個工具。評分比較寬鬆,例如答案出現在模型輸出的前幾個字裡就算對。
結果
| 任務 | GPT-J | 停用工具 | Toolformer | GPT-3 175B |
|---|---|---|---|---|
| LAMA SQuAD | 17.8 | 22.1 | 33.8 | 26.8 |
| LAMA Google-RE | 4.9 | 6.3 | 11.5 | 7.0 |
| LAMA T-REx | 31.9 | 34.9 | 53.5 | 39.8 |
| ASDiv | 7.5 | 14.8 | 40.4 | 14.0 |
| SVAMP | 5.2 | 6.3 | 29.4 | 10.0 |
| MAWPS | 9.9 | 15.0 | 44.0 | 19.8 |
| WebQS | 18.5 | 18.9 | 26.3 | 29.0 |
| Natural Questions | 12.8 | 12.6 | 17.7 | 22.6 |
| TriviaQA | 43.9 | 46.7 | 48.8 | 65.9 |
| TempLAMA | 13.7 | 12.7 | 16.3 | 15.5 |
| Dateset | 3.9 | 5.9 | 27.3 | 0.8 |
整理自原論文 Table 3、4、5、7;「停用工具」是不准呼叫 API 的 Toolformer,單位為 %。
填空式的知識題(LAMA):98.1% 的題目模型都自己去問問答工具,三個子集都贏過 GPT-3。LAMA 的句子取自維基百科,所以這裡禁用了維基百科搜尋,免得太容易。
數學應用題:97.9% 的題目都呼叫了計算機,分數是停用工具時的兩倍以上,也遠超過 GPT-3。有趣的是,停用工具的 Toolformer 本身也比 GPT-J 好,作者推測是看了大量計算式和結果之後,模型自己的計算能力也變好了。
開放問答:問答工具是在 Natural Questions 上微調的,用了就等於作弊,所以這裡禁用。模型 99.3% 的時候改用維基百科搜尋,贏過其他 GPT-J,但仍然輸給 GPT-3。作者認為原因有兩個:BM25 搜尋引擎很陽春,常常回傳不相關的結果;Toolformer 也不會換個關鍵字重查,或往下多看幾筆結果。
時間相關的題目:Dateset 要先知道今天的日期才能回答,例如「30 天前是星期幾?」,54.8% 的題目用了日曆,分數從 5.9% 升到 27.3%。TempLAMA 問的是會隨時間改變的事實,例如某位球員效力哪支球隊,Toolformer 也有進步,但只有 0.2% 的題目用了日曆,靠的主要是搜尋和問答。最好的做法是先查日期、再拿日期去問,但每題只准呼叫一次,而且訓練資料裡的呼叫都是各工具分開取樣的,模型沒看過這種接力。
多語問答(MLQA):問題用阿拉伯文、德文、西班牙文、印地文、越南文或簡體中文,背景段落是英文。依語言不同,模型在 63.8% 到 94.9% 的題目會先把問題翻成英文,比停用工具時好;印地文是例外,只有 7.3% 用了翻譯。不過 Toolformer 沒有穩定勝過原本的 GPT-J,因為在 CCNet 上微調本身就讓某些語言退步了。
語言能力沒有變差
| 模型 | WikiText | CCNet |
|---|---|---|
| GPT-J | 9.9 | 10.6 |
| GPT-J + CC | 10.3 | 10.5 |
| Toolformer(停用工具) | 10.3 | 10.5 |
整理自原論文 Table 8;數字是困惑度,越低越好。
在 CCNet 上微調,會讓 WikiText 的困惑度稍微變差,但加不加工具呼叫沒有差別。開著工具時的困惑度則沒辦法算,因為每個位置都可能呼叫各種工具,要把所有可能都加總起來才能得到機率。
模型要多大才學得會

作者用 GPT-2 的四種大小重做一次,只給問答、計算機、維基百科搜尋三種工具。使用工具的能力大約在 775M 參數時才出現,更小的模型有沒有工具都差不多。維基百科搜尋是例外,小模型也用得上,作者推測是因為這個 API 比較簡單。模型變大,不用工具時的能力變強,用工具的能力也同時變強,所以兩者的差距一直存在。
解碼的門檻
| T-REx | 呼叫比例 | WebQS | 呼叫比例 | |
|---|---|---|---|---|
| 0 | 34.9 | 0.0% | 18.9 | 0.0% |
| 1 | 47.8 | 40.3% | 19.3 | 8.5% |
| 3 | 52.9 | 82.8% | 26.3 | 99.3% |
| 10 | 53.5 | 98.1% | 26.3 | 100% |
整理自原論文 Table 9,節錄部分欄;T-REx 與 WebQS 欄是準確率(%)。
是 <API> 要排進前幾名才開始呼叫, 等於停用工具, 就是一般的貪婪解碼。一般的貪婪解碼下,模型在 WebQS 上只有 8.5% 的題目會呼叫工具,分數幾乎沒變;把門檻放寬到前 3 名,才開始大量使用。
時,模型決定不呼叫的那些題目,分數(T-REx 44.3%、WebQS 19.9%)反而比完全不准用工具時的平均(34.9%、18.9%)還高。表示模型多少知道自己哪些題目不會,會把工具留給那些題目。放寬門檻之後,這種判斷就不見了。
留下來的呼叫長什麼樣
作者把過濾分數 由高到低列出一些例子。分數高的大多很合理,例如提到英國最古老的戰爭紀念窗時去搜尋 Flodden,分數 5.49;寫到「The Nile has an approximate length of」時去問尼羅河多長,分數 2.08。
分數低的大多沒有用,例如寫到「85 patients (23%)」時算了 85 / 23,分數 −0.02。但「Catch this fast train to success!」去搜尋「Fast train success」,搜到一首 1971 年的歌,內容毫不相關,卻還是降低了困惑度,分數 0.92。作者認為少量這種雜訊不一定是壞事,模型因此不會盲目相信每個工具的結果。
限制
作者自己列了這幾點:
- 不能串接工具:例如先查日期再拿日期去問,因為各工具的呼叫是分開取樣的,訓練資料裡沒有這種例子。
- 不能互動:搜尋引擎可能回傳幾百筆結果,模型不會瀏覽,也不會修改查詢。
- 對措辭敏感:要不要呼叫工具,很容易受輸入的寫法影響。
- 很沒效率:處理超過一百萬份文件,只能得到幾千個有用的計算機呼叫。作者建議可以像其他自舉方法一樣迭代進行。
- 不考慮成本:呼叫不同工具的計算成本差很多,模型決定時沒有考慮這一點。
後來的事
Toolformer 發表四個月後,工具使用成了商業模型的標準功能,但走的是另一條路。2023 年 6 月 13 日,OpenAI 在 API 加入 function calling:開發者用 JSON 描述自己的函式,模型判斷需要時,輸出一個帶參數的 JSON 物件,由應用程式去執行,再把結果交回模型。工具由開發者定義,模型在訓練時就學會照著描述呼叫,不再需要自己從一般文字裡摸索。
Toolformer 列為限制的串接和互動,在代理(agent)的迴圈裡都成了基本能力:模型呼叫工具、看結果、決定下一步,一個任務可以來回幾十次。2024 年 11 月,Anthropic 提出 Model Context Protocol,作為把 AI 助理連到各種資料來源和工具的開放標準,工具的接法也開始統一。
結論
Toolformer 只給每種工具幾個示範,讓 GPT-J 在一般文字裡自己插入工具呼叫,再用「有沒有讓後面的文字更好預測」來篩選。微調之後,這個 6B 的模型在知識填空、數學應用題和日期題上都贏過 GPT-3 175B,語言能力也沒有變差。
這篇最有意思的設計,是讓模型自己判斷工具有沒有用。哪裡該插一個問題、哪個答案有幫助,都由模型的損失決定,沒有人告訴它;連那筆搜到 1971 年老歌的呼叫,也是模型自己覺得有幫助才留下的。
後來的工具使用沒有沿用這套自我監督,改由開發者寫好工具說明、模型照著呼叫,簡單又可控。不過「呼叫寫在文字裡、結果接回文字裡、模型接著往下寫」這個格式倒是留了下來,今天的代理每一步都是這樣運作的。