返回论文笔记资料库
arXiv 2023NeurIPS 2023模型适配论文笔记

Toolformer

不会就查

原始论文

Toolformer: Language Models Can Teach Themselves to Use Tools

论文作者

Timo Schick · Jane Dwivedi-Yu · Roberto Dessì …

查看全部 8 位作者

Timo Schick · Jane Dwivedi-Yu · Roberto Dessì · Roberta Raileanu · Maria Lomeli · Luke Zettlemoyer · Nicola Cancedda · Thomas Scialom

发表版本
NeurIPS 2023会议
arXiv 首次提交
arXiv:2302.04761
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{modeltuningtoolformer2023,
  title = {{Toolformer: Language Models Can Teach Themselves to Use Tools}},
  author = {Timo Schick and Jane Dwivedi-Yu and Roberto Dessì and Roberta Raileanu and Maria Lomeli and Luke Zettlemoyer and Nicola Cancedda and Thomas Scialom},
  year = {2023},
  eprint = {2302.04761},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2302.04761}
}
本页内容

大语言模型有一个很矛盾的地方。它看几个示例就能做新任务,写文章、翻译、回答问题都像模像样,却常常算错简单的除法,记错某个人的出生地,也不知道今天是几月几号。这些事情,一个计算器、一个搜索引擎、一个日历就能解决。

让模型使用工具,在 2023 年初已经有人做了。只是做法大致有两种:一种要大量人工标注,例如 LaMDA 让标注者示范什么时候该查资料;另一种是给特定任务写少样本提示词,事先告诉模型这道题要用计算器、那道题要用搜索。前者很贵,后者换一个任务就得重写。

Meta 的 Schick 等人想让模型自己学。只给每种工具几个示范,让模型在大量的普通文本里自己插入工具调用,再由模型自己判断,哪些调用真的有帮助。

定义问题

作者希望学到的工具使用能力满足两个条件:

  • 自监督:不需要大量人工标注。这不只是因为标注很贵,也因为人觉得有用的信息,不一定是模型需要的。
  • 不失去通用性:模型自己决定要不要用工具、用哪一个、怎么用,而不是绑定在特定任务上。

为了让工具调用能直接写进文本里,作者把每个 API 调用写成一段文本。调用 cc 由 API 名称 aca_c 和输入 ici_c 组成,得到的结果是 rr:

e(c)=<API> ac(ic) </API>,e(c,r)=<API> ac(ic)→r </API>e(c) = \texttt{<API>}\, a_c(i_c)\, \texttt{</API>}, \qquad e(c, r) = \texttt{<API>}\, a_c(i_c) \rightarrow r\, \texttt{</API>}

实现上用「[」、「]」、「->」这几个现成的字符代替特殊符号,不用改动模型的词表。

原论文 Figure 1:Toolformer 的输出示例,模型自己决定在文本中途调用工具。第一例在「the MMS」前调用问答系统,问 The New England Journal of Medicine 的出版者是谁,得到 Massachusetts Medical Society;第二例在「29%」前调用计算器,Calculator(400 / 1400) → 0.29;第三例在「turtle」前调用翻译系统,MT("tortuga") → turtle;第四例调用维基百科搜索 Brown Act,取得这条加州法律的说明后,再接着写它要求地方议会公开开会。
原论文 Figure 1(Schick 等人),取自 PDF 第 1 页,arXiv 许可,学术引用。

解决问题

原论文 Figure 2:Toolformer 的三个步骤,以问答工具为例。输入文本「Pittsburgh is also known as the Steel City」。步骤一,在「Pittsburgh is also known as」之后采样候选调用,例如「What other name is Pittsburgh known by?」和「Which country is Pittsburgh in?」。步骤二,执行调用,分别得到 Steel City 与 United States。步骤三,过滤:第一个调用让后面文本的损失低于不调用或只调用不给结果的情况,保留;第二个没有,丢掉。最后把保留的调用插回原文,得到附带 API 调用的新数据。
原论文 Figure 2(Schick 等人),取自 PDF 第 2 页,arXiv 许可,学术引用。

整个流程是在一份普通的语言模型训练数据上做文章。原来的数据集 C\mathcal{C} 是一堆纯文本,作者让模型给它插入工具调用,得到新的数据集 C∗\mathcal{C}^*,再用它微调模型自己。

一、采样调用

每种工具各写一个提示词,里面有几个示范。问答工具的提示词是这样的:

text
Your task is to add calls to a Question Answering API to a piece of text.
The questions should help you get information required to complete the text.
You can call the API by writing "[QA(question)]" where "question" is the
question you want to ask. Here are some examples of API calls:
Input: Joe Biden was born in Scranton, Pennsylvania.
Output: Joe Biden was born in [QA("Where was Joe Biden born?")] Scranton,
[QA("In which state is Scranton?")] Pennsylvania.
Input: Coca-Cola, or Coke, is a carbonated soft drink manufactured by
the Coca-Cola Company.
Output: Coca-Cola, or [QA("What other name is Coca-Cola known by?")] Coke,
is a carbonated soft drink manufactured by [QA("Who manufactures Coca-Cola?")]
the Coca-Cola Company.
Input: x
Output:

原论文 Figure 3 的提示词。

把一段文本 xx 放进提示词,对每个位置 ii 算出模型在这里开始写 <API> 的概率 pip_i。概率超过阈值 τs\tau_s 的位置留下,最多 kk 个;每个位置再采样最多 mm 个调用内容。

二、执行调用

作者准备了五种工具,输入和输出都是文本:

工具输入示例输出示例
问答Where was the Knights of Columbus founded?New Haven, Connecticut
维基百科搜索Fishing Reel Types一段关于鱼竿与渔线轮种类的维基百科摘录
计算器27 + 4 * 235
日历(不需输入)Today is Monday, January 30, 2023.
翻译sûreté nucléairenuclear safety

整理自原论文 Table 1。

  • 问答:Atlas,一个在 Natural Questions 上微调过、会先检索再回答的语言模型。
  • 维基百科搜索:用 BM25 在 KILT 的维基百科数据上检索,返回短的文本片段。
  • 计算器:只有加减乘除,结果四舍五入到小数点后两位。
  • 日历:不需要输入,返回今天的日期。
  • 翻译:600M 参数的 NLLB,用 fastText 自动判断源语言,一律翻成英文。

三、过滤:这次调用有没有帮上忙

这是整篇最关键的一步。作者用模型自己的损失来判断调用有没有用。

令 Li(z)L_i(z) 为在前面加上 zz 之后,模型预测位置 ii 之后各个 token 的加权交叉熵:

Li(z)=−∑j=inwj−i⋅log⁡pM(xj∣z,x1:j−1)L_i(z) = -\sum_{j=i}^{n} w_{j-i} \cdot \log p_M(x_j \mid z, x_{1:j-1})

接着比较两种情况:

Li+=Li(e(ci,ri)),Li−=min⁡(Li(ε), Li(e(ci,ε)))L_i^+ = L_i(e(c_i, r_i)), \qquad L_i^- = \min\big(L_i(\varepsilon),\ L_i(e(c_i, \varepsilon))\big)

Li+L_i^+ 是调用并拿到结果;Li−L_i^- 是不调用,或调用了但没拿到结果,两者取较好的那个。只有 Li−−Li+≥τfL_i^- - L_i^+ \ge \tau_f 的调用会留下来。

和「调用了但没拿到结果」比,是为了排除一种情况。有时候光是写出问题本身,就提示了后面的内容;这种调用的功劳不在工具,不该留下。

权重 ww 用 w~t=max⁡(0,1−0.2t)\tilde w_t = \max(0, 1 - 0.2t) 再归一化,调用之后第 1 到第 5 个 token 的原始权重依次是 1、0.8、0.6、0.4、0.2,再往后就是 0。越近权重越大,让调用出现在信息真正派上用场的地方。以「Pittsburgh is also known as the Steel City」这句为例,在 the 之前插入问答调用,拿到「Steel City」之后,模型几乎能确定下一个词是 Steel,损失大幅下降,这个调用会留下;问 Pittsburgh 在哪个国家、拿到「United States」,对预测「the Steel City」毫无帮助,就会被丢掉。

过滤时还有一个细节。这时候的模型还没见过任何工具调用,如果把调用硬插在句子中间,会打断文本的流畅度,反而拉高困惑度。所以在算 LiL_i 时,作者把调用和结果放在整段文本的最前面作为前缀。

四、微调

把各种工具留下的调用合并,插回原来的文本,得到 C∗\mathcal{C}^*。C∗\mathcal{C}^* 除了多出来的调用,文本内容和 C\mathcal{C} 一模一样,所以模型在上面微调,看到的知识和原来相同,语言能力也不至于受损。

文本数据是 CCNet 的一部分,模型是 GPT-J 6B。为了省下标注的计算量,作者先用规则挑出比较可能用到工具的文本,例如计算器只处理至少含有三个数字的段落。微调的 batch 大小是 128,学习率 10−510^{-5},前 10% 的步数线性预热。

最后能留下多少调用,因工具而异。过滤阈值 τf=1.0\tau_f = 1.0 时,维基百科搜索有 60,974 条,日历 20,587 条,问答 18,526 条,翻译 1,034 条,计算器只有 994 条。

推理阶段

微调之后正常解码。模型写出「→」,表示它在等工具的结果;这时暂停解码,真的去调用工具,把结果和「]」接上去,再让模型继续写。例如模型写到「[Calculator(400 / 1400) →」时暂停,计算器算出 0.29,接上「0.29]」之后,模型再往下写「29%」。

解码也做了两处调整。只要 <API> 是概率最高的前 10 个 token 之一,就让模型开始调用,而不是一定要排第一,鼓励它多用工具;每个输入最多调用一次,避免模型陷入一直调用、不写答案的循环。

讨论

实验设置

主要比较四个模型:原来的 GPT-J;在同一批 CCNet 文本上微调、但不加工具调用的 GPT-J + CC;Toolformer;以及把 <API> 的概率设成 0、不准用工具的 Toolformer。另外也和 OPT 66B、GPT-3 175B(没有指令微调的 davinci)比较。

全部是零样本,只用文字说明任务,不给示例,而且不告诉模型该用哪个工具。评分比较宽松,例如答案出现在模型输出的前几个词里就算对。

结果

任务GPT-J停用工具ToolformerGPT-3 175B
LAMA SQuAD17.822.133.826.8
LAMA Google-RE4.96.311.57.0
LAMA T-REx31.934.953.539.8
ASDiv7.514.840.414.0
SVAMP5.26.329.410.0
MAWPS9.915.044.019.8
WebQS18.518.926.329.0
Natural Questions12.812.617.722.6
TriviaQA43.946.748.865.9
TempLAMA13.712.716.315.5
Dateset3.95.927.30.8

整理自原论文 Table 3、4、5、7;「停用工具」是不准调用 API 的 Toolformer,单位为 %。

填空式的知识题(LAMA):98.1% 的题目模型都自己去问了问答工具,三个子集都赢过 GPT-3。LAMA 的句子取自维基百科,所以这里禁用了维基百科搜索,免得太容易。

数学应用题:97.9% 的题目都调用了计算器,分数是停用工具时的两倍以上,也远远超过 GPT-3。有趣的是,停用工具的 Toolformer 本身也比 GPT-J 好,作者推测是看了大量算式和结果之后,模型自己的计算能力也变好了。

开放问答:问答工具是在 Natural Questions 上微调的,用了就等于作弊,所以这里禁用。模型 99.3% 的时候改用维基百科搜索,赢过其他 GPT-J,但仍然输给 GPT-3。作者认为原因有两个:BM25 搜索引擎很简陋,常常返回不相关的结果;Toolformer 也不会换个关键词重查,或往下多看几条结果。

时间相关的题目:Dateset 要先知道今天的日期才能回答,例如「30 天前是星期几?」,54.8% 的题目用了日历,分数从 5.9% 升到 27.3%。TempLAMA 问的是会随时间改变的事实,例如某位球员效力于哪支球队,Toolformer 也有进步,但只有 0.2% 的题目用了日历,靠的主要是搜索和问答。最好的做法是先查日期、再拿日期去问,但每道题只准调用一次,而且训练数据里的调用都是各工具分开采样的,模型没见过这种接力。

多语言问答(MLQA):问题用阿拉伯语、德语、西班牙语、印地语、越南语或简体中文,背景段落是英文。视语言不同,模型在 63.8% 到 94.9% 的题目上会先把问题翻成英文,比停用工具时好;印地语是例外,只有 7.3% 用了翻译。不过 Toolformer 没有稳定地胜过原来的 GPT-J,因为在 CCNet 上微调本身就让某些语言退步了。

语言能力没有变差

模型WikiTextCCNet
GPT-J9.910.6
GPT-J + CC10.310.5
Toolformer(停用工具)10.310.5

整理自原论文 Table 8;数字是困惑度,越低越好。

在 CCNet 上微调,会让 WikiText 的困惑度稍微变差,但加不加工具调用没有差别。开着工具时的困惑度则没办法算,因为每个位置都可能调用各种工具,要把所有可能性都加总起来才能得到概率。

模型要多大才学得会

原论文 Figure 4:GPT-2 的 124M、355M、775M、1.6B 和 GPT-J 经过 Toolformer 训练后,在 LAMA、数学、问答三类任务上的平均成绩。蓝线是可以用工具,红线是停用工具,虚线是 GPT-3。LAMA 和数学两类,最小的几个模型有没有工具差不多,从 775M 左右开始蓝线明显高于红线,到最大的模型差距仍然很大。问答类从最小的模型起就有几个百分点的差距,一直维持到最大的模型。
原论文 Figure 4(Schick 等人),取自 PDF 第 9 页,arXiv 许可,学术引用。

作者用 GPT-2 的四种规模重做了一次,只给问答、计算器、维基百科搜索三种工具。使用工具的能力大约在 775M 参数时才出现,更小的模型有没有工具都差不多。维基百科搜索是例外,小模型也用得上,作者推测是因为这个 API 比较简单。模型变大,不用工具时的能力变强,用工具的能力也同时变强,所以两者的差距一直存在。

解码的阈值

kkT-REx调用比例WebQS调用比例
034.90.0%18.90.0%
147.840.3%19.38.5%
352.982.8%26.399.3%
1053.598.1%26.3100%

整理自原论文 Table 9,节选部分列;T-REx 与 WebQS 列是准确率(%)。

kk 是 <API> 要排进前几名才开始调用,k=0k = 0 等于停用工具,k=1k = 1 就是普通的贪婪解码。普通的贪婪解码下,模型在 WebQS 上只有 8.5% 的题目会调用工具,分数几乎没变;把阈值放宽到前 3 名,才开始大量使用。

k=1k = 1 时,模型决定不调用的那些题目,分数(T-REx 44.3%、WebQS 19.9%)反而比完全不准用工具时的平均(34.9%、18.9%)还高。说明模型多少知道自己哪些题目不会,会把工具留给那些题目。放宽阈值之后,这种判断就不见了。

留下来的调用长什么样

作者把过滤分数 Li−−Li+L_i^- - L_i^+ 从高到低列出了一些例子。分数高的大多很合理,例如提到英国最古老的战争纪念窗时去搜索 Flodden,分数 5.49;写到「The Nile has an approximate length of」时去问尼罗河有多长,分数 2.08。

分数低的大多没有用,例如写到「85 patients (23%)」时算了 85 / 23,分数 −0.02。但「Catch this fast train to success!」去搜索「Fast train success」,搜到一首 1971 年的歌,内容毫不相关,却还是降低了困惑度,分数 0.92。作者认为少量这种噪声不一定是坏事,模型因此不会盲目相信每个工具的结果。

局限

作者自己列了这几点:

  • 不能串联工具:例如先查日期再拿日期去问,因为各工具的调用是分开采样的,训练数据里没有这种例子。
  • 不能交互:搜索引擎可能返回几百条结果,模型不会浏览,也不会修改查询。
  • 对措辞敏感:要不要调用工具,很容易受输入的写法影响。
  • 效率很低:处理超过一百万份文档,只能得到几千个有用的计算器调用。作者建议可以像其他自举方法一样迭代进行。
  • 不考虑成本:调用不同工具的计算成本差很多,模型做决定时没有考虑这一点。

后来的事

Toolformer 发表四个月后,工具使用成了商业模型的标准功能,但走的是另一条路。2023 年 6 月 13 日,OpenAI 在 API 中加入了 function calling:开发者用 JSON 描述自己的函数,模型判断需要时,输出一个带参数的 JSON 对象,由应用程序去执行,再把结果交回模型。工具由开发者定义,模型在训练时就学会照着描述调用,不再需要自己从普通文本里摸索。

Toolformer 列为局限的串联和交互,在智能体(agent)的循环里都成了基本能力:模型调用工具、看结果、决定下一步,一个任务可以来回几十次。2024 年 11 月,Anthropic 提出 Model Context Protocol,作为把 AI 助手连接到各种数据源和工具的开放标准,工具的接入方式也开始统一。

结论

Toolformer 只给每种工具几个示范,让 GPT-J 在普通文本里自己插入工具调用,再用「有没有让后面的文本更好预测」来筛选。微调之后,这个 6B 的模型在知识填空、数学应用题和日期题上都赢过了 GPT-3 175B,语言能力也没有变差。

这篇最有意思的设计,是让模型自己判断工具有没有用。哪里该插一个问题、哪个答案有帮助,都由模型的损失决定,没有人告诉它;连那条搜到 1971 年老歌的调用,也是模型自己觉得有帮助才留下的。

后来的工具使用没有沿用这套自监督,改由开发者写好工具说明、模型照着调用,简单又可控。不过「调用写在文本里、结果接回文本里、模型接着往下写」这个格式倒是留了下来,今天的智能体每一步都是这样运作的。