論文ノートライブラリに戻る
arXiv 2022ACL 2023モデル適応論文ノート

Self-Instruct

自問自答

原論文

Self-Instruct: Aligning Language Models with Self-Generated Instructions

論文の著者

Yizhong Wang · Yeganeh Kordi · Swaroop Mishra …

著者全 7 名を表示

Yizhong Wang · Yeganeh Kordi · Swaroop Mishra · Alisa Liu · Noah A. Smith · Daniel Khashabi · Hannaneh Hajishirzi

発表先
ACL 2023国際会議
arXiv への初回投稿
arXiv:2212.10560
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{modeltuningselfinstruct2022,
  title = {{Self-Instruct: Aligning Language Models with Self-Generated Instructions}},
  author = {Yizhong Wang and Yeganeh Kordi and Swaroop Mishra and Alisa Liu and Noah A. Smith and Daniel Khashabi and Hannaneh Hajishirzi},
  year = {2022},
  eprint = {2212.10560},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2212.10560}
}
このページの内容

指示チューニングには指示データが要る。そして当時の指示データは、ほぼすべて人が書いたものだった。

学術界のやり方は、FLAN や T0 のように既存の NLP データセットを指示の形に書き直すか、研究者が集まって 1,600 種類以上のタスクを書き上げた Super-NaturalInstructions(以下 SuperNI)のようなものだった。産業界の InstructGPT は、実際のユーザーのプロンプトを大量に使い、アノテーターにデモンストレーションを書いてもらったが、そのデータは一件も公開されていない。

前者には二つの問題がある。書けるタスクの多くは研究者になじみのある分類、質問応答、要約で、普通の人が実際にモデルに尋ねることとは距離がある。しかも、人に新しいタスクを考えてもらい、さらに良い答えを書いてもらうには、創造性も専門性も必要で、大量にこなすのは難しい。

2022 年 12 月、ワシントン大学の Wang らは、ちょっと手抜きにも見える方法を思いついた。GPT-3 は何でも書けるのだから、いっそ自分で問題を出させ、自分で答えさせて、そのデータで GPT-3 自身を微調整すればいい。

問題の定義

まず、指示データの形をはっきりさせておこう。一つのタスク tt には指示 ItI_t が一つと、入力と出力の組 (Xt,i,Yt,i)(X_{t,i}, Y_{t,i}) が一つ以上あり、モデルは M(It,Xt,i)=Yt,iM(I_t, X_{t,i}) = Y_{t,i} を満たさなければならない。

指示と入力の境界は、はっきりしないことが多い。「学校の安全についての文章を書け」は、文全体を指示にして入力なしにすることもできるし、「次のテーマについて文章を書け」を指示、「学校の安全」を入力にすることもできる。著者らは入力が空でもよいことにして、データの形式をより多様にした。

この論文が答えようとしているのは、指示チューニングをしていない言語モデルと、ごく少量の人手によるシードだけで、十分に良い指示データを作り、そのモデル自身に指示に従うことを教えられるのか、という問いだ。

問題を解く

原論文 Figure 2:Self-Instruct の流れ。人手で書いた 175 個のシードタスク(それぞれ指示一つ、例一つ)からなるタスクプールから出発する。ステップ 1 では、言語モデルがタスクプールを参考に新しい指示を生成する。ステップ 2 では、新しい指示が分類タスクかどうかを判定する。ステップ 3 では、分類タスクならラベルを先に生成してから入力を生成し(出力優先)、それ以外のタスクなら入力を先に生成してから出力を生成する(入力優先)。ステップ 4 では、フィルタリングを経た新しいタスクをタスクプールに戻す。
原論文 Figure 2(Wang ら)、PDF 2 ページより。CC BY 4.0。

流れ全体は一つのループだ。著者らと研究室の同僚がまず 175 個のシードタスクを手で書き、それぞれに指示一つと入出力の組一つを用意して、タスクプールに入れる。その後の四つのステップはすべて GPT-3(OpenAI API で最大の davinci)に任せ、生成された新しいタスクはフィルタを通ったらタスクプールに戻して、次の一群の生成に使う。

ステップ 1:新しい問題を出す

毎回タスクプールから 8 つの指示を例として取り出す。うち 6 つは人が書いたシード、2 つはそれまでにモデルが生成したタスクで、モデルにはその続きとして新しい指示を書かせる。モデル自身の産物を混ぜるのは、問題が回を重ねるごとに多様になるようにするためだ。人が書いたシードを多数派に保つのは、品質がぶれていかないようにするためだ。

ステップ 2:分類問題かどうかを判定する

次は各指示に入力と出力を生成するのだが、分類問題とそれ以外とではやり方が違うので、先に見分けておく必要がある。著者らは少数ショットのプロンプトでモデルに 12 個の分類の指示と 19 個の非分類の指示を見せ、新しい指示がどちらに属するかを判定させる。ここでいう分類問題とは、出力が少数のラベルに限られるタスクのことだ。

ステップ 3:例を生成する

一般の問題には入力優先を使う。指示に基づいてまず入力を書き、それから出力を書く。普段モデルを使うときと同じ順序だ。

分類問題で同じことをすると、問題が起きる。文法の誤り検出を例にとると、モデルが書く入力はほぼすべて文法的に正しい文になり、ラベルがひどく一方に偏る。そこで分類問題では出力優先に切り替え、まずありうるラベルを列挙し、ラベルごとに対応する入力を書かせる。たとえば「この文章は中絶の権利に賛成か反対かを判定せよ」という問題なら、モデルはまずラベル「Pro-abortion」を決め、それから中絶の権利を支持する文章を生成する。

ステップ 4:フィルタリング

モデルは同じことを繰り返すので、新しい指示はタスクプールのすべての指示と ROUGE-L で比べ、類似度がどれとも 0.7 未満のときだけ受け入れる。ROUGE-L は二つの文の最長共通部分列を見る指標だ。論文の流れ図にある「Give me a quote from a famous person on this topic.」を例にすると、候補「Give me a famous quote on this topic.」は元の文を言い換えただけなので、はじかれる。「Find out if the given review is positive or negative.」は流れ図のもう一つの指示「Find out if the given text is in favor of or against abortion.」と同じ構文だが、タスクが立場の判定からレビューの肯定・否定に変わっているので、残る。

ほかのフィルタリングのルールもある。image、picture、graph のように言語モデルが扱えないキーワードを含むものは捨てる。同じ指示の下でまったく同じ例や、入力が同じなのに出力が違う例も捨てる。さらにいくつかの経験則で、長すぎるもの、短すぎるもの、出力が入力を繰り返しているだけの生成結果を削除する。

微調整

データができたら、それを生成したのと同じ GPT-3 を、OpenAI の微調整 API で微調整する。プロンプトの部分は損失に含めず、2 エポック訓練する。モデルが形式を選り好みしないように、指示と入力はさまざまなテンプレートでつなぐ。たとえば指示の前に「Task:」をつけるかどうか、入力の前に「Input:」をつけるかどうか、間に何行空けるか、といった具合だ。得られたモデルを GPT3Self-Inst と呼ぶ。

何ができたか

最終的に、52,445 個の指示と 82,439 組の例ができた。そのうち 11,584 個が分類問題で、35,878 組の例には入力がない。

これらの問題はシードとどれくらい違うのか? 著者らは、新しい指示それぞれと最も似たシードとの ROUGE-L を計算した。大半は 0.2 から 0.45 の間に収まり、ピークは 0.3 前後で、0.6 を超えるものはわずかだった。つまり多くは、シードにはない新しい問題だ。動詞と目的語の分布もよく散らばっており、最も多い 20 個の動詞と、それぞれで最も多い 4 個の目的語を合わせても、指示全体の 14% にしかならない。

品質はまた別の話だ。著者らは 200 個の指示を、それぞれ例一組とともにランダムに抜き出し、自分たちで一つずつ確認した。

確認項目合格
指示が有効なタスクを記述している92%
入力がその指示にふさわしい79%
出力が正しく、受け入れられる回答である58%
三つとも問題なし54%

原論文 Table 2 をもとに整理。

例の半分近くに誤りがある。著者らの見方では、内容が間違っていても形式はたいてい正しいか、少なくとも部分的には正しいので、モデルに「指示にどう応じるか」を教えるにはやはり役に立つ。

議論

SuperNI:InstructGPT001 にほぼ追いつく

最初の実験では、SuperNI の評価タスク 119 個を、それぞれ 100 件ずつ使う。タスクの定義だけを与えてゼロショットで答えさせ、出力と正解の ROUGE-L を見る。

モデルパラメータROUGE-L
GPT-3175B6.8
T011B33.1
GPT-3 + T0 訓練データ175B37.9
GPT3Self-Inst175B39.9
InstructGPT001175B40.8
Tk-Instruct(SuperNI で訓練)11B46.0
GPT-3 + SuperNI 訓練データ175B49.5
GPT3Self-Inst + SuperNI 訓練データ175B51.6

原論文 Table 3 をもとに整理。

素の GPT-3 は指示にほとんど従えず、無関係な内容や繰り返しをよく書き、いつ止めればいいかわからない。自分で生成したデータで微調整すると、ROUGE-L は 33.1 上がり、InstructGPT001 との差は 1 ポイントもない。InstructGPT001 のほうは、非公開のユーザーデータと人間のアノテーションを使っている。ここで 001 版とだけ比べているのは、より新しい版は最新のユーザーデータを使っており、SuperNI のテストセットを見ている可能性が高いからだ。

SuperNI 自身の訓練データを使えば、問題の作風も形式も同じなので、強いのは当然だ。それでも SuperNI の訓練データに Self-Instruct のデータを加えると、49.5 から 51.6 にさらに上がる。二種類のデータは補い合えるということだ。

実際の用途:252 問の新しい問題

SuperNI のタスクは多くが研究用に設計されたもので、分類に偏っている。著者らは別に、言語モデルが役に立ちそうな分野をブレインストーミングで挙げ、メールの作成、SNS、生産性ツール、エンターテインメント、プログラミングといった分野ごとに指示を書いた。合計 252 問だ。

これらの問題は自動で採点するのが難しく、プログラムを書く問題や一階論理を自然言語に直す問題などは、普通のクラウドワーカーにも採点できない。そこで問題を書いた著者自身が採点し、四段階に分けた。A:正しく、満足できる。B:許容範囲だが、小さな瑕疵がある。C:指示には応じているが、内容に明らかな誤りがある。D:無関係または無効。

原論文 Figure 6:252 問のユーザー向け指示で、各モデルの回答が A(緑)、B(青)、C(黄)、D(赤)と評価された問題数。素の GPT-3 は 187 問が D、64 問が C で、B は 1 問だけ。T0 や SuperNI のデータで微調整した GPT-3 は改善している。GPT3 Self-Inst は A が 112 問、B が 49 問。InstructGPT001 は A が 128 問、B が 45 問。InstructGPT002 と 003 の A はそれぞれ 168 問と 192 問。
原論文 Figure 6(Wang ら)、PDF 7 ページより。CC BY 4.0。

破線の左側は GPT-3 とそのさまざまな微調整版、右側は OpenAI の三世代の InstructGPT だ。どのモデルも同じ 252 問に答えており、A と評価された割合は GPT3Self-Inst が 44.4%、InstructGPT001 が 50.8% だ。

B も使えるものとして数えると、GPT3Self-Inst は 63.9%、InstructGPT001 は 68.7% で、差は 5 ポイントに満たない。これが論文の要旨で言う「差はわずか 5%」だ。T0 や SuperNI のデータで微調整した GPT-3 にもはっきり勝っている。ただし InstructGPT002 と 003 は格が違い、003 は回答の 4 分の 3 以上が A と評価された。

データは多いほど良いが、品質はもっと大事

原論文 Figure 7:A と評価された割合を、Self-Instruct の指示の数(175 から約 5 万、対数軸)に対して描いた図。175 個のシードだけでは 31.0%、約 1,000 個で 36.9%、約 1.6 万個で 43.7%、全データで 44.4%。もう一つの点は、InstructGPT003 で出力を生成し直したうえで全指示で微調整した結果で、54.4%。
原論文 Figure 7(Wang ら)、PDF 8 ページより。CC BY 4.0。

青線は Self-Instruct の指示を異なる数だけ使って微調整したもので、A と評価された割合は 31.0% から 44.4% に上がるが、約 1.6 万個を過ぎるとほとんど動かなくなる。SuperNI ではもっと早く飽和し、数百個の指示で頭打ちになる。著者らは、このデータが典型的な NLP タスクとかなり違うためだろうと推測している。

もっと面白いのはオレンジの点だ。著者らはすべての指示と入力をそのまま残し、出力だけを InstructGPT003 に書き直させてから GPT-3 を微調整した。すると A の割合は一気に 54.4% に跳ね上がり、10 ポイント増えた。言い換えれば、InstructGPT003 の能力をこの問題群に蒸留したわけだ。

この実験の費用も付録に書かれている。当時の davinci は 1,000 token あたり 0.02 ドルで、データ全体の生成に約 600 ドルかかった。全データで GPT-3 を微調整するのにかかったのは 338 ドルだ。

限界

著者ら自身が三点を挙げている。

  • ロングテール:モデルが得意なのは事前学習データによく出てくるものなので、Self-Instruct の効果もよくあるタスクに集中しているかもしれない。まれな指示や独創的な指示に出会うと、うまくいかなくなりやすい。
  • 大きなモデルへの依存:この方法は言語モデル自体の帰納バイアスに頼っているので、大きなモデルでしか効かないかもしれず、計算資源が足りない人には使えない。
  • バイアスの増幅:自己生成を繰り返すと、社会的な偏見がどんどん増幅されるおそれがある。分類問題のラベルの釣り合いが取りにくいのも、モデルがもともと持っている好みの表れだ。

もう一点、補足しておきたい。Self-Instruct はモデルに新しい知識をもたらしていない。問題も答えも GPT-3 自身から出てきたものだ。教えたのは「指示を見たらどう応じるか」である。出力を InstructGPT003 に書き直させるだけで A の割合が 44.4% から 54.4% に跳ね上がったことも、それを物語っている。

その後

三か月後、Stanford の Alpaca がこの流れを LLaMA に持ち込んだ。同じ 175 個のシードから出発し、text-davinci-003 で 52,000 件の指示デモンストレーションを生成した。データ生成にかかったのは 500 ドル未満、LLaMA-7B の微調整は 100 ドル未満だった。Alpaca の説明は、学術研究での利用に限るとはっきり書いている。理由の一つは LLaMA 自体が非商用ライセンスであること、もう一つは OpenAI の利用規約が、その出力を使って OpenAI と競合するモデルを開発することを禁じていることだ。

その後、強いモデルで指示データを生成するのは一般的なやり方になり、手法もどんどん凝ったものになった。2024 年の Tülu 3 は、まず大量の「ペルソナ」を用意し、GPT-4o にそれらの人物になりきって問題を出させることで、問題の多様性を高めた。Self-Instruct がモデルの産物を混ぜた発想と同じ系譜にある。

結論

Self-Instruct は、人が書いた 175 個のシードタスクだけで GPT-3 に 5 万個あまりの指示を生成させ、微調整後は SuperNI で InstructGPT001 の水準に追いつき、実際の用途を想定した 252 問でも差は 5 ポイント未満だった。データの生成には約 600 ドルかかり、全データでの GPT-3 の微調整は 338 ドルだった。

自分で指示データを作りたいなら、この論文の四つのステップはいま見てもかなり実用的だ。少量のモデルの産物を混ぜて多様性を増やし、分類問題はラベルを先に決めてから入力を書き、類似度で重複をはじき、ルールで明らかなゴミを掃除する。いちばん気をつけるべきは品質で、著者らが 200 個を抜き取り検査したところ、指示、入力、出力の三つとも問題がなかったのは 54% だけだった。使えはするが、信用しすぎないこと。

後に続いた人たちの多くは、この出題の流れだけを残し、「自分」をもっと強い先生に取り替えた。Alpaca は text-davinci-003 に出題と解答を頼み、Tülu 3 は GPT-4o にさまざまな人物を演じさせて出題させた。論文の中で出力を InstructGPT003 に書き直させただけで A の割合が 10 ポイント増えたことが、この一歩をとっくに予告していた。