{"notes":[{"id":"transformers/gpt_2","category":"transformers","legacyPath":"transformers/1902-gpt_2","legacySlug":"1902-gpt_2","legacyPaths":[],"title":"GPT-2","subtitle":"四十八層解碼器","author":"Z. Yuan","paperDate":"2019","publishedOn":"2024-05-24","paperTitle":"Language models are unsupervised multitask learners","paperUrl":"https://openai.com/index/better-language-models/","bibliography":{"title":"Language models are unsupervised multitask learners","authors":["Alec Radford","Jeffrey Wu","Rewon Child","David Luan","Dario Amodei","Ilya Sutskever"],"url":"https://openai.com/index/better-language-models/","pdfUrl":"https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf","codeUrl":"https://github.com/openai/gpt-2","preprint":null,"publication":{"venue":"OpenAI","year":2019,"kind":"report","url":"https://openai.com/index/better-language-models/"},"citation":"@techreport{transformersgpt22019,\n  title = {{Language models are unsupervised multitask learners}},\n  author = {Alec Radford and Jeffrey Wu and Rewon Child and David Luan and Dario Amodei and Ilya Sutskever},\n  year = {2019},\n  institution = {OpenAI},\n  url = {https://openai.com/index/better-language-models/}\n}\n","citationPath":"/content/papers/citations/transformers/gpt_2.f680e2d5a366.bib"},"thumbnail":{"src":"/content/papers/assets/e9f22b4511e15494c184fe4b81e763a07d74e80f1f8dcb9c4619d8c0ddff9866.jpg","width":804,"height":312},"locale":"zh-hant","path":"/content/papers/zh-hant/transformers/gpt_2.d7403d87e643.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"脆弱性","text":"脆弱性","depth":3},{"id":"狹隘專家的局限性","text":"狹隘專家的局限性","depth":3},{"id":"泛化能力不足","text":"泛化能力不足","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型設計","text":"模型設計","depth":3},{"id":"多任務學習","text":"多任務學習","depth":3},{"id":"多樣化的資料","text":"多樣化的資料","depth":3},{"id":"優化-bpe-編碼","text":"優化 BPE 編碼","depth":3},{"id":"位元組-bpebyte-level-bpe","text":"位元組 BPE（Byte-Level BPE）","depth":4},{"id":"討論","text":"討論","depth":2},{"id":"模型尺寸","text":"模型尺寸","depth":3},{"id":"zero-shot","text":"Zero-shot","depth":3},{"id":"各類實驗","text":"各類實驗","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/gpt_1","relation":"background","topic":"從語言預訓練到情境學習"},{"id":"transformers/gpt_3","relation":"next","topic":"從語言預訓練到情境學習"}]},{"id":"transformers/gpt_1","category":"transformers","legacyPath":"transformers/1806-gpt_1","legacySlug":"1806-gpt_1","legacyPaths":[],"title":"GPT-1","subtitle":"十二層解碼器","author":"Z. Yuan","paperDate":"2018","publishedOn":"2024-05-05","paperTitle":"Improving Language Understanding by Generative Pre-Training","paperUrl":"https://openai.com/index/language-unsupervised/","bibliography":{"title":"Improving Language Understanding by Generative Pre-Training","authors":["Alec Radford","Karthik Narasimhan","Tim Salimans","Ilya Sutskever"],"url":"https://openai.com/index/language-unsupervised/","pdfUrl":"https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf","codeUrl":"https://github.com/openai/finetune","preprint":null,"publication":{"venue":"OpenAI","year":2018,"kind":"report","url":"https://openai.com/index/language-unsupervised/"},"citation":"@techreport{transformersgpt12018,\n  title = {{Improving Language Understanding by Generative Pre-Training}},\n  author = {Alec Radford and Karthik Narasimhan and Tim Salimans and Ilya Sutskever},\n  year = {2018},\n  institution = {OpenAI},\n  url = {https://openai.com/index/language-unsupervised/}\n}\n","citationPath":"/content/papers/citations/transformers/gpt_1.634f01e1da35.bib"},"thumbnail":{"src":"/content/papers/assets/09638f2c9f2ddf16a7510c19cd888dd53d93ebd8746b94742b311fdb192fc66a.jpg","width":1224,"height":620},"locale":"zh-hant","path":"/content/papers/zh-hant/transformers/gpt_1.fb8aa64aebf9.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"1-缺乏標註資料","text":"1. 缺乏標註資料","depth":3},{"id":"2-任務不一致","text":"2. 任務不一致","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構","text":"模型架構","depth":3},{"id":"預訓練策略","text":"預訓練策略","depth":3},{"id":"微調策略","text":"微調策略","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"為什麼-transformer-有效","text":"為什麼 Transformer 有效？","depth":3},{"id":"哪一個部分有效","text":"哪一個部分有效？","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/transformer","relation":"background","topic":"從語言預訓練到情境學習"},{"id":"transformers/gpt_2","relation":"next","topic":"從語言預訓練到情境學習"}]},{"id":"transformers/gpt_3","category":"transformers","legacyPath":"transformers/2005-gpt_3","legacySlug":"2005-gpt_3","legacyPaths":[],"title":"GPT-3","subtitle":"九十六層解碼器","author":"Z. Yuan","paperDate":"2020-05-28","publishedOn":"2024-06-04","paperTitle":"Language Models are Few-Shot Learners","paperUrl":"https://arxiv.org/abs/2005.14165","bibliography":{"title":"Language Models are Few-Shot Learners","authors":["Tom B. Brown","Benjamin Mann","Nick Ryder","Melanie Subbiah","Jared Kaplan","Prafulla Dhariwal","Arvind Neelakantan","Pranav Shyam","Girish Sastry","Amanda Askell","Sandhini Agarwal","Ariel Herbert-Voss","Gretchen Krueger","Tom Henighan","Rewon Child","Aditya Ramesh","Daniel M. Ziegler","Jeffrey Wu","Clemens Winter","Christopher Hesse","Mark Chen","Eric Sigler","Mateusz Litwin","Scott Gray","Benjamin Chess","Jack Clark","Christopher Berner","Sam McCandlish","Alec Radford","Ilya Sutskever","Dario Amodei"],"url":"https://arxiv.org/abs/2005.14165","pdfUrl":"https://arxiv.org/pdf/2005.14165","codeUrl":null,"preprint":{"id":"2005.14165","submittedOn":"2020-05-28","url":"https://arxiv.org/abs/2005.14165"},"publication":{"venue":"NeurIPS","year":2020,"kind":"conference","url":"https://proceedings.neurips.cc/paper_files/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html"},"citation":"@misc{transformersgpt32020,\n  title = {{Language Models are Few-Shot Learners}},\n  author = {Tom B. Brown and Benjamin Mann and Nick Ryder and Melanie Subbiah and Jared Kaplan and Prafulla Dhariwal and Arvind Neelakantan and Pranav Shyam and Girish Sastry and Amanda Askell and Sandhini Agarwal and Ariel Herbert-Voss and Gretchen Krueger and Tom Henighan and Rewon Child and Aditya Ramesh and Daniel M. Ziegler and Jeffrey Wu and Clemens Winter and Christopher Hesse and Mark Chen and Eric Sigler and Mateusz Litwin and Scott Gray and Benjamin Chess and Jack Clark and Christopher Berner and Sam McCandlish and Alec Radford and Ilya Sutskever and Dario Amodei},\n  year = {2020},\n  eprint = {2005.14165},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2005.14165}\n}\n","citationPath":"/content/papers/citations/transformers/gpt_3.e117d4f773ec.bib"},"thumbnail":{"src":"/content/papers/assets/7cf129fba1be78b1b43198edc35c44063ba70cb8fc082136055a265ee022b092.jpg","width":1204,"height":1080},"locale":"zh-hant","path":"/content/papers/zh-hant/transformers/gpt_3.64c4b9dce4b4.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"多樣化的語言任務需求","text":"多樣化的語言任務需求","depth":3},{"id":"依賴大規模監督數據集","text":"依賴大規模監督數據集","depth":3},{"id":"模型的過度專業化和泛化問題","text":"模型的過度專業化和泛化問題","depth":3},{"id":"人類的學習效率與模型的對比","text":"人類的學習效率與模型的對比","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構","text":"模型架構","depth":3},{"id":"資料集設定","text":"資料集設定","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"lambada","text":"LAMBADA","depth":3},{"id":"closed-book-question-answering","text":"Closed Book Question Answering","depth":3},{"id":"結論","text":"結論","depth":2},{"id":"1-性別偏見","text":"1. 性別偏見","depth":3},{"id":"2-種族偏見","text":"2. 種族偏見","depth":3},{"id":"3-宗教偏見","text":"3. 宗教偏見","depth":3}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/gpt_2","relation":"background","topic":"從語言預訓練到情境學習"},{"id":"transformers/scaling_laws","relation":"next","topic":"模型大小與訓練資料量的取捨"},{"id":"model-evaluation/jev-evaluation","relation":"comparison","topic":"用提示或結構化判斷接上新任務"}]}],"text":"第一代的 GPT 疊了十二層 Transformer 解碼器。\n\nOpenAI 覺得這樣不夠，於是他們疊了四十八層 Transformer 解碼器，這就是 GPT-2。\n\n## 定義問題\n\n作者認為現有的機器學習系統表現出色，但其實充滿問題。\n\n在這篇文章中，簡要的說明了幾個方向：\n\n### 脆弱性\n\n- 機器學習系統在資料分佈和任務規範的輕微變化方面表現出脆弱性。\n- 這些系統對於不同輸入的多樣性和變化缺乏穩定性，導致不穩定的行為。\n\n### 狹隘專家的局限性\n\n- 當前的機器學習系統更像是狹隘的專家，而不是通用型的系統，限制了其應用範圍。\n- 這些系統依賴於為每個特定任務手動建立和標記訓練資料集，過程繁瑣且不具通用性。\n\n### 泛化能力不足\n\n- 單域資料集上單任務訓練的普遍存在導致了系統缺乏泛化能力。\n- 為了實現穩健的系統，可能需要在更廣泛的領域和多任務上進行培訓和測量效能。\n\n## 解決問題\n\n這篇論文沿用 GPT-1 的全解碼器架構，擴大模型規模，並修改正規化、初始化與分詞方式。\n\n### 模型設計\n\n首先，將 LayerNorm 移到了每個子塊的輸入處，這與前啟動殘差網路類似。此外，作者在最後一個自注意力塊（self-attention block）之後添加了一個額外的層歸一化。\n\n作者使用了一種修改過的初始化方法，考慮到模型深度增加時殘差路徑上的累積。在初始化時將殘差層的權重按 1/√N 的因子進行縮放，這裡 N 是殘差層的數量。\n\n為了增強模型的能力，作者將詞彙表擴展到 50,257。上下文大小也從 512 增加到 1024 個 Tokens，並且使用更大的 Batch size 為 512。\n\n\n> [!TIP]\n> \n> 如果你有經驗，就會知道在這種設計下，Batch size 為 512 真的是個很大的數字。\n\n\n### 多任務學習\n\n一個通用系統應該能夠執行許多不同的任務。這意味著系統需要對 P(輸出|輸入，任務) 進行建模，而不僅僅是對單一任務的條件分佈 P(輸出|輸入) 進行建模。\n\n在這裡，作者提出的實現方式為：將輸入和輸出全部指定為符號序列，並使用語言建模來訓練模型。例如，翻譯訓練範例可以表示為（翻譯為法文、英文文字、法文文字），而閱讀理解訓練範例可以表示為（回答問題、文件、問題、答案）。\n\n總之，就是用文字說明，來區分不同的任務。這些格式是論文用來解釋想法的例子；GPT-2 實際上仍是在 WebText 上做下一個 token 預測，沒有另外用一份人工標記的多任務資料集訓練。\n\n### 多樣化的資料\n\n大多數先前的語言模型訓練工作集中在單一文本域，例如新聞文章、維基百科或小說書籍。作者提出的方法則鼓勵建立盡可能大和多樣化的資料集，以便涵蓋更多領域和上下文的自然語言演示。\n\n為此，作者考慮過 Common Crawl，但在初步實驗發現資料品質問題。\n\n但是用了之後，發現 Common Crawl 存在嚴重的資料品質問題...\n\n- **解決方案**\n\n  - **新的網頁抓取**：為了提高資料品質，作者抓取 Reddit 上獲得至少 3 點 karma 的出站連結，以此作為內容可能有價值的篩選線索，並非逐篇確認內容乾淨。\n  - **資料集 WebText**：產生的資料集 WebText 包含這 4500 萬個連結的文字子集。WebText 初步版本不包括 2017 年 12 月之後創建的鏈接，經過重複數據刪除和啟發式清理後，包含略超過 800 萬個文件，共計 40 GB 文字。\n  - **維基百科文件排除**：從 WebText 中刪除維基百科文件，以減少與常用評估資料重疊、方便分析。\n\n\n> [!TIP]\n> \n> 這裡的 2017 年 12 月是本文 WebText 初步版本的連結時間截點。不過，辨識訓練語料中的模型生成內容，確實是後續值得留意的問題。\n> \n> 若模型反覆學習生成內容，錯誤或偏差可能被帶入後續訓練；這是延伸的風險推測，本文並未測試模型會否因此崩潰。\n\n\n### 優化 BPE 編碼\n\n位元組級 BPE 的優勢在於其靈活性和通用性，因為它可以將任何字元分解為位元組序列。然而，直接將 BPE 應用於位元組序列上，可能會因為 BPE 使用貪婪的頻率算法來構建詞彙，導致次優的合併結果。\n\n為了解決這個問題，作者提出了一種改進的方法：在位元組序列中，阻止不同字元類別之間的合併，僅對空格作為例外。這樣可以顯著提高壓縮效率，同時僅在多個詞彙標記中添加最少的單字碎片。\n\n\n> [!TIP]\n> \n> 這可能像是拼拼圖。\n> \n> 普通的 BPE 就像是你先把一些經常出現的拼圖塊組合起來，比如天空的部分、草地的部分，然後把這些組合好的大塊放到一起拼。這樣做的好處是，你很快就能拼出一大片天空或一大片草地，效率很高。\n> \n> 不過，如果這個拼圖的圖案非常複雜，有很多種不同的圖案組合（相當於 Unicode 字元），你需要記住所有這些圖案的組合方式，這樣你的拼圖塊就會變得非常多，管理起來很麻煩。\n> \n> #### 位元組 BPE（Byte-Level BPE）\n> \n> 位元組 BPE 的方法就像是你不管這些圖案，只關注每一塊拼圖本身。你把每一塊拼圖分成更小的單位，可能是每一小片的顏色或形狀。這樣做的好處是，你只需要記住這些基本的單位，而不需要記住整個圖案的組合方式。起始單位只有 256 種位元組；後續經過合併，本文最後的詞彙表仍有 50,257 個 token。\n> \n> 但這也有一個問題，如果你隨意地把這些小單位組合起來，你可能會發現拼圖變得更加零散，比如說你會把一部分天空和一部分草地混在一起，這樣你很難拼出完整的圖案。\n> \n> 為了解決這個問題，作者提出了一個改進的方法。他們決定在組合這些小單位時，避免把不同類型的圖案混合在一起，比如不把天空和草地的單位混在一起，這樣可以保證每一部分圖案更容易拼出來。同時，他們允許在圖案之間留一些空白，這樣可以保持每一部分圖案的完整性。\n> \n> 這樣一來，他們就能結合兩種方法的優點：既能有效地拼出大的圖案，又不需要記住過多的圖案組合方式。這種方法讓他們能夠更高效地完成拼圖遊戲，也更容易看到完整的圖案。\n\n\n## 討論\n\n### 模型尺寸\n\n![arch hyper](/content/papers/assets/e9f22b4511e15494c184fe4b81e763a07d74e80f1f8dcb9c4619d8c0ddff9866.jpg)\n\n本論文提出了四個模型參數設計，進行了訓練和基準測試。\n\n圖中的四列分別是 117M／12 層、345M／24 層、762M／36 層和 1542M／48 層；下文的 GPT-2 指最大的 1542M 模型。\n\n### Zero-shot\n\n![results](/content/papers/assets/505052f8463529931e71acaf17ebd516beb0f9564afac79d068019b9cbbdffcd.jpg)\n\n作者首先檢視模型的零樣本性能：評估時不對目標資料集進行訓練或微調，再依任務提供文字提示或計算語言模型分數。\n\n在這張表中，作者報告 8 個資料集裡有 7 個達到當時最佳；例外是 1B Word Benchmark。Penn Treebank 和 WikiText-2 等資料集原有訓練部分只有約 100 到 200 萬個 token，GPT-2 在此不使用它們訓練。\n\n針對長期依賴性測量的資料集（如 LAMBADA 和兒童圖書測試）也取得了巨大的進步。\n\n| 指標    | 含義                                                       | 解讀方式                                               |\n| ------- | ---------------------------------------------------------- | ------------------------------------------------------ |\n| **PPL** | **困惑度**：由模型對測試文字的平均負對數機率計算。 | 同一資料與前處理條件下，分數愈低愈好。     |\n| **ACC** | **準確率**：衡量模型預測正確的比例。                       | 分數越高，表示模型預測正確的比例越高，即模型越準確。   |\n| **BPB** | **每位元組位數**：模型在測試文字上平均每個位元組的負對數機率，以 bit 表示。 | 同一資料條件下愈低愈好；不是位元組本身的固定編碼長度。 |\n| **BPC** | **每字元位數**：同樣的模型分數改以每個字元計算。     | 同一資料條件下愈低愈好。 |\n\n### 各類實驗\n\n作者在各種不同的任務上進行了實驗，包括語言建模、機器翻譯、問答、文本摘要、文本生成等。\n\n我們就簡單彙整一份表格，讓你快速了解 GPT-2 在各個任務上的表現：\n\n| **測試名稱**             | **目的**                             | **測試方式**                           | **結果**                                                                                    |\n| ------------------------ | ------------------------------------ | -------------------------------------- | ------------------------------------------------------------------------------------------- |\n| **兒童圖書測驗 (CBT)**   | 檢查模型在不同類別單字上的表現。     | 在無顯著 WebText 重疊的驗證集，從 10 個候選詞預測完形填空答案。 | 普通名詞準確率 93.3%，命名實體準確率 89.1%。                                                |\n| **LAMBADA**              | 測試對遠端依賴關係的建模能力。       | 預測文本的最後一個詞。                   | 困惑度從先前的 99.8 降至 8.6；未加過濾器時準確率為 52.66%，加上停用詞過濾器後為 63.24%。 |\n| **Winograd Schema 挑戰** | 測量解決文本歧義的能力。             | 比較兩個指代選項的語言模型分數。                       | 在僅 273 個範例的資料集上達到 70.70% 準確率。                                                       |\n| **閱讀理解（CoQA）**     | 測試回答依賴對話歷史的問題能力。     | 以文件、對話歷史及 `A:` 提示生成答案。                   | 開發集上達到 55 F1，達到或超過四個監督訓練基線中的三個。                                 |\n| **摘要**                 | 測試總結能力。                       | 在文章後加 `TL;DR:`，用 top-k（k=2）抽樣，取生成的前三句。          | ROUGE 平均 21.40，僅略高於隨機選三句的 20.98；細節有時混淆。      |\n| **翻譯**                 | 測試翻譯能力。                       | 以英法句對作提示，產生另一種語言的句子。            | WMT-14 英法為 5 BLEU；法英為 11.5 BLEU，仍低於當時最佳無監督方法的 33.5 BLEU。       |\n| **問答**                 | 測試為事實性問題產生正確答案的頻率。 | 以範例問答對提示，在 Natural Questions 評估精確匹配。   | 答對 4.1%，是最小模型的 5.3 倍；最有信心的 1% 問題中答對 63.1%。           |\n\n## 結論\n\n本研究旨在探索無監督任務學習在自然語言處理（NLP）中的應用和潛力，特別是利用 GPT-2 模型在無需監督適應或修改的情況下直接執行各種 NLP 任務的能力。\n\nGPT-2 告訴我們：當大型語言模型在足夠大且多樣化的資料集上進行訓練時，它們能夠在許多領域和資料集上表現良好，並且能夠在不需要顯式監督的情況下執行大量任務。\n\n這些發現為未來 NLP 任務中的無監督學習和模型改進提供了新的視角和可能性。\n","imageSizes":{"/content/papers/assets/e9f22b4511e15494c184fe4b81e763a07d74e80f1f8dcb9c4619d8c0ddff9866.jpg":{"width":804,"height":312},"/content/papers/assets/505052f8463529931e71acaf17ebd516beb0f9564afac79d068019b9cbbdffcd.jpg":{"width":1586,"height":376}}}
