[20.10] AutoPrompt
模型語
AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts
語言模型愈做愈大,使得大部分的人都沒有能力來訓練或微調時,另外一個方向的研究應運而生:提示工程(Prompt engineering)。
這個概念是指如何設計一個好的提示(prompt),讓大型語言模型能夠回答特定問題。
但是寫提示很麻煩啊!
定義問題
手動編寫提示既費時又麻煩
每次為一個新任務編寫提示,就像在玩一場需要反復試驗的拼圖遊戲,需要花大量時間。
編寫這些提示也不簡單,你得非常了解模型和任務,才能寫出有效的提示,這對大部分人來說並不直觀。
模型對輸入的敏感度超高
模型對提示的要求很高,一點點的變化可能會讓模型的表現大打折扣。
寫提示時稍有不慎,就可能讓結果一團糟。
專業知識不足
手動寫提示不僅累,而且需要非常專業的知識。如果不具備專業知識,可能問不到核心概念,模型也只能回答一些表面問題。
換個模型換個腦袋
經歷過前面幾個挑戰後,你花了幾個月,終於完成了可以完全壓榨出模型潛力的提示工程。
但是這時候,模型升級了!
於是你又得重新開始。