文章概要:
1. Prompt2Model可以根據提示自動生成專用NLP模型,在某些情況下性能超過GPT-3.5Turbo。
2. Prompt2Model使用OpenAI的GPT-3.5Turbo生成合成訓練數(shù)據,再利用預訓練的Hugging Face模型進行微調。
3. Prompt2Model依賴OpenAI的GPT-3.5Turbo是商業(yè)應用的局限,正在探索使用開源語言模型。
站長之家(ChinaZ.com)9月5日 消息:卡內基梅隆大學和清華大學的研究人員開發(fā)了Prompt2Model系統(tǒng),可以根據提示自動生成專用NLP模型。
當然,Prompt2Model 并不是GPT-4的替代品,而是用于特殊用途 NLP 模型的自動化管道,這些模型可以很好地執(zhí)行特定任務,比大型模型小得多,因此可以在低端的的硬件上本地運行。
Prompt2Model系統(tǒng)首先將提示分解為結構化語句,然后查找可能對當前任務有用的數(shù)據集。之后利用OpenAI的GPT-3.5Turbo生成針對該任務的合成訓練數(shù)據。接著識別合適的預訓練模型進行微調。
研究人員在三項基準測試中評估了Prompt2Model的結果。在兩項任務中,結果的Flan-T5模型表現(xiàn)優(yōu)于GPT-3.5Turbo。但在第三項基準測試中,Prompt2Model明顯落后于OpenAI模型。
Prompt2Model目前主要局限在僅支持英語的任務上。團隊表示,GPT-3.5Turbo本身的語言支持有限是其原因。而Prompt2Model依賴OpenAI模型生成數(shù)據也限制了其商業(yè)應用,OpenAI禁止利用自己的模型訓練可能與其競爭的模型。
不過,團隊正在探索集成大規(guī)模開源語言模型來減少對專有API的依賴。
項目網址:https://github.com/neulab/prompt2model
(舉報)