站長(zhǎng)之家(ChinaZ.com) 10月9日消息:大型語(yǔ)言模型（LLMs）因其模仿人類(lèi)特性而引起了廣泛關(guān)注。這些模型能夠回答問(wèn)題、生成內(nèi)容、總結(jié)長(zhǎng)文本段落等等。提示語(yǔ)對(duì)于提高 LLMs（如 GPT-3.5 和 GPT-4）的性能至關(guān)重要。
提示語(yǔ)的創(chuàng)建方式可以對(duì) LLMs 在各種領(lǐng)域的能力產(chǎn)生重大影響，包括推理、多模態(tài)處理、工具使用等等。研究人員設(shè)計(jì)的這些技術(shù)在模型蒸餾和代理行為模擬等任務(wù)中顯示出了潛力。
提示方法的手動(dòng)工程引發(fā)了一個(gè)問(wèn)題，即是否可以自動(dòng)化這個(gè)過(guò)程。通過(guò)根據(jù)來(lái)自數(shù)據(jù)集的輸入-輸出實(shí)例生成一組提示語(yǔ)，自動(dòng)提示工程師（APE）試圖解決這個(gè)問(wèn)題，但從提示語(yǔ)質(zhì)量的角度來(lái)看，APE 存在著遞減的回報(bào)。研究人員提出了一種基于維持多樣性的進(jìn)化算法的方法，用于自我參考的提示語(yǔ)的自我改進(jìn)，以克服提示語(yǔ)創(chuàng)建中的遞減回報(bào)問(wèn)題。
LLMs 可以改變其提示語(yǔ)以提高其能力，就像神經(jīng)網(wǎng)絡(luò)可以改變其權(quán)重矩陣以提高性能一樣。根據(jù)這種比較，LLMs 可以被創(chuàng)建來(lái)增強(qiáng)它們自己的能力以及它們?cè)鰪?qiáng)自己能力的過(guò)程，從而使人工智能能夠不斷改進(jìn)。作為對(duì)這些想法的回應(yīng)，Google DeepMind 的研究團(tuán)隊(duì)最近引入了 PromptBreeder（PB），這是一種 LLMs 以自我參考的方式更好地提升自己的技術(shù)。
PB 需要一個(gè)特定領(lǐng)域的問(wèn)題描述、一組初始突變提示語(yǔ)（用于修改任務(wù)提示語(yǔ)的指令）以及思維風(fēng)格，即以文本形式表示的通用認(rèn)知啟發(fā)式。通過(guò)利用 LLM 作為突變操作符的能力，它生成不同的任務(wù)提示語(yǔ)和突變提示語(yǔ)。這些進(jìn)化的任務(wù)提示語(yǔ)在訓(xùn)練集上進(jìn)行評(píng)估，選擇包含任務(wù)提示語(yǔ)及其相關(guān)突變提示語(yǔ)的進(jìn)化單元的子集，用于未來(lái)的世代。
該團(tuán)隊(duì)表示，PromptBreeder 觀察到提示會(huì)在幾代中適應(yīng)特定領(lǐng)域。例如，PB 開(kāi)發(fā)了一個(gè)任務(wù)提示，其中明確說(shuō)明了如何解決數(shù)學(xué)領(lǐng)域的數(shù)學(xué)問(wèn)題。在各種基準(zhǔn)任務(wù)中，包括常識(shí)推理、算術(shù)和倫理學(xué)，PB 都優(yōu)于最先進(jìn)的提示技術(shù)。PB 不需要更新參數(shù)來(lái)進(jìn)行自我參照的自我改進(jìn)，這表明未來(lái)更廣泛、更有能力的 LLMs 可能會(huì)從這一策略中受益。
PromptBreeder 的工作流程可以總結(jié)如下：
1. 任務(wù)提示語(yǔ)突變：任務(wù)提示語(yǔ)是為特定任務(wù)或領(lǐng)域創(chuàng)建的提示語(yǔ)。PromptBreeder 從這些提示語(yǔ)開(kāi)始。然后對(duì)任務(wù)提示語(yǔ)進(jìn)行突變，生成變體。
2. 適應(yīng)性評(píng)估：使用訓(xùn)練數(shù)據(jù)集，評(píng)估這些修改后的任務(wù)提示語(yǔ)的適應(yīng)性。這個(gè)評(píng)估衡量了 LLM 在被問(wèn)及時(shí)如何應(yīng)對(duì)這些變化。
3. 持續(xù)進(jìn)化：與生物進(jìn)化類(lèi)似，突變和評(píng)估的過(guò)程會(huì)重復(fù)幾代。
總而言之，PromptBreeder 被認(rèn)為是一種獨(dú)特且成功的技術(shù)，用于自主演化 LLMs 的提示語(yǔ)。它試圖提高 LLMs 在各種任務(wù)和領(lǐng)域中的性能，最終通過(guò)不斷改進(jìn)任務(wù)提示語(yǔ)和突變提示語(yǔ)，優(yōu)于手動(dòng)示方法。
查看 PromptBreeder（PB）論文：
https://arxiv.org/abs/2309.16797
（舉報(bào)）