劃重點(diǎn):
?? 研究人員利用強(qiáng)化學(xué)習(xí)訓(xùn)練 AI 代理人自主創(chuàng)建真正的拼貼藝術(shù)品
?? 強(qiáng)化學(xué)習(xí)模型通過與畫布互動(dòng)來學(xué)習(xí)拼貼藝術(shù)品的創(chuàng)作過程
?? 該方法通過用戶研究和基于 CLIP 的評(píng)估證明了其在 AI 生成的藝術(shù)方面的出色性能
韓國首爾國立大學(xué)的研究人員致力于訓(xùn)練能夠自主創(chuàng)作真正拼貼藝術(shù)品的 AI 代理人。目前市面上的 AI 工具(如 DALL-E 和 StableDiffusion)可以生成類似拼貼的圖像,但缺乏真正的創(chuàng)作過程的真實(shí)性。
為了克服這一挑戰(zhàn),研究人員引入了一種開創(chuàng)性的方法,利用強(qiáng)化學(xué)習(xí)(RL)來訓(xùn)練 AI 代理人創(chuàng)作 “真正的拼貼藝術(shù)品”。與基于像素的方法不同,該方法涉及撕裂和粘貼材料,以復(fù)制著名藝術(shù)品和其他圖像的步驟。研究人員擺脫了現(xiàn)有工具的限制,通過強(qiáng)化學(xué)習(xí)賦予 AI 代理人理解和執(zhí)行創(chuàng)作拼貼藝術(shù)品的微妙步驟的能力。
研究人員的方法是通過訓(xùn)練 RL 模型與畫布進(jìn)行交互,在拼貼藝術(shù)品創(chuàng)作過程的每個(gè)步驟上做出決策。在訓(xùn)練過程中,AI 代理人被隨機(jī)分配的圖像所喂養(yǎng),從而學(xué)會(huì)適應(yīng)后續(xù)的任何目標(biāo)或材料。通過多種剪切和粘貼選項(xiàng),RL 代理人嘗試使用不同的材料,以確定哪些材料能夠產(chǎn)生與目標(biāo)圖像相似的拼貼藝術(shù)品。獎(jiǎng)勵(lì)系統(tǒng)隨著時(shí)間的推移而發(fā)展,主要是增強(qiáng)代理人制作的拼貼藝術(shù)品與目標(biāo)圖像之間的相似性。
一個(gè)關(guān)鍵的方面是開發(fā)可微分的拼貼環(huán)境,以便應(yīng)用基于模型的 RL。這個(gè)環(huán)境可以讓代理人輕松跟蹤拼貼藝術(shù)品創(chuàng)作過程的動(dòng)態(tài)。該團(tuán)隊(duì)的模型在各種圖像和場景中具有很好的泛化能力。該架構(gòu)的突出特點(diǎn)在于其自主性,它不需要拼貼樣本或演示數(shù)據(jù),強(qiáng)調(diào)了 RL 提供的強(qiáng)大無數(shù)據(jù)學(xué)習(xí)領(lǐng)域的潛力。
評(píng)估包括用戶研究和基于 CLIP 的評(píng)估。結(jié)果表明,與其他基于像素的生成模型相比,該方法的性能更優(yōu)。該方法的應(yīng)用標(biāo)志著 AI 生成的拼貼藝術(shù)品在模仿人類藝術(shù)創(chuàng)作深度方面邁出了重要的一步。
首爾國立大學(xué)的研究團(tuán)隊(duì)成功地利用強(qiáng)化學(xué)習(xí)訓(xùn)練了能夠真正創(chuàng)作拼貼藝術(shù)品的 AI 代理人。他們的創(chuàng)新模型超越了現(xiàn)有的基于像素的方法,展示了強(qiáng)化學(xué)習(xí)在使代理人能夠自主學(xué)習(xí)和執(zhí)行創(chuàng)作真正拼貼藝術(shù)品的復(fù)雜步驟方面的潛力。通過用戶研究和客觀評(píng)估的驗(yàn)證,這一突破為 AI 在藝術(shù)創(chuàng)作中開辟了新的道路,為機(jī)器在視覺藝術(shù)領(lǐng)域有意義地貢獻(xiàn)創(chuàng)造了前景。
論文網(wǎng)址:https://arxiv.org/abs/2311.02202
(舉報(bào))