要點:

1. 近兩年內(nèi)，文本到圖像（T2I）模型發(fā)展迅猛，產(chǎn)生了高質(zhì)量、多樣性和創(chuàng)造性的圖像生成，但大多數(shù)模型難以與自然語言有效溝通，需要復雜的提示調(diào)整。

2. 研究人員受到DALLE3的啟發(fā)，提出了交互式文本到圖像（iT2I）任務，使人們能夠與大型語言模型(LLM)進行自然語言交互，實現(xiàn)高質(zhì)量圖像生成和問題回答。

3. 他們提出了一種簡單方法，通過提示技巧和現(xiàn)成的T2I模型擴展LLM，以實現(xiàn)iT2I，而不需要額外的訓練。他們展示這種方法對LLM的固有功能，如問題回答和代碼生成，影響較小。

站長之家（ChinaZ.com）10月17日 消息:近年來，文本到圖像（T2I）模型的快速發(fā)展為人工內(nèi)容生成帶來了革命性的變化，這些模型在不到兩年的時間內(nèi)就能夠生成高質(zhì)量、多樣性和創(chuàng)造性的圖像。然而，大多數(shù)現(xiàn)有的T2I模型存在一個問題，它們難以有效地與自然語言進行交流，通常需要復雜的提示調(diào)整和特定的詞語組合。

https://minidalle3.github.io/

受到DALLE3的啟發(fā)，研究人員提出了一種新的任務，即交互式文本到圖像（iT2I），使人們能夠與大型語言模型(LLM)進行自然語言交互，實現(xiàn)高質(zhì)量圖像生成和問題回答。他們還提出了一種簡單的方法，通過提示技巧和現(xiàn)成的T2I模型，來擴展LLM以實現(xiàn)iT2I，而不需要額外的訓練。

研究人員在不同的LLM下，如ChatGPT、LLAMA、Baichuan等，對他們的方法進行了評估，展示了這種方法可以方便且低成本地為任何現(xiàn)有的LLM和文本到圖像模型引入iT2I功能，同時對LLM的固有功能，如問題回答和代碼生成，影響較小。

這項工作有望引起廣泛關(guān)注，為提高人機交互體驗以及下一代T2I模型的圖像質(zhì)量提供啟發(fā)。文章的研究對于促進人機交互和改進圖像生成質(zhì)量具有潛在的重要意義。

（舉報）