站長之家（ChinaZ.com）1月23日 消息:RPG-DiffusionMaster是一個利用LLM（Large Language Model）優(yōu)化SD(Text-to-Image)文本到圖像的轉(zhuǎn)換過程的框架。該框架能夠更好地理解和分解生成圖像的文字提示，以實現(xiàn)將一幅圖像分解成不同的部分或區(qū)域，并根據(jù)理解的相應文本提示來生成圖像，最后合成為一個符合預期要求的圖像。

項目地址:https://top.aibase.com/tool/rpg-diffusionmaster

RPG框架的主要功能包括多模態(tài)重標記、思維鏈規(guī)劃、補充區(qū)域擴散、高分辨率圖像生成、多樣化應用以及對不同類型的大語言模型的兼容性。

在多模態(tài)重標記方面，RPG框架能夠?qū)⒑唵蔚奈谋咎崾巨D(zhuǎn)換為更具描述性和詳細性的提示，以提高生成圖像的質(zhì)量和與文本的語義對齊程度。同時，它還能將復雜的圖像生成任務分解為多個簡單的子任務，并在圖像空間中劃分為互補的子區(qū)域，每個子區(qū)域?qū)粋€特定的子任務。

在生成圖像內(nèi)容時，RPG框架在非重疊的子區(qū)域中獨立生成圖像內(nèi)容，然后將這些內(nèi)容合并，創(chuàng)建一幅完整的復合圖像。此外，RPG-DiffusionMaster還能夠生成超高分辨率的圖像，并支持多種擴散模型，包括SDXL和SD v1.4/1.5等，兼容不同的MLLM架構(gòu)，從而具有更高的靈活性和準確性。

RPG-DiffusionMaster不僅支持專有的大語言模型，如GPT-4、Gemini PRO等，還支持開源模型，如miniGPT-4，提供了更廣泛的應用可能性。由于使用先進的大型語言模型，該框架可以直接應用于文本到圖像的轉(zhuǎn)換任務，無需進行額外的模型訓練。

舉例解釋，當提示詞為:“我想要一幅畫，畫里有一只大象在草地上玩足球”，RPG框架通過多模態(tài)重標記將描述變得更加詳細和具體，然后利用思維鏈規(guī)劃將圖像分解為多個部分，并最終通過補充區(qū)域擴散將這些單獨繪制的部分合并成一幅完整的畫。

實驗結(jié)果表明，RPG框架能夠根據(jù)復雜的文本描述生成高度準確和詳細的圖像，優(yōu)于現(xiàn)有技術(shù)，并具有靈活性和廣泛的適用性，能夠應用于多種不同的圖像生成場景。

（舉報）