劃重點:

? 創(chuàng)新模型 ViewDiff 助力快速生成高質(zhì)量多視角3D 圖像

? ViewDiff 解決了文本生成一致性、多視角3D 圖像的三大難點

? 自回歸生成模塊使 ViewDiff 在任意視角上生成更多的3D 一致性圖像

站長之家（ChinaZ.com）4月15日 消息:Meta 與德國慕尼黑工業(yè)大學研發(fā)出創(chuàng)新模型 ViewDiff，旨在幫助用戶通過文本、圖像或二者結(jié)合使用，快速生成高質(zhì)量多視角3D 圖像。

該模型解決了傳統(tǒng)文本生成多視角3D 圖像領(lǐng)域的三大難點:無法生成真實背景環(huán)境、圖像質(zhì)量和多樣性不理想、缺乏多視角和一致性。通過引入一種創(chuàng)新架構(gòu)，ViewDiff 采用文生成圖模型作為先驗知識和圖像流生成器，再通過顯式的3D 建模為圖像賦予一致性和多視角能力。

為了有效捕獲3D 幾何和全局風格，研究人員對原有 U-Net 架構(gòu)進行了創(chuàng)新，增強了跨幀注意力層和投影層?？鐜⒁饬犹鎿Q了標準自注意力層，實現(xiàn)跨圖像風格匹配;而投影層將多視圖2D 特征集成為顯式的3D 體素特征，保證了輸出圖像的3D 幾何一致性。在此基礎(chǔ)上，ViewDiff 還開發(fā)了自回歸生成模塊，使其能在任意視角上生成更多的3D 一致性圖像，進一步提升了模型的生成能力。

該研究的推出填補了文本生成多視角3D 圖像領(lǐng)域的技術(shù)空白，有望為游戲開發(fā)、元宇宙等行業(yè)提供更便捷、高效的模型構(gòu)建方案。該模型的推出不僅在技術(shù)層面上具有重大意義，也將為未來的3D 圖像生成領(lǐng)域帶來更多創(chuàng)新可能。

論文地址:https://arxiv.org/abs/2403.01807

項目地址:https://top.aibase.com/tool/viewdiff

（舉報）