劃重點:

?? 利用預(yù)訓(xùn)練的圖像到視頻模型，編輯單幀就能擴(kuò)散到整個視頻

?? 包括粗略運動提取和外觀細(xì)化兩個關(guān)鍵過程

??保持外觀和運動與原始視頻的一致性，減少質(zhì)量損失的跳躍間隔策略

站長之家（ChinaZ.com）5月29日 消息:近年來，擴(kuò)散模型在圖像和視頻編輯方面的出色生成能力引發(fā)了廣泛研究。與圖像編輯相比，視頻編輯在時間維度上面臨額外挑戰(zhàn)，而圖像編輯已經(jīng)見證了更多種類、高質(zhì)量方法以及像 Photoshop 這樣更強大的軟件的發(fā)展。

針對這一差距，研究人員引入了一種新穎且通用的解決方案，通過使用預(yù)訓(xùn)練的圖像到視頻模型，將圖像編輯工具的適用范圍擴(kuò)展到視頻中，并將編輯從單幀傳播到整個視頻。他們的方法被稱為 I2VEdit，能夠根據(jù)編輯的程度自適應(yīng)地保留源視頻的視覺和運動完整性，有效處理全局編輯、局部編輯和適度形狀變化，而現(xiàn)有方法無法完全實現(xiàn)。

產(chǎn)品入口：https://top.aibase.com/tool/i2vedit

該方法的核心包括兩個主要過程:粗略運動提取，用于將基本運動模式與原始視頻進(jìn)行對齊;外觀細(xì)化，用于使用細(xì)粒度的注意力匹配進(jìn)行精確調(diào)整。

他們還結(jié)合了跳幀策略，以減輕跨多個視頻剪輯的自回歸生成帶來的質(zhì)量下降。實驗結(jié)果表明，他們的框架在細(xì)粒度視頻編輯方面表現(xiàn)出卓越性能，證明了其產(chǎn)生高質(zhì)量、時間上連貫的輸出的能力。

在應(yīng)用上，I2VEdit可以實現(xiàn)視頻編輯多種牛逼的視覺效果，比如:

虛擬試穿，使用 I2VEdit可以讓虛擬試穿上升到新的高度，編輯源視頻中的可穿戴對象。

主題替換，可以替換源視頻的主題。

風(fēng)格轉(zhuǎn)換，使用 I2VEdit，可以更改源視頻的風(fēng)格。

（舉報）