6月5日 消息:研究提出了一種新穎的可控制相機姿態(tài)的圖像到視頻生成框架 ——CamCo，用于生成高質(zhì)量、三維一致的視頻。通過引入 Plücker 坐標，為預(yù)訓(xùn)練的圖像到視頻生成器提供了精確參數(shù)化的相機姿態(tài)輸入。

產(chǎn)品入口網(wǎng)址：https://top.aibase.com/tool/camco

為了增強生成的視頻的三維一致性，研究人員在每個注意力模塊中集成了極線約束注意力模塊，以對特征圖施加極線約束。此外，通過結(jié)構(gòu)光算法對真實世界視頻進行微調(diào)，以改進對象運動的合成效果。實驗結(jié)果表明，與之前的模型相比，CamCo 在三維一致性和相機控制能力方面有顯著的改進，同時能夠有效地生成合理的對象運動。

CamCo 是一個全新的可控制相機的圖像到視頻生成框架，可以生成高質(zhì)量、三維一致的視頻。CamCo 通過使用 Plücker 坐標和極線約束注意力塊將相機參數(shù)注入模型中。研究人員還引入了一個數(shù)據(jù)篩選流程，用于處理帶有動態(tài)主體的真實世界視頻，并通過這個篩選后的數(shù)據(jù)集對 CamCo 進行微調(diào)，以提高其生成具有相機自我運動和動態(tài)主體的視頻的能力。

給定一張單獨的圖片和一個相機序列作為輸入，CamCo 模型可以合成符合相機條件并具有三維一致性的視頻。我們支持室內(nèi)、室外、以物體為中心的和文本到圖像生成的圖片。最后一行的提示為 "一個繁茂的花園，里面有各種顏色的盛開的玫瑰，中間蜿蜒著一條石子路"，第一幀的相機姿態(tài)以紫色顯示。