卡內(nèi)基梅隆大學(xué)的研究人員證明，他們可以結(jié)合使用分開的攝像機(jī)在“野外”拍攝的iPhone視頻來創(chuàng)建4D可視化效果，使觀看者可以從各個(gè)角度觀看動作，甚至可以擦除暫時(shí)遮擋視線的人或物體。

想象一下一個(gè)婚禮招待會的可視化，可以從與攝像機(jī)一樣多的角度看到舞者，而走在新娘聚會前的醉漢無處不在。

博士Aayush Bansal表示，可以在婚禮或生日慶典上獨(dú)立于各個(gè)有利位置拍攝視頻。CMU機(jī)器人學(xué)院的學(xué)生。他補(bǔ)充說，還可以將演員錄制在一個(gè)場景中，然后將其插入到另一個(gè)場景中。

班薩爾說：“我們僅受攝像機(jī)數(shù)量的限制，對可以使用多少個(gè)視頻源沒有上限。

Bansal和他的同事在上個(gè)月的計(jì)算機(jī)視覺和模式識別虛擬會議上介紹了他們的4-D可視化方法。

“虛擬現(xiàn)實(shí)”并不是什么新鮮事物，但是在過去，它僅限于工作室設(shè)置，例如CMU的Panoptic Studio，該工作室在其大地測量墻壁中嵌入了500多個(gè)攝像機(jī)。將不可能將多個(gè)獨(dú)立手持?jǐn)z像機(jī)拍攝的真實(shí)場景的視覺信息融合到一個(gè)可以重建動態(tài)3D場景的單一綜合模型中。

Bansal和他的同事通過使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)解決了這一局限，CNN是一種深度學(xué)習(xí)程序，已被證明擅長分析視覺數(shù)據(jù)。他們發(fā)現(xiàn)可以使用場景特定的CNN來組成場景的不同部分。

CMU的研究人員在匹茲堡國家鳥舍展示了使用多達(dá)15部iPhone捕捉各種場景的方法，這些場景包括舞蹈，武術(shù)表演甚至火烈鳥。

班薩爾說：“使用iPhone的目的是表明任何人都可以使用該系統(tǒng)。” “世界就是我們的工作室。”

該方法還釋放了電影行業(yè)和消費(fèi)類設(shè)備中的大量潛在應(yīng)用程序，特別是隨著虛擬現(xiàn)實(shí)頭戴式耳機(jī)的普及持續(xù)增長。

盡管該方法不一定能捕獲完整的3D細(xì)節(jié)的場景，但是系統(tǒng)可以限制播放角度，因此不完整的重建區(qū)域不可見，并且3D圖像的幻覺也不會破碎。