麻省理工學(xué)院的研究人員開發(fā)了一種模型，該模型可以恢復(fù)因“壓縮”成較小尺寸的圖像和視頻而丟失的寶貴數(shù)據(jù)。

該模型可用于從運(yùn)動(dòng)模糊圖像或新的攝像機(jī)中重新創(chuàng)建視頻，這些攝像機(jī)捕獲人在拐角處的運(yùn)動(dòng)，但只能作為模糊的一維線。盡管需要進(jìn)行更多的測(cè)試，但研究人員認(rèn)為這種方法有朝一日可以用于將2D醫(yī)學(xué)圖像轉(zhuǎn)換為內(nèi)容更豐富(但價(jià)格更高)的3D身體掃描，這可以使貧窮國(guó)家的醫(yī)學(xué)成像受益。

“在所有這些情況下，視覺數(shù)據(jù)都在時(shí)間或空間上完全失去了一個(gè)維度，”計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)的博士后，最初描述該模型的論文的作者Guha Balakrishnan說，在下周的計(jì)算機(jī)視覺國(guó)際會(huì)議上將進(jìn)行介紹。“如果我們恢復(fù)丟失的尺寸，它將具有許多重要的應(yīng)用。”

捕獲的可視數(shù)據(jù)通常會(huì)將時(shí)間和空間的多個(gè)維度的數(shù)據(jù)折疊為一維或二維，稱為“投影”。例如，X射線將有關(guān)解剖結(jié)構(gòu)的三維數(shù)據(jù)折疊成平面圖像。或者，考慮長(zhǎng)時(shí)間曝光的恒星在天空中移動(dòng)的鏡頭：位置隨時(shí)間變化的恒星在靜止鏡頭中顯示為模糊的條紋。

同樣，最近在麻省理工學(xué)院發(fā)明的“轉(zhuǎn)角攝像機(jī)”可以檢測(cè)到拐角處的人。例如，這些對(duì)于消防員在燃燒的建筑物中找到人可能有用。但是這些相機(jī)并非完全用戶友好。目前，它們僅產(chǎn)生類似于人的軌跡和速度的模糊，彎曲的線條的投影。

研究人員發(fā)明了“視覺投影”模型，該模型使用神經(jīng)網(wǎng)絡(luò)來“學(xué)習(xí)”將低維投影與其原始高維圖像和視頻相匹配的模式。給定新的投影，該模型將使用所學(xué)的知識(shí)來重新創(chuàng)建投影中的所有原始數(shù)據(jù)。

在實(shí)驗(yàn)中，該模型通過從與角落攝像機(jī)產(chǎn)生的相似的單個(gè)一維線中提取信息來合成顯示人走動(dòng)的精確視頻幀。該模型還從流行的“移動(dòng)MNIST”數(shù)據(jù)集中，通過單個(gè)，運(yùn)動(dòng)模糊的數(shù)字投影在屏幕周圍移動(dòng)來恢復(fù)視頻幀。