通常，它需要昂貴的設(shè)備和專業(yè)知識才能對某人的臉進(jìn)行逼真的3D重建，并且看上去并不令人毛骨悚然。現(xiàn)在，卡內(nèi)基梅隆大學(xué)的研究人員已經(jīng)使用普通智能手機(jī)上錄制的視頻完成了這項壯舉。

使用智能手機(jī)拍攝臉部正面和側(cè)面的連續(xù)視頻會生成密集的數(shù)據(jù)云。一個兩步過程由CMU的機(jī)器人研究所開發(fā)利用這些數(shù)據(jù)，從一些幫助深學(xué)習(xí)算法，構(gòu)建面的數(shù)字重建。該小組的實(shí)驗(yàn)表明，他們的方法可以達(dá)到亞毫米級的精度，優(yōu)于其他基于相機(jī)的過程。

數(shù)字人臉可用于構(gòu)建用于游戲或虛擬或增強(qiáng)現(xiàn)實(shí)的化身，也可用于動畫，生物特征識別甚至醫(yī)療程序。面部的精確3D渲染在構(gòu)建定制的手術(shù)口罩或呼吸器時也可能會有用。

機(jī)器人研究所副研究員西蒙·盧西(Simon Lucey)表示：“構(gòu)建3D面部重建技術(shù)一直是計算機(jī)視覺和圖形學(xué)中的一個開放問題，因?yàn)槿藗儗γ娌刻卣鞯耐庥^非常敏感。” 重建中即使有微小的異常也會使最終結(jié)果看起來不切實(shí)際。

激光掃描儀，結(jié)構(gòu)光和多相機(jī)工作室設(shè)置可以產(chǎn)生高度精確的面部掃描，但是這些專用傳感器對于大多數(shù)應(yīng)用而言價格昂貴。但是，CMU的新開發(fā)方法僅需要智能手機(jī)。

該方法由Lucey與碩士生Shubham Agrawal和Anuj Pahuja開發(fā)，于3月初在科羅拉多州斯諾馬斯舉行的IEEE冬季計算機(jī)視覺應(yīng)用會議(WACV)上提出。首先拍攝15-20秒的視頻。在這種情況下，研究人員在慢動作設(shè)置中使用了iPhoneX。

通常，需要昂貴的設(shè)備和專業(yè)知識才能對某人的臉部進(jìn)行精確的3D重建。現(xiàn)在，卡內(nèi)基梅隆大學(xué)的研究人員已經(jīng)使用普通智能手機(jī)上錄制的視頻完成了這項壯舉。由CMU機(jī)器人學(xué)院開發(fā)的兩步過程在深度學(xué)習(xí)算法的幫助下，從視頻中收集數(shù)據(jù)，以構(gòu)建人臉的數(shù)字重建。圖片來源：卡內(nèi)基梅隆大學(xué)

Lucey說：“高幀速慢動作是我們方法的關(guān)鍵之一，因?yàn)樗鼤擅芗狞c(diǎn)云。”

然后，研究人員采用了一種常用的技術(shù)，稱為視覺同時定位和制圖(SLAM)。Visual SLAM對曲面上的點(diǎn)進(jìn)行三角剖分以計算其形狀，同時使用該信息來確定相機(jī)的位置。這將創(chuàng)建人臉的初始幾何形狀，但是缺少的數(shù)據(jù)會在模型中留下空白。