東京工業(yè)大學(xué)(Tokyo Tech)和卡內(nèi)基梅隆大學(xué)的研究人員共同開(kāi)發(fā)了一種新的人體動(dòng)作捕捉系統(tǒng)，該系統(tǒng)由安裝在用戶(hù)胸部的單個(gè)超寬魚(yú)眼攝像頭組成。其系統(tǒng)的簡(jiǎn)單性可能有利于體育，醫(yī)療和娛樂(lè)領(lǐng)域的廣泛應(yīng)用。

由于集成深度學(xué)習(xí)的最新發(fā)展，基于計(jì)算機(jī)視覺(jué)的技術(shù)正在迅速發(fā)展。尤其是，人類(lèi)動(dòng)作捕捉是一個(gè)非?；钴S的研究領(lǐng)域，例如推動(dòng)了機(jī)器人技術(shù)，計(jì)算機(jī)生成的動(dòng)畫(huà)和體育科學(xué)領(lǐng)域的發(fā)展。

在專(zhuān)門(mén)配備的工作室常規(guī)動(dòng)作捕捉系統(tǒng)通常依賴(lài)于具有固定在天花板和墻壁是由一個(gè)人捕捉運(yùn)動(dòng)穿幾個(gè)同步的攝像機(jī)機(jī)身套裝配有眾多的傳感器。這樣的系統(tǒng)通常非常昂貴，并且在穿戴者可以移動(dòng)的空間和環(huán)境方面受到限制。

現(xiàn)在，由東京工業(yè)大學(xué)的小池秀樹(shù)(Hideki Koike)領(lǐng)導(dǎo)的一組研究人員展示了一種新的運(yùn)動(dòng)捕捉系統(tǒng)，該系統(tǒng)由安裝在用戶(hù)胸部的單個(gè)超寬魚(yú)眼攝像機(jī)組成。他們的設(shè)計(jì)不僅克服了現(xiàn)有系統(tǒng)的空間限制，而且具有成本效益。

該系統(tǒng)名為MonoEye，可以捕獲用戶(hù)的身體運(yùn)動(dòng)以及用戶(hù)的視角或“視口”。研究人員說(shuō)：“我們的超廣角魚(yú)眼鏡頭具有280度的視野，它可以捕獲用戶(hù)的四肢，面部和周?chē)h(huán)境。”

為了實(shí)現(xiàn)強(qiáng)大的多模式運(yùn)動(dòng)捕捉，該系統(tǒng)已設(shè)計(jì)了三個(gè)深度神經(jīng)網(wǎng)絡(luò)，能夠?qū)崟r(shí)估計(jì)3-D人體姿勢(shì)，頭部姿勢(shì)和相機(jī)姿勢(shì)。

研究人員已經(jīng)使用廣泛的合成數(shù)據(jù)集訓(xùn)練了這些神經(jīng)網(wǎng)絡(luò)，該數(shù)據(jù)集包括680,000張具有各種身體形狀，衣服，動(dòng)作，背景和光照條件的人的渲染圖，以及16,000張逼真的圖像幀。

但是，由于合成數(shù)據(jù)集和實(shí)際數(shù)據(jù)集之間不可避免的領(lǐng)域鴻溝，仍然存在一些挑戰(zhàn)。研究人員計(jì)劃繼續(xù)使用更多具有真實(shí)感的圖像來(lái)擴(kuò)展其數(shù)據(jù)集，以幫助最大程度地減少這一差距并提高準(zhǔn)確性。

研究人員預(yù)想，將來(lái)可以將這種安裝在胸部的攝像頭轉(zhuǎn)換成日常用品，例如領(lǐng)帶夾，胸針或運(yùn)動(dòng)裝備。

該團(tuán)隊(duì)的工作將在2020年10月20日至23日舉行的第33屆ACM用戶(hù)界面軟件和技術(shù)研討會(huì)(UIST)上發(fā)表，這是人機(jī)界面創(chuàng)新的領(lǐng)先論壇。