人體和周?chē)鷪?chǎng)景幾何的3D重建可以促進(jìn)人類(lèi)行為分析。反過(guò)來(lái)，它可用于預(yù)測(cè)以人為中心的AI和機(jī)器人的未來(lái)運(yùn)動(dòng)和交互，或?yàn)锳R/VR合成這些。然而，目前還沒(méi)有從單色相機(jī)的圖像中估計(jì)場(chǎng)景和人物的方法。

最近發(fā)表在arXiv.org上的一篇論文介紹了MOVER(用于視覺(jué)環(huán)境重建的人類(lèi)運(yùn)動(dòng)驅(qū)動(dòng)對(duì)象放置)。它利用跨多個(gè)人與場(chǎng)景交互(HSI)幀的信息來(lái)估計(jì)合理的3D場(chǎng)景和與場(chǎng)景交互的移動(dòng)人體。

結(jié)果表明，從單目視頻計(jì)算得出的累積HSI可用于改進(jìn)場(chǎng)景的3D重建和3D人體姿態(tài)估計(jì)。與最先進(jìn)的比較表明，MOVER可以估計(jì)更準(zhǔn)確和逼真的3D場(chǎng)景布局。

人類(lèi)在穿越世界并與之互動(dòng)時(shí)，會(huì)不斷地與世界接觸。這種聯(lián)系是了解3D人類(lèi)、3D場(chǎng)景以及它們之間的交互的重要信息來(lái)源。事實(shí)上，我們證明可以利用這些人景交互(HSI)來(lái)改進(jìn)單目RGB視頻中場(chǎng)景的3D重建。我們的關(guān)鍵思想是，當(dāng)一個(gè)人在場(chǎng)景中移動(dòng)并與之交互時(shí)，我們會(huì)在多個(gè)輸入圖像中累積HSI，并優(yōu)化3D場(chǎng)景以重建一致、物理上合理且功能強(qiáng)大的3D場(chǎng)景布局。我們基于優(yōu)化的方法利用了三種類(lèi)型的HSI約束：(1)在場(chǎng)景中移動(dòng)的人被遮擋或遮擋對(duì)象，因此，定義了對(duì)象的深度排序，(2)人在自由空間中移動(dòng)，不與物體相互穿透;(3)人與物體接觸時(shí)，接觸面在空間中占據(jù)相同的位置。在所有觀察結(jié)果的優(yōu)化公式中使用這些約束，我們顯著改進(jìn)了3D場(chǎng)景布局重建。此外，我們表明我們的場(chǎng)景重建可用于改進(jìn)初始3D人體姿勢(shì)和形狀(HPS)估計(jì)。我們使用PROX和PiGraphs數(shù)據(jù)集定性和定量地評(píng)估3D場(chǎng)景布局重建和HPS估計(jì)。代碼和數(shù)據(jù)可用于研究目的我們顯著改進(jìn)了3D場(chǎng)景布局重建。此外，我們表明我們的場(chǎng)景重建可用于改進(jìn)初始3D人體姿勢(shì)和形狀(HPS)估計(jì)。我們使用PROX和PiGraphs數(shù)據(jù)集定性和定量地評(píng)估3D場(chǎng)景布局重建和HPS估計(jì)。代碼和數(shù)據(jù)可用于研究目的我們顯著改進(jìn)了3D場(chǎng)景布局重建。此外，我們表明我們的場(chǎng)景重建可用于改進(jìn)初始3D人體姿勢(shì)和形狀(HPS)估計(jì)。我們使用PROX和PiGraphs數(shù)據(jù)集定性和定量地評(píng)估3D場(chǎng)景布局重建和HPS估計(jì)。代碼和數(shù)據(jù)可用于研究目的這個(gè)https網(wǎng)址。