shape-from-template (SfT) 的目標(biāo)是在給定已知初始狀態(tài)的情況下重建 3D 可變形表面的整個(gè)圖像序列。然而，大多數(shù)當(dāng)前方法無法捕獲精細(xì)的局部表面變形。

最近發(fā)表在 arXiv.org 上的一篇論文提出了一種新的綜合分析 SfT 方法，該方法解決了當(dāng)前技術(shù)水平的幾個(gè)限制，并顯著提高了重建的準(zhǔn)確性。

研究人員指出，當(dāng)前該領(lǐng)域的挑戰(zhàn)是由于不了解物理褶皺形成過程的結(jié)果。因此，所提出的方法明確地模擬了這個(gè)過程，并且它的參數(shù)在物理上是有意義的。此外，差分渲染能夠利用紋理中存在的信息，而不管網(wǎng)格分辨率如何。

實(shí)驗(yàn)表明，所提出的方法比基線更準(zhǔn)確，并且支持更精細(xì)的局部折疊。

Shape-from-Template (SfT) 方法從單個(gè)單目 RGB 相機(jī)估計(jì) 3D 表面變形，同時(shí)假設(shè)預(yù)先知道的 3D 狀態(tài)(模板)。由于單眼設(shè)置的約束不足，這是一個(gè)重要但具有挑戰(zhàn)性的問題?，F(xiàn)有的 SfT 技術(shù)主要使用幾何和簡化的變形模型，這往往限制了它們的重建能力。與以前的工作相比，本文提出了一種新的 SfT 方法，通過考慮力和材料特性的物理模擬來解釋 2D 觀察結(jié)果。我們的微分物理模擬器使表面演變規(guī)律化并優(yōu)化材料彈性特性，例如彎曲系數(shù)、拉伸剛度和密度。我們使用可微分渲染器來最小化估計(jì)的 3D 狀態(tài)和輸入圖像之間的密集重投影誤差，并使用基于自適應(yīng)梯度的優(yōu)化來恢復(fù)變形參數(shù)。為了評(píng)估，我們使用 RGB-D 相機(jī)記錄暴露于具有各種材料特性和紋理的物理力的真實(shí)表面。與多種競爭方法相比，我們的方法顯著降低了 3D 重建誤差。源代碼和數(shù)據(jù)見 與多種競爭方法相比，我們的方法顯著降低了 3D 重建誤差。源代碼和數(shù)據(jù)見 與多種競爭方法相比，我們的方法顯著降低了 3D 重建誤差。