Facebook Inc.的研究部門周四發(fā)布了PyTorch3D的代碼，PyTorch3D是一種自產(chǎn)的工具包，旨在簡化可在三維環(huán)境中運(yùn)行的人工智能模型的開發(fā)。

在或至少了解3D空間的能力對(duì)于跨多個(gè)領(lǐng)域的深度學(xué)習(xí)應(yīng)用至關(guān)重要。最明顯的領(lǐng)域是機(jī)器人技術(shù)，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)。即使是分析對(duì)象二維照片的傳統(tǒng)圖像識(shí)別模型，也可以從了解對(duì)象的真實(shí)三維形式中受益，因?yàn)轭~外的上下文可能有助于提高其準(zhǔn)確性。

但是，由于Facebook表示缺乏專用開發(fā)工具，因此在釋放3D深度學(xué)習(xí)優(yōu)勢方面的進(jìn)展相對(duì)緩慢。借助PyTorch3D，社交網(wǎng)絡(luò)的研究人員正在尋求解決差距并降低學(xué)習(xí)曲線，以在應(yīng)用程序中實(shí)施該技術(shù)。

PyTorch3D的第一個(gè)組件是稱為網(wǎng)格的數(shù)據(jù)結(jié)構(gòu)。數(shù)字3D模型由所謂的網(wǎng)格組成，這些網(wǎng)格具有多種不同的類型，可能很難使用。網(wǎng)狀結(jié)構(gòu)為組織這些形狀提供了統(tǒng)一的格式，F(xiàn)acebook表示，這使AI開發(fā)人員更輕松地處理其數(shù)據(jù)。

開發(fā)人員可以使用Facebook包含在PyTorch3D中的一組損失函數(shù)和運(yùn)算符來構(gòu)建AI模型以處理其3D模型。損失函數(shù)是用于跟蹤AI在數(shù)據(jù)集上進(jìn)行訓(xùn)練時(shí)所犯錯(cuò)誤的算法，該信息有助于引導(dǎo)學(xué)習(xí)過程朝正確的方向發(fā)展。操作員本質(zhì)上是在編寫用于執(zhí)行復(fù)雜任務(wù)的快捷方式，在這種情況下，涉及3D對(duì)象的計(jì)算。

Facebook研究人員Nikhila Ravi，Georgia Gkioxari和Justin Johnson在博客中寫道：“我們已經(jīng)完成了優(yōu)化3D數(shù)據(jù)的幾種常用運(yùn)算符和損失函數(shù)的實(shí)現(xiàn)的工作，從而支持了不同批次的輸入 。” “隨著時(shí)間的推移，我們將繼續(xù)增加一組通用運(yùn)算符。”

Facebook已通過渲染引擎增強(qiáng)了PyTorch3D的功能集，該引擎將3D數(shù)據(jù)轉(zhuǎn)換為2D圖像，開發(fā)人員可以查看或應(yīng)用程序?qū)ζ溥M(jìn)行處理。渲染器不僅可以生成對(duì)象，還可以添加照明和陰影效果。它具有一個(gè)應(yīng)用程序編程接口，該接口允許將項(xiàng)目導(dǎo)出到流行的深度學(xué)習(xí)框架，例如Facebook開發(fā)的PyTorch(該工具包的同名產(chǎn)品)。

Facebook的研究人員寫道：“我們使用PyTorch3D的目標(biāo)是在深度學(xué)習(xí)和3D的交叉點(diǎn)上推動(dòng)進(jìn)步。” “憑借獨(dú)特的可區(qū)分渲染功能，我們?yōu)闃?gòu)建無需依靠時(shí)間密集的手動(dòng)3D注釋即可進(jìn)行高質(zhì)量3D預(yù)測的系統(tǒng)的潛力感到興奮。”