生成對(duì)抗網(wǎng)絡(luò)(GAN)可以合成高質(zhì)量的圖像;然而，他們?nèi)狈?duì)訓(xùn)練圖像的3D理解，也缺乏對(duì)生成圖像的直接3D相機(jī)控制。因此，最近的一篇論文提出了StyleNeRF，這是一種新的3D感知生成模型，用于以交互速率進(jìn)行高分辨率3D一致圖像合成。它結(jié)合了神經(jīng)輻射場(chǎng)(NeRF)，但僅使用它來(lái)生成低分辨率特征圖并防止昂貴的直接彩色圖像渲染。StyleNeRF使用非結(jié)構(gòu)化的真實(shí)世界圖像進(jìn)行訓(xùn)練，并使用漸進(jìn)式訓(xùn)練策略來(lái)提高學(xué)習(xí)真實(shí)幾何的穩(wěn)定性。

對(duì)各種具有挑戰(zhàn)性的數(shù)據(jù)集的評(píng)估證實(shí)，該模型可以以交互速率合成照片般逼真的圖像，同時(shí)實(shí)現(xiàn)高度的多視圖一致性。

我們提出了StyleNeRF，這是一種3D感知生成模型，用于具有高多視圖一致性的逼真的高分辨率圖像合成，可以在非結(jié)構(gòu)化2D圖像上進(jìn)行訓(xùn)練。現(xiàn)有方法要么無(wú)法合成具有精細(xì)細(xì)節(jié)的高分辨率圖像，要么產(chǎn)生明顯的3D不一致偽影。此外，他們中的許多人缺乏對(duì)風(fēng)格屬性和明確的3D相機(jī)姿勢(shì)的控制。StyleNeRF將神經(jīng)輻射場(chǎng)(NeRF)集成到基于樣式的生成器中，以解決上述挑戰(zhàn)，即提高渲染效率和3D一致性以生成高分辨率圖像。我們執(zhí)行體積渲染只是為了生成一個(gè)低分辨率的特征圖，并在2D中逐步應(yīng)用上采樣來(lái)解決第一個(gè)問(wèn)題。為了減輕2D上采樣引起的不一致性，我們提出了多種設(shè)計(jì)，包括更好的上采樣器和新的正則化損失。通過(guò)這些設(shè)計(jì)，StyleNeRF可以以交互速率合成高分辨率圖像，同時(shí)保持高質(zhì)量的3D一致性。StyleNeRF還可以控制相機(jī)姿勢(shì)和不同級(jí)別的樣式，可以推廣到看不見(jiàn)的視圖。它還支持具有挑戰(zhàn)性的任務(wù)，包括放大和縮小、樣式混合、反轉(zhuǎn)和語(yǔ)義編輯。