【資料圖】

蓋世汽車訊 英偉達(dá)又為淺層圖形增加了深度。在將2D圖像轉(zhuǎn)換為3D場(chǎng)景、模型和視頻之后，該公司將重點(diǎn)轉(zhuǎn)向了編輯。據(jù)外媒報(bào)道，當(dāng)?shù)貢r(shí)間6月22日，該家GPU巨頭公布了一種新型AI方法，能夠?qū)㈧o態(tài)圖片轉(zhuǎn)變成創(chuàng)造者可以輕松修改的3D物體。英偉達(dá)的研究人員研發(fā)了一種反向渲染產(chǎn)品——英偉達(dá)3D MoMa，能夠讓用戶將一系列靜態(tài)照片重建成有關(guān)一個(gè)物體甚至一個(gè)場(chǎng)景的3D計(jì)算機(jī)模型。與更為傳統(tǒng)的攝影制圖法相比，該工作流程的主要益處在于其能夠輸出干凈的3D模型，還能夠通過3D游戲和視覺引擎導(dǎo)入和輸出。

英偉達(dá)新型AI模型（圖片來源：英偉達(dá)）

據(jù)報(bào)道，其他攝影制圖程序能夠?qū)?D圖像轉(zhuǎn)變?yōu)?D模型，而英偉達(dá)的3D MoMa技術(shù)則更進(jìn)一步，通過創(chuàng)建物體的網(wǎng)格、材料和照明信息，并將其輸出為與現(xiàn)有3D圖形和建模工具可兼容的格式，而且都能夠在較短的時(shí)間內(nèi)完成。英偉達(dá)表示，3D MoMa能夠在一個(gè)小時(shí)內(nèi)，采用單個(gè)的英偉達(dá)Tensor Core GPU生成三角網(wǎng)格模型。

英偉達(dá)的技術(shù)可幫助訓(xùn)練機(jī)器人和自動(dòng)駕駛汽車，或者用于更輕松地為游戲和動(dòng)畫創(chuàng)造3D場(chǎng)景。

英偉達(dá)圖形研究副總裁David Luebke表示：“通過將反向渲染問題的每一個(gè)部分當(dāng)作GPU加速可微組件來打造，英偉達(dá)3D MoMa渲染工具采用現(xiàn)代AI機(jī)器以及英偉達(dá)GPU的原始計(jì)算能力來快速生成3D物體，而且創(chuàng)作者可以在現(xiàn)有的工具中不受限制地對(duì)輸入、編輯和擴(kuò)展該3D物體?！?/p>

英偉達(dá)表示，該項(xiàng)技術(shù)是首批將超快神經(jīng)網(wǎng)絡(luò)訓(xùn)練和快速渲染結(jié)合的模型之一。英偉達(dá)此前在博客中提到，即時(shí)NeRF 可以在幾秒鐘內(nèi)學(xué)習(xí)一個(gè)高分辨率的3D場(chǎng)景，還能夠在幾毫秒內(nèi)渲染該場(chǎng)景的圖像。而3D MoMa則比NeRF還要快上1000多倍。

NeRF是什么？

據(jù)英偉達(dá)所說，NeRF采用神經(jīng)網(wǎng)絡(luò)基于2D圖像來表現(xiàn)和渲染3D場(chǎng)景。收集數(shù)據(jù)輸入到NeRF有點(diǎn)像一個(gè)紅毯攝影師試圖從各個(gè)角度捕捉明星的穿著，該神經(jīng)網(wǎng)絡(luò)也需要從場(chǎng)景周圍以及的多個(gè)鏡頭位置拍攝幾十張照片。

在包含人或其他移動(dòng)元素的場(chǎng)景中，此類鏡頭捕捉得越快，越好。如果在2D圖像捕捉過程中有太多的移動(dòng)過程，AI生成的3D場(chǎng)景就會(huì)很模糊。因此，NeRF基本就可以彌補(bǔ)這一點(diǎn)，其訓(xùn)練了一個(gè)小的神經(jīng)網(wǎng)絡(luò)，通過預(yù)測(cè)3D空間的任何一點(diǎn)向任意方向輻射的光的顏色來重建該場(chǎng)景。該技術(shù)甚至可以在遮擋物周圍工作，即物體在某些圖像中被柱子等障礙物遮擋時(shí)。

該技術(shù)可用于訓(xùn)練機(jī)器人和自動(dòng)駕駛汽車，通過捕捉2D圖像或視頻片段，來了解真實(shí)世界物體的尺寸和形狀。其還可用于建筑和娛樂，快速生成真實(shí)環(huán)節(jié)的數(shù)字化表現(xiàn)形式，而且創(chuàng)作者可以在此基礎(chǔ)上修改和構(gòu)建。除了NeRF外，英偉達(dá)的研究人員還在探索如何將此種輸入編碼技術(shù)用于加速多種AI應(yīng)用，如強(qiáng)化學(xué)習(xí)、語言翻譯以及通用深度學(xué)習(xí)算法。

關(guān)鍵詞：