神經(jīng)網(wǎng)絡(luò)渲染器提高了光線追蹤圖像質(zhì)量,使用可在采樣光線之間生成更高質(zhì)量像素的 AI 網(wǎng)絡(luò)取代需要人工設(shè)計的降噪器。

編者注:本文屬于《解碼 AI》系列欄目,該系列的目的是讓技術(shù)更加簡單易懂,從而解密 AI,同時向 RTX PC 用戶展示全新硬件、軟件、工具和加速特性。

AI 不斷提高 PC 游戲品質(zhì)的上限。

具有光線重建功能的 DLSS 3.5 可以為密集型光線追蹤的游戲和應(yīng)用創(chuàng)建更高質(zhì)量的光線追蹤畫面。這種增強(qiáng)型 AI 賦能的神經(jīng)網(wǎng)絡(luò)渲染器是一項突破性功能,它利用經(jīng) NVIDIA 超級計算機(jī)訓(xùn)練的 AI 網(wǎng)絡(luò)取代需要人工設(shè)計的降噪器,從而顯著提升所有 GeForce RTX GPU 的光線追蹤圖像質(zhì)量。該功能可提升光線反射、全局光照和陰影等光照效果,打造更加真實,身臨其境的游戲體驗。

一束光線,一項突破

光線追蹤作為一種渲染技術(shù),可通過渲染精準(zhǔn)物理關(guān)系的反射、折射、陰影和間接光照,實現(xiàn)對場景及其中物體光照效果的逼真模擬。光線追蹤通過追蹤觀景式相機(jī)(決定場景中的視線)的光線路徑來生成計算機(jī)圖形圖像。該路徑會穿過 2D 視平面進(jìn)入 3D 場景,然后返回光源。例如,如果光線照射到鏡子上,就會生成反射。

而光線追蹤相當(dāng)于打造現(xiàn)實世界中被光束照亮的物體的數(shù)字版本,創(chuàng)造出光從觀察者的眼睛到與光相互作用的物體的路徑。這就是光線追蹤。

以這種方式模擬光線——為屏幕上的每個像素發(fā)射光線——需要大量的計算,即使是對于離線渲染器來說也是如此無論是計算幾分鐘或幾小時內(nèi)的場景。而另一種方法則是讓光線樣本向場景中的各個點(diǎn)發(fā)射少量光線,以獲得場景光照、反射率和陰影的代表性樣本。

然而,這種方式存在局限性。輸出的是帶有間隙和噪聲的斑點(diǎn)圖像,足以確定光線追蹤時場景的外觀如何展現(xiàn)。為了填充未計算光線追蹤的缺失像素,人工設(shè)計的降噪器使用兩種不同的方法:在多幀中依時累積像素,或?qū)ζ溥M(jìn)行空間插值以將相鄰像素混合在一起。通過此過程,帶噪聲的原始輸出會被轉(zhuǎn)換為光線追蹤圖像。經(jīng)此流程,含噪點(diǎn)的原始輸出結(jié)果會被轉(zhuǎn)換成光線追蹤圖像。

這會增加開發(fā)過程的復(fù)雜性和成本,并且在大量采用光線追蹤技術(shù)的游戲中會降低幀率。其原因在于此類游戲會同時運(yùn)行多個降噪器以實現(xiàn)不同的光照效果。

DLSS 3.5 光線重建技術(shù)引入了經(jīng) NVIDIA 超級計算機(jī)訓(xùn)練且由 AI 驅(qū)動的神經(jīng)網(wǎng)絡(luò),可在采樣光線之間生成更高質(zhì)量的像素。該技術(shù)可識別不同的光線追蹤效果,從而可使用時間和空間數(shù)據(jù)做出更明智的決策,并保留高頻信息以實現(xiàn)更高質(zhì)量的升級。光線重建還可以從訓(xùn)練數(shù)據(jù)中識別光照模式 (例如全局光照或環(huán)境光遮蔽),并在游戲中重現(xiàn)該效果。

https://images.nvidia.cn/cn/youtube-replicates/Gg_3-X3d3iY.mp4

“傳送門 (Portal)”RTX 版是光線重建在實際應(yīng)用中的優(yōu)秀示例。關(guān)閉 DLSS 后,降噪器很難重建轉(zhuǎn)動的風(fēng)扇旁邊的動態(tài)陰影。

啟用 DLSS 3.5 和光線重建后,降噪器會在 AI 上進(jìn)行訓(xùn)練,識別與陰影相關(guān)的某些模式并保持圖像穩(wěn)定,積累準(zhǔn)確的像素,同時混合相鄰像素以生成高質(zhì)量的反射。

深度學(xué)習(xí),沉浸游戲

光線重建只是性能倍增的 DLSS 所使用的 AI 突破性圖形技術(shù)的其中之一。作為 DLSS 的基礎(chǔ),超分辨率功能會對多個分辨率較低的圖像進(jìn)行采樣,并使用先前幀的運(yùn)動數(shù)據(jù)和反饋來重建原生質(zhì)量的圖像。這能實現(xiàn)在不犧牲游戲性能的情況下獲得高質(zhì)量圖像。

https://images.nvidia.cn/cn/youtube-replicates/GKpURmnNMoA.mp4

DLSS 3 引入了 "幀生成 "功能,通過使用 AI 分析前后幀的數(shù)據(jù)來預(yù)測下一個生成的幀應(yīng)該是什么樣子,從而提高性能。然后,這些生成的幀會被插入到已渲染的幀之間。將 DLSS 生成的幀與 DLSS 超分辨率相結(jié)合,可使 DLSS 3 在 AI 助力下重建所顯示像素數(shù)的八分之七。與不使用 DLSS 相比,其幀率最高可提升至原來的 4 倍。

由于 DLSS 幀生成是在 GPU 上進(jìn)行后處理 (在主渲染后應(yīng)用) 的,因此即使游戲受到 CPU 的瓶頸限制,它也能提高幀率。

生成式 AI 正改變各類游戲、視頻會議和互動體驗。請訂閱《解碼 AI》時事通訊,我們每周都會將新鮮資訊直接投遞到您的收件箱。