G-Assist項目、用于數(shù)字人的NVIDIA ACE NIMs及生成式AI Tools 為RTX筆記本電腦提供更先進(jìn)的AI體驗;適用于小語言模型的RTX加速 API即將加入Windows Copilot Runtime

COMPUTEX—2024年6月2日—NVIDIA宣布推出全新NVIDIA RTX?技術(shù),用于支持在全新GeForce RTX?AI筆記本電腦上運行的AI助手及數(shù)字人。

NVIDIA推出G-Assist項目, 一款由RTX支持的AI助手技術(shù)演示Demo,可為PC游戲和應(yīng)用提供上下文感知幫助。G-Assist項目的技術(shù)Demo將首度亮相于Studio Wildcard推出的《方舟:生存飛升》(ARK:Survival Ascended)中。NVIDIA還發(fā)布專為NVIDIA ACE數(shù)字人平臺打造的首個基于PC的NVIDIA NIM?推理微服務(wù)。

這些技術(shù)由NVIDIA RTX AI Toolkit支持——這是一套全新工具和SDK,可幫助開發(fā)者在Windows PC上優(yōu)化及部署大型生成式AI模型。它們加入了NVIDIA的全棧RTX AI創(chuàng)新,加速了超過500款應(yīng)用和游戲,以及200款OEM合作伙伴的筆記本電腦設(shè)計。

NVIDIA消費級AI業(yè)務(wù)副總裁Jason Paul表示:“NVIDIA在2018年發(fā)布搭載Tensor Core的RTX GPU和DLSS技術(shù),開啟AI PC時代。如今,借助G-Assist項目和NVIDIA ACE,NVIDIA將賦能超過1億RTX AI PC用戶開啟新一代AI體驗?！?/p>

GeForce AI助手G-Assist項目

AI助手將改變游戲和應(yīng)用內(nèi)的體驗 — 從提供游戲策略到分析多人游戲回放,再到助力復(fù)雜的創(chuàng)意工作流。G-Assist項目讓用戶洞見未來的景象。

PC游戲提供龐大的游戲世界可供探索,還提供復(fù)雜的機(jī)制供玩家掌控,即便對于最資深的玩家來說,這也是極具挑戰(zhàn)性又非常耗時的。G-Assist項目旨在利用生成式AI,將游戲知識觸手可及地提供給玩家。

G-Assist項目可接收玩家的語音或文字輸入內(nèi)容,游戲窗口的上下文信息,并通過AI視覺模型處理數(shù)據(jù)。這些模型增強(qiáng)了與游戲知識數(shù)據(jù)庫相連的大語言模型(LLM)的上下文感知和對特定游戲及應(yīng)用的理解,然后生成定制的回復(fù),以文本或語音形式的傳遞給用戶。

NVIDIA和Studio Wildcard合作,在《方舟:生存飛升》(ARK:Survival Ascended)的演示Demo中展示該技術(shù)。G-Assist項目可幫助回答有關(guān)生物、物品、背景知識、任務(wù)、關(guān)卡BOSS等方面的問題。由于G-Assist項目具有游戲環(huán)境感知和上下文理解功能,能根據(jù)玩家的游戲進(jìn)程提供個性化回復(fù)。

G-Assist項目還能配置玩家的游戲系統(tǒng),以獲得最佳游戲性能和能效。它可以提供性能指標(biāo)的深入理解,根據(jù)玩家的硬件優(yōu)化圖形設(shè)置,進(jìn)行安全超頻,甚至在保持性能目標(biāo)的同時智能降低功耗。

首款ACE PC NIM亮相

用于為數(shù)字人提供助力的NVIDIA ACE技術(shù)現(xiàn)在將通過NVIDIA NIM應(yīng)用于RTX AI PC和工作站,NVIDIA NIM推理微服務(wù)使開發(fā)者將部署時間從數(shù)周縮短到數(shù)分鐘。ACE NIMs可在設(shè)備上本地運行高質(zhì)量推理,用于自然語言理解、語音合成、面部動畫等。

COMPUTEX期間,NVIDIA ACE NIM在PC上的游戲首秀將在和Inworld AI合作開發(fā)的Covert Protocol技術(shù)Demo中亮相,演示在PC本地運行的NVIDIA Audio2Face?和NVIDIA Riva自動語音識別技術(shù)。

為本地PC SLM增加GPU加速功能

微軟(Microsoft)和NVIDIA合作幫助開發(fā)者將全新生成式AI功能應(yīng)用到Windows原生和網(wǎng)絡(luò)應(yīng)用中。雙方的合作將為應(yīng)用開發(fā)者提供便捷的API以訪問GPU加速的小語言模型(SLM),并支持在設(shè)備上運行的基于Windows Copilot Runtime驅(qū)動的檢索增強(qiáng)生成(RAG)功能。

小語言模型為Windows開發(fā)者提供巨大的可能性,包括內(nèi)容摘要、內(nèi)容生成和任務(wù)自動化。RAG功能使AI模型訪問基礎(chǔ)模型中未能充分表示的特定領(lǐng)域信息,來增強(qiáng)小語言模型。開發(fā)者可以通過檢索增強(qiáng)生成(RAG)API利用應(yīng)用特有的數(shù)據(jù)源,并根據(jù)應(yīng)用需求調(diào)整小語言模型的行為和功能。

NVIDIA RTX GPU及其他硬件廠商的AI加速器將加速這些AI功能,從而在整個Windows生態(tài)系統(tǒng)中為終端用戶提供快速、響應(yīng)迅速的AI體驗。

該API將于今年晚些時候發(fā)布開發(fā)者預(yù)覽版。

借助?RTX AI Toolkit,模型速度提升4倍,體積縮小3倍

AI生態(tài)系統(tǒng)已構(gòu)建數(shù)十萬個開源模型供應(yīng)用開發(fā)者使用,但大多數(shù)模型都是為通用目的而預(yù)訓(xùn)練,并且構(gòu)建在數(shù)據(jù)中心運行。

為幫助開發(fā)者構(gòu)建在PC上運行的特定應(yīng)用的AI模型,NVIDIA推出RTX AI Toolkit,一套用于在RTX AI PC上自定義、優(yōu)化及部署模型的工具和SDK。 RTX AI Toolkit將于6月發(fā)布,供更多開發(fā)者使用。

開發(fā)者可使用開源的QLoRa工具自定義預(yù)訓(xùn)練模型,并使用NVIDIA TensorRT? Model Optimizer 來量化模型,以減少多達(dá)3倍的RAM消耗。NVIDIA TensorRT Cloud將會對模型進(jìn)行優(yōu)化,以實現(xiàn)在RTX GPU產(chǎn)品中的峰值性能。與預(yù)訓(xùn)練模型相比,性能提升至高可達(dá)4倍。

NVIDIA AI Inference Manager (AIM)應(yīng)用開發(fā)工具包(SDK)現(xiàn)已推出搶先體驗版,在PC和云端之間完美調(diào)度AI推理,為PC應(yīng)用開發(fā)者簡化AI集成的復(fù)雜度。它還以統(tǒng)一的NIM格式為PC預(yù)配置必要的AI模型、引擎和依賴包,并支持所有主流的推理后端,包括跨不同處理器(GPU、NPU和CPU)的TensorRT、DirectML、Llama.cpp和PyTorch-CUDA。

Adobe、Blackmagic Design和Topaz等軟件合作伙伴將 RTX AI Toolkit的組件集成到其熱門創(chuàng)意應(yīng)用中,以提升RTX PC上的AI性能。

Adobe創(chuàng)意云端產(chǎn)品市場部副總裁Deepa Subramaniam表示:“Adobe和NVIDIA將持續(xù)合作,為視頻、圖像、設(shè)計、3D等所有創(chuàng)意工作流提供突破性的客戶體驗。RTX PC上的 TensorRT 10.0為創(chuàng)作者、設(shè)計師和開發(fā)者提供前所未有的性能表現(xiàn)及由AI驅(qū)動的功能,為Photoshop等行業(yè)領(lǐng)先的創(chuàng)意工具中的內(nèi)容創(chuàng)作開啟全新創(chuàng)意可能性。”

TensorRT-LLM等 RTX AI Toolkit組件,已集成到生成式AI的熱門開發(fā)者框架和應(yīng)用中,包括Automatic1111、ComfyUI、Jan.AI、Langchain、LlamaIndex、Oobabooga和Sanctum.AI。

用于內(nèi)容創(chuàng)作的AI

NVIDIA還將RTX AI加速功能集成到面向創(chuàng)作者、Modder和視頻愛好者的應(yīng)用中。

去年,NVIDIA為最熱門的Stable Diffusion用戶界面之一的Automatic1111引入使用TensorRT的RTX加速。從本周開始,RTX還將加速廣受歡迎的ComfyUI,與目前已推出的版本相比,性能最高可提升60%,與MacBook Pro M3 Max相比,性能提升至原來的7倍。

NVIDIA RTX Remix是一個Mod平臺,可利用全景光線追蹤技術(shù)、NVIDIA DLSS 3.5和物理精確材質(zhì),重制經(jīng)典的DirectX 8和DirectX 9游戲。RTX Remix包括一個Runtime渲染器和RTX Remix工具包應(yīng)用,可簡化游戲資產(chǎn)和材質(zhì)的修改過程。

去年,NVIDIA將 RTX Remix Runtime開源,允許Modder擴(kuò)展游戲兼容性和提升渲染能力。

自今年早些時候推出以來,已有2萬名Modder使用該工具包重制經(jīng)典游戲,在RTX Remix Showcase Discord上開發(fā)了超過130款RTX重制版游戲。

本月,NVIDIA將開放RTX Remix工具包的源代碼,讓Modder能夠簡化資產(chǎn)替換和場景重新布光的方式,增加RTX Remix資產(chǎn)攝取器支持的文件格式,并使用全新模型增強(qiáng)RTX Remix的AI紋理工具。

此外,NVIDIA還通過REST API使RTX Remix工具包的功能可訪問,讓Modder實時鏈接RTX Remix和Blender等數(shù)字內(nèi)容創(chuàng)作工具、Hammer等Mod制作工具,以及ComfyUI等生成式AI應(yīng)用。NVIDIA還為RTX Remix Runtime提供SDK,允許Modder將RTX Remix的渲染器部署到DirectX 8和DirectX 9經(jīng)典版之外的其他應(yīng)用和游戲中。

隨著更多RTX Remix平臺的開源,全球的Modder可創(chuàng)造更多令人驚嘆的RTX重制版游戲。

NVIDIA RTX Video這項熱門AI超分辨率功能,現(xiàn)在已作為 SDK 對所有開發(fā)者開放,可在Google Chrome、Microsoft Edge和Mozilla Firefox瀏覽器中使用。它幫助開發(fā)者原生集成AI,進(jìn)行采樣、銳化、降低壓縮失真和高動態(tài)范圍(HDR)轉(zhuǎn)換。

視頻編輯軟件Blackmagic Design的DaVinci Resolve和Wondershare Filmora即將支持RTX Video,它將使視頻編輯用戶能夠?qū)⒌唾|(zhì)量視頻文件升級至4K分辨率,并將SDR源文件轉(zhuǎn)換為HDR視頻。此外,免費媒體播放器VLC media即將在其現(xiàn)有的超分辨率功能基礎(chǔ)之上添加 RTX Video HDR 的支持。

關(guān)于NVIDIA NVIDIA (NASDAQ: NVDA) 是加速計算領(lǐng)域的全球領(lǐng)導(dǎo)者。

# # #

媒體咨詢:

Jade Li

NVIDIA GeForce, Studio PR

郵箱:jadli@nvidia.com

該新聞稿所含若干陳述包括(但不限于)有關(guān)以下各項的陳述:均屬前瞻性陳述,受制于可能導(dǎo)致結(jié)果與預(yù)期有重大差異的風(fēng)險和不確定因素。可能導(dǎo)致實際結(jié)果產(chǎn)生重大差異的重要因素包括:全球經(jīng)濟(jì)狀況;我們依靠第三方來制造、組裝、包裝和測試我們的產(chǎn)品;技術(shù)發(fā)展和競爭的影響;新產(chǎn)品和技術(shù)的開發(fā)或者現(xiàn)有產(chǎn)品升級;我們產(chǎn)品或合作伙伴產(chǎn)品的市場認(rèn)可度;設(shè)計、制造或軟件缺陷;消費者偏好或需求的變化;行業(yè)標(biāo)準(zhǔn)和接口變化;我們產(chǎn)品或技術(shù)在集成到系統(tǒng)中時發(fā)生的意外性能損失;NVIDIA向美國證券交易委員會(SEC)提交最新報告中不時詳述的其他因素,這些報告包括(但不限于)采用10-K表的年度報告和采用10-Q表的季度報告。向SEC提交的報告的副本均在NVIDIA的官方網(wǎng)站上發(fā)布,并可免費下載。以上前瞻性陳述并非未來表現(xiàn)的保證,僅以本協(xié)議日期為準(zhǔn);除法律要求外,NVIDIA不承擔(dān)更新以上前瞻性陳述以反映未來事件或情況的任何義務(wù)。

? 2024 NVIDIA Corporation 保留一切權(quán)利。NVIDIA,NVIDIA商標(biāo),Audio2Face, GeForce RTX, NVIDIA NIM, NVIDIA RTX and TensorRT 均為NVIDIA Corporation在美國和/或其他國家的商標(biāo)和/或注冊商標(biāo)。其他公司和產(chǎn)品名稱可能是與其相關(guān)的各家公司的商標(biāo)。功能、價格、可用性和規(guī)格如有更改,恕不另行通知。

本篇文章的創(chuàng)作者為電競虎，轉(zhuǎn)載請注明出處