全新 NIM 微服務(wù)和 AI Blueprint 為 RTX AI PC 和工作站解鎖生成式 AI——此外,首期 RTX AI Garage 系列回顧了 CES 大會上發(fā)布的更多公告。

去年,生成式 AI改變了人們的生活、工作和娛樂方式,從寫作到內(nèi)容創(chuàng)作,再到游戲、學(xué)習(xí)和生產(chǎn)力,方方面面獲得提升。PC 愛好者和開發(fā)者正在引領(lǐng)這項創(chuàng)新性技術(shù)的前沿發(fā)展。

無數(shù)次影響整個行業(yè)的技術(shù)突破誕生于同一個地方——車庫。 本周,RTX AI Garage 系列欄目閃亮登場,將為希望了解更多關(guān)于 NVIDIA NIM 微服務(wù)和 AI Blueprint 的開發(fā)者和愛好者帶來定期內(nèi)容,以及如何在 AI PC 上構(gòu)建 AI 智能體、創(chuàng)意工作流程、數(shù)字人、生產(chǎn)力應(yīng)用等。 歡迎加入 RTX AI Garage。

首期欄目重點介紹了于本周早些時候在CES大會上發(fā)布的公告,包括面向NVIDIA RTX AI PC推出的新 AI 模型,該模型可將數(shù)字人、內(nèi)容創(chuàng)作、生產(chǎn)力和開發(fā)推向一個新高度。

這些模型以 NVIDIA NIM 微服務(wù)的形式,由新的 GeForce RTX 50 系列 GPU 驅(qū)動。 基于 NVIDIA Blackwell 架構(gòu),RTX 50 系列 GPU 可執(zhí)行高達每秒 3,352 萬億次 AI 運算,提供 32GB VRAM 并支持 FP4 計算,令 AI 推理性能翻倍,讓生成式 AI 以更小的顯存占用本地運行。

NVIDIA 還推出NVIDIA AI Blueprint —基于 NIM 微服務(wù),為數(shù)字人、內(nèi)容創(chuàng)作等應(yīng)用,提供預(yù)先配置的開箱即用工作流。

NIM 微服務(wù)和 AI Blueprint 助力愛好者和開發(fā)者構(gòu)建、迭代,并提供前所未有的 AI PC 體驗。并借此為 PC 用戶提供新一代令人驚艷的實用 AI 能力

通過 NVIDIA NIM 快速使用 AI

將前沿 AI 技術(shù)引入 PC 面臨兩大關(guān)鍵挑戰(zhàn)。首先,AI 研究進度驚人,每天都有新模型涌現(xiàn)在 Hugging Face 等平臺上,僅 Hugging Face 現(xiàn)就擁有超過 100 萬個模型。因此,新成果很快會被淘汰。

其次,為 PC 適配這些模型是一個復(fù)雜費力的過程。將模型針對 PC 硬件進行優(yōu)化,與 AI 軟件集成,并進行應(yīng)用集成需要大量工程化工作。

NVIDIA NIM 通過提供面向 PC 優(yōu)化的預(yù)封裝前沿 AI 模型來幫助應(yīng)對這些挑戰(zhàn)。涵蓋不同領(lǐng)域的 NIM 微服務(wù)可一鍵安裝,具有易于集成的應(yīng)用程序編程接口 (API),并利用 NVIDIA AI 軟件和 RTX GPU 加速性能。

在 CES 大會上,NVIDIA 宣布推出面向 RTX AI PC 的 NIM 微服務(wù)工作流,支持各種使用場景,包括大語言模型 (LLM)、視覺語言模型、圖像生成、語音、檢索增強生成 (RAG)、PDF 提取和計算機視覺。

新 Llama Nemotron 開源模型系列為各種代理式 AI 任務(wù)提供高精度基礎(chǔ)能力。 Llama Nemotron Nano 模型將面向 RTX AI PC 和工作站以 NIM 微服務(wù)形態(tài)發(fā)布,在指令遵循、函數(shù)調(diào)用、聊天、編碼和數(shù)學(xué)等代理式 AI 任務(wù)方面表現(xiàn)出眾。

不久,開發(fā)者將能快速下載并在安裝了適用于 Linux 的 Windows 子系統(tǒng) (WSL) 的 Windows 11 PC 上運行這些微服務(wù)。

https://www.youtube.com/watch?v=kh55RX2xsaA

為了向愛好者和開發(fā)者展示如何使用 NIM 構(gòu)建 AI 智能體和助手,NVIDIA 推出了 Project R2X 應(yīng)用預(yù)覽,這是一個具有視覺能力的 PC 虛擬形象,讓信息觸手可及,協(xié)助用戶使用桌面應(yīng)用、進行視頻會議、閱讀和總結(jié)文檔等。

借助 NIM 微服務(wù),AI 愛好者可跳過繁瑣的模型管理、優(yōu)化和后端集成,而專注于利用頂尖 AI 模型進行創(chuàng)作和創(chuàng)新。

API 是什么?

API 是一個應(yīng)用與軟件庫通信的方式。 API 定義了應(yīng)用可向庫發(fā)送的一組“調(diào)用”指令,以及應(yīng)用將獲得的返回數(shù)據(jù)。傳統(tǒng) AI API 需要大量的設(shè)置和配置,這增大了 AI 使用難度,為創(chuàng)新設(shè)置障礙。

NIM 微服務(wù)提供了易于使用、直觀的 API,應(yīng)用只需向其發(fā)送請求即可獲得響應(yīng)。此外,NIM 微服務(wù)面相不同模型類型的輸入和輸出方式進行設(shè)計。 比如,LLM 以文本輸入并輸出文本,圖像生成器由文本生成圖像,語音識別器將語音識別為文本。

NIM 微服務(wù)的設(shè)計旨在與領(lǐng)先的 AI 開發(fā)和智能體框架無縫集成,如 VSCode AI 工具包、 AnythingLLM、ComfyUI、Flowise AI、LangChain、Langflow 和 LM Studio。 開發(fā)者可輕松從 NVIDIA 官網(wǎng)下載并部署微服務(wù)。

通過將這些 API 引入 RTX,NVIDIA NIM 將加速 PC 端的 AI 創(chuàng)新。

愛好者還可以通過即將發(fā)布的NVIDIA ChatRTX技術(shù)演示體驗一系列 NIM 微服務(wù)。

為創(chuàng)新打造的 Blueprint

通過采用最前沿的模型,預(yù)先封裝并針對 PC 進行優(yōu)化,開發(fā)者和粉絲可以快速創(chuàng)建 AI 的項目。 更進一步,他們可以結(jié)合多種 AI 模型和其他功能模塊來構(gòu)建復(fù)雜的應(yīng)用,如數(shù)字人、播客生成器和應(yīng)用助手。

基于 NIM 微服務(wù),NVIDIA AI Blueprint 可提供復(fù)雜 AI 工作流的參考實現(xiàn)。 可幫助開發(fā)者將多個組件,包括庫、軟件開發(fā)工具包 (SDK) 和 AI 模型,整合到單一應(yīng)用中。

https://images.nvidia.cn/cn/youtube-replicates/6YrEjhSMPBY.mp4

AI Blueprint 包含了開發(fā)者構(gòu)建、運行、定制和擴展參考工作流所需的一切,其中包括參考應(yīng)用和源代碼、示例數(shù)據(jù)以及用于定制和編排不同組件的文檔。

在 CES 大會上,NVIDIA 宣布推出兩個適配 RTX 的 AI Blueprint:一個是 PDF 轉(zhuǎn)播客,讓用戶基于任意 PDF 生成播客,另一個是由 3D 引導(dǎo)的生成式 AI,該技術(shù)基于 FLUX.1 [dev],以 NIM 微服務(wù)形式提供,讓藝術(shù)家使用文本生成圖像提供更好的控制能力。

借助 AI Blueprint,開發(fā)者可以在 RTX PC 和工作站上快速將頂尖 AI 工作流由實驗轉(zhuǎn)向開發(fā)。

為生成式 AI 創(chuàng)建

全新 GeForce RTX 50 系列 GPU 專為應(yīng)對復(fù)雜的生成式 AI 挑戰(zhàn)而打造,具有支持 FP4 的第五代 Tensor Core、更快的 GDDR7 顯存和 AI 管理處理器,可在 AI 和創(chuàng)意工作流之間實現(xiàn)高效的多任務(wù)處理。

GeForce RTX 50 系列新增對 FP4 的支持,為 PC 端帶來更佳性能和更多模型。 FP4 是一種更低精度的量化方法,類似于文件壓縮,可以減小模型大小。與大多數(shù)模型默認采用的 FP16 方法相比,FP4 的顯存占用不到一半,并且 50 系列 GPU 提供的性能是上一代的 2 倍以上。利用 NVIDIA TensorRT Model Optimizer 提供的先進量化方法,可以在幾乎沒有任何質(zhì)量損失的情況下實現(xiàn)這一點。.

例如,Black Forest Labs 的 FLUX.1 [dev] 模型在 FP16 下需要超過 23 GB 的顯存,這意味著它只能由 GeForce RTX 4090 和專業(yè) GPU 提供支持。在 FP4 下,FLUX.1 [dev] 僅需要不到 10 GB 的顯存,因此可以在更多 GeForce RTX GPU 上本地運行。

在 GeForce RTX 4090 D 上采用 FP16 時,FLUX.1 [dev] 模型可以在 18 秒內(nèi)生成圖像,步數(shù)為 30 步。而在 GeForce RTX 5090 D 上采用 FP4,只需5秒多一點的時間即可生成圖像。

開始使用 PC 端新 AI API

NVIDIA NIM 微服務(wù)和 AI Blueprint 將從下月起開始提供,首發(fā)支持的硬件包含 GeForce RTX ?50 系列、GeForce RTX 4090 和 4080 以及 NVIDIA RTX 6000 和 5000 GPU 。未來還會陸續(xù)提供對其他 GPU 的支持。

宏碁、華碩、戴爾、惠普、聯(lián)想、微星、雷蛇將推出支持 NIM 的 RTX AI PC。

GeForce RTX 50 系列 GPU 和筆記本電腦帶來全新玩法和創(chuàng)新性 AI 體驗,助力創(chuàng)作者更快呈現(xiàn)創(chuàng)意。回放 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛發(fā)表的主題演講,了解 NVIDIA 在 CES 大會上發(fā)布的 AI 內(nèi)容。

請參閱有關(guān)軟件產(chǎn)品信息的通知。

###