智東西
作者 ZeR0
編輯 漠影

智東西8月12日?qǐng)?bào)道，今日，全球圖形頂級(jí)會(huì)議SIGGRAPH 2025正式開幕，一如既往，英偉達(dá)連發(fā)多款硬核新品，推出兩款全新工作站GPU、RTX PRO服務(wù)器，以及用于物理AI的NVIDIA Omniverse軟件庫(kù)、NVIDIA Cosmos世界基礎(chǔ)模型和NVIDIA Metropolis平臺(tái)更新。

新發(fā)布的Cosmos模型包括一款70億參數(shù)的全新推理視覺語(yǔ)言模型（VLM）——NVIDIA Cosmos Reason，它能讓機(jī)器人和視覺AI agents能夠像人類一樣利用先驗(yàn)知識(shí)、物理理解和常識(shí)進(jìn)行推理。NVIDIA Cosmos Transfer-2模型可加速?gòu)?D仿真場(chǎng)景或空間控制輸入中生成逼真的合成數(shù)據(jù)，還有針對(duì)速度進(jìn)行進(jìn)一步優(yōu)化的Cosmos Transfers精簡(jiǎn)版。

全新NVIDIA RTX PRO 4000 Blackwell SFF版本和NVIDIA RTX PRO 2000 Blackwell GPU，采用第四代RT Core和第五代Tensor Core，功耗更低，尺寸僅為傳統(tǒng)GPU的一半，將于今年晚些時(shí)候上市。

與上一代架構(gòu)相比，RTX PRO 4000 SFF的AI性能提升多達(dá)2.5倍，光線追蹤性能提升多達(dá)1.7倍，帶寬提升多達(dá)1.5倍，在同樣70W TDP的情況下效率更高。

RTX PRO 2000針對(duì)主流設(shè)計(jì)和AI工作流程進(jìn)行了優(yōu)化，與上一代相比，3D建模速度提高至1.6倍，計(jì)算機(jī)輔助設(shè)計(jì)（CAD）性能提高至1.4倍，渲染速度提高至1.6倍，圖像生成速度提高多達(dá)1.4倍，文本生成速度提高多達(dá)2.3倍。

▲NVIDIA RTX PRO 2000 Blackwell

思科、戴爾科技、HPE、聯(lián)想、超微將提供搭載NVIDIA RTX PRO 6000 Blackwell服務(wù)器版GPU的大容量新型2U主流服務(wù)器，覆蓋多種配置，可加速Agentic AI、內(nèi)容創(chuàng)作、數(shù)據(jù)分析、圖形、科學(xué)模擬、工業(yè)和物理AI的企業(yè)工作負(fù)載。

RTX PRO服務(wù)器系列提供全系列機(jī)架式設(shè)計(jì)，可支持2個(gè)、4個(gè)或8個(gè)NVIDIA RTX PRO 6000 Blackwell GPU，非常適合運(yùn)行使用AI推理模型執(zhí)行復(fù)雜任務(wù)并實(shí)現(xiàn)自動(dòng)化的AI agents。

配備8個(gè)RTX PRO 6000 GPU的4U規(guī)格服務(wù)器現(xiàn)已上市。2U主流RTX PRO服務(wù)器預(yù)計(jì)將于今年晚些時(shí)候上市。

一、全新Omniverse SDK和庫(kù)：無(wú)縫模擬機(jī)器人，3D仿真現(xiàn)實(shí)世界

全新NVIDIA Omniverse軟件開發(fā)套件（SDK）和庫(kù)可用于構(gòu)建和部署工業(yè)AI和機(jī)器人模擬應(yīng)用。

新Omniverse SDK推出了MuJoCo（MJCF）和通用場(chǎng)景描述（OpenUSD）之間的數(shù)據(jù)互操作性，幫助超過(guò)25萬(wàn)名MJCF機(jī)器人學(xué)習(xí)開發(fā)者無(wú)縫模擬各平臺(tái)的機(jī)器人。

新Omniverse NuRec庫(kù)和AI模型引入Omniverse RTX光線追蹤3D高斯濺射（3DGS）技術(shù)。這種渲染技術(shù)可幫助開發(fā)者利用傳感器數(shù)據(jù)，以3D形式捕捉、重建和模擬現(xiàn)實(shí)世界。

NVIDIA Isaac Sim 5.0和NVIDIA Isaac Lab 2.2開源機(jī)器人模擬和學(xué)習(xí)框架已在GitHub上提供。Isaac Sim包括NuRec神經(jīng)渲染和基于OpenUSD的全新機(jī)器人和傳感器模式，可幫助機(jī)器人開發(fā)者彌合仿真與現(xiàn)實(shí)之間的差距。

GitHub地址：github.com/isaac-sim/IsaacSim

Omniverse NuRec渲染已集成到擁有超過(guò)15萬(wàn)名開發(fā)者的開源模擬器CARLA中。波士頓動(dòng)力、Figure AI、Hexagon、RAI Institute、Lightwheel、Skild AI正在采用Omniverse庫(kù)、Isaac Sim和Isaac Lab來(lái)加速其AI機(jī)器人開發(fā)，亞馬遜設(shè)備與服務(wù)公司正在使用它們來(lái)支持新的制造解決方案。

為了幫助開發(fā)者充分利用這些軟件庫(kù)及先進(jìn)技術(shù)，NVIDIA宣布推出為高要求工作負(fù)載而設(shè)計(jì)的AI基礎(chǔ)設(shè)施。

NVIDIA RTX PRO Blackwell服務(wù)器為訓(xùn)練、合成數(shù)據(jù)生成、機(jī)器人學(xué)習(xí)和仿真等各種機(jī)器人開發(fā)工作負(fù)載提供統(tǒng)一架構(gòu)。NVIDIA DGX Cloud現(xiàn)已在微軟Azure Marketplace上提供，為Omniverse開發(fā)提供了一個(gè)全托管平臺(tái)，可簡(jiǎn)化從云端大規(guī)模流式傳輸基于OpenUSD和NVIDIA RTX的應(yīng)用，從而最大限度地減少基礎(chǔ)設(shè)施編排和管理。

二、Cosmos模型下載量超200萬(wàn)次，新增開源7B推理VLM

NVIDIA Cosmos世界基礎(chǔ)模型的下載量已超過(guò)200萬(wàn)次，使開發(fā)者可使用文本、圖像和視頻提示生成用于大規(guī)模訓(xùn)練機(jī)器人的各種數(shù)據(jù)。新發(fā)布的模型在合成數(shù)據(jù)生成速度、準(zhǔn)確性、語(yǔ)言支持和控制等方面取得進(jìn)步。

即將發(fā)布的Cosmos Transfer-2簡(jiǎn)化了提示，并能從地面實(shí)況3D仿真場(chǎng)景或空間控制輸入（如深度、分割、邊緣和高清地圖）中快速生成逼真的合成數(shù)據(jù)。

Cosmos Transfer精簡(jiǎn)版將70個(gè)步驟的蒸餾過(guò)程簡(jiǎn)化成一步，使得在NVIDIA RTX PRO服務(wù)器上運(yùn)行模型的速度大大提升。

Lightwheel、Moon Surgical和Skild AI正在使用Cosmos Transfer通過(guò)大規(guī)模模擬各種條件來(lái)加速物理AI訓(xùn)練。

此前視覺語(yǔ)言模型（VLM）尚無(wú)法解決多步驟任務(wù)，也無(wú)法處理模糊性或新奇的體驗(yàn)。

NVIDIA Cosmos Reason是一款可定制的開源推理VLM，擁有70億參數(shù)，面向用于物理AI和機(jī)器人開發(fā)。

它可以讓機(jī)器人和視覺AI agents像人類一樣推理，利用先驗(yàn)知識(shí)、物理理解和常識(shí)來(lái)理解現(xiàn)實(shí)世界并付諸行動(dòng)，因此可用于數(shù)據(jù)管理、機(jī)器人規(guī)劃和視頻分析等場(chǎng)景。

該模型可用于機(jī)器人和物理AI應(yīng)用，包括：

（1）數(shù)據(jù)管理和注釋，幫助開發(fā)者自動(dòng)對(duì)海量、多樣化的訓(xùn)練數(shù)據(jù)集進(jìn)行高質(zhì)量管理和注釋。

（2）機(jī)器人規(guī)劃和推理，在機(jī)器人VLA模型中充當(dāng)大腦，進(jìn)行有意識(shí)、有條理的決策，使機(jī)器人能解讀環(huán)境，并在收到復(fù)雜命令后，將其分解為任務(wù)，并運(yùn)用常識(shí)執(zhí)行，即使在不熟悉的環(huán)境中。

（3）視頻分析AI agents基于可用于視頻搜索和總結(jié)的NVIDIA Blueprint構(gòu)建，可從海量視頻數(shù)據(jù)中提取有價(jià)值的見解并進(jìn)行根本原因分析。

NVIDIA機(jī)器人團(tuán)隊(duì)和NVIDIA DRIVE團(tuán)隊(duì)正在使用Cosmos Reason進(jìn)行數(shù)據(jù)整理和篩選、注釋以及VLA后訓(xùn)練。Uber正在使用它來(lái)為輔助駕駛訓(xùn)練數(shù)據(jù)添加注釋和字幕。

NVIDIA Cosmos-Reason1-7B模型可在新發(fā)布的RTX PRO 4000 SFF上無(wú)縫運(yùn)行，為邊緣設(shè)備、緊湊型工作站和工業(yè)系統(tǒng)提供出色的物理AI推理能力。

三、NVIDIA Metropolis五連更，讓物理AI應(yīng)用開發(fā)更輕松

NVIDIA Metropolis平臺(tái)簡(jiǎn)化了視頻分析AI agents和服務(wù)從邊緣到云的開發(fā)、部署和擴(kuò)展。開發(fā)者可利用該平臺(tái)更快地為其設(shè)施構(gòu)建視覺感知，以提高生產(chǎn)力，并提高各環(huán)境的安全性。

NVIDIA Metropolis的五項(xiàng)關(guān)鍵更新，有望推進(jìn)開發(fā)者更快、更輕松地構(gòu)建物理AI應(yīng)用。

（1）Cosmos Reason VLM：最新版Cosmos Reason可實(shí)現(xiàn)針對(duì)Metropolis用例的上下文視頻理解和時(shí)間事件推理。小參數(shù)量使其易于從邊緣到云端部署，非常適合自動(dòng)化交通監(jiān)控、公共安全、視覺檢查和智能決策。

（2）VSS Blueprint 2.4：VSS 2.4可輕松快速地通過(guò)Cosmos Reason來(lái)增強(qiáng)現(xiàn)有視覺AI應(yīng)用，具有一組擴(kuò)展應(yīng)用編程接口，為用戶直接提供了更大的靈活性，使其能夠選擇特定的VSS組件和功能來(lái)通過(guò)生成式 AI 增強(qiáng)計(jì)算機(jī)視覺管線。

（3）全新視覺基礎(chǔ)模型：NVIDIA TAO工具套件包括一套全新視覺基礎(chǔ)模型，以及高級(jí)微調(diào)方法、自監(jiān)督學(xué)習(xí)和知識(shí)蒸餾功能，能夠優(yōu)化邊緣與云環(huán)境中的物理AI解決方案部署。NVIDIA DeepStream SDK具備一個(gè)全新推理生成器，可無(wú)縫部署TAO 6模型。

（4）NVIDIA Isaac Sim擴(kuò)展：NVIDIA Isaac Sim參考應(yīng)用中的新擴(kuò)展工具有助于解決視覺AI開發(fā)中的常見挑戰(zhàn)，例如有限的標(biāo)注數(shù)據(jù)和罕見的邊緣場(chǎng)景。這些工具可以模擬人機(jī)交互，生成豐富的目標(biāo)檢測(cè)數(shù)據(jù)集，并創(chuàng)建基于事件的場(chǎng)景和圖像-字幕對(duì)，來(lái)訓(xùn)練VLM并加速開發(fā)，提高AI在現(xiàn)實(shí)世界條件下的性能。

（5）擴(kuò)展硬件支持：所有Metropolis組件均可在NVIDIA RTX PRO Blackwell GPU、NVIDIA DGX Spark桌面超級(jí)計(jì)算機(jī)以及用于物理AI和人形機(jī)器人的NVIDIA Jetson Thor平臺(tái)上運(yùn)行，用戶可從邊緣到云端進(jìn)行開發(fā)與部署。

Cosmos Reason 1和NVIDIA TAO 6.0均已開放下載。

四、展示多項(xiàng)創(chuàng)新研究，覆蓋模擬、AI渲染、3D內(nèi)容生成

NVIDIA研究人員在SIGGRAPH上展示了模擬、AI渲染和3D內(nèi)容生成方面的進(jìn)展，可能有助于虛擬世界創(chuàng)建、機(jī)器人開發(fā)和自動(dòng)駕駛汽車訓(xùn)練。

一篇論文探討了從2D圖像或視頻重建物理感知3D幾何體的挑戰(zhàn)。雖然許多模型可以根據(jù)視頻片段估計(jì)3D物體，但生成的3D形狀通常缺乏結(jié)構(gòu)穩(wěn)定性。即使在視覺上與真實(shí)物體非常接近，生成的形狀也可能存在比例略微不均勻或細(xì)節(jié)缺失的問(wèn)題，從而影響其物理真實(shí)感。

例如，用2D素材構(gòu)建的椅子3D模擬模型，如果放入物理精準(zhǔn)的模擬環(huán)境中，可能會(huì)塌陷，因?yàn)锳I模型是基于視覺估算3D結(jié)構(gòu)，而非實(shí)際測(cè)量結(jié)果。這篇論文介紹的方法有助于確保生成的3D形狀能夠真實(shí)還原現(xiàn)實(shí)世界的物理特性，從而支持創(chuàng)建用于物理AI訓(xùn)練的虛擬世界。

另一篇論文介紹了一種通過(guò)物理上精確的運(yùn)動(dòng)賦予模擬角色生命的技術(shù)。研究人員將運(yùn)動(dòng)生成器與基于物理的跟蹤控制器相結(jié)合，為復(fù)雜的動(dòng)作（例如跑酷運(yùn)動(dòng)員的特技）生成逼真的合成數(shù)據(jù)。這些數(shù)據(jù)可以幫助開發(fā)虛擬角色或訓(xùn)練現(xiàn)實(shí)世界的人形機(jī)器人，使其具有現(xiàn)實(shí)世界訓(xùn)練數(shù)據(jù)中很少見的敏捷運(yùn)動(dòng)技能。

其他論文探討了模擬光和材料的復(fù)雜性。

一個(gè)項(xiàng)目展示了如何創(chuàng)建AI助手來(lái)增強(qiáng)材質(zhì)細(xì)節(jié)。它利用擴(kuò)散模型和基于可微分物理的渲染器，為創(chuàng)作者提供了一種在3D對(duì)象表示上輕松修改材質(zhì)紋理貼圖的方法，使創(chuàng)作者能用簡(jiǎn)單的文本提示創(chuàng)建更豐富、更逼真的虛擬世界。研究團(tuán)隊(duì)演示了如何使用該模型快速添加逼真的物體細(xì)節(jié)，例如風(fēng)化或老化的痕跡。這些細(xì)節(jié)使用傳統(tǒng)渲染方法創(chuàng)建起來(lái)非常耗時(shí)。

在光模擬領(lǐng)域，一篇論文解決了可微分渲染中的挑戰(zhàn)，引入了一種強(qiáng)大的可微分可見性查詢，可以更快、更準(zhǔn)確地從圖像和視頻中重建3D幾何體。一個(gè)示例是將正向渲染和逆向渲染結(jié)合在一起，快速?gòu)奶摂M世界中提取參數(shù)，這些參數(shù)對(duì)于在合成數(shù)據(jù)集上精確訓(xùn)練物理AI模型至關(guān)重要。

結(jié)語(yǔ)：押注物理AI，將信息世界與物理世界打通

NVIDIA正在為其GPU開辟一個(gè)更廣闊的市場(chǎng)，而它嗅到的下一個(gè)風(fēng)向便是將計(jì)算機(jī)圖形和AI能力進(jìn)一步結(jié)合的物理AI。而無(wú)論是圖形和仿真創(chuàng)新，還是加速AI計(jì)算，都是NVIDIA的優(yōu)勢(shì)所在。

物理AI已逐漸成為現(xiàn)代機(jī)器人、自動(dòng)駕駛汽車、智慧城市、設(shè)施和工業(yè)流程的基礎(chǔ)，它依賴于神經(jīng)圖形、合成數(shù)據(jù)生成、基于物理的模擬仿真、強(qiáng)化學(xué)習(xí)和AI推理的融合。

在SIGGRAPH 2025期間，NVIDIA展示了包括NVIDIA Omniverse庫(kù)、NVIDIA Cosmos世界基礎(chǔ)模型、RTX PRO Blackwell GPU及服務(wù)器在內(nèi)的一系列軟硬件基礎(chǔ)設(shè)施如何為物理AI和機(jī)器人工作負(fù)載提供動(dòng)力。

為了幫助機(jī)器人和物理AI開發(fā)者推進(jìn)3D和模擬技術(shù)的采用，NVIDIA還宣布OpenUSD課程和認(rèn)證，以滿足對(duì)USD專業(yè)知識(shí)的需求，并宣布與Lightwheel進(jìn)行開源合作，將機(jī)器人策略訓(xùn)練和評(píng)估框架集成到NVIDIA Isaac Lab中，具備并行強(qiáng)化學(xué)習(xí)訓(xùn)練功能，以及機(jī)器人操作和運(yùn)動(dòng)的基準(zhǔn)測(cè)試和仿真就緒資產(chǎn)。