NVIDIA發表最先進的企業級人工智慧(AI)基礎架構:採用NVIDIA Blackwell Ultra GPU構建的NVIDIA DGX SuperPOD,針對尖端代理型AI推理,為各產業企業提供AI工廠超級運算能力。
全新的NVIDIA DGX GB300與NVIDIA DGX B300系統內建NVIDIA網路技術,協助企業提供開箱即用的DGX SuperPOD AI超級電腦,不僅精度達FP4,且具備更快的AI推理速度,大幅加速AI應用的詞元生成。
AI工廠針對代理型、生成式與實體AI工作負載提供專用基礎架構,為實際作業環境中的應用,提供AI預訓練、訓練後和測試階段擴充所需的大量運算資源。
NVIDIA創辦人暨執行長黃仁勳表示,AI發展迅速,企業紛紛積極打造可擴充的AI工廠,以滿足推理AI與推論時間擴展的處理需求。NVIDIA Blackwell Ultra DGX SuperPOD為代理型與實體AI時代,提供開箱即用的AI超級運算系統。
DGX GB300系統採用NVIDIA Grace Blackwell Ultra超級晶片,其中包含36顆NVIDIA Grace CPU與72顆 NVIDIA Blackwell Ultra GPU,此外還搭載專門設計的機架級液冷式架構,可實現先進推理模型的即時代理回應。
氣冷式NVIDIA DGX B300系統採用NVIDIA B300 NVL16架構,協助各地的資料中心滿足生成式與代理型AI應用的運算需求。
此外,為因應對於先進加速基礎架構日益增長的需求,NVIDIA 推出了NVIDIA Instant AI Factory,這是一項採用由Blackwell Ultra驅動的NVIDIA DGX SuperPOD的託管服務。Equinix將率先在全球45個市場於其預先配置液冷式或氣冷式AI就緒資料中心,提供全新的DGX GB300與DGX B300系統。
搭載DGX GB300的DGX SuperPOD系統,可擴充至數萬顆NVIDIA Grace Blackwell Ultra超級晶片,並採用NVIDIA NVLink、NVIDIA Quantum-X800 InfiniBand與NVIDIA Spectrum-X 乙太網路技術連接,為運算資源最吃重的工作負載,大幅提升訓練與推論效能。
DGX GB300系統可提供比使用NVIDIA Hopper系統建立的AI工廠高出70倍的AI表現,而且搭載38 TB高速記憶體,讓代理型AI與推理應用的多步驟推理,實現無與倫比的大規模效能。
每個DGX GB300系統中的72顆Grace Blackwell Ultra GPU皆採用第五代NVLink技術連接,透過NVLink Switch系統打造出超大共享記憶體空間。
每個DGX GB300系統皆搭載72個NVIDIA ConnectX-8 SuperNIC,實現高達800Gb/s的加速網路速度,效能是前一代的兩倍。18個NVIDIA BlueField®-3 DPU搭配NVIDIA Quantum-X800 InfiniBand或NVIDIA Spectrum-X Ethernet,可為大規模AI資料中心加速效能與效率,並提升安全性。
NVIDIA DGX B300系統是一個AI基礎架構平台,可幫助每個資料中心實現節能的生成式AI與AI推理技術。採用NVIDIA Blackwell Ultra GPU加速,AI推論效能速度較Hopper世代提升11倍,訓練則加速4倍。每個系統皆提供2.3 TB的HBM3e記憶體,而且搭載先進的網路技術,採用8個NVIDIA ConnectX-8 SuperNIC和2個 BlueField-3 DPU。
為了讓企業能夠將基礎架構的管理與運作自動化,NVIDIA還推出NVIDIA Mission Control這款適用於Blackwell架構DGX系統的AI資料中心營運與協調軟體。
NVIDIA DGX系統支援NVIDIA AI Enterprise軟體平台,協助建置和部署企業級AI代理。範圍包括NVIDIA NIM微服務,例如發表的全新NVIDIA Llama Nemotron開放式推理模型系列,以及用於協調及最佳化AI代理效能的NVIDIA AI Blueprints、架構、函式庫與工具。
NVIDIA Instant AI Factory為企業提供的Equinix託管服務,採用Blackwell Ultra驅動且內含NVIDIA Mission Control軟體的NVIDIA DGX SuperPOD。
透過Equinix遍佈全球各地的專用設施,這項服務可為企業提供配置齊全且能夠生成資訊的AI工廠,並針對先進的模型訓練與即時推理工作負載進行最佳化,省去好幾個月的部署前基礎架構規劃時間。