Supermicro NVIDIA Large language models 大型語言模型 LLM 基礎架構 GPU 硬體

全堆疊結構式SuperCluster超級運算叢集包含氣冷、液冷訓練與雲端級推論機櫃配置,並搭載最新型NVIDIA Tensor Core GPU、網路技術與NVIDIA AI Enterprise軟體

Supermicro 推出從企業規模擴大至 LLM 硬體基礎架構

2024-03-25
Supermicro宣布推出其最新產品組合,加速生成式AI部署。Supermicro SuperCluster解決方案能為現今及未來大型語言模型(Large Language Model,LLM)硬體基礎設施提供核心建構組件。

!此為分頁標誌前台不顯示!

搭載NVIDIA HGX H100/H200 8-GPU的系統非常適合用於訓練生成式Al。透過NVIDIA NVLink技術高速互連的GPU,以及高GPU記憶體頻寬與容量,將成為符合成本效益地運行LLM的核心關鍵。Supermicro的SuperCluster具備龐大GPU共用資源,能作為一個AI超級電腦進行運算作業。

無論是導入一個最初就以數兆級詞元(token)資料集進行完整訓練的大型基礎模型,或開發一個雲端級LLM推論基礎架構,具有無阻式400Gb/s網路結構的主幹枝葉式架構(Spine and Leaf Network Topology)都能從32個運算節點順暢地擴展至數千個節點。針對完全整合的液冷系統,Supermicro在產品出廠前會藉由經認證的測試流程徹底驗證與確保系統運行成效與效率。

採用了NVIDIA GH200 Grace Hopper Superchip的Supermicro NVIDIA MGX系統設計將能打造出未來AI運算叢集的架構樣式以解決生成式AI的關鍵瓶頸:運行高推論批次大小的LLM所需的GPU記憶體頻寬及容量,進而降低營運成本。具256節點的運算叢集能實現雲端級大量推論算力引擎,並易於部署與擴充。

透過GPU間可實現的頂級互連效能,Supermicro的SuperCluster解決方案針對LLM訓練、深度學習,以及大量且高批次推論進行了最佳化。Supermicro的L11和L12驗證測試結合了現場部署服務,可為客戶提供更順暢體驗。客戶收到隨插即用的可擴充單元後能實現資料中心內的輕鬆部署,並可更快獲取成果。


追蹤我們Featrue us

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!