根據IDC發布的統計數據,預估2024年,富比士全球兩千大企業將有60%在所有關鍵業務中使用AI/ML,不僅藉此創新商業模式,更在內部營運管理採用AI輔助,例如開發團隊可加速提出產品原型(Prototype)、提高流程自動化的能力,特別是把AI引進機器設備維護作業,將突破既有排程式維運框架,改由AI自主判斷預測故障時間,可大幅降低營運停擺釀成損失的風險。
儘管AI已成為各產業數位轉型的發展方向,仍有許多AI專案最終無法成功導入。NVIDIA解決方案架構師吳元懷觀察,普遍的因素是IT人員尚未能掌握開發AI環境必要的功能特性以及工具與框架。對此,軟硬體預先整合方案將可幫助企業突破既有困境,從底層硬體配置與維運,到應用層的技術框架,都達成最優化的功能性整合。
NVIDIA AI Enterprise軟體套件具備AI相關開發工具與框架、雲原生管理機制,以及基礎架構最佳化管理套件,只要在VMware vSphere與VMware Cloud Foundation上啟用AI,營運環境的基礎架構無須自力依賴開源技術,即可確保後續技術支援無虞,讓底層硬體平台、開發與維運管理工具,安心交由NVIDIA企業支援來協助。
企業地端資料中心建置的大數據分析等關鍵應用系統,十分仰賴CPU與GPU的運算力,運用虛擬化技術有助於靈活地調度運算資源、降低維運複雜度,更重要的是可保障高效能運算水準。對於虛擬化平台運行高度運算的應用系統,部分企業IT存在許久的偏見是擔心效能表現不如裸機,吳元懷指出,不可否認此問題確實存在於過去技術環境,但如今在VMware vSphere虛擬化環境中實際應用高效能運算,效能表現早已可達裸機等級。VMware資深技術顧問黃秉鈞說明,NVIDIA與VMware共同推動NVIDIA AI Enterprise與vSphere with Tanzu相互整合,可在虛擬主機與容器環境中完美實作AI工作負載。
隨著應用系統朝向雲端原生的微服務架構邁進,工作負載轉為容器叢集,維運管理模式較以往大不相同,Kubernetes已成為容器環境的標準平台,因此藉由VMware Tanzu即可讓既有應用服務運行的Windows、Linux系統核心以及Kubernetes容器叢集,採以一致的平台維運管理。
黃秉鈞強調,VMware推出vSphere with Tanzu的目的,主要是讓IT人員得以沿用過去控管虛擬平台的經驗,來維運管理Kubernetes。使用vSphere with Tanzu交付NVIDIA AI Enterprise,首先需準備已通過VMware與NVIDIA認證的伺服器,其次是安裝VMware ESXi虛擬化核心以及NVIDIA GPU VIB(vSphere Installation Bundle)驅動檔案,第三是基於Ubuntu 20.04系統版本安裝NVIDIA GPU Operators與vSphere with Tanzu,完成具備NVIDIA GPU運行能力的Kubernetes環境,即可自NGC(Nvidia GPU Cloud)平台下載容器、預先訓練的模型、特定領域的SDK等資源,滿足不同專業知識領域的資料科學家、開發者、學術研究單位應用需求。
VMware虛擬化技術推動資料中心改為軟體定義方式,讓原本僵固的實體資源,變得可依據應用需求快速地調度與彈性擴充。NVIDIA資深應用工程師蔡松達觀察,隨著應用系統被拆解成更小單位的微服務,帶給資料中心的首要挑戰是東西向溝通變得更加頻繁,網路負載呈現指數級增長,需要有新的方式來因應改變,因此借助可用於AI/ML的GPU、軟體定義I/O與安全性的資料處理器(Data Processing Unit,DPU),讓整體運算效能大幅提升,更能滿足現代化微服務架構運行。
蔡松達說明,NVIDIA BlueField-2 DPU具備VMware Project Monterey預先設定叢集,以PCIe卡的形式插在伺服器主機上,可提供三個重要功能,首要是卸載,藉由DPU處理器搭載的CPU核心,可分擔既有x86工作負載。其次是加速引擎,可增進網路、儲存、安全機制提升效能表現。第三是隔離功能,讓保障安全性的代理程式在DPU上運行,即使主機被滲透攻擊成功,也不至於橫向感染其他主機。
https://reurl.cc/8o9WgX
https://reurl.cc/x93O54
˙活動名稱:新世代企業AI混合雲線上講堂
˙主題:NVIDIA AI Enterprise:Tech 101
˙主講人:NVIDIA解決方案架構師吳元懷
˙活動名稱:新世代企業AI混合雲線上講堂
˙主題:採用VMware vSphere with Tanzu啟動NVIDIA AI Enterprise旅程
˙主講人:VMware資深技術顧問黃秉鈞
˙活動名稱:新世代企業AI混合雲線上講堂
˙主題:VMware Project Monterey與NVIDIA DPU重塑資訊基礎架構
˙主講人:NVIDIA資深應用工程師蔡松達