鎖定企業資料中心與AI應用需求，近期英特爾（Intel）在台灣展示搭載效能核心（P-core）的Intel Xeon 6與Intel Gaudi 3 AI加速器的最新系統和解決方案，除了攜手合作夥伴共同推動資料中心發展與AI應用之外，現場也展示了水冷板專利超流體冷卻技術，以協助企業實現ESG永續綠色目標。
這項活動恰巧舉辦在Intel執行長季辛格（Pat Gelsinger）宣布退休的隔日，英特爾亞太暨日本區總經理莊秉翰指出，雖然季辛格已宣布退休，但在其領導下推動了多項重要的創新與進步，過去對台灣生態系也多有堅定支持，展望未來，Intel也將延續這些努力成果持續提供高品質、穩定及可靠的產品以及解決方案。
英特爾亞太暨日本區總經理莊秉翰分享於AI時代下英特爾資料中心解決方案。
藉由AI來創新營收、提高生產力已成許多企業的策略核心，不過調查發現，現今只有10%企業將生成式AI導入實際的企業應用；46%的專家認為基礎架構的建置是大型語言模型導入實際應用的挑戰，而且資料的透明度、隱私和信任的問題也是日漸增長。
「隨著AI運算需求日益成長，資料中心與基礎架構的大規模轉型已日益重要，包含可擴充性、成本、能源效率和安全性都是企業當前考量的關鍵因素。」他指出，為了協助企業面對AI導入問題，Intel也推出搭載P-core的Xeon 6和Gaudi 3 AI加速器，透過英特爾強大的x86架構與開放生態系，使其能夠支援企業建構具備最佳化總體擁有成本（TCO）及每瓦最佳效能的AI系統，以更佳的效率和成本效益滿足企業複雜的工作負載。
新一代處理器驅動AI高效運算
搭載P-core的Xeon 6處理器最高可擴充至128個核心、12個記憶體通道，並針對每個插槽提供96條PCIe通道，而超高的記憶體和I/O頻寬，更有助於加速運算密集型AI、HPC和資料服務的工作負載。相較於前一代處理器，Xeon 6效能提升高達2倍。此外，Xeon 6處理器也支援採用DDR5介面與技術的MRDIMM，提供8,800 MT/s的速度，創造更高頻寬、更低延遲的運算環境，以應對HPC、AI及其他大量工作負載。此外，Xeon 6為率先支援CXL 2.0技術的伺服器處理器，以提升記憶體頻寬與容量，實現高效率資料傳輸。
而在AI加速器方面，Gaudi 3 AI加速器專為大規模AI運算所設計，可於資料中心或雲端上支援大型語言模型、多模態模型與企業RAG等AI應用程式。與前一代產品相比，Gaudi 3將BF16的AI運算能力提高4倍，並提升1.5倍記憶體頻寬以及2倍網路頻寬，有助大型語言模型和多模態模型的AI訓練和推論。除了無縫整合PyTorch框架外，也提供Hugging Face Transformer模型和Diffusers模型庫，以提升開發人員易用性和生產力。
RAG展現投資價值
莊秉翰說明，企業現今面臨的挑戰是，大多數的資料都是位於企業內建的私有雲環境內，然而許多大型語言模型卻是在雲端，若要把企業資料上傳到雲端以進行模型的訓練或是推論，對資料外洩的風險也會多做評估與考量，在此情況下，檢索增強生成（Retrieval-Augmented Generation，RAG）反而是拉近企業資料與生成式AI進行融合的一個非常好的橋樑。RAG能夠改善大型語言模式的輸出，輕鬆地將企業資料轉換成分析與洞察，不需要重新訓練模型，也無須微調，能減少幻覺的產生，同時也能確保資料安全。
英特爾業務暨行銷事業群商用業務總監鄭智成則補充，自ChatGPT問世、大型語言模型興起以來，不少企業紛紛投入成本預算採購搭載GPU伺服器，例如某金控業者便曾公開提到，為了在公司內運用AI而花費三千萬採購兩台GPU伺服器，換言之，一台GPU伺服器要價就要一千五百萬，而這很可能是中小企業一年的IT預算。另一方面，即使兩台GPU伺服器也無法訓練模型，最多只能進行小型語言模型的微調，企業若是想要進行模型訓練，需要更多的GPU伺服器。但如此一來，ROI（投資報酬率）便很難估算。
英特爾專利超流體技術（Open IP SuperFluid Cooling Technology）除了已應用在浸沒式冷卻解決方案之外，也將此技術導入水冷板散熱系統中。
他提到，RAG的另一項好處是，只要運用CPU的算力就可以實現，而且能與大型語言模型具有一樣好的效果，便很容易能夠實證所投入的AI費用以及其產生的實際效益。而選擇Xeon 6處理器的優勢除了有4個Socket以上的機種外，對能源的使用效率也有更進一步的強化，比前一代高出90%。
新介電液防止漏液
隨著晶片熱設計功耗（TDP）不斷攀升，散熱也就成為另一項亟需解決的課題。目前廣為人知的液冷技術除了採用水冷板之外，浸沒式冷卻也是另一種選項，透過不導電的介電液，將主板浸泡在其中進行熱交換，以優化散熱的成效。而水冷板的方案則是以水為介質，冰水透過CDU進到伺服器後，把GPU與CPU的熱帶到CDU，再透過CDU內的冷板做冷熱交換，再把冷水帶回到伺服器裡面，然後再繼續把熱帶走。
然而，水冷板的最受擔心的就是漏水，萬一漏水，不管是單台AI伺服器還是整櫃的AI伺服器都很可能因此而造成系統短路，損失不可謂不大。因此，在許多水冷板的設計中會添加偵測機制以及盛水盤，目的就是為了提供更多的保護機制，以確保伺服器不會因為漏水而造成服務中斷。 對此，Intel也運用了專利超流體冷卻技術為伺服器注入新冷力。這項方案有兩個特點，其一是開發了新的冷卻液，雖然同樣是採冷板的設計，但介質從水換成了不導電的液體，因此能夠避免因為洩漏，而使得高價的伺服器會有損壞的風險。其二是透過物理機制把空氣注入到冷卻液中，以增加流速與散熱的效果，由於介電液是經過特別調整的合成油，雖然是低黏度，但流速還是相對緩慢，加入空氣作為潤滑液後，便能減少冷卻液與冷板之間的摩擦力，同時又能提升油速與熱對流，進而提升冷卻效率。