生成式AI掀起熱潮，不少企業也加速AI伺服器部署，期盼藉由大型語言模型（LLM）的訓練或推論，進一步為企業帶來更大的成長與競爭優勢。對於多數企業而言，讓AI伺服器直接進駐在既有資料中心內是最為省事與簡便的作法，最好能夠在既有的空間內最大化部署AI伺服器的數量，以支持未來可能的AI創新與應用。
台灣熱管理協會理事長，同時也是英特爾水冷團隊技術總監的龔育諄坦言，這樣的想法對企業最為有利，但實務上卻存在電力、冷卻能力不足等挑戰。首先，隨著晶片與元件的瓦數不斷攀升，散熱成為一項新課題。除非在一開始企業就預估到未來幾年將有更多的散熱需求而預留冷卻空調的餘裕，不然固定的冷卻能力很難應對AI伺服器這麼大的散熱需求，最終可能導致資料中心的溫度越來越高，使得系統效能因為過熱而受到影響。
其次，因為冷卻空調要不斷地製冷，電力需求自然也會隨之增加，經常聽聞維運費用成長幅度遠高於設備採購成長的原因，即在於電費大幅攀升的緣故。
再者，由於台灣企業大部分的資料中心多半都位於人口密集處，在空間取得不易的情況下，想要擺放更多的設備，唯有將機櫃的密度變高，然而這樣的作法很容易就會出現過熱的問題。受到這個限制，想要在機櫃內放置更多AI伺服器並不容易實現，實務上，AI伺服器本身的功耗也會隨著晶片與元件技術演進而不斷增長，在冷卻空調能力有限的情況下，只能將支援的系統數量減少，屆時機櫃內的運算密度也會受到影響。 他提到，這也是為何近期液冷的散熱方案受到眾多矚目的原因。儘管氣冷方案仍是目前市場上的主流，但散熱趨勢正在漸近式地轉向液冷發展，而且不光是在伺服器設備本身，從機櫃到資料中心也都要一併考量。舉例而言，一般而言，冰水機的作動大概佔了總電力的20%，而液冷散熱方案有助於減少冰水機（Chiller）的作動，如果改採用這種液態對液態的散熱方案，冷卻空調的溫度就可以調高，企業便可藉此省下更多的電力，而這也是液冷方案吸引企業目光一項很重要的原因。
伺服器空間有限氣冷難解 液冷更可行
早在多年前，Intel便開始投入液冷中的冷板以及浸沒式冷卻領域，陸續針對OCP（Open Compute Project）規格與標準制定、全球資料中心液冷導入的參考設計文件，結合許多散熱生態系夥伴，共同制訂相關白皮書與規格，加速生態系對液冷方案的成熟導入，目的就是希望藉由散熱產業發展與制定標準化，協助供應鏈夥伴快速發展進階散熱解決方案，以實現資料中心永續目標。
龔育諄解釋，氣冷是將風扇的冷空氣吹入散熱鰭片中以把熱帶走，這種設計概念會因為晶片不斷地提高功率而需要更大的體積，如果要解決達到500W以上熱源的CPU/GPU，在有限空間下採用氣冷方式散熱會面臨不小的挑戰，反觀液冷式的散熱方案會更為可行，也較少限制。冷板式液冷的優勢在於散熱效果更好，針對高密度與高速運算的應用提供了更具優勢的解決方案，降低能源消耗，提高資料中心永續性。相較於浸沒式液冷，冷板式具有完整的生態系，產業成熟度相對高技術也較成熟，較少的材料相容性問題也讓複雜性降低，運用此方案，PUE值約莫在1.2至1.08之間。
台灣熱管理協會理事長，同時也是英特爾水冷團隊技術總監的龔育諄指出，散熱趨勢正在漸近式地由風冷轉向液冷發展。
而浸沒式冷卻則能提供更好的能源效率，不受到系統內部機構的侷限，將熱帶出。由於液體的特性，因此沒有冷板式液冷因為漏水造成系統損壞而產生的疑慮，PUE值可達到1.08以下。不過，現階段浸沒式冷卻的產業生態系尚未完整，對液體的相容性也正在釐清當中，衍生出的保固是目前尚要解決的課題。
今年在Computex展中也有不少討論度的Side Car，就屬於液對氣的冷板式方案，其可以部署在機櫃旁，針對每一個局部的CPU或GPU提供內部的水冷機制，亦即與冷板內的液體進行熱交換，並且帶出伺服器，用意是為了解決空氣無法有效帶走CPU與GPU的「熱」問題，而被帶出的熱，就由機房內的冷卻空調來解決。不過，他也強調，Side Car只是讓重要元件的解熱能力變好，但總體機房要解決的熱並不會有所減少，甚至可能更多。換言之，PUE值不會因此而有所改善，但若不這麼做，就沒有辦法在不大幅變動下，有效解決散熱問題。
浸沒式冷卻滿足節能永續要求
面對AI算力增長，液冷不僅可以讓企業部署最高階的AI晶片，還可以提高熱管理效率，支援永續發展目標，對企業深具吸引力。不過，以現階段來看，還需要一段時間才能看到浸沒式冷卻被廣泛運用，一方面是產業生態系與液體相容性有待克服，二方面企業也須要重新打造資料中心，需要長遠的規劃。
龔育諄觀察，大多數的企業傾向漸進式地從氣體轉向液體，而且已經發生。不少企業現今的資料中心建置都是以液冷為前提進行規劃，「你會發現，越來越多的企業的需求是往直接液體冷卻（DLC）方向發展，而DLC就是冷板的散熱方案。」之前提到的Side Car是液態對氣態的散熱方案，但也有不少企業更青睞液態對液態的配置方式，尤其是歐美地區的企業。台灣因為機櫃數量普遍沒有歐美國家高，因此還是以液態對氣態的散熱方案為主。
「但確實有企業正在考慮浸沒式冷卻，一方面是希望成為永續標竿，二方面則基於效能的考量。由於新機房從選址到部署會經過一段較長的時間，也許是兩年，屆時浸沒式冷卻將可望更成熟。」他說。