而這也驅使企業加速轉向生成式AI，根據波士頓顧問（BCG）近期發布的《BCG AI Radar: From Potential to Profit with GenAI》調查，89%的高階主管已將人工智慧和GenAI列入2024 年的前三大技術優先事項。
為了協助企業加速AI創新，戴爾科技集團（Dell Technologies）在近期宣布推出Dell AI Factory with NVIDIA，這項解決方案是Dell與NVIDIA合作的端到端AI企業解決方案，其整合了Dell的運算、儲存、用戶端裝置、軟體與服務功能，以及NVIDIA先進的AI基礎架構與軟體套件，同時還搭配了高速網路架構。從模型建立、調整，到擴大與推理的各種AI使用案例及應用都可支援，涵蓋完整生成式AI生命週期。企業亦可利用Dell所提供的企業級專業服務，加速AI工廠的策略、資料準備、實施和採用，從而提升AI能力。
台灣戴爾技術副總經理李百飛指出，從字面上看來，「AI Factory」似乎指的是將AI帶進工廠中，以實現流程自動化，實則不然。AI Factory更像是實現「輸入資料，輸出智慧（Data in, Intelligence out）」的一種整合框架。他引述NVIDIA執行長黃仁勳曾經分享「Data in, Intelligence out」概念的自駕車為例進行說明，自駕車之所以能夠在遇到車禍時，做出改變路線的決定，是因為自駕車有非常多的感測器，這些從感測器收集來的大量資料會進入到AI引擎而後產出智慧，當車禍發生時，資料一進到AI引擎中，自駕車立刻就判斷改變路線。
「在這個例子中，『Data』是由感測器收集，『Intelligence』指的是改變路線，而智慧本身則需要透過使用場景來輸出，因此，自駕車就是智慧輸出的使用場景，在收到智慧後立即做出改變路線的回應。」李百飛指出，把Data in變成Intelligence out的中間過程，即是AI Factory，其包含了AI優化的基礎架構、開放的生態系以及AI專家服務。
生成式AI也要顧及資安與永續性
專為生成式AI打造的一站式AI基礎架構的意義在於為企業解決AI帶來的複雜性。李百飛提到，包含技術、人才、成本、資料、應用場景、治理以及維運，都是企業會面臨到的挑戰。舉例而言，生成式AI涉及到的模型與技術，並不是過往IT人員熟悉的領域，而且是透過GPU與NPU等硬體元件來加以運算，不只如此，還可能涉及到軟體層次，換言之，軟硬體層面都有不小的技術挑戰。
「接著就會面臨員工到底有沒有這些能力，如果沒有就需外求，或是企業自己訓練。」他提到，其實目前仍有不少企業對於GenAI應用場景沒有具體的概念，只是知道想要利用生成式AI來打造企業大腦或是數位助理等應用，如何篩選出最適的應用場景也是企業會面臨到的挑戰之一。 除此之外，企業還會面臨資安以及永續性兩項通則的挑戰，一個會回答所有問題的生成式AI不見得是對企業最好的方案，如何對IP智慧財產或是敏感資料進行妥善保護，也至關重要。而在永續性方面，由於GPU的散熱設計功率（TDP）越來越高，如何因應散熱所帶來的耗損，包含碳排放的問題以及能源效率的問題，也是企業需要思考之處。
資料湖倉解決資料主權難題
從架構面來看，Dell的AI Factory主要是由AI優化的基礎架構、開放的生態系、AI專家的服務所構成，但是資料要進到AI Factory，並且輸出到使用場景，因此總共會有五個構面。資料相當於AI的燃料，在混合多雲的架構下，如何收集分散在邊緣端、核心資料中心以及雲端的資料，使其變成是高品質的資料餵給AI系統，以便產生高品質答案，並提供到前端的場景以回答使用者的問題就非常關鍵。
李百飛說明，以往在建置大數據平台時，多半會提到資料倉儲以及資料湖的技術，現在則多了資料湖倉（Data Lake House）。透過這個技術，可以把雲端、核心資料中心以及邊緣端的資料進行統一的分析與整理，變成有價值的資料，送到AI Factory中。「資料湖倉的特色是具有數據聯邦的概念，資料有其主權性，但是又要把這些資料納入AI的可視與應用範圍，這時就可運用資料湖倉的技術來解決資料主權的問題。」
驗證設計深度整合NVIDIA
IT基礎架構是AI Factory的基礎，除了伺服器、儲存、資料保護和網路之外，Dell也將終端設備納進來，從桌面到資料中心再到雲端，全方位地支援多樣化的AI需求。其中也包含了AI PC與工作站。對於企業而言，在評估的階段就貿然投入大量的預算來購置算力，並不符合效益，一般資料科學家在評估需使用多大參數的模型時，通常會先用較小的參數模型來嘗試，這時就可以在先在筆電上或工作站上先試行。尤其在評估初期，可能會用很多不同的模型來嘗試，這時候AI PC與工作站就可以給予很大的協助。
台灣戴爾技術副總經理李百飛指出，資料湖倉可以把雲端、核心資料中心以及邊緣端的資料進行統一的分析與整理，變成有價值的資料，送到AI Factory中。
他提到，模型所需要的參數大小也跟記憶體有直接相關，當伺服器的記憶體不足時，原本兩三天就可以算出來的結果，很可能會出現兩個禮拜、三個禮拜還不見得算得出來的情況，因此不管是針對大型語言模型或是與NVIDIA的整合都會經過驗證設計，用最佳的配置來達到最好的成效。然而就實際的應用場景中，並非所有的模型都要使用NVIDIA的加速器不可，未來的配置很可能是在一個GPU池中有各式加速器，針對不同的應用或預算選擇不同的加速器，以達到最佳化成本與效益，因此Dell除了NVIDIA加速器之外，也會多方與GPU加速器業者合作。」
從預訓練／推論、RAG、微調到創新的語言模型訓練，Dell AI Factory都能支援，然而，在多模態的發展趨勢下，單一場景極有可能是多種模型的集合，因此開放的系統也是必要的條件，而且由於各個產業使用場景不同，通常也會與合作夥伴進行合作。
李百飛強調，任何的專案啟動都是先從應用場景開始，不少企業只是很粗淺地知道想要打造企業大腦或是數位助理等應用，但是相關的知識經驗並不足夠，面對這種情況，Dell也有AI專家服務，可以先到企業端進行AI Discovery工作坊，協助企業將可行的場景先依優先次序的排列，然後再進行Proof of Value（POV）驗證，如果覺得這個應用場景可行，才會進一步地詢問有沒有資料，而後才會進入到AI Factory的建置。「在建置期，企業也可以善用Dell APEX，運用訂閱制的方式從無到有的打造，降低初期的投入成本。」