避免AI幻覺RAG漸興起　防外洩「私有」當道

自ChatGPT掀起內容生成熱潮以來，人工智慧（AI）與生成式AI（GenAI）儼然已成為CXO們的首要議題。根據波士頓顧問（BCG）近期發布的《BCG AI Radar: From Potential to Profit with GenAI》調查，89%的高階主管已將人工智慧和GenAI列入2024 年的三大技術優先事項之中。這份調查內容也提到，71%的受訪高階主管計畫在2024年增加科技投資，比2023年高出11%，此外也有超過85%的高階主管計畫增加人工智慧和GenAI方面的支出。

創投公司Mayfield在《2024 IT Priorities and Adoption of Gen AI》調查中也發現，超過七成的受訪者已部署了生成式AI，包括34%已在生產環境部署，另有39%則在試點階段尚未部署到生產環境。

顯然，企業對人工智慧與GenAI的態度，已經從觀望評估逐步走向在生產環境的落地應用，基於資料安全、人才以及成本預算考量，越來越多的企業傾向在企業內部部署，且更偏好微調以及檢索增強生成（RAG）技術應用，而這也推升私有一站式GenAI基礎架構需求。根據調研機構IDC近期公布的《全球人工智慧與生成式人工智慧支出指南》，亞太地區正在大幅採用生成式AI，包含以AI為中心系統的軟體、硬體與服務，預計到了2027年相關的支出將上看至260億美元，而2022年至2027年的年複合成長率（CAGR）高達95.4%。

打破資料孤島  外接儲存設備成趨勢

隨著GenAI技術的快速迭代演進，市場上的AI就緒（AI Ready）基礎架構產品也有了更進一步的發展，例如今年在NVIDIA GTC 2024大會中，包含Dell、HPE、NetApp、Pure Storage在內的眾多儲存供應商，紛紛與NVIDIA合作推出解決方案，像是整合NVIDIA AI Enterprise軟體平台（包含NVIDIA NIM微服務）、NVIDIA NeMo Retriever微服務等等，以協助企業利用資料釋放生成式AI的潛力。

根據Gartner研究調查，到了2028年，75%擁有生成式AI訓練數據的組織將部署單一儲存平台來儲存數據，而2024年僅有10%。原因是生成式AI的工作流程的要求極為多樣化，大規模的生成式人工智慧部署將需要獨特的儲存效能和資料管理能力。

Pure Storage大中華區技術總監何與暉指出，資料儲存是GenAI基礎架構堆疊中的重要元件，早期的參考架構設計確實沒有很鼓勵使用者額外購買外接儲存設備，原因是GPU伺服器已經具備不小的儲存空間，舉例而言，一台NVIDIA DGX-1就搭載了近8TB的SSD，然而隨著AI技術與應用的快速演進，企業需要多台GPU伺服器來提供大量算力，但是存放在個別伺服器SSD內的資料卻僅能提供給該台GPU伺服器使用，而無法橫跨其他GPU伺服器，等同形成了資料孤島，這也是為何將資料存放在外接儲存設備會成為趨勢的原因，生成式人工智慧需要新的資料儲存和管理方式。

「其實，一站式的AI基礎架構相當考驗儲存方案供應商，」他提到，這是因為AI應用非常廣泛，在不同階段對資料的要求也都不相同，可能某個階段需要讀取的速度很快，但下個階段需要的是快速寫入，到了另一階段則著重讀取大檔的速度。在正常的情況下，沒有一台儲存設備能夠滿足如此多樣化的需求，即便能夠滿足，效能的表現也可能不如預期，如何兼顧不只是儲存方案供應商的課題，也是企業在採購前應該衡量的因素之一。

商用價值浮現 加速應用落地

生成式AI可在很多領域揮發商業價值。例如由生成式AI支援的聊天機器人、虛擬助理，有助於自動化回應客戶查詢，簡化客服流程，並且降低營運成本。又如從對話介面中輕鬆地找到準確資訊，或是快速地生成摘要、文章內容與報告，則能提高員工的生產力。另外，也常見用來建立企業內部知識平台，用以搜尋企業藍圖規格、文件資料、法規內容或是摘要特定產品的訊息。

精誠資訊集團旗下的內秋應智能數據產品研發部協理葉時墉指出，生成式AI不只為業務層面帶來創新，也驅動傳統技術變革，就以ChatGPT為例，ChatGPT帶來的最大轉變是從自然語言處理（NLP）轉向自然語言理解（NLU），因為已經能理解語意，因而更能生成相應的回應與內容。「不過，目前生成式AI的應用主要還是以輔助為主，」例如在金融業較為常見的是讓生成式AI扮演虛擬客服顧問或是投資顧問助手；在政府機關，則可化身高效HR管理助理或是議題分析質詢專家；於百貨零售業，常見用來打造貼心智能購物助理、自動化個性推薦專家；而在醫療健康領域，會較著重在健康指南解析專家或是專業醫療摘要製作。

「其實，去年許多企業都還在觀望並且思考可能的應用場景，落地的念頭是今年以來才開始有的想法，」他觀察，一方面是因為生成式AI迭代的速度太快，RAG技術已經進入Advanced RAG，並且用了很多的技巧提升準確率與查找的速度，商用價值也慢慢浮現。而另一方面，走入應用情境後，企業緊接著就會考量資料的機敏性，在內部部署一站式GenAI架構，其實是自然而然的發展。

AI複雜挑戰大  企業試驗仍為早期階段

儘管各界紛紛看好生成式AI促成業務創新的潛能，也有意願投資，但根據IBM商業價值研究所稍早發布的研究，71%的企業目前僅停留在生成式AI試點和實驗階段；49%的受訪主管預估到了2026年才會驅動成長和擴展。顯然，現今仍是實際落地部署的早期階段。

台灣戴爾科技集團（Dell Technologies）技術副總經理李百飛觀察，AI的複雜性可能會讓企業面臨技術、人才、成本、資料、應用場景、治理以及維運等多方挑戰，舉例而言，生成式AI涉及到的模型與技術，並不是過往IT人員熟悉的領域，而且是透過GPU與NPU等硬體元件來加以運算，不只如此，還可能涉及到軟體層次，換言之，軟硬體層面都有不小的技術挑戰。

「接著就會面臨員工到底有沒有相對應的技能，如果沒有就需向外部尋求，或是企業自己訓練。」他提到，其實目前仍有不少企業對於GenAI應用場景沒有具體的概念，只是知道想要利用生成式AI來打造企業大腦或是數位助理等應用，如何篩選出最適的應用場景也是企業會面臨到的挑戰之一。

除此之外，企業還會面臨資安以及永續性兩項通則的挑戰，一個會回答所有問題的生成式AI不見得是對企業最好的方案，如何對IP智慧財產或是敏感資料進行妥善保護，也至關重要。而在永續性方面，由於GPU的散熱設計功率（TDP）越來越高，如何因應散熱所帶來的耗損，包含碳排放以及能源效率的問題，也是企業需要思考之處。

評估資料機敏性　Private當道

儘管大型語言模型（LLMs）與多模態模型（LMM）在近年展現出非凡的能力，能夠提高工作生產力、提升客戶滿意度，甚至用來分析改善客戶服務，但對大多數的企業而言，從頭開始訓練自己專屬的大型語言模型並不容易，除了需要大量算力之外，也需要花時間對資料進行擷取、收集與清洗，以及成立專門團隊的投入。因此，多數的企業會選擇在既有的模型基礎或是開源方案之上，採用微調（Fine-tuning）或是RAG，來讓回應更符合需求，提高準確性。

HPE數位科技服務事業處總經理劉士毅指出，私有一站式AI基礎架構之所以強調「Private」，其實是考量到幾個現況，首先雖然人工智慧與生成式AI是全球各個產業都在積極發展的趨勢，但是並非所有的資料都適合放在雲端，其次，在開放環境訓練出的AI可能出現幻覺，目前也已有企業必須對此概括承受負責的案例。

「還有一個理由是，AI比的不是模型，而是應用。在做出適合企業的AI應用後，AI的個性應該納入企業的文化，因此，最好的方式就是運用企業自己的資料，在內部環境於安全的前提下進行。」他提到，微調或是RAG都是讓大型語言模型的產出更符合企業需求的技術方法，目前來看，RAG更受企業歡迎，而且隱隱有成為主流的趨勢。

但實務上，技術的採用與應用場景、預算以及人才息息相關，尤其是人才，雖然AI很熱門，也有不少人力湧入，但要找到可以直接給企業使用的人才還需要一點時間，現在企業面臨的挑戰是可能連資料工程師都找不到，更不用說資料科學家。「如果沒有相關的人才，基本上就很難進行微調，而會選擇RAG的方式，當然也會影響到預期實現的目標。HPE之所以會在一站式基礎架構打造資料平台的原因正是考量了這些因素，不管是小型企業或是大型企業，都可以輕鬆地依據需求來加以部署。」劉士毅說。

儲存效能未跟上 千萬投資功虧一簣

根據調研機構IDC近期公布的《全球人工智慧與生成式人工智慧支出指南》，亞太地區正在大幅採用生成式AI，包含以AI為中心系統的軟體、硬體與服務，預計到了2027年相關支出將上看至260億美元，而2022年至2027年的年複合成長率（CAGR）高達95.4%。

毫無疑問，生成式AI正在迅速改變產業、實現任務自動化、發現有價值的見解並推動創新。根據NetApp 2024年雲端複雜度調查報告，已有超過七成的企業意識到，若要成功地運用AI，資料（74%）以及IT基礎架構（71%）將是兩大關鍵因素。

NetApp台灣技術總監許宏俊認為，對企業而言，生成式AI最大的挑戰其實是複雜性，這裡指的並不是建立基礎架構的複雜性，而是如何運用生成式AI與企業內部系統進行介接的複雜性。企業需要從內部系統把資料匯出以打造生成式AI，但是這個生成式AI的用途並不是僅僅作為資料查詢而已，而是要與企業工作流程整合，如何運用生成式AI讓工作流程變得更簡單，甚至更進一步把結果回饋給原本的系統，以便進行參數的調整，甚至部分自動化。而這才是企業目前面臨到最困難的地方。

「當然，如何把分散在各地的資料集中，做好資料的準備，也會是一項挑戰。另外，也有不少企業遇到儲存效能瓶頸。」他提到，多數企業在運算的算力上其實都規劃得很充份，但是往往忽略儲存系統的效能。有個實際案例是因為儲存系統的效能跟不上，導致該企業花了幾千萬元部署的GPU伺服器，工作負載長期只維持在20%左右，直到經由NetApp協助改採高效的儲存設備後，才讓GPU的使用率提高到90%以上。