生成式AI GenAI 微調 RAG 一體機 外接儲存 機敏資料

資料及IT基礎架構為兩大關鍵 獲資安驗證AAA評等

對答非GenAI價值所在 整合工作流程才是挑戰

2024-08-07
在AI趨勢發展與技術演進的驅動下,企業對GenAI從原先的觀望評估,開始逐漸於生產環境落地應用。在NetApp 2024年雲端複雜度調查報告中也觀察到,有超過七成的企業意識到,若要成功地運用AI,資料(74%)以及IT基礎架構(71%)將是兩大關鍵因素。

生成式AI(GenAI)因擁有自動化繁瑣工作、發掘新洞察和推動產品創新的潛力,已在全球受到高度矚目。根據調研機構IDC近期公布的《全球人工智慧與生成式人工智慧支出指南》,亞太地區正在大幅採用生成式AI,包含以AI為中心系統的軟體、硬體與服務,預計到了2027年相關支出將上看至260億美元,而2022年至2027年的年複合成長率高達(CAGR)95.4%。

顯然,在AI趨勢發展與技術演進的驅動下,企業對人工智慧與GenAI的期待,已經從觀望思維慢慢地走向在生產環境的落地應用,在NetApp 2024年雲端複雜度調查報告中也觀察到,已超過七成的企業意識到,若要成功地運用AI,資料(74%)以及IT基礎架構(71%)將是兩大關鍵因素。

四種配置方案 因應不同技術與應用場景

近期,NetApp與Savanta合作針對超過1,300名科技和資料高階主管進行了量化研究,並發布2024年雲端複雜度調查報告,調查發現,科技業投入AI的腳步最快,其次是金融服務業以及製造業。醫療保健領域則相對落後一些。

為了協助企業發揮生成式AI的潛力,NetApp針對不同技術與應用場景需求,提供四種不同的配置方案,對於想要自行訓練大型語言模型的企業,可選擇BeeGFS的NetApp EF系列搭配NVIDIA DGX SuperPOD;若是企業打算在內部進行模型訓練與微調,AFF的A系列或C系列就可以支援NVIDIA DGX BasePOD;而在檢索增強生成(RAG)應用方面,全系列的儲存設備都可以支援;另外,在資料湖建立方面,

StorageGRID物件軟體平台也能協助企業進行階層式儲存,StorageGRID可搭配容量型快閃記憶體,以最低成本提供快速的物件存取時間。 NetApp台灣技術總監許宏俊指出,一般資料湖通常都需要較高的儲存空間,但是基於成本考量,多半不會全部都用全快閃的儲存設備來支撐容量,兼顧容量與成本效益的最好方法就是讓冷、熱資料分層,企業只要將資料存放進來,NetApp設備就會自動地進行冷熱資料的判別,例如企業可以設定資料只要30天沒有使用,就往移往較便宜的儲存空間存放,如此,就能更彈性地運用儲存空間,而且使用者並不會意識到資料被分層儲存。

事實上,NetApp已推出多款整合式AI參考架構,此次也推出全新功能,例如,NetApp AIPod已是經認證的NVIDIA DGX BasePOD解決方案,其採用了NVIDIA DGX H100系統並搭配NetApp AFF C系列實惠容量快閃系統,可提高性價比,同時最佳化機架空間和永續性。而NetApp和Cisco聯合推出的融合基礎架構解決方案FlexPod,現在也能支援NVIDIA AI企業版軟體平台並且能夠結合Red Hat OpenShift和SuSE Rancher來進行擴展。此外,NetApp也已獲得NVIDIA OVX系統驗證,結合NetApp儲存與NVIDIA OVX運算系統,可協助簡化企業AI部署流程,包含模型微調和推論工作負載。

他提到,若想發揮生成式AI的潛力,安全、高效能地存取資料是相當重要的一環,而NetApp的優勢之一即在於,無論資料是散布在地端、雲端還是複雜的混合多雲環境中,只要是透過NetApp ONTAP的作業系統存放的資料,都可以被運用。而且NetApp現已整合NVIDIA NeMo Retriever,企業可以將儲存在NetApp ONTAP本地和先進公用雲端上的任何資料,餵進NVIDIA NeMo Retriever中,打造出聊天機器人、數位助理等生成式AI的應用,如此一來,前端使用者只需要透過簡單的提示查詢,就可以從電子表格、文件、簡報、技術圖紙、圖像、會議記錄,甚至是來自ERP或CRM系統的資料中獲得回應與見解,而且無損資料的安全與隱私。

儲存效能攸關GPU表現

除了硬體整合之外,NetApp也提供BlueXP資料分類,這項功能讓使用者可以立即自動分類、標記整個資料環境的資料,進而提升企業在資料管控、資訊安全與法規遵循方面的成效,同時加速如生成式AI等策略性工作負載的部署。而且也新增BlueXP災難復原服務協助企業設計與執行自動化災難復原計畫。

NetApp台灣技術總監許宏俊指出,確保資料安全、免於內部及外在威脅,是智慧化資料基礎架構的一大關鍵。

面對GenAI應用熱潮,NetApp台灣技術總監許宏俊認為,企業最大的挑戰其實是複雜性,這裡指的並不是建立基礎架構的複雜性,而是如何運用生成式AI與企業內部系統進行介接的複雜性。企業需要從內部系統把資料匯出以打造生成式AI,但是這個生成式AI的用途並不是僅僅作為資料查詢而已,而是要與企業工作流程整合,如何運用生成式AI讓工作流程變得更簡單,甚至更進一步把結果回饋給原本的系統,以便進行參數的調整,甚至部分自動化。而這才是企業目前面臨到最困難的地方。

「當然,如何將分散在各地的資料集中,做好資料的準備,也會是一項挑戰,另外,也有不少企業遇到儲存效能瓶頸。」他提到,多數企業在運算的算力上其實都準備得很充份,但是往往忽略儲存系統的效能,就曾有企業因為儲存系統的效能跟不上,而導致該企業花了幾千萬部署GPU伺服器的工作負載長期只維持在20%左右,後來經由NetApp協助,改採高效的儲存設備後,才讓GPU的使用率提高到90%以上。

另一項挑戰則是在安全性。過去幾年以來,勒索病毒到處肆虐,安全風險一直是企業非常關心的議題,當資料蒐集並完成訓練模型,以提供使用者查詢時,萬一資料遭到攻擊而被加密,服務將可能被迫停擺,這也是企業未來可能面臨的挑戰之一。此外,若是企業選擇自建AI基礎架構,相容性就會是企業需要克服的挑戰。他認為,一站式的AI基礎架構因已經優化,可加速企業建置的速度,也不用再經過相容性的檢查,再加上全球有足夠的參考架構,因而可以避免掉不少問題的發生。

許宏俊強調,確保資料安全、免於內部及外在威脅,是智慧化資料基礎架構的一大關鍵,對此,NetApp也在儲存設備中融入AI技術來偵測勒索軟體,新一代ONTAP自主勒索軟體防護(ARP/AI)採用ONTAP內建的最新機器學習技術,可即時偵測勒索軟體攻擊,包括檔案熵值變更、副檔名、標頭竄改、部分加密等,能夠更快速地偵測更廣泛的威脅,將有助於更快速因應。而這項功能在近期也榮獲第三方資安驗證公司SE Labs授予AAA評等。經SE Labs驗證,NetApp ARP/AI確有保護免於勒索軟體攻擊的效果,召回率(衡量惡意程式偵測率的指標)高達99%,而且還能100%識別合法檔案,沒有出現誤報的情況。


追蹤我們Featrue us

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!