隨著人工智慧(AI)、機器學習等技術如火如荼的發展,企業客製化、即刻上線的服務思維也邁入新的里程碑。不少企業運用物聯網(IoT)、AI感測、嵌入式運算等基礎技術,並且結合數位資料推出智慧化服務,以便從公司資料中獲取創新洞察力,而這股潮流正迅速地在各個產業中發酵。
隨著人工智慧(AI)、機器學習等技術如火如荼的發展,企業客製化、即刻上線的服務思維也邁入新的里程碑。不少企業運用物聯網(IoT)、AI感測、嵌入式運算等基礎技術,並且結合數位資料推出智慧化服務,以便從公司資料中獲取創新洞察力,而這股潮流正迅速地在各個產業中發酵。
但當資料整合研究團隊完成概念驗證專案,準備實際操作AI技術時,卻經常面臨資料管理的挑戰,例如難以在多個資料儲存庫之間搬移或複製資料,也不易達到高規作業品質要求的效能服務層級,或是為大型和動態資料集提供適當保護。
造成這些部分挑戰的原因在於,攸關AI成功與否的資料流,並未與資料中心隔離開來,企業正面臨從邊緣、核心到雲端環境的資料管理挑戰,例如汽車業者開始從更多的車輛(邊緣)蒐集資料,再用這些資料來訓練自主操作必備的AI演算法;零售商必須從全球數百個零售據點的銷售點裝置蒐集資料,再依此建立推論模式。
有些供應商聲稱只要提供理想的效能,就能克服AI在資料方面的挑戰。的確,效能是AI工作流程中的核心要素,但資料接收到歸檔的流程中,若無法保持順利運作,那麼AI資料流程就永遠無法實現最佳化生產力,進而強化研發、製造及營運管理的效率與成本效益。
如何有效掌握資料流程(Data Pipeline)?建議企業應該要掌握以下幾個步驟:
‧ 邊緣分析進行資料分層管理:建立不同的資料服務層,透過篩選或是進階的分析和AI功能,排定資料優先順序服務級別來進行管理,以實現必要的儲存效率和安全級別。
‧ 智慧型資料搬移功能:以具智慧且高效地方式將資料從邊緣移往核心或雲端,除了大幅加速搬移速度,也能有效減少頻寬需求。
‧ 規劃建構核心硬體演進發展:關鍵硬體新興趨勢不斷出現,建立更靈活的核心硬體架構,以便迅速演進發展。其中需要密切觀察的趨勢之一,就是隔離伺服器基礎架構與GPU基礎架構的能力,讓兩者可以獨立演進發展。從伺服器和儲存硬體擷取GPU硬體的解決方案有助於輕鬆升級,便於隨時採用新的開發成果。
‧ 加速資料流的I/O效能:使用邊緣層級的分析功能,可以克服邊緣、核心到雲端的I/O瓶頸,不論是在內部部署環境或在雲端上執行AI工作流程。
我們正處於一個由資料推動並通過新技術實現的新時代,慎密選擇合作夥伴是必要的,NetApp可以協助企業涵蓋整個資料流程,確保企業營運成功,同時在每一個階段提供最佳性能,效率和成本效益。
<本文作者林松源為NetApp台灣區總經理>