資料分析協作 Spark Scala Python 微服務 大數據 R

數據分析協作一氣呵成

2017-12-22
想從瞬息萬變的市場裡勝出,協同合作是必然的途徑;甚至可以說,協同合作的成效高低,將直接影響企業競爭力,在數據資料爆炸的數位時代,尤甚如此。
過往,管理數據資料的團隊跟負責軟體開發的團隊,就像兩條平行線,各自進行相對應的除錯工作,間接導致企業營運效能低落。面對競爭日趨激烈的市場環境,協同合作是必然趨勢。

但該如何進行?考量數據資料涉及企業營運機密,可以私有雲環境為核心,以Spark大數據運算處理框架為基礎,搭配多種開放原始碼軟體打造資料協同作業(叢集系統)平台,並將之視作微服務架構下的一個模組,以應用程式介面(API)串連中介軟體、使用者介面與應用服務模組等,以提升企業的協同營運績效。

換言之,在私有雲環境日趨成熟、微服務架構盛行、API當道的現下,要讓以前很少溝通、習慣使用不同系統工具執行各項業務的團隊成員高效合作,再也不是件困難事。透過雲端協同資料管理平台,無論是資料科學家、資料工程師、商業分析師或者是應用程式開發人員,都能夠以其熟悉的Scala、Python或R等程式語言、系統工具存取所需數據資料與處理相關業務,大幅提升企業營運績效,加速創新與轉型的腳步。

要想發揮資料協同作業平台的最大功效,建議先行確認該平台滿足以下三個要素:

‧ 擁抱開放-藉由支援Apache Zeppelin、Jupyter與RStudio等開放原始碼軟體(工具),Python、Scala與R開放程式語言,以及Spark與TensorFlow等開放系統框架的方式,確保資料協同作業平台的彈性,更重要的是,團隊成員不用花費心力學習新的系統工具,可以直接以最熟悉的、效率最高的工具執行各項作業。

‧ 自動分析-資料協同作業平台應具備自動判讀、分析與呈現數據資料的功能,讓沒有深厚數學與統計背景的人也可以輕鬆地用拖拉的方式循序建模與優化。

‧ 易於管理-若想將數據資料的分析結果快速導入企業營運流程中,需要一個可以快速部署資料(分析/預測)模型、持續追蹤,以及有效控管版本的管理平台,以確保在歷經數周、甚至是數月後依舊高效運轉。此外,當資料模型已無法精準地進行分析與預測時,管理人員可以透過新的訓練資料再造、優化資料模型。

總而言之,想在資料爆炸性增長的未來市場中取得一席之位,在私有雲環境中,以微服務架構框架,建立一套可以讓團隊成員一起在上面開發、分析與管理數據資料與服務的協同作業平台將是必然趨勢,建議企業循序漸進地導入、部署與維運適合的平台,為未來做完善的準備。

<本文作者:許仲言,台灣IBM雲端運算事業部總經理。>


追蹤我們Featrue us

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!