將此篇文章跟 Facebook 上的朋友分享將此篇文章跟 Plurk 上的朋友分享將此篇文章跟 Twitter 上的朋友分享列印轉寄
2017/11/21

網路社群風向車商秒回應 快閃儲存撐起資料庫效能

四個開源大數據工具 打造超高速輿情監控系統

林建立
過往,輿情資料被視為雜亂無章且難以分析的資料,企業雖了解輿情的重要性,卻無法用科學的方式加以利用分析。如今,從非傳統且未經挖掘的資料中提煉出價值,就是大數據分析的真義。
大數據概念結合了資料分析、統計分析與商業智慧,近年來已被廣泛地應用在各種產業,如物聯網的各式感測器所回傳的資料,或是企業內部各式各樣的軟體、硬體、裝置所產生的資料分析,以及網路爬蟲(Web Scraping)蒐集商業模式所需要的戰情資料,都因為資料的獲取急劇地增加,硬體運算效能的提升與網路頻寬速度擴大,讓軟體科技帶動更簡易的搜尋結構與非結構資料,轉化成為高價值的統計化商業資訊。

關於大數據的定義,除了容量 (Volume)以及速度 (Velocity)之外,其實資料本身大多是非結構化多樣型的小檔案,而且除了整個系統面須在背景接受大量的資料,在前端則是各式各樣的搜尋條件,往往易被忽略的儲存效能問題也浮現檯面,如何設計與選擇一個好的儲存設備,建構強大的IT架構,也考驗著系統架構師經驗與能力。

企業的戰情軟體,可以運用各種開源的開發工具,以下列出一些比較熱門的軟體套件。Python是目前最廣泛被使用於網路爬蟲的軟體工具,只需要了解網頁的架構基礎,以簡易直覺的語法,就可以自動化擷取網頁資料。MongoDB則是NoSQL中最多人使用的非結構化資料庫之一,其與關聯性資料庫最大的不同是,資料總數並不是一個必要的數值,而是以一個大約的數值以獲取更快的搜尋速度。

Elasticsearch為分散式搜尋分析系統,在AWS上面也有套件可以使用,具有高可用性(HA)與叢集強大搜尋功能。R語言則是著重在統計分析、繪圖與資料探勘,內建強大統計模型,在蒐集資料之後,能夠更進一步地進行區間預測分析,例如提供決策人員跨年度的產品規劃與行銷方向。

過往,輿情資料被視為雜亂無章且難以分析的資料,企業雖了解輿情的重要性,卻無法用科學的方式加以利用分析。如今,從非傳統且未經挖掘的資料中提煉出價值,就是大數據分析的真義。近期某家汽車製造大廠便建立了大數據分析機制,定期分析客戶對社交媒體平台(如Facebook、Twitter和Mobile01)的回饋意見,並從相關論壇收集數據,進一步增強公司的營銷策略和開發計畫。

該車商藉由編寫語言JSON來抓取並匹配網路上的相關內容,將原始數據儲存到MongoDB資料庫中,各種查詢和搜索條件透過前端程式Elasticsearch,在1TB大小的資料庫上,使用捷鼎國際的NeoSapphire全快閃記憶體儲存陣列並搭配其獨家FlexiRemap軟體技術,將系統效能提高900%的速度,幾乎是即時的統計數據,保證了業務關鍵高效能資料庫的性能。

不管是哪種資料的挖掘或分析,擁有強大的數據分析系統,若無法突破運算與儲存之間的效能落差,分析系統仍只能苦等儲存系統的回應而無法提供即時的分析結果,因此在這一波新型態的數位轉型趨勢,除了尋找適合企業需求的數據分析系統,同步升級儲存平台才能真實掌握數據分析的優勢。

<本文作者:林建立,捷鼎國際首席解決方案架構師。>

這篇文章讓你覺得滿意不滿意
送出
相關文章
微軟攜手好險網首推「保險機器人」
穿戴式裝置蒐集個資 生理資訊須確保合規適法
資料引領儲存大勢 靈活敏捷架構迎戰未來
納入大數據分析效能 保障數位業務可用性
遵循法規兼顧安全 萬物聯網資安有保障
留言
顯示暱稱:
留言內容:
送出