用Splunk簡化數據分析系統製作流程

在沒有適當的解決方案下，系統設計部門永遠面臨新的挑戰。為了滿足使用者的需求，「數據分析系統」的製作，除了正確收集資料外，還須配合人性化的UI設計，作為資料輸入和輸出的媒介。分析運算的程式碼，無論是在資料庫作為預存程序，或是在AP加上運算程式碼，隨著需求愈來愈多、程式設計人員異動等變化，整合非常困難。

若仍想整合在一個系統中，最常見的解決方法，就是重新規劃設計新系統，廢除舊系統，短則一年，長則用到三到五年來設計、規劃、開發新系統。等系統使用磨合期過後，大約三到五年，又要再重新評估系統是否保留。實為一種惡性循環。

當系統不斷地擴充，常會有系統效能不佳、數據不準確、開發新功能規劃時程過長等問題產生。主因是原始規劃的存取欄位，隨著需求增加而不足，在資料庫正規化後，增加欄位或改變欄位型態也是一大麻煩。

因為欄位改變，所有的運算程式也要跟著變動，有時光想就覺得不如另外規劃新的系統。如果只要設計前端使用者key in畫面，就有另一套系統同時具備儲存、運算、呈現、轉出檔案等功能，且不需規劃儲存欄位，對於數據分析系統的系統設計者將是一大福音。

▲接收、運算、呈現一次完成。

以Splunk製作數據分析系統

此範例為「塑化劑污染產品查詢分析系統」，利用Splunk不需事先規劃欄位型態、定義資料長度的特性，接收了不同來源的塑化劑相關資訊，作為分析及查詢使用。

接收消化各種資訊

只要是文字檔案（Text File），不論是網路設備、作業系統應用系統或是資料庫吐出的訊息，Splunk都可以加以消化。由於Splunk核心是一個搜尋引擎，一旦這些訊息被接收，Splunk便可立即進行索引與分析的工作。

範例主要數據來源，為一個CSV檔及兩個.txt文字檔。雖然每天收到的資訊長度、欄位可能會不一致，但不影響Splunk的接收及索引效率。

▲文字檔一（某日資料）。

▲CSV檔（某日資料）。

▲文字檔二（某日資料）。

分析與呈現

分析及呈現皆在Splunk執行。以下方Dashboard（儀表板）的範例為例，分析傳統作法及Splunk的差異。

● 傳統作法：

再運用BI工具設定參數，製作Pie圖，然後將BI工具呈現的部分包進系統內。

●Splunk作法：

Pie圖直接呈現於Splunk中。

▲分析和呈現皆在Splunk執行，整合在一個Dashboard，不須再借助其他軟體協助。

警示

如下圖所示，Splunk可將歸檔的工作變成自動與即時，當有「筆數」大於100時（依據公司標準可自訂），Splunk能立刻找出來並發出RSS、E-mail或驅動Shell Script警示（例如庫存量低於30時，自動E-mail給採購）。

自動揭示分析結果

如以下兩圖所示，Splunk可以將所需的各種分析（即時、日、週、月）報表直接顯示在Dashboard（儀表板），主管只要看Dashboard，即可取得所需的最新資訊，不必再等著員工交報表。員工查詢細節，也一樣在Splunk平台執行即可。

▲各種分析報表直接顯示在儀表板。

▲細節查詢也可以在Splunk平台上執行。

▲員工可以「檢視結果」。

例如，運用在銷售分析時，主管可以在圖表上即時查看各店的銷售數據，細節的部分為每分店每員工的銷售狀況及上班天數等等細節。

結語

美國某網路購物企業即運用Splunk來做「數據分析系統」，內容包含Web Server、App Server、DB Server的效能監控，以及各個Server的硬體監控、網路安全控管、銷售數據的分析、會員購物行為分析、折價券使用模式分析、異業合作分析等，後續還可以隨時增加分析的角度。

景氣復甦後，各單位業務量激增，新的系統需求、新的分析角度、新的原始資料結構一直在產生，對於「數據分析系統」的維護及設計更加地困難與繁瑣。導入Splunk，或許是此時值得考慮的解決方案，縮短開發系統的時程，擴充、維護簡易，並可提供MIS做資訊安全及硬體效能的監控，實為整個IT部門的好幫手。

Splunk中文版網站：http://zh-hant.splunk.com/
免費下載試用：http://zh-hant.splunk.com/download?r=header
更多的成功案例：http://www.splunk.com/view/SP-CAAABB2
更多解決方案：http://www.splunk.com/solutions
各領域專家的知識寶庫：http://www.splunk.com/?s
軟體開發者專區：http://www.splunk.com/base/Community
塑化劑污染產品查詢分析系統：http://dehp.splunklab.net:9000