對於企業而言,巨量資料主要的挑戰之一在於如何處理。面對這些大量、廣泛且多變的資料形態,該如何儲存、分析、可視化都是近期經常探討的課題。然而,巨量資料真的為企業帶來顯著的儲存挑戰了嗎?
在雲端運算議題之後,巨量資料(Big Data)開始受到廣泛討論,自年初以來,相關話題也足足延燒了一整年。
帶動巨量資料議題的因素,主要來自於無法預期的資料增長,進而延伸到社群網路、內容以及資料分析等方案的探討,希冀協助企業能從龐大的資料流中,找到改善現有產品、服務的方法,甚至能夠創新業務,增加營運績效。
對於企業而言,巨量資料主要的挑戰之一在於如何處理。由於使用者對於網路黏著度以及使用習慣的改變,所產生的大量資料可能包括了結構化資料、非結構化資料以及資料串流,面對這些大量、廣泛且多變的資料形態,該如何儲存、分析、可視化都是近期經常探討的課題。
也因此,不少儲存業者紛紛提到,如何透過提升效率、優化性能來因應巨量資料時代,甚至為Hadoop平台設計出相關的解決方案。
特定產業需求 台灣市場未到
然而,巨量資料真的為企業帶來顯著的儲存挑戰了嗎?「其實現階段多半還只是儲存業者的行銷手段。」一位在台灣儲存代理業界擁有多年經驗的資深專家直白地表示,除非是營運性質屬於線上服務、網站行銷、社群經營等特定的產業,否則,以台灣企業資料成長的規模,目前還很難感受到巨量資料為儲存所帶來的深遠影響。
「企業內部的資料成長的確是快速的。一方面,企業營運項目愈來愈多,行銷資料、交易資料、會員檔案勢必年年增加。二方面,基於法規遵循的要求,許多文件檔案也必須保留到法定年限。再加上人們的習慣傾向只儲存不刪,空間不夠用再買的心態,資料膨脹並非沒有道理。」他說。
但他同時也提到,面對巨量資料的議題,關鍵並不是將資料放在何處,而是如何能夠讓資料在茫茫的資料流中被找到。「以目前大型儲存設備的容量設計來看,動輒上看PB的儲存空間,未來甚至可以將50PB都納入在同一個儲存池中管理,單就空間來看,企業面臨的挑戰並不高。更何況,以現今硬碟的發展來看,同樣是三年前的投資成本,三年後能買到空間極有可能是三年前的二至三倍量。不管是Scale-out(橫向擴充)還是Scale-up(垂直擴充)的儲存設備,其實就足以滿足企業因資料成長而帶來的需求,因此企業反而應該先對巨量資料有正確的認知、完善的規劃,最後才是選擇一個合適的方案來滿足需求。」
不同資料服務 同個儲存設備
日立數據系統技術經理梁萬宇指出,巨量資料具有三個特性:資料量大(Volume)、產生速度快(Velocity)以及種類多元(Variety),而單就資料量來看,最簡單的解決方式就是遇到容量不夠時,再增加儲存空間或者透過任何資料減量的方式來提升儲存的承載力。
|
▲ 日立數據系統技術經理梁萬宇指出,企業面對結構化資料、非結構化資料以及資料串流等各種不同形態的資料,可能會面臨的卻是來自於IT架構以及管理上的挑戰。 |
然而,企業面對結構化資料、非結構化資料以及資料串流等各種不同形態的資料,可能會面臨的卻是來自於IT架構及管理上的挑戰。「當企業內部有各式各樣的資料,而這些資料同時代表著不同服務時,企業很可能為其設計了不同的儲存設備,例如SAN、NAS或是Object Storage,對於管理人員來說,這三種不同的架構,意謂著必須學習三套不同的管理模式,同時彼此的空間無法互通利用。」
他提到,最好的管理模式是可以讓各種不同型態的資料都匯到同一個儲存空間中進行管理,一方面降低管理人員負擔,另一方面也能避免過度投資,最大化利用現有空間。「日立數據系統一直強調一個觀念,即使是不同的資料服務,也應該在同一個儲存設備中被管理,因此在設備的原生設計理念裡就希望打造出能支援所有類型的資料平台。」
梁萬宇表示,這些設計理念在日立數據系統最近推出的Hitachi Unified Storage VM中也展露無遺,除了針對各類型資料提供企業級虛擬化功能之外,也能管理異質平台,簡化操作與管理負擔。「善用這些功能,企業可以把現狀管理得更好,例如許多人都認為Object技術比較適合雲端服務業者,其實不然,像是醫療院所中累積大量的X光片檔案,只要加上Metadata就很適用採用Object技術來儲存資料。」
顧好核心再擴展
回到巨量資料的挑戰,梁萬宇認為,如果今日企業現有的架構無法因應資料成長,當然勢必需要改變。但是就台灣多數企業目前的發展而言,最核心的資料還是在於資料庫,除非在某些特定會產生大量非結構化資料的產業,可能會有所不同,否則資料庫上的資料仍是重心。「另一方面,雖然企業資料量不斷增加,但是所增加的資料是否真的值得留下來,也是另一個課題。因此,企業應該先評估哪些資料應該留下來,而保留下來的資料又該如何運用,然後才能討論在硬體架構中,是不是該著手進行規劃。」
前述的儲存代理商專家也同意這個看法,認為巨量資料可視為早期資料分析(BI)或資料倉儲的延伸,對於企業而言,成長快速的資料的確是項事實,然而如果企業所成長的資料都是沒有保留價值的,那麼資料儲存的必要性也就不復存在,更何況絕大多數台灣企業的資料庫連100TB都達不到,因此就目前的觀察來看,巨量資料的時候未到,仍可再觀察。