Teradata Big Data 巨量資料 資料倉儲

巨量資料翻轉商業價值 愈快錯誤就愈快成功

2015-04-29
建議巨量資料分析人員用嘗試錯誤的方式來找出資料價值。一旦分析人員有了新發現,立即就要丟進市場測試水溫,如此才有辦法確定新發現有沒有價值。愈快發現錯誤就代表愈快成功,不斷地從錯誤中淬煉,才能找出資料黃金。
看重巨量資料所能造就的影響力,自2011年Big Data一詞興起以來,如何從大量且龐雜資料找出商業價值,就成為眾所矚目的焦點。這個繼雲端運算之後,另一個被視為為IT帶來變革的概念,正快速地邁開發展的腳步,不僅解決方案紛呈,全球企業也爭相投入。

然而,巨量資料並非全然美好,至少在現今仍有成本過高,企業存在實際應用的困難;資料太過龐雜,無法從中找出正確的洞見與方針;巨量資料分析還是一個陌生領域,分析人員普遍存在專業技能不足或是企業人才缺乏等問題。

從事技術顧問輔導企業多年,Teradata台灣分公司資深技術顧問郭柏森坦承,現今台灣真正導入巨量資料分析平台的企業並不多,最先願意嘗試的產業主要是電子商務領域。因獨特的產業條件,先天上就不是採用與顧客面對面交易的策略,因而在網站或交易系統的設計方面,就會想方設法收集客戶所有資訊,「這是電子商務行業所具備的優勢,一開始就帶有收集資訊的基因,不管是在思維以及實際導入應用,都比其他行業的腳步要來得快些。」

分析客戶行為與觀感

▲Teradata台灣分公司資深技術顧問郭柏森提到,僅僅只收集交易型資料已經不足,企業還要關注使用者在網站、App上的使用行為,進一步找出市場。
從資料中萃取出企業營運商業智慧並不是一個嶄新的概念。過往商業智慧(Business Intelligence)、資料倉儲(Data Warehouse)也藉由分析所有顧客往來的交易資料,企望能對公司的決策者提出一個具有整體視野的建議,以促進決策的制定,創造更好的營收。

不過,商業智慧或是資料倉儲所分析的資料型態都屬於交易型資料,像是銀行卡費、貸款、保單等等可透過關聯式資料庫進而分析的資訊,這種結構化的資料與現今所論及的巨量資料分析,就資料的形態的包容性上就有明顯的區隔。

郭柏森解釋,巨量資料有三V,Volume(量)、Velocity(速度)以及Variety(多樣性),其中多樣性即是包括語音、文字、影像以及圖片等非結構化資料。簡單地說,巨量資料包含了結構化與非結構化的資料,這兩種不同的資料型態,同時都會被納入分析的範疇。

「許多因素造就了巨量資料環境,例如使用者行為改變也是原因之一。你可能很久沒有臨櫃交易,但銀行的網站以及交易卻從來沒有中斷過。過往金融行業只要專注營造分行氣氛,維持窗明几淨自然就有顧客上門,現在使用者則透過任何可能的管道,例如智慧型手機或平板電腦與銀行接觸。」他提到,正是因為如此,僅僅只收集交易型資料已經不足,企業還要關注使用者在網站、App上的使用行為,「巨量資料的多樣性,隱含的是從分析交易,轉向分析客戶的行為、觀感,從而找出市場。」

只分析有價值的資料

在資料經濟年代,資料就是黃金。即使是看似不起眼的對話、分享或按讚,都可能是新契機的來源。於是每一筆資料都不應該被遺漏,也都應該匯入分析平台參與分析。郭柏森提醒,實務上,真正有價值的資料僅僅只是其中的一小部份而已,將複雜又大量的巨量資料一股腦兒地倒進分析平台,其結果可能會令人失望。一方面,巨量資料分析平台需要一個兼具效能與可靠度的儲存環境,但是要將這麼龐大的資料都存放在高階的儲存環境中,造價相當高昂。例如國內某電子商務(EC)龍頭業者每天至少產生1GB的資料量,換算下來,365天就要365GB,硬碟容量是一個很大的挑戰。而另一方面,企業將會發現裡面所隱含有價值的資料量可能只有幾MB。

郭柏森認為,在還不清楚資料的價值之前,企業應該先選擇一個相對便宜的存放空間。一旦經過資料探索等手法,把資料價值找出來之後,再把資料引入分析平台內。「一個統一的平台已經沒有辦法滿足企業,企業該思考的是分析平台是否能夠很容易地與各個平台進行資料交換。」他舉例,企業不妨把最重要的資料放在資料倉儲,如果有其他資料的需求,可以從Hadoop、甲骨文、MongoDB中把需要的資料抓過來合併分析,這就是Teradata Data Grid概念,只把確定有價值的資料放進企業資料倉儲平台,就能讓企業避免高昂投資成本,同時保有良好的分析成效。

從錯誤中累積判斷力

高昂的投資成本是現階段企業導入巨量分析平台過程中一道相當大的門檻,而另一方面,如何在茫茫的資料海中,確定該筆資料確有價值,也是一項很大的挑戰。當企業在面對巨量資料議題時,分析人員將會是其中非常關鍵的一環。

郭柏森提到,對分析人員來說,巨量資料是一個陌生的領域,「我們會建議分析人員用嘗試錯誤的方式來找出資料價值。一旦分析人員有了新發現,立即就要丟進市場測試水溫,如此才有辦法確定新發現有沒有價值。愈快發現錯誤就代表愈快成功,不斷地從錯誤中淬鍊,才能找出資料黃金。」

當然,企業也必須提供給分析人員更多培訓與嘗試錯誤的機會。「並不是要導入巨量資料分析就要捨棄舊有技術。對企業來說,交易型的資料分析還是有存在的必要,因此,不妨以此為基礎,再讓分析人員的技能向外延伸。」他舉例說明,例如把分析人員分組,有一組人可以將交易型的資料與客戶使用行為的資料透過新技術,合在一起分析,而另一組人也可玩玩Open Data,從人口、天氣到不動產實價登錄的資訊都可以把它納入,看看能不能與企業收集到的客戶資訊,激盪出火花。

料理包還是廚師

巨量資料分析討論日益熱絡,市場上提出的解決方案也琳瑯滿目。該如何從中找出適合企業應用的解決方案?郭柏森認為,這得看企業有多少決心,在技術的層次上並沒有好壞與對錯,但是企業是希望在短時間內就有一套解決方案可以支應,還是希望真正在企業內部打造出資料分析團隊,就有很大的差別。

「一位前輩曾這麼說,如果你去市場上買一個已經包裝好的解決方案,就像買到一個料理包,每天微波,吃的是同樣的口味與食材。但是當你一開始先打造一個簡單的廚房、培養幾個初級的廚師。慢慢地,他們的菜會煮得愈來愈好吃。」他再次強調,目前市場上確實有很多速成包,但企業該培養的卻是這些資料分析人員。

當然,如果完全對技術不瞭解,目前有幾款解決方案都提供了免費的版本,企業若想嘗試或測試這樣的技術,不妨從免費的版本開始。等到真正對企業有幫助時,再來慎密規劃,唯有對產品有更進一步的瞭解,未來需要規劃時才不會走錯方向。


追蹤我們Featrue us

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!