看準Big Data的應用趨勢,IBM整合旗下產品線,成為可應用於非結構化資料環境的InfoSphere BigInsights、針對結構化資料的Netezza資料倉儲設備(Data Warehouse Appliance),以及處理具流動特性的資料(In-Motion Data)的InfoSphere Streams。
Netezza是一款針對特殊應用領域設計的Appliance,來自於IBM於2010年透過收購取得的技術,再加上既有ISAS(IBM Smart Analytics System)所整合而成。台灣IBM軟體事業處資深顧問莊惟欽說明,Netezza是Big Data處理的主力平台,由IBM刀鋒伺服器、儲存裝置、DB2資料庫系統等軟硬體組成,不必再經過繁複的微調,以簡化資料倉儲系統的建置與部署程序。
|
▲IBM Big Data平台區分為:處理非結構化資料的InfoSphere BigInsights、結構化資料的Netezza資料倉儲設備(Data Warehouse Appliance),以及處理具流動特性的資料(In-Motion Data)的InfoSphere Streams。(資料來源:IBM) |
就整體架構來看,大規模平行處理(Massively Parallel Processing,MPP)架構是Netezza得以擁有高效能的因素之一。結合專利的現場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)硬體晶片技術的FAST引擎,讓不同的處理作業各自獨立處理,不會佔用同一資源,執行效能得以藉此提昇。
而IBM InfoSphere BigInsights則是基於Hadoop架構所設計,運用其HDFS(Hadoop Distributed File System)分散式檔案系統格式,以及MapReduce技術,讓無法結構化的檔案,包括文字、影像、語音等格式,得以整合且進行分析、搜尋。為了讓BigInsights能跟現有的關聯式資料庫進一步整合,IBM還提供了JDBC連接器存取Netezza和DB2,以及Cognos商業智慧軟體,讓這些非結構資料的分析內容可利用現有的商業智慧方案來呈現。
莊惟欽強調,IBM在整個Big Data解決方案平台中,較特殊之處即在於InfoSphere Streams中包含針對流動性資料分析需求而提出的「江河運算」(Streams Computing)技術,其不僅利用資料分流、記憶體處理方式來提昇整體運算速度,且可在大量變動資料進行儲存之前完成即時分析。例如應用在機場海關,可在通關時擷取臉部特徵立即進行分析比對,以及像是智慧電表等裝置感測器(Sensor)產生的資料。
InfoSphere Streams具備x86多節點平台架構,其利用高階宣告式串流處理語言(Streams Processing Language)編譯器,更可廣泛支援多樣化資料來源的分析處理,像是影像、語音、VoIP、視訊、電視、電台、GPS等資料類型。