當非結構化資料愈來愈多,儲存與管理勢必成為企業未來的挑戰。市場需要可針對巨量資料無限擴展的方案,物件儲存正好符合這項需求,再加上Amazon S3成功地驗證了物件儲存(Object Storage)技術的可行性,使得物件儲存相關的解決方案在近年來也受到不少關注與討論。
連續幾年,Amazon為了展現公有雲服務的增長速度,針對Amazon S3所存放的資料量進行一項調查報告,每一年,其所存放的資料都呈現大幅度的增長,2012年底,超過1.3兆個物件(Objects)被存放在Amazon S3之中。2013年4月,數量來到了2兆,到了2014年底,這個數字再度呈現大幅增長,初估為5…^6兆之間,甚至可上看到8兆個物件。
這些調查報告中,資料是以「物件」作為單位基礎,某個程度上也顯示出,過往對於非結構化資料總是習慣以「檔案」的形態來儲存的思維已經被打破。在Amazon S3中,不管是影片、社群網路、語音還是地理資訊,每一筆存放的資料,都將視為物件來儲存。
這樣的改變,主要是為了因應巨量資料的發展。當非結構化資料愈來愈多,儲存與管理勢必成為企業未來的挑戰。市場需要可針對巨量資料無限擴展的方案,物件儲存正好符合這項需求,再加上Amazon S3成功地驗證了物件儲存(Object Storage)技術的可行性,使得物件儲存相關的解決方案在近年來也受到不少關注與討論。
儲存變革與發展
環顧儲存的發展史,物件儲存可算是傳統磁碟儲存演進的一環。過往,在企業內部的儲存架構中,最為熟悉與普及的,當屬儲存區域網路(Storage Area Network,SAN)或是網路附加儲存(Network Attached Storage,NAS)這兩種儲存形態。前者是區塊層級(Block Level)的儲存架構,磁碟陣列會以Volume或LUN的形式將儲存空間分派給主機使用。而後者則是File Level的儲存模式,透過NFS與CIFS等協定,檔案系統會將資料共享於IP網路而分享出去。
|
▲EMC台灣分公司業務拓展總監李百飛指出,物件儲存適合於備份、歸檔、影音存取、網站內容、物聯網、穿戴式裝置以及儲存雲等輕量級應用。 |
近年來備受討論的物件儲存,則算是資料儲存的另一種新興技術。在物件儲存中,沒有SAN架構的Volume概念,也沒有NAS檔案系統複雜的階層式目錄設計,而是以扁平化的地址空間(通常只有單一目錄)加上Object ID(OID)來進行儲存。由於OID內包含了Metadata來描述物件的屬性,未來在搜尋物件時,OID也就成了資料儲存時的重要依據。
EMC台灣分公司業務拓展總監李百飛解釋,傳統檔案系統因採階層式目錄結構,在面對數十?億個物件同時存取,往往有其限制。在許多情況下,企業必須採購高階的NAS設備才能取得較好的效能表現,但是物件儲存因為只有一層結構,相對就不需要耗費處理器的資源來「找」資料,對硬體要求也就沒有低、中、高階之分。
檔案與物件的階層差異
他以圖片存放舉例說明。假設有一張圖片現正儲存在NAS設備中,那麼這張圖片就會被賦予階層式的目錄來顯示出圖片所存放的位置,可能是D槽下的「資料共享區」,裡頭的「台北總公司」目錄內的「風景照」子資料夾。一旦檔案數量龐大,要展開所有的檔案,從中找到這個路徑需要耗費相當多的時間,如果遇到同時要處理十?億個以上的檔案,NAS設備幾乎無法招架。
但是同樣的圖片,如果存放在物件儲存設備,情況就會不同。圖片將會以物件的狀態被儲存,每一個物件在儲存時都會被進行完整的掃描,並且提供一個OID,接下來物件儲存會把這個OID提供給應用程式。當下次使用者要存取這張圖片時,應用系統就會先去資料庫找到OID,然後交給物件儲存設備,由它把資料找出來。
李百飛提到,「我個人比較喜歡用固網以及行動電話來進行說明。要在檔案系統下找檔案,就像是固網,必須要有對的路徑,這個路徑就像是地址一樣,找到地址後,人還必須在家才能講電話。但Object Storage則比較像行動電話,只要一組號碼,不管人在哪裡,一定找得到。而這組電話號碼就是OID。」
輕量級儲存應用
一如Amazon S3,現今許多方案也以物件儲存作為建構雲端儲存的技術基礎。由於物件儲存在技術上可以跨多地域建立一個大資源池,因而資料便具有可隨意移動的特性,架構上也能輕易地引入新的節點或是更換節點來重新分配物件的儲存,因而不少雲端儲存架構也導入物件儲存技術。
|
▲Cloud Storage可不受地域限制,擴展容量、增加節點,並且提高性能。(圖片來源:EMC) |
李百飛解釋,物件儲存與雲端儲存仍有些許的差別。物件儲存則比較像是代客泊車,資料儲存時就像把車交給泊車小弟,泊車小弟會提供泊車卡,這個泊車卡就是OID,裡面會記錄Metadata。車主完全不需要在意車子停放在哪裡,自動會找好車位停車。而取車時,車主也只要出示泊車卡,就能取回自己的車子。至於Cloud Storage則是超時空車庫,從紐約停車拿到停車卡(OID)之後,智慧車庫會把車子複製到不同的車庫裡,即使飛到東京,也能拿著這張停車卡領車。
面對非結構化資料急劇增長,顯而易見地,物件會愈來愈多,而且容量需求也愈來愈大。為了滿足這些條件,物件儲存通常搭配的是低轉速大容量硬碟來降低儲存成本,而且在架構上也只設計單一目錄結構,方便找尋資料,適合於備份、歸檔、影音存取、網站內容、物聯網、穿戴式裝置以及儲存雲等輕量級應用。
不過,李百飛也提到,由於目前Object Storage仍沒有一個共通的標準,主要都是透過RESTful API來儲存、刪除以及取得物件,雖然核心語言一致,但是每一家的RESTful API並不盡然相同,但現階段至少都支援AWS以及OpenStack。「物件儲存最重要的就是API整合,以EMC Atmos為例,它是一款Cloud Storage的解決方案,提供的是超時空車庫的便利性。Atmos提供API可以讓前端AP來使用,Web存取則可以透過REST/HTTP、SOAP/HTTP或是Amazon S3。而且可以在Object之上再加File System,另外也有Atmos Cloud Delivery Platform提供計價的方法,可建立Portal自助式服務,因應各個環節所需。」