AWS在2024年re:Invent全球大會上,宣布雲端可大規模擴展的物件儲存服務Amazon Simple Storage Service(Amazon S3)推出新功能,使Amazon S3成為首個全受管支援Apache Iceberg的雲端物件儲存,進一步提升資料分析速度,並以最簡單的方式儲存和管理任何規模的表格資料。
!此為分頁標誌前台不顯示!
Genesys是AI驅動的體驗編排服務的全球領導者,正計畫使用Amazon S3建構資料湖。借助Amazon S3 Tables支援的受管Iceberg,Genesys期望為多元的資料分析需求建構一個實體化檢視層(materialized view layer)。Amazon S3 Tables內建支援Iceberg表格,將大幅簡化複雜的資料工作流程,透過自動執行關鍵維護任務,如表格壓縮、快照管理以及未引用檔案清理等。Genesys希望能從Iceberg相容的分析工具中獲得效能提升和廣泛支援,這些工具可直接從Amazon S3中讀寫Iceberg表格。Amazon S3 Tables將成為Genesys未來資料策略的基石,幫助Genesys提供更快、更彈性、更可靠的資料洞察,以支援AI驅動的企業員工體驗解決方案。
隨著越來越多企業Amazon S3作為中央資料儲存庫,資料量與資料種類以指數成長。作為理解和組織海量資料的方式,中繼資料變得越來越重要,讓用戶能找到所需的確切物件。為了應對這個挑戰,許多客戶不得不建構並維護複雜的中繼資料擷取與儲存系統,來深化他們對資料的認知。然而,這些中繼資料系統不但成本高昂、耗時,而且資源密集,通常需要資料工程師在中繼資料流經處理管道時,手動追蹤和更新中繼資料;同時,還需要資料分析師手動檢查海量的物件儲存,以找到用於分析、人工智慧(AI)、機器學習(ML)資料處理工作流程所需的特定資料。
Amazon S3 Metadata能夠近乎即時地自動生成可查詢的物件中繼資料,進而加速資料探索,並提升資料理解,幫助企業輕建構和維護複雜中繼資料系統的負擔。借助Amazon S3 Metadata,用戶可以查詢、探索並使用資料,以支援業務分析、即時推論應用等用途。Amazon S3 Metadata能自動生成物件中繼資料,包括系統定義的詳情,如物件的大小和來源,並可透過新的Amazon S3 Tables進行查詢。隨著物件增加或刪除,Amazon S3 Metadata會即時更新Amazon S3 Tables中的物件中繼資料,確保企業檢視最新的資料。
企業可以使用物件標籤客製化中繼資料,為物件加註特定的業務資訊,如產品SKU、交易ID、內容評分或客戶的詳細資訊。企業可以透過簡單的SQL查詢輕鬆搜尋中繼資料,快速尋找和準備資料,以支援業務分析、即時推論應用、基礎模型微調、檢索增強生成(RAG)、整合資料倉儲與分析工作流程,以及執行指定的儲存優化任務。