AI

AI工作流程的儲存與運算

2025-08-29
筆者歸納七步,剖析了在大型資料庫的AI工作流程。HBM、DRAM負責高速暫存,本機SSD提供快速中繼儲存,硬碟則給予具成本效益的大容量長期儲存,指出了AI不再單靠算力,儲存資料也極為重要,是不可或缺的一環。

隨著大型資料中心擴大其AI功能,AI應用不再單純倚靠運算能力,儲存叢集也扮演關鍵角色。其包含採用網路介面連接的高容量硬碟和固態硬碟(SSD),主要任務是接收來自運算叢集的資料,並將其長期儲存於大容量硬碟中。

AI工作流程在資料消耗與生成間無限循環運作,每個階段環環相扣,接下來將進一步探討運算和儲存在各階段所扮演的角色。

步驟一:取得資料。該階段需要定義、探索和準備資料,以供AI分析。GPU負責加速預處理與轉換,與CPU協同處理重複性任務。而採用網路介面連接的SSD負責快速存取,適合作為即時資料層;硬碟則具備高容量與可擴充性,適合長期保存與保護原始資料。

步驟二:訓練模型。該階段透過儲存的資料進行反覆試錯,使模型收斂並透過檢查點保護進度。GPU處理深度學習任務,CPU管理資料流,高頻寬記憶體(HBM)與DRAM負責高速暫存,本機SSD則提供快速中繼儲存。此時,硬碟提供大容量儲存,SSD則頻繁寫入檢查點,兩者搭配確保模型資料的完整性與追溯性。

步驟三:建立內容。此階段涉及推論程序,運用已訓練完成的模型產出結果。GPU負責推論應用,CPU執行背景任務,而HBM、DRAM與本機SSD則提供即時記憶體與高速I/O支援,成為此階段的主要儲存裝置。

步驟四:儲存內容。此階段儲存新建的資料,以供往後持續完善模型。GPU和CPU藉由其高速處理能力,在儲存前協助資料壓縮或加密,加速內容進入歸檔流程。此時,結合採用網路介面連接的SSD之高速存取與硬碟的大容量優勢,能即時處理並長期保存AI生成內容。

步驟五:保存資料。此階段複製的資料集會被跨區保留。採用網路介面連接的SSD作為效能緩衝,連接硬碟與本機SSD,協助資料在整個系統中順暢流動。

步驟六:重複使用資料。此階段GPU執行再訓練與推論,而CPU負責資料查詢與協調系統,HBM快速載入資料集,加速流程重啟。採用網路介面連接的SSD加速資料擷取、硬碟提供大容量支援,讓模型能高效且低成本地持續最佳化。

從上述步驟也不難想見,除了內建記憶體與SSD提供高速效能,硬碟憑藉高成本效益的擴充性,成為AI工作流程不可或缺的一環。

<本文作者:黃又青現為Seagate台灣區總經理>


追蹤我們Featrue us

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!