AI的發展日新月異,但企業在AI訓練與運行的過程中,始終面臨高昂成本、長時間訓練與數據安全風險等挑戰。為解決這些痛點,APMIC與銓鍇國際(CKmates)一同推出「Test-Time Compute AI 算力」解決方案,此方案類似於Deepseek R1的全新訓練方案APMIC Toolbox s1以及CKmates的AI CKompute實體機櫃租賃服務。
APMIC Toolbox s1是基於NVIDIA NeMo所開發的框架,同時也支持由AI教主李飛飛所發表的Simple test-time scaling的訓練方法,該方法不僅承襲Deepseek的優點,也免去了中國訓練方法或模型所產生的資安問題,同時也相較Deepseek方法節省90%的成本,訓練資料從80萬筆減少到1千筆。
過去為了實現高準確率的模型,通常需要昂貴的設備與訓練方法,而這次透過APMIC Toolbox s1搭配CKmates推出台灣首創AI CKompute算力機櫃租賃服務,提供搭載24片的H100 GPU高階伺服器,可整櫃直送企業現場,用戶只需準備電力與網路,亦或是放在CKmates端以遠端連線方式使用,免去自行維運負擔。此模式便能快速啟動資料訓練與進行高強度測試,不必排隊等雲端GPU資源,也免除將機密數據外移的隱憂。
Test-Time Compute AI 算力軟硬體整合解決方案,讓企業完全能夠在地端實現知識蒸餾(Knowledge Distillation)透過大模型學習企業領域知識,然後縮小到32B~70B的模型上,讓推論成本可以節省比ChatGPT高達 98% 以上,而且知識不外流。
APMIC Toolbox s1搭配24片的H100設備後,成為一個能訓練、推論的多模態的企業數位大腦,既能夠分析圖片、文字,也可以進行企業知識的深度推理,相較於傳統的做法,資訊檢索準確度提升70%,方便企業用戶進行知識管理、撰寫報告,並且透過自然語言輕鬆建立AI。
企業不再擔心要購買昂貴的設備,可依業務需求靈活調整AI CKompute租用方案,企業可依需求長期租用,甚至可租單一個月或幾天短期使用,皆能以合理的費用獲取強大算力支援,避免高昂的前期設備投資與維運負擔。租約到期後,客戶可選擇整機購買或直接歸還,是實踐資本支出轉營運支出的高彈性策略,讓企業無需投入鉅額資本支出,即可快速取得所需AI運算資源。