隨著越來越多新模型與工具問世，生成式AI（GenAI）已經成為企業加速創新與提高生產力的關鍵。然而，企業在AI訓練與運行的過程中，卻也面臨著高昂成本、長時間訓練與資料安全風險等挑戰。為了協助企業解決此一痛點，近期銓鍇國際（CKmates）與APMIC攜手，一同推出「Test-Time Compute AI算力」方案，其結合了APMIC PrivAI s1模型與AI CKompute實體機櫃租賃服務，藉由軟硬整合，企業將能在地端快速部署AI，甚至做到隨插即用。
銓鍇國際董事長暨創辦人何鴻汶指出，CKmates本身就是雲端服務供應商的合作夥伴，深知企業對AI算力的迫切需求，「雖然不少公有雲都提供雲端AI算力，但目前的現況是，企業需要排隊，再不然就是得選擇較遠區域的雲端資料中心，再加上不少產業如金融業、政府業、醫療業，甚至是半導體業，對資料隱私多有考量，希望能在企業內部訓練大型語言模型，因而也帶動地端部署的需求。」
以租代買概念驗證無負擔
根據APMIC的研究調查，當大型語言模型參數低於32B以下，雖然具備推論能力，但能力卻會明顯受限，換言之，若是企業想要實現更高準確率的模型，勢必需要較大的語言模型並配置AI伺服器才能加以實現。但是AI伺服器售價並不便宜，初期的投資成本往往成為企業的一大挑戰。 何鴻汶說明，以租代買的好處是，企業不再擔心要購買昂貴的設備，可依業務需求靈活調整租用方案，不管是長期租用或是單、短天期的使用，皆能以合理的費用獲取強大算力支援，避免高昂的前期設備投資與維運負擔。此外，因為設備直接就部署在企業環境內部，也無須再擔心機密資料外移的問題。
在規劃設計上，AI CKompute實體機櫃目前提供了8張、16張或24張GPU卡的彈性配置，包括網路設備、管理伺服器以及散熱都已完整考量，整櫃進駐後，企業只準備電力與網路，抑或是放在CKmates端以遠端連線方式使用，免去自行維運負擔。如果企業原本要訓練的資料就儲存在NAS設備，也可以直接掛載使用。若是需要更高的算力，整櫃擴充也很容易。
他提到，企業每年的IT預算有限，在還沒看到初步的成果前就需要投入大量的預算來採購設備，將會因此而面臨不小的壓力，「採用租賃服務的另一項好處是，初期可以採用租賃服務，日後企業若需要整櫃算力持續地訓練，也可以買斷把設備留下。」
小型資料集也能構建強大推理模型
銓鍇國際與APMIC於去年即展開合作，此次搭載的「APMIC PrivAI s1」模型是基於NVIDIA NeMo所開發的框架，同時也支持由「AI教母」李飛飛所發表的Simple Test-time Scaling訓練方法，該方法不僅承襲了DeepSeek的優點，也免去了資安疑慮，同時也相較DeepSeek方法節省90%的成本，訓練資料從 80萬筆減少到1千筆。
APMIC共同創辦人暨產品負責人林益弛解釋，過去的大型語言模型主要依賴於使用更大規模的語料來增加訓練的資料量，或是擴展模型參數，例如GPT-3擴展到GPT-4，抑或使用更強大的GPU來運算，但是這些方式的成本高昂。測試階段擴展（Test-time Scaling）則是一種新的訓練方法，主要是透過在推理階段增加運算資源，從而提高語言模型的推理能力和準確率。因此一個精心策劃但僅含1,000筆的小型資料集在結合了測試階段控制技術後，就能夠構建出一個強大的推理模型，而且訓練時間也會大幅縮短，從而達到精減成本的效果。
銓鍇國際攜手APMIC推出軟硬整合的整機櫃租賃。圖左為銓鍇國際董事長暨創辦人何鴻汶，右為APMIC共同創辦人暨產品負責人林益弛。
他提到，APMIC在近期接觸到許多想要進行概念驗證的企業，不同於早期生成式AI只鎖定文字，現今企業內部的資料多元，除了文字之外，還有圖片、影像、表格等等，如何將這些非結構化資料轉譯給生成式AI，最終以詞元「Token」進行輸出輸入，都需要經過一些模型的分析與解釋，因此APMIC將多模態的模型放在同一個解決方案中，「APMIC PrivAI s1可化身為企業數位大腦，既能夠分析圖片、文字，也可以進行企業知識的深度推理，相較於傳統的做法，資訊檢索準確度提升了70%，方便企業用戶進行知識管理、撰寫報告，並且透過自然語言輕鬆建立AI。」
針對企業考量的安全性方面，在模型蒸餾的過程中 也有一定的機制是可以讓其他語言模型來終止不乾淨的資料被模型學習，另外，在推論的部分也會設置防護欄。林益弛說明，簡單來說會從兩個面向著手，一是單純地針對個人隱私進行去除，又或者是將它裡面的資料做關鍵字過濾，其二是不管是輸入或輸出都會有護欄擔任類似警衛的角色，經確認後才放行。目前很多大廠都設計了相關的防護機制，例如Google推行的ShieldGemma，就是一個防護的語言模型，而NAVIDIA在NVIDIA NeMo框架下也有Guardrails工具軟體，可以定義軌道（Rails）來引導和保護對話。
比雲端訂閱省九成
何鴻汶最後強調，相較於訂閱雲端AI算力，AI CKompute實體機櫃租賃服務非常具有競爭力，以AWS為例，在相同條件下，AWS訂閱大約介於每小時72至76美元之間，而AI CKompute實體機櫃的租賃費用則不到十分之一。這對企業非常有吸引力，特別是新創公司，過去他們因為沒有足夠的資源，只能做出一個很小的樣版，如果能有更好的算力選擇，就有機會透過訓練來創新商模。