自ChatGPT問世，生成式AI儼然已成為企業數位化轉型的一大主流，根據Deloitte第三季《企業中生成式人工智慧現狀》調查，在這份名為《從潛力轉向績效》的調查報告中指出，有三分之二的企業正在努力增加對人工智慧的投資，看重的即是生成式AI所帶來的龐大價值。儘管如此，企業在部署過程中仍然面臨著許多困難的挑戰，包含有限的預算、專業人力的不足、乾淨資料的取得與安全性等等。
為了協助企業加速擁抱生成式AI，科科科技（KKCompany Technologies）旗下的雲端智慧品牌Going Cloud也致力於提供一條龍的解決方案服務，以資料數據為底層，協助建立完善的資料系統，加速企業雲端遷移，整合雲端運算並建構客製化的雲端環境，以利發展符合企業需求的AI應用。同時專注於研發AI解決方案，掌握生成式AI技術，目前已可提供AI Chatbot與企業知識庫（KM）、個人化推薦系統及精準搜尋引擎，以及內容生成模型等等。
科科科技雲端智慧業務群總經理黃柏淞指出，生成式AI發展快速，許多新創也投入在SaaS服務中，提供企業AI助理（AI Assistant）、AI代理（AI Agent）方案， Going Cloud的強項即在於科科科技旗下有音樂串流平台（KKBOX），自2001年初內部就設置了資料團隊，處理非結構化資料已有十幾年的經驗，再加上Going Cloud是AWS進階級服務提供合作夥伴，不管是在雲端、數據還是AI技術整合，都已具備一定的能力，擁有豐富的AI雲端技術與專案經驗。
他提到，在大型語言模型（LLM）不斷演進下，串接LLM幾乎已經沒有門檻，現今技術的挑戰是檢索增強生成（RAG）在進行檢索資料的前處理，能否有效分割、處理各式類型文件，以及做好資料治理。尤其，小型語言模型（Small Language Model，SLM）也逐漸受到大幅度關注，SLM適用單一產業、單一應用場景應用，每個領域都有在SLM上必須要投注的工夫，而這也會是企業最終勝出的關鍵。
資料擁有權意識抬頭 混合架構成最佳作法
去年，思科發布《人工智慧準備度指數》調查，發現僅19%台灣企業已做好充分準備；超過一半（56%）台灣企業準備不足或有限，其中5%為落後者（準備不足）。此外，雖然84%台灣受訪者認為人工智慧將對其業務營運產生重大影響，但也帶來數據隱私和安全的新問題。調查結果顯示，81%台灣受訪者認為企業中存在的資訊不對等或碎片化是處理數據時面對的最大挑戰。
黃柏淞觀察，諸如資料集龐大且雜亂、企業內部不具備資料處理能力人才、欠缺AI技術開發能力，以及資料隱私等問題，都是企業在生成式AI導入過程中可能面臨的挑戰，尤其台灣製造業與金融業，非常看重資料隱私，間接也帶出混合架構與資料擁有權（Data Ownership）的課題。
他進一步解釋，基於隱私考量，企業現在已然意識到須掌握資料的所有權，其次，若想打造能夠結合企業業務的生成式AI應用場景，通用型的LLM可能就無法適用，雖然OpenAI最近推出了代號為Strawberry的新模型具有更好的思辨能力，也會試著去解出正確解答，但是企業有自己的領域知識，這些領域知識是企業的命脈，基本上並不會對外分享，而這也意謂著企業必須用自己的資料針對該領域進行相關的訓練，如此才能做出遮罩語言模型（MLM）或是小型語言模型（SLM），而若要結合這兩項需求，混合架構可能是最好的作法。Going Cloud可以協助企業佈建好雲地混合的架構環境，「從算力需求與成本來看，採購超融合基礎架構同時搭載兩片高階GPU卡並不太實際，企業最好還是善用雲的彈性來節省成本。」
結合核心業務更有感
Going Cloud已在產業累積不少案例，例如協助本土龍頭銀行打造就學貸款AI聊天機器人；幫助遊戲產業透過客製化訓練模型，建立遊戲素材生成後端系統，使內部人員彈性且有效地管理模型及機器，節省管理時間與成本；此外也協助優化台灣經貿網的網站搜尋引擎及推薦系統，導入個人化商品推薦、站內搜尋、商機配對，提升瀏覽體驗、網站轉換率及媒合準確度。
黃柏淞提到，生成式AI還可以應用在HR場域中。「我們在泰國曾遇到一個案例，該公司的工廠員工加起來有3、4萬人，但是卻只有一名人資要回答薪酬或相關請假的問題，再加上泰國每2周就發一次薪水，可想而知，該名HR每天要疲於應付多少重複的問題。」在此情況下，就非常適合生成式AI來協助。
科科科技雲端智慧業務群總經理黃柏淞指出，導入生成式AI，資安的觀念也要有所認知，許多企業會覺得導AI方案就像是把商業機密交給了別人，但其實往往企業本身才是最大的漏洞。
「由這個案例也可以看出，生成式AI應用場景可以從痛點或是與核心業務最有關的應用下手，不管是有助於業務上的增長，還是可以提高與業務相關的生產力，企業才會覺得有感。」他繼續說明，其次資料的準備與治理的觀念都需要有人帶頭來執行，或是善用工具來協助，若是連資料的收集、清洗到訓練、部署都要由業者從頭到尾協助，其成本往往也會讓企業難以負擔。最後則是資安的觀念也要有所認知，許多企業會覺得導入AI方案就像是把商業機密交給了別人，但其實往往企業本身才是最大的漏洞。
「除此之外，Token費用也是企業思考要不要導入的一個門檻，」黃柏淞最後補充，生成式AI的成本基本上可以分為三部分，一是資料清洗的費用與開發費用，二是上線後呼叫處理的Token費用，最後是維護成本。其中，企業對於上線費用最為敏感，因為在大型語言模型LLM的世界裡是以Token為計費單位，這是每個月都要支付的成本，雖然GPT-4o mini已經是比GPT-3.5 Turbo還要來得便宜，但企業依然會精算，甚至有不少企業覺得這是筆多出來的開銷。「也有企業覺得林林總總加起來，總費用可能與增加一位人力來專門處理差不多。如果是以這樣的思維來思考，企業就很難採用新技術，事實上，較大型企業都知道，只要每個人工作時間能省1%，換算出來的效益就很可觀。」