「CaiGunn開講」不僅可以提供使用者與大型語言模型互動對話，還能將其嵌入到各種應用情境，例如應用在客服或是用來打造知識管理系統，甚至還可以整合APMIC自身研發的CRM客戶管理系統，打造出聊天機器人。
致力於為企業打造自身專屬的AI數位大腦，且讓人人都可以輕鬆使用，APMIC自創立以來即投入在語言模型領域，累積了七年自然語言理解（NLU）核心技術能量。隨著生成式AI崛起，APMIC也投入大型語言模型研發，是台灣極少數投入在地化大型語言模型研發的生成式AI獨立軟體供應商。其所研發的「CaiGunn開講」（源自台語的「聊天」），不僅可以提供使用者與大型語言模型互動對話，還能將其嵌入到各種應用情境，例如應用在客服或是用來打造知識管理系統，甚至還可以整合APMIC自身研發的CRM客戶管理系統，打造出聊天機器人。不只如此，企業也能將此聊天機器人嵌入到網頁，或結合原本就已經有串接好的LINE、Messenger第三方的訊息平台，讓大型語言模型可以根據不同管道與使用者互動。
順勢語言模型發展 混合引擎更快更省成本
APMIC創辦人暨執行長吳柏翰指出，APMIC的願景是協助企業打造出最聰明且接地氣的企業AI大腦，只要將現有的文章、網站或是文件資料上傳，不需要任何程式編寫或數據處理知識，只需要透過直覺或對話式使用方式就能輕鬆應用。
他提到，語言模型發展其實是一連串的歷程，從最基礎的自然語言處理（NLP），到自然語言理解（NLU），而後才走到自然語言生成（NLG），因此CaiGunn框架也包含了NLP及NLU，目前在這個框架底下有六項核心工具，包含資料Input、資料預處理、微調、Responsible GenAI、CaiGunn檢索增強生成（C-RAG），以及基於人類回饋的強化學習（Reinforcement Learning from Human Feedback，RLHF）。
在此框架下，CaiGunn採取混合引擎作法，傳統以NLP技術打造的聊天機器人可依關鍵字或規則（Rule-based）來判斷回答，而CaiGunn還會再加上大型語言模型來進行回覆，並透過意圖識別引擎分配，只要是一般標準問答就採規則式回覆，而較複雜的問題就由生成式AI來回答。
「對於企業而言，混合引擎對成本精簡也極有助益。」吳柏翰解釋，不少大型語言模型是以Tokens為單位計費，100萬的Tokens可能要價幾美元，互動累積下來，就會是一項不小的花費。而混合引擎是結合傳統與新型方法來回覆，只把需要較複雜思考的問題交給大型語言模型，如此一來，企業成本就可以降低50%以上，而且回覆的速度也會變快，「一般來說，生成式AI回覆問題的速度會比傳統採取NLP技術的作法要來得慢，混合運用的好處將有助於縮短回覆時間。」
應用場景多元金融、製造與政府已有落地案例
CaiGunn目前已經獲得包含Google、台北市政府、恩益禧（NEC）、台塑生醫、中國信託銀行及亞太電信等800多家橫跨健康、製造、金融、航空、零售等產業採用，可為企業提升服務效率超過30%。
台北市建成地政事務於今年所推出的登記教主（繼承登記法服諮詢）也是應用CaiGunn平台框架建立繼承登記法令的聊天機器人，這個案例中也採用混合引擎的作法，在接收到使用者的問題後就會判斷是由既定腳本回覆，還是由生成式AI來回答。
「其實，金融、製造以及政府單位都已有不少應用場景。」他舉例，製造業較常應用在程式碼轉換跟知識管理場景，例如從C++轉換成Java程式碼的應用案例就有不少；知識管理則是將大量RD文件匯入後，由AI閱讀這些文件，並且答覆可以解決現今遇到的哪些研發問題。
而政府單位則用於審查文件或者是文本分析比較多，例如合約審查、計劃書審查，或是讓AI來閱讀判決書，由於判決書上面有人、事、時、地、物，以及犯罪的方式與流程等等，藉由文本分析，便能找出罪犯的相關犯罪流程。至於金融則應用在導購與加速核保流程等場景中。例如透過生成式AI逐一拆解、分析每個人的行為，並建立導購計劃；保險業則透過自動化核保的機制來加速核保流程。
看重地端部署需求 攜手合作夥伴快速部署
根據調研機構P&S Intelligence調查，2024年全球自然語言理解市場規模為189億美元，到了2030年預估可達803億美元，年複合增長率為27.2%。而除了看好美國對AI技術，尤其是以自然語言理解為核心的龐大技術需求外，APMIC也看好企業將大型語言模型導入地端的市場，認為讓AI模型透過系統整合真正落地的方案是這個時代所需。因此，APMIC也與Dell、HPE等合作夥伴攜手，將其AI伺服器與「CaiGunn開講」軟硬整合，再加上NVIDIA提供的算力，達到地端應用的黃金三角，持續協助客戶更加便利且深入地使用AI。
目前APMIC有兩大類型的企業用戶。其中，中小型企業因受限於預算，多半會採用雲端模型，例如選擇OpenAI模型到企業的服務場景去使用。而大型企業則基於資料的機密與隱私性考量，往往會傾向自行採購伺服器，把大型語言模型落地，並加以微調或進行推論。另外也有一些企業採用混合架構，先把在雲端完成模型的微調，再把該模型部署到地端進行推論，而針對有混合架構或地端部署需求的企業，APMIC也與HPE、Dell合作，透過軟硬整合以協助企業快速部署。
「未來三年，企業地端部署需求一定會增加。」吳柏翰認為，隨著企業對ChatGPT越來越熟練，熟悉程度越來越高，使用線上免費版本已無法滿足企業需求，事實上，早在2023年就有企業編列大量預算，以作為2024年OpenAI的服務費用。但是這些先行企業在試行過程中也發現資料隱私的問題，因此下一階段，企業就會開始規劃於地端部署。
以大模型微調湧現效果更好
另一個驅動因素則來自於地端語言模型做得越來越好，不只是大型語言模型，SLM模型也是如此，隨著企業對於地端模型越來越有信心，市場自然而然就會切割成純粹用雲端的模型跟地端自建模型，而地端應用會再切割成純粹用SLM小模型，與採用較大的大語言模型。
「APMIC鎖定的是較高階的大型語言模型市場，70B以上的參數量，而這也會反映在硬體架構中，最小配置需求至少要搭載1張H100 GPU。」吳柏翰指出，這並不是隨便制定的策略，而是許多成功的案例，其實都是從大模型進行微調，例如OpenAI o1-mini、Gemma 2 9B參數版本，在在都證明了從最大的模型蒸餾成小模型的成功準確率，會比從最小模型微調上去的效果更好，「這很關鍵。如果沒有一個最聰明的模型微調成小模型，而硬是要從8B的模型調校到9B的模型，因為打從一開始理解能力就不好，所以效果自然會有所折扣。瓶頸其實就在於Model Size。」而這也是為何APMIC一開始就採取30B以上的參數模型，原因即在於22B以上的模型在微調後湧現效果會很好，舉一反三。
他強調，生成式AI的關鍵並不在於AI技術而是資料，如果等到三年後最棒的大型語言模型出現才決定導入，其實就已經喪失了競爭力，由於在這三年中企業沒有收集資料，自然而然不知道客群的長相，也不會知道如何讓模型表現更好，自然也無法訓練出專屬於企業的模型，導致競爭力不斷下降。「現在開放的大型語言模型都是通用型，而非適用於垂直領域，而同業訓練好的模型肯定也不會開源出來，如果企業沒有投入私有模型的建立，就無法瞭解垂直領域模型，如此一來，企業營運也會面臨到很大的挑戰。」吳柏翰認為，每家企業都必須要有生成式AI模型，才能去掌握客戶導向，並且讓精煉的客戶屬性成為協助企業發展的關鍵技術。
錯誤認知導致效果不如預期
根據BCG年初公布的調查，幾乎所有高階主管都將人工智慧和GenAI列為2024年的三大技術優先事項，但66%的領導者對於人工智慧和GenAI方面的進展感到矛盾或不滿意，而且只有6%的領導者已經開始以有意義的方式提升技能。
「其實多數企業對於生成式AI的可應用場景，目前還沒有很清楚的認知，」吳柏翰說明，AI可分為預測型AI與生成式AI，預測型AI主要是透過將結構化資料予以分析而進行的預測，不管是廻歸或分類都可以做得很好。而生成式AI則是透過非結構化的資料進行分析與處理，因此企業首要須思考的是，企業導入AI究竟是想解決什麼問題，否則很容易發生導入生成式AI卻沒有產生預期效果的情況。
其次，生成式AI本身的特性是有條件式的，必須知道這個生成式AI本身具備什麼能力，提供正確的資料，才能產出預期的內容。他舉例，近期，國際頂尖科學學術期刊Nature發布一篇研究文章，內容提到了越大的語言模型，對於簡單的問題更容易出錯。這也意謂著簡單的問題，使用小模型的效果反而比大型語言模型要來好，當一個8B參數模型就可以解決的分類問題硬是要使用175B模型來解決時，出錯率反而更高。因此，企業對於應用場景適合的模型大小也須有所認知。
APMIC創辦人暨執行長吳柏翰看好未來地端生成式AI市場。
再者，有太多人都認為生成式AI的準確率應該要百分之百，然而這並不是正確的觀念，實務上並不會有百分百的準確率，也不會有99.9999的表現，以RAG為例，準確率大概會落到83.9%，若是採用100B以上的模型就可以實現90%左右的準確率，如果要再往上提高到95%，就要透過微調，但目前並沒有太多的成功案例，因為成本代價過於高昂。因此，「期待值管理」也是企業亟需面對的課題，現今企業想要實現的場景，有八、九成大概都介於大概80%到90%之間的準確率，如果企業挑選的模型較小或是題目難度較高，準確率還會再降低一些，可能只有70%。而不同的準確率會有不同的硬體需求。
除此之外，資料不足也是一項挑戰。生成式AI的關鍵不是結構化資料，而在於非結構化資料，但有不少台灣企業主在數位轉型的過程中忽略了非結構化資料，因而無法達成想要的效果。「另一項挑戰來自於模型的建立門檻，而這也與企業內部人才有關。如果企業找來的團隊根本不熟悉較大型的模型，那麼遇到較困難的題目，非得100B參數模型才能實現時，最後專案會失敗，甚至失去信心，原因就在於企業挑錯方法、挑錯模型，或是沒有把情境鎖定。」當然，台灣具有語言模型專業人才並不多也是潛在問題，因為不瞭解過去語言模型的發展，也就很難完善的處理企業的問題。 最後則是算力問題，「目前來看，算力還是不便宜，但隨著算力成本降低且語言模型成本也越來越低的時候，應用就會大幅展開。」他說。