企業導入GenAI應用,大致不脫三種方式,一是直接購買現成的GenAI應用方案,其二是從無到有的BYOM(Bring Your Own Model),第三種則是採取折衷方案,購買GenAI的相關模型回來進行客製化,例如進行微調(Fine-tuning)或是運用索引增強生成(RAG)框架來提高準確性和可靠度。
在數位轉型浪潮下,企業不斷引進顛覆性技術以創新營運模式、提供更高品質的服務體驗。近期在全球掀起一波應用浪潮的生成式AI(Generative AI或簡稱GenAI),也成為企業眼中賴以提升競爭力的利器。根據IDC調查,全球已有超過七成的企業,都願意、且已經嘗試使用生成式AI的相關應用。
事實上,包含科技巨頭、硬體廠商、軟體廠商、服務業者以及眾多新創公司均已在市場上推出相應的產品與方案,其中,新創業者並不只聚焦在模型,涉及範圍從基礎架構、工具與模型、客戶體驗、知識管理到軟體部署都有,於此同時,科技巨頭也與新創業者彼此有些深入的合作。IDC台灣企業應用資深研究經理蔡宜秀直言,在過去20年的IT技術發展趨勢中,從未有一項技術可以讓各大科技巨頭、雲端服務供應商、軟硬體業者甚至是新創,全體大舉投入並且在短短不到半年的時間就推出新產品,而生成式AI就創造了這樣的奇蹟。
亞洲產品設計應用需求高
生成式AI已對許多業務領域(Business Areas)造成影響,在產品設計方面,生成式AI可以協助晶片電路板布局Layout、新藥開發、教具研發、詞曲創作、動畫影像生成、產品逆向設計(找出缺失的材料以優化產品功能)等產品研發;若是運用在軟體開發,則可協助軟體工程師撰寫、審視與測試程式碼,還可以進一步生成多國(語言)軟體使用說明書。
此外,也可以用來打造客服機器人提供24小時的個人化客戶服務,以更好的虛實客服機制提升客戶滿意度。在行銷/公關方面,藉以自動生成新聞稿,以及根據不同客群自動生成與發送個人化廣告與行銷方案;至於供應鏈領域的應用,則可以從成本、交期、碳排等角度協助優化運輸路線、預測需求、優化庫存管理並進行供應鏈風險管理。
蔡宜秀提到,根據IDC調查,目前全球受影響的最深的前十大業務領域,包含了軟體開發、產品設計、客戶互動、行銷/公關、銷售、供應鏈、人力資源、財務、製造以及研究等等。而亞洲由於以製造導向為主,因此產品設計的需求名列第一,其次為軟體開發、客戶互動以及行銷/公關,供應鏈管理也擠進前五名。
GenAI部署多採折衷方案
伴隨著生成式AI的出現,人工智慧的發展也從早期的狹義的AI(Narrow AI)走向比較廣義的AI(Widening AI),而且還可以同時做跨領域的應用。而且在IDC的調查中,企業科技支出的項目中,會增加支出的第一名就是Data、Analytics以及AI相關,由此也不難想見,AI的應用會是未來幾年成長的重點。
蔡宜秀觀察,企業導入GenAI應用,大致不脫三種方式,一是直接購買現成的GenAI應用方案,其二是從無到有的BYOM(Bring Your Own Model),亦即企業自行開發模型、訓練資料,從頭打造GenAI應用程式。第三種則是採取折衷方案,購買GenAI的相關模型回來進行客製化,例如進行微調(Fine-tuning)或運用索引增強生成(RAG)框架來提高準確性和可靠度,或者是用提示工程(Prompt Engineering)的改進來優化模型的表現。
但是,無論企業打算將GenAI應用在哪些場景中,一定都會涉及到最底層的IT基礎架構、資料治理,包含資料的結構、應該採用哪些資料庫等等的考量,而後再進入到模型層以及應用層。她提到,除非是直接買GenAI的應用方案,否則,一定都會經過IT基礎架構層、資料層以及模型層的評估考量。「大多數的企業其實多半都會採用折衷方案居多,主要是覺得現成的應用方案並不適合企業本身,因此希望以現成的GenAI應用方案為基礎,再進行客製化。」這時,核心的基本問題會是,到底是要在企業環境自建,還是運用公有雲的資源?企業的資料要如何加標籤?向量資料庫又該如何管理?進入到模型層後,考量就會是如果要利用來自於商業(Commercial)或者是開源模型,能不能進行微調?
「這也是為何IDC會認為,GenAI的下一步應用其實會更聚焦在產業化上,」蔡宜秀認為,要實現產業化就必須要有資料模型平台(Data Model Platform)的微調能力。因為現今多數的GPT模型都是一般通用,但是對於金融業、製造業等會涉及相對複雜流程的產業,就需要進行模型的微調,將大型語言模型(LLM)縮小化到適合產業應用。而且資料模型平台對運用索引增強生成(RAG)框架也很重要。眾所周知,GenAI會有「幻覺」的問題,亦即當被詢問問題後,就會從無邊際的數據大海當中,找到判斷為最可能合理的回答,因而出現各種杜撰的內容,RAG就是避免幻覺內容的有效方法,概念上就像是開書考試(Open Book),由於已經限定了內容方向以及可回答的程度,因此更適合企業使用。
資料策略是優先要務
儘管GenAI開啟了數位化旅程的新階段,不過現今有不少企業仍處於不知從何著手的狀態。對此,蔡宜秀認為,資料策略是企業必要第一步,特別是對資料進行盤點,接著才是擬定AI策略,到底是要直接採購現成方案、部分客製化,或者是完全自建的機制,然後才是選定應用場景,通常都是從解決企業痛點的這個角度來著手。
而在擬定AI策略,特別是找尋平台或合作夥伴時,應該特別留意包含開放平台、微調、RAG框架、GenAI生態系以及永續性等五點。舉例而言,當企業在思考AI策略時,就要考量GenAI的相關應用是不是永遠都不會與其他服務串聯在一起,因為這將影響到訓練模型以及未來要不要開放API來介接。又如雖然文本是現今企業常見的應用,但是未來還有可能擴及到圖片、語音或是影音,因此,也要把未來可能的應用場景一併納入考量,然後評估合作夥伴的策略能不能符合企業未來的應用需求。最後,則是永續的課題,GenAI需要較大的算力,而這會影響到企業的碳排放量,要先選定聚焦方向,再來思考快速致勝的應用場景。
她強調,現今雖然CXO們對於GenAI能帶來的好處充滿熱情,得知競爭對手採用,覺得自己也不能落後,應該要急起直追。但是實務上,這些想法帶回IT單位或業務單位要落實時,一定得先從小範圍的應用開始,而且找尋最快可以看到成效的地方,因為萬事起頭難,即便企業找到痛點,希望藉由GenAI來加以克服,但如果缺乏合適的資料,也很難成功。也因此,資料策略將會是第一優先要務。