一體機加速GenAI應用　資料安全合規也應看重

自ChatGPT掀起內容生成熱潮以來，如何運用生成式AI（GenAI）來創建新流程、提高效率，甚至推動創新，已成企業關注的話題。如今生成式AI已經從單純的生成文字一路擴展到圖片、影片、音訊或程式碼，甚至可以把多種資料類型與多種演算法混用，多模態AI（Multimodal AI）也可望在未來快速發展。

精誠資訊集團旗下，內秋應智能數據產品研發部協理葉時墉認為，生成式AI不只在業務層面創新，也驅動傳統技術變革，就以ChatGPT為例，ChatGPT帶來的最大轉變是從自然語言處理（NLP）轉向自然語言理解（NLU），因為已經能理解語意，因而更能生成相應的回應與內容。「不過，目前生成式AI的應用主要還是以輔助為主，」例如在金融業較為常見的是讓生成式AI成為虛擬客服顧問或是投資顧問助手；在政府機關，則可化身高效HR管理助理或是議題分析質詢專家；於百貨零售業，常見用來打造貼心智能購物助理、自動化個性推薦專家；而在醫療健康領域，會較著重在健康指南解析專家或是專業醫療摘要製作。

資安工具保護機敏資料搭配內控檢查防洩露

為了協助企業建立安全的GenAI應用，近期，內秋應智能科技也推出SYSTEX AI BOX一體機，加速推動產業應用AI化。這項解決方案主要是基於國科會發展出的可信任生成式AI對話引擎（Trustworthy AI Dialogue Engine，TAIDE），整合數位無限Infinitix AI-Stack技術以及Supermicro AI伺服器和NVIDIA GPU晶片，搭配智能訓練顧問（Prompt Engineer），提供各產業方便且精準的應用GenAI，能夠快速並安全地建立企業內外部知識搜尋與問答，讓使用者享有最佳情境體驗。同時，一體機的資料訓練基礎具備高強度的安全合規性，且設備會部署於企業內部資料中心內，因此可大幅降低資料安全風險。

他提到，不同於去年的觀望氛圍，今年有不少企業心中都已有想法，並找好應用場景，準備加以實踐落地。葉時墉觀察，這是因為生成式AI迭代速度太快，RAG技術已經進入Advanced RAG，並且用了很多的技巧提升準確率與查找的速度，使得商用價值慢慢浮現。而在走入應用情境後，企業緊接著就會考量資料的機敏性，在企業內部部署一站式GenAI架構，其實是自然而然的發展。 

為了協助企業保護機敏資料，內秋應智能科技也提供資安工具GPT-X，其建立了安全管理框架，可強化使用者的安全意識和使用觀念，搭配機敏資料內控檢查，還能防範機密資訊的洩露或濫用。此外，透過記錄與報表的監控和定期審查，還可以監控資料使用的情況，作為稽核之用，若是對生成的資料有智慧財產權的疑慮時，也可以提供作為佐證。

「舉例而言，如果在資料中包含了個資或與個資相關的訊息，身份證、名字、地址、電話等等，就會被掃瞄出來並且鎖住，並且告知這是機敏性資料，不能上傳。」葉時墉提到，內秋應智能科技從2017年開始便專注於AI技術研發，早期主要是應用NLP技術創造金融、醫療等產業的智能客服機器人，隨著ChatGPT、Claude 2、Llama等大型語言模型的發展也開始投入，「由於早期推動的是雲地混合的方案，資料還是要上雲詢問雲端上的大語言模型，可是金融與製造業有些資料雖然不是個資，但卻是關鍵的機密資料，不適合上雲，因此才有了後來一體機方案的發展。」

推進開箱即用　 解企業技能困境

大型語言模型（Large Language Model，LLM）競爭激烈，除了推出ChatGPT的OpenAI之外，包含微軟、Google、Meta、AWS等業者也都大舉投入開發，有鑑於生成式AI迅速崛以及其影響力，國科會也投入研發，發展台灣AI對話引擎，目前已釋出TAIDE LX-7B模型。此模型是TAIDE第一個產出的繁中大型語言模型，其建立在LLaMA原型的基礎上，由學界專家進一步發展及訓練調校。

「其實不同的語言模型都有其特性，例如Meta發表的LLaMA就很適合生成文字，可以快速地生成文章。而TAIDE在今年4月釋出新版的TAIDE LX-7B模型則對官方制式公文的理解力較強，對於繁體中文之處理能量及回答更為穩定準確。」他提到，在大型語言模型上，實務上也會搭配著一體機來運行，同時內秋應智能科技也會朝著開箱即用來推進，畢竟不是每位使用者都對AI這門技術很熟悉，開箱即用設計的好處是，設備到現場啟用後，企業只要把文件上傳，系統就會自動地處理好開始使用。

「就目前的技術來看，至少可以達到70%的準確率，」葉時墉說明，如果再稍微的調整，準確率可達85%。但是70%的準確率就足以讓企業先嘗試找到應用情境，隨著企業越想越多、越看越多，未來企業的應用場景就會越來越成熟。

依據內秋應智能科技的規劃，SYSTEX AI BOX一體機預計將於今年第四季推出，初期有入門款與進階款兩種配置，入門款適合模型參數在70億至80億左右的模型，進階款則可以到700億左右的參數模型，依據模型的大小，適用的硬體規格與效能也會不同，兩者差距約可到4倍左右，簡單來說，如果70億模型只需1張GPU卡的話，700億的模型就需要4張GPU卡，可想而知，GPU的需求與投入費用就會高出很多，因此在規劃上會依據企業需求以及預算來做適當的配置。

過度擬合不利實際使用85到90分剛剛好

他提到，雖然企業非常看好生成式AI的潛力，但是超過九成以上的企業在沒有把握的情況下，絕對不會在一開始就動用大筆資金，泰半都會採取循序漸進的作法，亦即一開始只採購入門款，而後再依需求慢慢橫向擴展，這時候GPU的管理就很重要，而這也是數位無限Infinitix AI-Stack技術的強項之一。

葉時墉最後提醒，現在有許多方案都在強調其生成式AI的準確率有多高，這其實很危險，透過微調的技巧固然可以將生成式AI的準確率維持在一個較高的水準上，但是微調時最怕微調過頭，對1000個QA的準確率可以到99%或98%，很顯然這是過度擬合（Overfitting）的結果，實際使用後可能會出現不如預期的情況，應該要避免。在企業端的應用也是如此，現今評估大型語言準確率的唯一衡量標準就是給考卷，一般都會設定在85分到90分之間，甚至還可以換一至兩次的考卷，如果出現要求90分但只考了30分就表示出現問題，但如果兩次考試中，分數有時候多一點，有時候差一點，其實是在可接受的誤差範圍內。