在導入生成式AI過程中，組織的Gen AI所有權（Ownership）、如何最大化地運用資源，以及百花齊放的技術選擇，是現今所有產業會遇到的三個問題，尤其是大型企業更是如此。
聚焦數位（Digital）、數據（Data）、科技（Technology）三大支柱，多年以來，國泰金控以創新金融科技，翻轉產品開發、服務流程與內部管理，不斷深化產品能量、提升客戶體驗與強化營運效率。隨著生成式AI崛起，應用場域快速擴張，國泰金控以及旗下子公司也各自激盪想像，並且找來廠商進行概念性驗證（POC）。但是這些積極的作為，卻也造成多頭馬車、群龍無首的情況。
「生成式AI在去年形成熱潮，除了討論如何規範之外，更多的目光是聚焦在有哪些技術，該如何應用。但是去年國泰金控遇到最大問題其實是到底該由哪個組織引領生成式AI走向？」國泰金控數位數據暨科技發展中心（數數發中心）副總經理梁明喬指出，原因就在於生成式AI實在太受歡迎，任何人都可以嘗試，就連業務單位都想要運用生成式AI來生成徵審報告。然而生成式AI卻又不像過去所應用的科技，可以很清楚地判斷應該歸屬在IT團隊或是數據團隊，再加上集團的資源有限，技術卻是百花齊放，OpenAI、Google、AWS還有Meta都有大型語言模型又該如何選擇？若是放任不管，勢必會難以真正有效利用資源。
察覺到此一現象，國泰幾經衡量，決定把生成式AI劃歸到數據團隊，考量點即在於，從資料、雲端到AI，其實是一個循序漸進的過程，如果前段技術工程沒有做，AI也很難有所呈現。而且就目前的發展來看，不僅數據分析上雲端，多數的大型語言模型現在也都在雲端上，除非企業擁有大型的算力中心，足以打造私有Gen AI架構，否則還是會以運用雲端技術為主。種種考量下，國泰金控在今年初即成立數據暨人工智慧發展部。
「組織的Gen AI所有權（Ownership）、如何最大化地運用資源，以及百花齊放的技術選擇，是現今所有產業在導入生成式AI過程中普遍會遇到的三個問題，尤其是大型企業更是如此。」梁明喬說。
從組織建章立制強化AI治理
成立數據暨人工智慧發展部的用意在界定組織的擁有者（Owner），但落到具體的AI治理與管理作為，國泰也將從兩個面向來著手，國泰金控數數發中心數據暨人工智慧科技部協理劉浩翔說明，一是將國泰原本行之有年的資料治理委員會，改制為「資料暨AI治理委員會」，而原先在資料治理委員會轄下還有雲端暨委外治理委員會，亦即，未來，Data、雲端以及AI都將在委員會裡串連，而且是由金控及各子公司的總經理來擔任最高的委員會負責人。
而在應用的發展執行面，也新設AI卓越中心（AI Center of Excellence，AI CoE），目的即是管理整體AI發展應用。由於集團的資源有限，難以將所有可能的生成式AI構想都落地實現，因此針對要採用何種技術框架、應用範圍以及資源的投放，目前都由AI卓越中心來統一規劃。
從組織層級來看，金控的數據暨AI治理委員會以及AI CoE將是最高層級單位，主要制定的是集團的一階AI治理政策與AI發展框架，而各子公司須依循一階政策與發展框架來制定二階管理辦法以及執行細則。梁明喬以AI CoE為例指出，假設金控的AI CoE決定雲端的資訊架構只能採用A供應商，那麼各子公司就不能選擇B供應商來建構資訊架構，雖然系統是各自獨立存在，但是考量資料的整合，金控與子公司的資料架構就必須統一，否則資料難以交換。但是各子公司想要採用哪一種大型語言模型便可以自行決定。
制定管理辦法應對規範要求
同樣的概念也適用於合規要求。基於金管會公布「金融業運用人工智慧（AI）指引」，國泰金控在一階AI政策方面就會與金管會的AI指引來對齊，然後各子公司也會依據這些一階政策建立自己的二階AI管理辦法。另外，針對可解釋性與公平性，國泰金控也將打造可信賴的人工智慧（Responsible AI，RAI）技術框架，未來也會建立評測工具，透過評測工具來符合指引原則，包含從模型的開發到模型的部署、上線等等。
劉浩翔舉例，在金融業運用AI指引中提到，AI運用應該以風險為基礎，並且訂定不同風險運用基礎的管控措施，因此，一階AI政策就會對齊這項要求，但是到了二階管理辦法時，何謂高風險、中風險與低風險就須訂定出來，例如當面對客戶的AI系統為高風險運用時，就必須提升核決的層級，交由總經理或委員會來核決等等。「雖然具體的做法會寫在二階管理辦法上，但是單一政策可能會有兩、三種的管理辦法，包含Gen AI的上線原則、AI模型的評鑑等等，甚至還有可能需要填寫到表格文件，至於表格文件如何填寫，就會落到三階來進行說明，這時，法遵與資安團隊也會參與進來協助。」
國泰金控數數發中心副總經理梁明喬指出，其實中間還是會有許多細節必須克服的地方，例如光是AI風險等級，人壽對AI的風險等級與銀行的風險等級就不一樣，但無論如何，還是必須先建章立制，預估今年底會規劃出較明確的管理辦法，包含各子公司的管理辦法。他強調，雖然金管會公布的金融業運用AI指引，核心原則是建立治理及問責機制，亦提到內部責任包含指定高階主管或指定之委員會負責AI相關監督管理並建立內部治理架構。但其實國泰金控打算成立數據暨人工智慧發展部與AI卓越中心，遠早於指引發布之前，早在去年年初時便已經開始籌劃，主要用意是為了確確實實地整合內部資源與步調，不管是數據團隊或是業務團隊，並非只是為了遵守外部要求而成立的。只是剛好年中AI指引發布，與AI指引的想法不謀而合。
Gen AI應用四階段 AI護欄控風險
做為數位轉型、啟動金融上雲的先行者，國泰金控對於生成式AI也已有初步的規劃與目標方向。第一階段將以Gen AI為工具，由生成式AI來協助摘要、翻譯。第二階段則是AI助手，生成文件報告。第三階段則是走向AI Agent（AI代理角色），讓生成式AI可以直接幫忙執行，舉例而言，生成式AI在回覆消費者後，能不能也可以幫忙送件？最後希望能夠實現AI Native，所有的作業與流程都有AI，這也是國泰金控對生成式AI的最終期望。
目前國泰內部也在進行一些概念驗證專案，例如希望能提升整個IT開發效率的自動生成程式碼（Code Generation）專案、測試Microsoft 365 Copilot如何自動生成Word文件草稿與郵件內容，另外也正在試驗文件自動生成摘要、協助OEM團隊整理券商報告與相關資料，並且生成文件提供給研究員參閱等等。
國泰金控數數發中心副總經理梁明喬（中）指出，國泰最終的願景是希望能夠實現AI Native。左為國泰金控數數發中心數據暨人工智慧科技部協理劉浩翔，右為國泰金控數數發中心數據暨人工智慧科技部專案經理徐宜安。
梁明喬坦承，無論是技術能力、基礎的工程建設，或是資料的語義庫也好，目前都還沒有辦法一舉做到AI助手的第二階段，「國泰並沒有打算自建大型語言模型，但是如此一來，架構設計便很重要，不只生成式AI的技術框架（Framework），包含如何建立國泰專屬的知識庫，還有國泰自己的AI護欄，以及應用場景也都在同步進行中，例如HR同仁每天都要回覆很多詢問，國泰也打算研擬做一個AI助手來幫忙回答員工常見的問題。」
不過他也認為，AI護欄是金融業在開發生成式AI相關應用時，必須關注的主流技術，其目的是為了過濾掉不當的言論或是不該存在的幻覺。在國泰的設計中，會在輸入端與輸出端分別設置一道AI護欄，輸入端的AI護欄主要是篩選不適當的言詞或不該問的問題，例如故意繞過AI安全防護的提示工程攻擊，運用一些暗示的方式繞過限制讓模型去回答一些原本不應該回答的問題。而輸出端的AI護欄則要避免生成式AI講出一些存在幻覺的回答、不存在的事實，以確保模型在回答問題時，有沒有帶有不公平或歧視的狀況或者講出一些不應該在場域裡面出現的話語。
國泰金控數數發中心數據暨人工智慧科技部專案經理徐宜安舉例，就像是企業提供給內部員工使用HR相關的KM（知識管理）系統，員工可以詢問出勤規則、能不能休假，卻不能藉此打探某位同仁的薪資，當遇到這種情況時，AI護欄就應該要能夠阻擋。又或者若故意用情勒的方式來誘騙生成式AI回答一些疑似不道德、有害，或懷有惡意的問題，在專業的場域內也應該要能加以阻擋或掌控。「雖然大型語言模型都已有提供這類不當輸入或輸出的控制機制，但是國泰還是會加上自己內部的護欄，同時在上線時也會進行評測。」
顛覆AI看法 既是使用者也是創造者
依據AI CoE的分類，生成式AI的應用場景大致可分為三大類，一是面對客戶類型，可分為間接面對客戶與直接面對客戶，其中理專助手、客服助手屬於間接面對客戶的應用，主要是協助提供資料給行員，讓行員向客戶進行說明。而直接面對客戶的應用目前還在評估與衡量中。另一類則是針對行內的員工助手，國泰最終的願景是希望能夠實現AI Native，包含作業、流程、生成，都能夠自助實現，因此現在也在搭建內部的員工助手平台，未來員工可以自行拖拉或建置所要的AI服務。
梁明喬認為，有別於前幾年所談論的機器學習、NLP、ChatBot等AI相關的議題，總讓人覺得這是資料科學家在做的事情，生成式AI這種更直覺的對話，反而更親民，大家都是使用者，也是創造者。這也是為何國泰認為，AI一定會走向Native，未來在Edge端，AI不只協助查詢資訊，還可以順手幫忙訂票，屆時將會顛覆大家對AI的看法，「不只是問Siri現在天氣如何，而是真的可以幫你做各種事，變成真的助手，就像你的秘書一樣。」