中國信託 生成式AI AI治理 雲端 金融業運用人工智慧(AI)指引 RAG LLM 大型語言模型

GPT-2時代即導入生成式AI 自始嚴守金融業安全精準要求

AI治理如煞車不能僅油門 中信銀設多重安控檢核

2024-10-15
對金融產業而言,生成式AI不僅可是用來提高生產力、效率、優化使用體驗,甚至還能形塑出未來金融的新服務,引領變革。然而,生成式AI也不並非全然沒有風險,眾所周知的幻覺、偏見、資料隱私以及公平與安全問題,也經常伴隨著深度討論。

自Bank 2.0網路銀行時代以來,過去數十年,科技對於金融服務生態系統的迭代一直有著深遠的影響力,時至今日,金融商業模式已從隨處金融Bank 3.0時代走向形塑無所不在的Bank 4.0銀行服務,而這其中,人工智慧(AI)、機器學習(ML)以及大數據的崛起,無疑是金融服務走向任型金融(Banking Any Type)的重要推手。2022年11月ChatGPT上線,再加上圖形處理器GPU算力精進,更加速金融產業典範轉移之路,許多金融機構正在積極探索生成式AI(Gen AI),找尋提高生產力、客戶服務體驗以及商業模式的創新潛力。

中國信託商業銀行(中信銀行)也是積極的探索者之一。早在ChatGPT爆紅之前,便已經將開源GPT-2試驗在內部行銷應用場景以及產業分析中。中信銀行數位科技處處長王俊權資深副總指出,一開始的發想其實是有鑑於行銷PM同仁經常會發短文本,將行銷訊息提供給客戶,為了協助PM製作行銷文案,於是啟動了試驗文字生成的「張愛玲」專案,不過由於GPT-2模型僅有近15億的參數,並不算大,因此上線前,須與業務單位進行大量的測試與訓練。

他回憶,當時同仁還笑稱「張愛玲」只能算是幼兒期,後來參考Facebook小編如何寫文案進步到留學期,而後進入到實際應用在外幣推廣的就業期。隨著「張愛玲」專案的不斷進化,現在也改名為「理財生花筆」,把妙筆生花應用在財富管理業務。而第二個應用場景則是產業研究分析,主要是希望運用生成式AI歸納的能力,試驗生成式AI能否像人一樣歸納出產業報告的重點,例如新趨勢、新科技、新商機等等,經實驗後成效也非常不錯。

建構知識型資料庫是優先要務

儘管早早就將生成式AI應用在個人金融與法人金融,但隨著ChatGPT的能力越來越強,中信銀行反而對於生成式AI的落地應用越趨謹慎,「金融產業向來是高度監管的行業,對資安非常看重,萬一同仁誤用而導致客戶資料外洩,將造成很大的影響。而且直到今日,就算有再大的語言模型在背後驅動,生成式AI還是有出現錯誤的機率,但是金融本身又是一個要求精準的行業,與客戶溝通的過程絕不能出錯,」王俊權提到,這也是為何多數金融同業會優先將生成式AI應用在人機協作上的原因,讓最後的決策權掌握在人員手上,便可以有效減少資安風險以及精準與正確率問題。 

事實上,不光是資安與精準度的課題,眾所周知,生成式AI有較大的算力需求,尤其是直面客戶(Direct to Customer)的應用對算力的要求更甚,但目前多數金融機構的算力環境仍不足以支撐非常個人化的應用,而這涉及的並不只是GPU設備的採購成本,還包含為了支撐GPU算力需要耗費大量電力以及是否有足夠機房空間的考量,另外,專業人力部署與監管合規要求也是亟需面對的挑戰。

「但是在此之前,梳理知識型資料、並將其轉換成向量資料庫,是金融導入生成式AI過程中須先經歷的階段過程,」他解釋,多年以來,金融機構加速資料治理、打造數據中台,為的即是希望匯整資料,打破資料孤島,實現資料的共享與再利用。但是這些數十年來所累積的數據資料,例如存款交易歷史檔、卡務帳務交易或是KYC(Know Your Customer)等等,多數都屬於結構化資料,而生成式AI需要的是「知識」型的資料,過往這些資料並不會餵給系統或機器來讀取,因此絕大部分都還沒有進到資料庫,例如保單的所有理賠項目以及權益通常不會存放在資料庫中,換言之,光是做好客戶的數據資料還不夠,在導入生成式AI之前,建構知識型的資料庫也是優先要務。

設檢核機制 確保正確與合規性

除了技術的快速迭代與創新外,生成式AI越來越貼近人類看待事務與理解能力,更是降低入門門檻、推進未來普及應用的一大助力。對金融產業而言,生成式AI不僅可是用來提高生產力、效率、優化使用體驗,甚至還能形塑出未來金融的新服務,引領變革。然而,生成式AI也並非全然沒有風險,眾所周知的幻覺、偏見、資料隱私以及公平與安全問題,也經常伴隨著深度討論。

中信銀行數位科技處處長王俊權資深副總指出,生成式AI需要的是「知識」型的資料,這些資料絕大部分都還沒有進到資料庫,在導入生成式AI之前,建構知識型的資料庫也是優先要務。

王俊權觀察,從金融應用的角度來看,大型語言模型可分成兩類,一是開源模型,如Llama 3,另一類則是閉源的應用,目前這兩種方式各有金融機構選擇。而中國信託則是兩種都採用,主要是依場景選擇適用的模型。例如,中國信託已採購微軟Microsoft 365 Copilot讓300位種子同仁開始試行採用,但針對希望能創造獨特競爭優勢的場景,就會希望能自行研發,這時就會採用開源模型。 他同時也認為,未來生成式AI的架構一定是雲地混合。「許多人認知中的ChatGPT以為只要下Prompt詢問,回覆就會立刻呈現。但實務上,在金融應用,這個答案可能是在內部問了好幾輪後才做出回應,而且還須經過正確性的檢核,極有可能運用地端模型來檢核雲端結果,因此在金融生成式AI的整體應用流程中,不會只有單一模型,也不會只是單一回答就結束。」而這也意謂著企業必須打造生成式AI平台,而且平台內會有很多模型,除了問題的檢核外,還要有除錯、計費與安控等機制。

例如中信銀行近期便正在試驗生成式AI助理的把關機制,包含個人化資訊檢核、產品知識庫檢核、AI檢核AI等,總計有六道檢核機制,最後才會把結果呈現給客戶。王俊權強調,雖然AI智能助理服務還在內部研發階段,但無論是面對客戶服務或對內員工的服務,面對生成式AI應用,中信銀行都會採用不同程度的檢核機制控管,以確保回覆內容的正確性及合規性,未來也會持續調整,未必僅有六道機制。「這就是合憲AI(Constitutional AI)的概念,因為生成式AI真的很容易出現幻覺,需要一個執法者去照看,避免生成錯誤的結果。」

治理與業務價值平衡的賽局

自2016年開始成立區塊鏈實驗室、2017年制定數位化策略和目標,一路走來,中國信託商業銀行藉由數位轉型不斷推進數位服務力。包含2018年成立「數據研究發展中心」、導入Edge方法論機制;2019年啟動核心轉型雲端遷移規劃,2020年發展AI六大技術應用建置「中信腦」;2022年以大數據與人工智慧,架構個人專屬智能化金融體驗場景,讓數位金融走入生活場景,藉由拓展服務場景,攜手夥伴串起金融生態圈,隨時隨地提供最有溫度的金融服務。而後積極探索生成式AI技術,以多年累積的數據基礎,展開AI旅程,期許開發新的服務與應用模式,同時提供更好的用戶體驗。

王俊權認為,相較金融科技四大核心技術—人工智慧(AI)、區塊鏈(Blockchain)、雲端運算(Cloud)、數據(Data),生成式AI更有機會實現創意型或直面客戶的應用,現今多數企業聚焦的是生成式AI的歸納與應對能力,但是隨著技術不斷的演進,AI Agent才是金融創新業務的關鍵,藉由成熟的多模態技術,由AI自主規劃、執行與完成任務,真正實現商業模式的創新與變革。

然而,即便如此,在金融應用場景中也不會只採用單一技術,而是混搭策略,一個真正厲害的專案是讓不同的技術扮演好各自的角色,從這個觀點來看,生成式AI只是扮演其中一個節點。「如果讓生成式AI獨撐大局,坦白說還是會有技術的局限性,混搭且找到商業模式才是能不能走下去的重要關鍵。」王俊權認為,除了要能答對問題、具有投資的業務價值,以及混搭科技之外,AI治理也很重要,如同跑車更要搭配一個好的煞車而不是只有油門,生成式AI如果沒有很好的監控機制,可能會是場災難,因此生成式AI一定得搭配AI治理,「這波浪潮是治理與業務價值平衡的賽局,只有雙邊平衡,才能發揮出最大的功能。」

摸索技術工具與監控指標 接軌監理方向

為鼓勵金融機構善用科技,金管會於今年六月發布「金融業運用AI指引」,以作為金融機構導入、使用及管理AI的參考。此次發布主要分為總則及六大章節,其中總則主要說明AI相關定義、AI系統生命週期、風險評估考量因素、以風險為基礎落實核心原則的方式、第三方業者的監督管理等共通事項;六大章節則分別說明金融業在落實六項核心原則時,依AI生命週期及所評估的風險,宜關注的重點以及可採行的措施,包括目的、主要概念,以及各原則相應的注意事項、落實方式或採行措施等。

自2016年開始成立區塊鏈實驗室、2017年制定數位化策略和目標,一路走來,中國信託藉由數位轉型不斷推進數位服務力。未來,AI將站在數位化所累積的數據基礎上,開發出新的服務應用模式。

其中,針對金融機構應對其使用之AI系統承擔相應之內部責任,包含指定高階主管負責AI關監督管理並建立內部治理方面,中國信託原本就設有數據治理委員會,早在指引發布之前,便已將AI治理納入,未來將會正式改為數據暨AI治理委員會。畢竟AI的應用需要以數據為基礎,把知識與數據治理好後,方能有效治理AI。

此外,針對六項核心原則所提到的相關指標監控,中國信託目前也正在摸索與規劃中,未來也不排除與顧問公司合作。「有些管理型的顧問公司,比較擅長治理制度、框架以及生命週期,另外也有些技術類的顧問,會提供屬於監控類的工具平台方法論,一般情況下,通常會管理顧問公司搭配技術顧問來落實。」他提到,目前中國信託比較有把握的是管理制度面,而該採用哪些技術來監控什麼指標,其實還在摸索中,「挑戰點其實是每家金控或銀行導入的模型不同,監理指標也會有所不同,如何找出共通性,同時反映不同金融機構的差異性,坦白說,現在業界也還在摸著石頭過河的狀態,但中國信託把目標設在年底,希望屆時能擬定一些制度與章程,與監理方向接軌。」


追蹤我們Featrue us

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!