玉山金控 生成式AI AI治理 雲端 金融業運用人工智慧(AI)指引 RAG LLM 大型語言模型

率先啟用通用型GenAI平台GENIE 持續進化13種服務上線

智能助理下階段直面客戶 玉山引爆多元金融應用

2024-10-16
已上線的GENIE平台主要是採用閉源的大型語言模型,亦即運用微軟Azure OpenAI(AOAI)服務,預設便有資料保護機制能夠防止資料外流,而玉山為了確保資訊安全也特別申請一項專利,提供類似資料外洩防護(DLP)的機制來進行資料保護。至於在提升精準度方面,玉山也擁有建豐富的金融知識庫,可以藉由RAG技術來強化實現。

緊追生成式AI技術演進,玉山銀行在今年初率先啟用通用型GenAI平台GENIE,成為玉山銀行OA智能助理,增添了數位轉型的關鍵驅動力。這款平台的特色不只在於能提供智能對話,還結合了玉山獨有知識庫,包含金融業專有的業務場景知識以及金融產品資訊,並且加強資安風險把關。

玉山金控科技長張智星回憶,2022年ChatGPT剛推出時,一試用就覺得應該可以應用在銀行業務場景中,於是趕在2022年底之前舉辦一場黑客松活動,帶領100位智能金融處的同仁,腦力激盪發想可能的應用場景。發展至今,GENIE平台可以串接ChatGPT、Gemini以及Claude,而且為了確保上傳的資料不會包含個資以及公司機敏資料,還特別設計了檢查機制,資料會先經檢查確認沒問題後才會上傳到雲端,而生成的文字、圖片或是摘要就可以回到行內,進行各式各樣的加值再利用。

「雖然,初期是設定給銀行內部使用,但未來也希望能直面客戶,而這也是玉山現在正在努力的目標,尤其是要避免大型語言模型(LLM)產生幻覺,畢竟一旦有幻覺,不但回覆的答案不正確,還有可能完全反向,造成各式各樣的客訴問題。」他提到,不只玉山正在找尋更好的機制,包含Google、Microsoft等LLM供應商也意識到此一問題,正在努力把幻覺降到最低。

運用GitHub Copilot提升程式開發效率

長期致力於金融科技發展與應用,玉山金控投入AI已有多年,2018年設置科技長,並開始建立專屬AI生產技術工具;2019年將原有大數據分析團隊CRV轉型為智能金融處,由科技長擔任處長,專門打造AI應用;2021年,玉山AI更在賦能、風控、流程、行銷、服務等五大領域遍地開花。

已上線的GENIE平台主要是採用閉源的大型語言模型,亦即運用微軟Azure OpenAI(AOAI)服務,預設便有資料保護能夠防止資料外流,而玉山為了確保資訊安全也特別申請一項專利,提供類似資料外洩防護(DLP)的機制來進行資料保護。至於在提升精準度方面,玉山也擁有建豐富的金融知識庫,可以藉由RAG技術來強化實現。

不過,除了AOAI之外,玉山也採用GitHub Copilot來提升程式開發的效率,而且,更著重於資安與執行效率層面上。他解釋,在程式開發的過程中,開發人員不見得能立即想到漏洞,很多時候其實是小細節出問題,如果有了Copilot來協助,便可寫出相對安全的程式,例如可以先生成一個版本再來檢視,比起開發人員自己思考,速度會快得多。另外,程式開發時,有時候會直覺想要採用一些習慣的方法,但透過GitHub Copilot的協助,其實能有機會讓效能更好。

張智星指出,打造GENIE平台的目的,主要是希望生成式AI能成為同仁們工作中的一環,舉例而言,在開會時可以直接啟動會議記錄系統,會議過程直接錄音,會後就能送出會議記錄,不只會自動生成文字摘要,更重要的是連待辦事項都會自動生成出來,「而且我們還專門設計了演算法,現在生成式AI摘要的重點做得比同仁手工還要好。」

從桌機到行動版 GENIE 2.0持續進化

如果仔細攤開GENIE平台的時間軸,從開發到上線僅僅只花了一年左右的工夫,徹底打破了大型企業很難快速擁抱新科技的刻版印象,也足以顯見玉山的行動力。而且從中也可以看到很多細節,包含喚起高階主管意識、凝聚成員共識、成立工作小組的作法,足以作為生成式AI導入的參考。

● 探索前期—展開行內首波GAI(生成式AI)黑客松、投入LLM/RAG等技術研究、針對特別應用如KYC進行概念驗證(PoC)。

● 喚起意識、組成戰隊—為了讓銀行成員能有共識,2023年3月先對玉山高階長官GAI科普課程喚起意識,並成立全銀行GAI工作小組。

● 豐富潛在場景—2023年3月至6月期間,到各單位推廣特定主題式的GAI工作坊(Workshop);與此同時,GAI工作小組也開始確認法規與需求形塑。

● 鎖定未來發展—2023年6月至9月,GAI小組開始收斂需求建構長期發展藍圖,並著手建構GENIE平台,完善應用規範。

● 回饋檢視、穩定布局—2023年9月至12月,GENIE試營運蒐集回饋,建構特定型應用。

● 服務上線、往前推展—2024年1月正式上線。特定型應用(RAG+GAI)上線前測試。

而且目前GENIE平台還在不斷進化當中,GENIE 2.0可視為是GENIE行動版,再加GitHub Copilot,共可提供13種應用與服務,包含會議記錄系統、文檔翻譯、海外開戶EDD、國內開戶EDD、負面新聞分類、Finbuddy(行員隨身助理)、公文關鍵資訊擷取、外部新聞彙整、語音質檢分析以及隱私保護處理閘道等等。

「相較於GENIE 1.0版,GENIE 2.0最大的差異是多模態架構增加了錄音與圖片,以往只能透過純文字,現在可以使用音訊檔案,甚至連圖片都可以上傳處理。而且GENIE 1.0只能在桌機使用,而GENIE 2.0則可應用在行動裝置上,同時背後會帶入玉山的核心服務PathFinder,」張智星提到,未來在這個平台上,將會有越來越多的子功能,「進入AI時代後,並不會在意有多少系統,在意的是它能完成多少功能與服務,舉例而言,一件事底下可能會有很多子任務,這些都希望生成式AI能夠自動完成剩下的工作,也是AI Agent的定位與角色。」

不光是平台的精進,在應用場景方面,玉山現在也在研發隨行理專2.0,未來理專可以在上面詢問任何投資相關的訊息,例如台股表現、美股表現,甚至可連接到時事,諸如俄烏戰爭對整個經濟情況有什麼影響等等,將這些訊息綜合提供給顧客,同時帶進玉山的相關業務連結。

找出可疑車手防金融詐欺

面對日益猖獗的詐騙手法,如何維持金融數位安全也成為金融業亟需面對的課題,過去銀行會運用傳統型AI在反詐欺、反洗錢等領域中,如今生成式AI也能應用在提早找出異常的分行,找出可疑的詐欺車手。

「這是玉山銀行內部正在實驗的專案,就是透過分析分行的監視器來找尋有無可疑的詐欺車手。」張智星解釋,整個詐騙流程的起點,其實就是車手來到銀行轉帳或是領款的當下,這些資訊可能早就在分行發生了,雖然分行普遍都設有監視器把畫面錄下來,但事後並沒有人會再回看這些畫面,一方面專門設置人力來看這些監控影像,似乎不太合乎成本效益,而且查看時該如何判斷與評估又是另一個問題。如果能夠讓生成式AI來回看畫面,並且針對可疑的畫面「看圖說故事」,便有機會找出異常。

玉山金控科技長張智星指出,未來在GENIE平台上,將會有越來越多的應用場景與服務推出。

舉例而言,生成式AI可能會對某人正站在機器前方的圖片發出告警,於是生成式AI可能會產出下面一段文字來解釋:

「根據這張照片,我可以看到一個正在ATM機前的人。該人站在機器前方,身體稍微向前傾斜,手部伸入ATM機器中,可能正在進行取款的動作。他的身高大約介於170至180公分之間,體型中等。他穿著一件深色外套和藍色牛仔褲,腳上可能是一雙運動鞋。他的頭髮蓬亂,看起來可能是中短髮,從他的姿勢和動作來看,似乎有一些熟悉操作ATM的經驗,手勢熟練而自然。」

「可能有些人會懷疑,這樣真的有用嗎?結果還真的找到漏網之魚,後來我們把漏掉的帳戶設控起來,」他提到,現在的詐騙集團常採用多層次的手法來詐騙,可能鋪陳很久,但是在騙完後一小時內就會把錢轉走,很多早上受騙的客戶直到晚上才驚覺被詐騙,但為時已晚。如果能想辦法來即時因應,就有機會能即早攔截。利用Gen AI找出異常的分行狀況,將有助於及早查覺防範。

專利技術防資料外洩

生成式AI再度掀起AI應用浪潮,然而因為AI工具所造成的歧視與偏見、隱私權課題以及公平性,卻也成為亟需解決的挑戰。國際間也紛紛強化監管和管控的力道,以確保AI系統的公平性、透明度與可被信賴,例如今年六月金管會已發布「金融業運用人工智慧(AI)指引」以做為金融機構導入、使用及管理AI的參考。

張智星提到,玉山原本就有設置資料治理委員會,未來也會有AI治理委員會的組織。針對資料隱私課題,本來資料治理委員會就對隱私非常在意,包含個資、共享等等,也都有個資小組與科技法遵小組來因應處理。而在系統方面,玉山銀行的資訊處本來就有數據中台,所有資料流到數據中台後要轉換成分析資料時,會有對應的加密管理機制與權限管控作為。而智能金融處也會針對應用加上隱私保護機制,為此還特別開發技術並申請了專利,當所有玉山銀行向外做資料交換的時候,會有統一進行資料過濾與保護的閘道器(Gateway),做好隱私保護。

「坦白說,金融業AI指引中的可解釋性、透明性相對難以具體量化,目前玉山也還在摸索相關的細節作法,」他提到,若是能夠推動量化標準,具體有可操作的原則,將更有落實的依據。


追蹤我們Featrue us

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!