「開放全球應用程式安全計畫」（OWASP）的十大風險清單一直是企業改善軟體安全最具指標性的一份參考資料。2023年，OWASP又增加了一份專門針對AI的風險清單。AI風險清單分別在該年的春季和夏季發布了兩個草稿版本，而第一份正式版也在當年的10月發布。
二十多年來，「開放全球應用程式安全計畫」（Open Worldwide Application Security Project，簡稱OWASP）的十大風險清單一直是企業改善軟體安全最具指標性的一份參考資料。2023年，OWASP又增加了一份新的清單，那就是專門針對AI的風險清單。AI風險清單分別在該年的春季和夏季發布了兩個草稿版本，而第一份正式版也在當年的10月發布。
從那時起，大型語言模型（LLM）作為提升商業生產力的工具，地位變得更加穩固。大多數企業不是正在使用AI，就是正在探索如何運用AI。儘管大家都知道LLM存在著一些麻煩，例如你永遠必須檢驗LLM的輸出結果，但有些問題卻鮮為人知。
OWASP發現的三個漏洞風險
為此特別做了分析，發現OWASP公布漏洞大致分為三類：
1. 權限濫用和未經授權的動作相關的「存取風險」
2. 資料遭篡改或服務中斷這類的「資料風險」
3. 因不良的AI輸出或動作而導致的「商譽和業務風險」
以下進一步探討每一類風險的細節，並提供一些建議對策。
AI的存取風險
在OWASP的十大漏洞當中，有三個漏洞跟存取與權限濫用有關：不安全的擴充功能（Plugin）、不安全的輸出處理方式，以及賦予過多的代理權限。
根據OWASP表示，LLM若使用了不安全的擴充功能，有可能失去存取控管能力，讓自己暴露於惡意請求的風險，或執行未經授權的遠端程式碼。另一方面，擴充功能或應用程式若以不安全的方式處理大型語言模型的「輸出」卻未加以查驗，很容易讓後台系統遭到跨網站腳本（XSS）、跨網站請求偽造（CSRF）以及伺服器端請求偽造（SSRF）攻擊，進而執行一些不當的動作，同時也會暴露於未經授權的權限提升以及執行遠端程式碼的風險。
此外，由於AI聊天機器人有時也會扮演「採取行動」的角色，所以會做出一些決策或將決策付諸實行，因此它們被賦予多大的裁量空間（也就是代理權限）就很重要。正如OWASP所解釋：「過多的代理權限可能會因為LLM輸出了非預期或含糊的結果而執行了一些損害性動作，不論導致LLM失靈的原因為何，例如LLM自己的幻覺／虛構、直接／間接的提示注入、惡意的擴充功能、設計不良的無害提示，或單純只是模型本身的問題。」
比方說，一個具備發信功能的個人郵件助理，就有可能遭到惡意郵件利用，進而藉由使用者的帳號廣發垃圾郵件。 在所有上述情況當中，大型語言模型已成為歹徒滲透系統的一種途徑。
AI與資料風險
訓練資料被下毒、供應鏈漏洞、機敏資料外流、提示注入漏洞以及阻斷服務，這些全都是跟資料相關的AI風險。
當AI系統從不可靠或未經審查的來源學習時，資料就有可能被不肖之徒蓄意或意外下毒。不論是使用中的AI聊天機器人，或是LLM供應鏈，都有可能出現這兩種資料下毒的情況。因為使用預先訓練的模型、群眾外包的資料，以及不安全的擴充功能，都有可能輸出含有偏差的資料，或者發生資安事件或系統故障。
資料與供應鏈被下毒是輸入的問題，而允許私密、機密、個人身分識別資訊之類的資料進入模型訓練資料當中，則可能導致機敏資訊意外洩露。
至於提示注入的問題，意圖不良的輸入有可能導致大型語言模型AI聊天機器人揭露一些原本應該保密的資料，或執行一些可能導致資料外洩的其他動作。
AI阻斷服務攻擊類似於傳統的DoS攻擊，其目標是要癱瘓大型語言模型，讓使用者無法存取資料和應用程式，或者迫使系統消耗過多的資源，使得帳單因而飆高（因為許多AI聊天機器人都使用按用量付費的IT基礎架構）。
AI相關的商譽及業務風險
最後兩個OWASP漏洞跟模型失竊以及過度依賴AI有關。前者指的是企業擁有自己專屬LLM模型的情況。假使該模型遭未經授權的使用者存取、複製或外流，那就可能被用來打擊企業的業務並削弱其競爭力，而且還可能造成機敏資訊外流。
過度依賴AI的後果今日已在世界各地顯現，有關大型語言模型產生錯誤或不當輸出的傳聞從未間斷：從引用虛構的資料和先前判例，到發表種族歧視與性歧視的言論等等。
OWASP指出，在沒有適當監督的情況下依靠AI聊天機器人，很可能讓企業陷入發布假訊息或冒犯內容的危險，進而導致商譽損失，甚至是法律訴訟。
既然有這麼多各式各樣的風險，那問題來了：我們該怎麼辦呢？
所幸，企業還是有些保護措施可以採用。
大型企業該如何處理AI的漏洞
趨勢科技認為，要防範AI的存取風險，需要採取一種零信任的資安立場，並且有紀律地將系統隔離（沙盒化）。儘管生成式AI可能對零信任防禦造成其他IT系統不會出現的挑戰（因為它可模仿受信任的個體），但零信任防禦還是可以加入一些機制讓不當的行為更容易被發現並加以制止。
此外，OWASP也建議不應該讓大型語言模型「自己審查自己」，而是需要在應用程式開發介面（API）當中加入一些管控。
沙盒化對於保護資料的隱私和完整也同樣重要：將機密資訊與可分享的資料徹底分離，並且讓AI聊天機器人及其他對外公開的系統無法存取機密資訊。
良好的資料分離可防止大型語言模型在對外的輸出當中包含私密資料或個人身分識別資訊，同時也防止它被公開要求以不當方式和一些安全的應用程式互動，例如支付系統。
在商譽風險方面，最簡單的解決之道就是不要單純只仰賴AI生成的內容或程式碼，而且絕對不要在未經查核其真偽、準確性或可靠性之前就直接將AI輸出的內容拿來發布或使用。
企業可以（而且也應該）在政策當中加入一些這類防範措施，一旦有了適當的政策作基礎，就可以採取一些資安技術，例如端點偵測及回應（EDR）、延伸式偵測及回應（XDR）、資安事件管理（SIEM）系統來落實政策並監控任何可能有害的活動。
大型語言模型AI聊天機器人的時代已經來臨
OWASP的AI風險清單，證明了急於擁抱AI所帶來的各種疑慮，確實值得商榷。此外，AI的時代顯然已經來臨，所以最重要的是要了解其風險並採取負責任的作法來加以防範。
建立適當的AI運用管理政策，並藉由網路資安解決方案的協助來落實政策，是不錯的第一步，企業務必持續保持關注。趨勢科技的看法是：OWASP的十大AI風險清單勢必成為年度必讀的一份參考資料，如同其2003年開始至今的應用程式安全清單一樣。
＜本文作者：黃于珊，目前為執業律師。輔仁大學圖書資訊與資訊管理雙學士，交通大學科技法律研究所碩士，美國華盛頓大學智慧財產權法碩士，曾擔任系統工程師、專利工程師。專攻領域為智慧財產權法、個人資料保護法、高科技產業議題及資訊通訊法等。＞