隨著人工智慧技術的快速發展，AI生成程式碼在軟體開發中的應用愈來愈普遍，特別是在加速開發過程及提升創造力方面顯示出巨大的潛力。國際研究機構Gartner表示，約有60%企業在開發過程中已採用AI生成程式碼技術，其中35%企業將其應用於核心產品開發。
隨著人工智慧技術的快速發展，AI生成程式碼在軟體開發中的應用愈來愈普遍，特別是在加速開發過程及提升創造力方面顯示出巨大的潛力。國際研究機構Gartner表示，約有60%企業在開發過程中已採用AI生成程式碼技術，其中35%企業將其應用於核心產品開發。主要案例包括Google已有超過四分之一的新開發程式碼是由AI生成，工程師僅負責審查，進而大幅提升工作效率；Amazon執行長表示AI生成程式碼為該公司節省了相當於4,500人年的工作量，其中79%由AI產生的程式碼審查在沒有進行任何額外更改的情況下交付，進一步強調了AI工具的可用性及準確性。
一鍵生成程式碼，十倍效率百般憂
AI生成程式碼正逐漸成為企業開發的關鍵工具，這些生成工具或AI Agent能根據簡單的描述或任務指派，快速生成複雜的程式碼片段，使得開發者能專注於更高層次的設計、審核與問題解決。
然而，這種便利也帶來了一些新的挑戰，尤其是與程式碼安全性有關的風險，潛藏的安全隱憂不容忽視，特別是AI生成程式碼的黑盒子特性以及對訓練資料的關聯破碎、套件幻覺、智財版權等問題，都有可能導致潛在的安全漏洞與合規風險。
訓練資料來源的碎片化及潛藏漏洞提高資安風險
AI生成程式碼的主要風險之一來自於訓練資料的來源碎片化，由於AI模型使用大量不同來源的程式碼進行訓練，包括開源專案、內部專案及第三方工具等，導致生成的程式碼可能包含未經驗證、潛藏漏洞或不安全的程式碼片段。在一般開源軟體的情境下，漏洞通常會由開發人員主動通報，並且透過開源社群或官方管道發布更新修補程式。惟AI生成程式碼的方式迥異，既沒有明確的來源，也缺乏社群通報機制。因此，就算漏洞已在原始的開源項目中完成修補，使用者仍難以有效追溯程式碼來源並即時更新，導致漏洞管理上的風險。
此外，碎片化的來源增加了安全審核的困難度，特別是當訓練資料中混入惡意程式碼或未授權的商業程式碼時，可能引發安全隱憂及法律糾紛。例如，某些開源程式碼中可能包含已知的漏洞，若AI未能識別並加以過濾，這些漏洞將被傳遞到最終生成的產品中，從而對系統的安全性構成威脅。此外，由於AI訓練模型通常關聯於各種來源的程式碼，其合規性和版權問題也變得更加複雜。未經授權的商業程式碼片段被納入訓練資料中，可能引發版權爭議，使得企業面臨法律訴訟等風險。
套件幻覺可能淪為駭客使用工具，成為新型態的模型APT
另一個必須被關注的風險是套件幻覺（Package Hallucination）。透過AI生成程式碼時，可能會引用不存在的函式庫或模組，這種現象被稱為「套件幻覺」。駭客發現AI模型存在套件幻覺問題時，可能創建與幻覺函式庫同樣名稱的惡意函式庫，藉此誘騙開發者使用這些惡意套件。駭客藉由監控開源社群中的AI生成程式碼趨勢，並快速創建與虛構名稱匹配的惡意套件，以便在開發者尋找相應關聯項時誤用了此惡意套件。更有甚者，初期此惡意套件中不會潛藏攻擊程式，待此套件擴散並被使用一段時間後，再改版注入攻擊程式，便可能讓使用者放心使用而失去警覺。
根據TechRadar的報告，以常見的程式軟體功能讓AI模型進行生成程式碼時，約有24%的情況會產生虛構的關聯項，顯示駭客有相當高的機會創建同名的惡意套件以進行攻擊。這些虛構關聯項的重複率相對較高，特別是GPT-4在24.2%的回應中產生虛構套件，其中19.6%的情況下甚至重複相同的名稱。在此情境下，攻擊者不必知道使用者所撰寫的程式功能會出現哪些套件幻覺，只要以通用的軟體功能來對常用AI模型進行測試，就可以利用重複生成的套件名稱來準備針對性攻擊，增加了攻擊的可利用性，成為新型態的模型APT（Advanced Persistent Threat）。
導入SBOM強化程式碼管理與供應鏈透明化
傳統的原始碼掃描工具通常基於靜態分析方法，關聯於既有的簽名或已知的漏洞資料庫來識別程式碼中的安全問題。然而，AI生成的程式碼具有碎片化來源的特性，使得傳統工具在掃描和識別漏洞時面臨挑戰。首先，這些工具無法有效地處理程式碼片段來自多個未經標記的來源，導致對於漏洞的追溯與修補變得困難。其次，AI生成的程式碼可能融合多個來源的程式片段，這些片段可能沒有遵循標準化的開發及管理流程，進一步增加了傳統工具識別與修正漏洞的難度。
除了溯源工具和軟體元件分析，企業更可進一步將溯源和組件分析結果納入軟體物料清單（SBOM）管理，以提高對軟體元件的可視性。SBOM詳細列出軟體中所使用的所有組件及其來源的清單，能夠幫助開發者和企業了解所有開源和第三方的組件。當開源專案的漏洞被修補時，SBOM還可以幫助開發者快速確定受影響的軟體元件，從而即時安全更新、減少漏洞風險。SBOM不僅提供了對軟體元件的透明度，還有助於將溯源與漏洞修補流程整合，形成完整的風險管理閉環。此外，SBOM有助於供應鏈的透明化，確保每個組件的使用都是有跡可循，從而降低因未知關聯而導致的供應鏈攻擊風險。
水可載舟亦可覆舟，享受AI紅利下更須居安思危
AI生成程式碼技術在提升開發效率和創造力方面具有顯著優勢，但同時也帶來一系列全新的資安挑戰。從程式碼來源碎片化、套件幻覺，到對關聯項的管理不足，都對系統的整體安全性構成了潛在威脅。企業必須積極採用多層次的應對措施，方能有效的追溯和管理來源，確保訓練資料和生成程式碼的合規性。
最後，AI生成程式碼的安全應用需要更加全面而嚴謹的資安規範與導入對策，在技術創新與安全性之間取得平衡，以保障系統的穩定性與可靠度，並在最大化AI技術所帶來的效率提升之際，最小化資安的風險與威脅。
＜本文作者：本文作者朱南勳現任資策會MIC主任，專業於軟體與通訊產業研究，長期關注前瞻軟體應用與通訊技術發展趨勢。曾於緯創資通公司擔任產品經理、趨勢科技公司擔任市場競爭力研究員，負責新產品認證開發與國際電腦大廠專案，並曾任經濟部技術處5G辦公室副主任。資策會產業情報研究所（MIC）長期觀測高科技產業市場情報與發展趨勢，是臺灣資通訊產業與政府倚重的專業智庫。＞