AI新興科技發展日新月異,數位發展部已展開AI評測工作,並在台北科技大學舉辦「AI產品與系統評測中心」啟動活動,由數位部部長唐鳳、行政院政委兼國科會主委吳政忠及行政院相關部會機關、國內外語言模型開發商(如:TAIDE、Meta、微軟等)與公協會蒞臨參與,藉由AI評測中心以建立我國公平、可靠的AI產品與系統評測機制,健全我國AI評測制度與可信任AI環境發展。
唐部長表示,AI快速發展也帶來衝擊與影響,國際上朝向安全方向發展。另外,因每個地方文化背景不同,可能同一句話在不同地方會有不同解讀,因此AI的發展不能只是交由國際大廠片面決定,而應是透過微調去適應各地方文化背景,更符合當地實際需要。因此數位部也將積極蒐集社會期待轉化為AI評測指引,並歡迎像是Meta、微軟、Google等國際大廠接受評測,朝向可信任且安全的AI發展。
為降低AI科技發展帶來之潛在負面影響,數位部目前已偕同工業技術研究院與國家資通安全研究院等機關展開AI評測工作,藉由研析國際組織與重點國家之AI政策、標準及規範,借鏡推動作法,逐步建立我國AI評測制度與規範。
目前已先參考國際主要AI規範,建立語言模型(Large Language Model, LLM)的初步評測項目,涵蓋安全性(Safety)、可解釋性(Explainable)、彈性(Resilient)、公平性(Fair)、準確性(Accuracy)、透明性(Transparency)、當責性(Accountable)、可靠性(Reliability)、隱私(Privacy)及資安(Secure)等10項,並已陸續展開初步測試,推動可信任AI相關應用與產品發展。
AI評測中心涵蓋制度推動委員會、技術審議小組等架構,將制定「AI產品與系統評測制度」與「AI產品與系統評測指引」,建構我國AI產品與系統遵循之評測方式與規範,提供國內AI產品評測服務,以期保障產品使用者權益,並將陸續於明(113)年成立驗證機構、測試實驗室,提供AI評測與驗證服務,達到促進AI產業正向發展之目的,確保AI技術可被正確使用,提升國內AI產品效能與安全,為我國推動可信任AI環境發展邁出重要的一步。
AI評測中心未來將致力於推動國內自行研發AI模型功效評測工具,針對不同產品、系統與服務類別,參考對應之國際試驗方法,來發展我國對應之評測工具與系統,符合國內試驗需求。預計明(113)年將持續針對語言模型進行評測,以期協助AI產品與系統開發者,提供可信任的AI產品、系統與服務。數位部也將針對不同的AI系統、產品與服務的評測類型,邀請相關部會參與評測工作,進行跨部會合作。
透過建置我國可信任AI環境,將有助於與國際接軌,推動我國合規AI產品邁向國際舞台,加速拓展國際市場。未來AI評測中心將持續與各界對話,研析產業需求與國內外AI應用趨勢,建構更安全、更可靠之AI評測環境。