資料偏差對於已經利用人工智慧和機器學習的企業來說,已經成為一個日益緊迫的問題,根據Progress委由Insight Avenue進行的一項全球研究,三分之二的高階主管認為,他們的企業目前存在資料偏差,但許多組織都在努力有效地解決這個問題。
對於使用人工智慧(AI)和機器學習(ML)來分析和理解資料的公司來說,可以從大數據中取得可操作的洞察,幫助公司做出更好的業務決策。但資料偏差已成為一個更加突出的問題。隨著企業邁向數位化營運,大量被收集和使用的資料來源並無法全部掌握,機器學習的模型也會依照建模者的偏差,產生非預期有害的結論。
使用偏差的資料做出的決策,對公司財務、IT營運、銷售和戰略將造成嚴重的傷害,更糟糕的是,資料偏差會導致糟糕負面的客戶體驗、損害公司的聲譽。77%的受訪者指出,他們需要做更多的工作來理解和解決企業中的偏見,76%的受訪者表示,如果公司沒有充分解決資料偏差問題,將會產生更廣泛的社會影響。
要如何才能應對資料偏差帶來的風險與威脅呢?在打擊資料偏見方面,企業需要克服幾個障礙。解決資料偏差的主要障礙包括:缺乏對潛在偏差的認知、不了解如何識別偏差的知識,以及缺乏專家資源。隨著越來越多的企業開始依賴人工智慧和機器學習,解決潛在資料偏差的需求變得更加緊迫。
企業需要制定計畫、流程來識別並防止資料偏差,以下是幾個解決和避免資料偏差的思考方向:
1.收集廣泛資料並控制:為避免有偏見的資料,企業應遵循兩個重要步驟。首先,需要收集最廣泛的資料,包括大量專有的結構化和非結構化原始資料。其次,透過工具引擎的分類法對資料進行分類、控制,利用上下文資訊對資料進行元標籤。
2.招聘團隊的多樣性與培訓:人才儲備是持續發展人工智慧運作很大的需求,透過多元人才的投資,並提供資料管理的技術培訓,讓專家從業者可以開發協定來檢測、修復和避免創建有偏見的算法。
3.技術在整個開發流程的落實:整個技術、全端開發與流程中的每個接觸點,都必須考慮資料偏差的現實。這包括資料選擇和準備、業務邏輯開發和分析模型、測試和結果分析的所有面向。只有持續致力於評估和消除,才能確保偏見不會隨著時間的推進而滲入。
每一天,資料偏差會影響所有公司的日常決策,並且會對受害者產生不利影響。從安全、治理以及錯誤的業務決策,到失去客戶信任以及潛在的法律和道德風險。要有效消除資料偏差,正如Progress所秉持的信念,將客戶置於所有一切的中心,在探索AI/ML可以做的所有功能時,確保所有客戶掌握正確的資訊,做出最佳決策來推動業務不斷發展。
<本文作者:John Yang現為Progress 亞太區銷售副總裁>