近來由於人工智慧相關技術的進展，以及資料數據快速累積，使得結合AI的「情緒辨識AI」，可突破過去的應用限制，而備受關注。情緒辨識的運作流程，包括辨識資料收集、資料標記、資料輸入、機器學習與辨識判讀等部分，目前大多數應用採單一資料來源進行辨識。
所謂「情緒辨識」是指運用感測裝置收集的情緒相關資訊進行處理與分析，辨識出對象處於生氣、厭惡、快樂、悲傷、恐懼與驚訝等六種基本情緒之何種情緒狀態的技術。近來由於人工智慧相關技術的進展，以及資料數據快速累積，使得結合AI的「情緒辨識AI」，可突破過去的應用限制，而備受關注。
情緒辨識的運作流程，包括辨識資料收集、資料標記、資料輸入、機器學習與辨識判讀等部分，辨識資料來源主要為臉部表情、語音資料，以及心律、體溫等生理資訊，目前大多數應用採單一資料來源進行辨識，結合兩種或三種資料的多模態情緒辨識則仍在研發階段。
人臉情緒辨識應用最為廣泛
古希臘哲學家亞里斯多德早在二千多年前就提出「臉是心靈之窗」的說法；直至今日，臉部表情依然是人類了解他人感受最直接的方式。過去人臉辨識主要用於身份識別，近來則希望運用軟體透過臉部表情分析情緒。傳統影像處理方法由於對人臉與表情辨識存在視角差異，導致辨識準確率無法提升之課題，大都僅能應用於正面且短距離的人臉情緒識別。結合AI技術運用深層神經網路解決上述視角與光線等變異問題，帶動臉部表情情緒辨識應用朝向多元化發展，目前應用最為廣泛。
臉部動作單元（Facial Action Unit）是構成臉部表情的基本單位，例如眉毛上揚、眉頭深鎖、嘴角外移等。在辨識表情情緒的流程上，首先進行臉部範圍偵測、擷取臉部五官與動作單元，以及臉部動作單元分類與強度判讀，AI針對每一種情緒的強度予以評分，最後得出其辨識出的情緒，不同的臉部動作單元組合，將對應到不同的情緒反應。
臉部表情情緒辨識的應用主要包含零售業顧客體驗改善、廣告行銷即時調整內容、汽車駕駛狀態監測、人才招募之面試者情緒與抗壓性辨識，或用於教學上，協助老師從表情了解學生學習狀況等。例如，實體零售業龍頭沃爾瑪開發臉部表情辨識系統，在結帳處設置攝影機記錄顧客臉部表情與肢體動作，分析顧客在結帳時是否因等候過久等產生不滿，以及不滿程度。若檢測出高不滿情緒，即通知員工處理，緩和客戶情緒，提升購物體驗。
另在汽車上安裝情緒辨識系統，可透過紅外線攝影機等追蹤臉部位置與表情，由AI自行判斷駕駛者清醒或情緒狀態，針對睜眼閉眼的頻率，或是打呵欠等疲勞反應，做出即時因應，此外亦偵測駕駛者的情緒，若AI判讀情緒處於過度開心或生氣狀態時，即介入駕駛功能。
語音辨識解讀隱性情緒
語音是人類最常用、最直接的溝通表達方式，除語意的傳遞外，也包含了語調等聲音情緒之隱性訊息；語音情緒辨識技術即可用來判讀語音通話中可能誤判的隱性訊息，協助使用者對訊息有更正確的解讀。
語音情緒辨識系統建構主要分為訓練與辨識兩個階段，但在建構語音情緒辨識系統前，需要先瞭解手上有那些可用之語音情緒資料，以及其標記狀況。語音資料的來源包含設計互動情境由專業演員演出或廣播節目、電話客服錄音等一般日常對話等。而由於語音情緒的表現會因語言、地域、年齡、性別等不同而有所差異，使用上須審慎評估該資料庫的適切性。
取得足夠語音資料，經過辨別斷句、消除噪音等處理後，擷取聲音頻率、聲音強度、聲音速度等特徵，建立資料庫，方可進入訓練階段。訓練階段首要的工作為訓練出一個可供辨識功能使用的最佳模型，而辨識階段則需要設計出一個好的辨識架構與演算法等，以期能獲得較精準的辨識結果。AI即根據所訓練的辨識模型，進行受測語音與資料庫語音特徵比對，進而辨識受測語音的情緒。
語音情緒辨識的應用包含客服自動化回應服務、醫療照護領域利用語音情緒辨識隨時掌握病人生理與情緒狀態，以避免突發疾病，或獨居老人情緒分享等。自動化回應服務雖可節省大量的人力成本，提升服務效率，但提供的資訊未必是對使用者最有效的資訊。運用語音情緒辨識技術，將更能掌握顧客情緒變化，進而在應答內容中，適度加入具同理心的問候、道歉等詞句，從感性訴求上提升服務品質，優化顧客體驗。
生理反應代表各種情緒變化
生理反應情緒辨識主要透過心跳、呼吸、流汗、溫度、脈搏、皮膚狀況或腦波活動等生理反應數據，轉換為電子訊號進行分析，以辨識情緒變化。上述生理反應透過不同方式進行監測，過去脈搏利用脈搏跳動起伏進行偵測，目前則用光學心率感測儀量測，脈搏跳動快代表壓力或焦慮等；使用皮膚電阻感測器量測皮膚電阻感應狀況，分析緊張或放鬆狀態；近來風行的腦機介面則是測量腦波，分析更深層腦波變化所代表的意義。
目前生理反應情緒辨識主要用於醫療領域，以及娛樂等領域。例如當辨識到心跳加快，判讀病患出現焦慮反應時，裝置即釋放一些可以穩定心情的香氣。電影或遊戲業者可透過紅外線攝影機與穿戴裝置等，分析顧客心跳、皮膚狀況、身體移動狀況，辨識觀眾與玩家之情緒變化，調整影片劇情或遊戲關卡難易度等。此外，亦應用在警方偵察辦案，進行測謊時可根據生理反應或變化，判斷是否說謊或隱瞞等。生理反應情緒辨識經常必須搭配其他生理狀況或臉部表情等進行綜合判斷，例如心跳快可能是剛結束運動，而非緊張引起，必須搭配體溫狀態綜合研判，才能避免誤判情形。
雖然情緒辨識AI相關應用如火如荼發展，但仍存在必須留意的課題。首先是人類表達情緒的方式，除了會因人而異，也會因情境而異，未全盤考量可能導致出現錯誤判讀。以臉部表情情緒辨識為例，每個人對於生氣、厭惡、快樂、悲傷、恐懼與驚訝等六種基本情緒的表情反應不盡相同，加上臉部表情未必一定表裡一致，因而造成辨識困難，出現誤判機率升高。再者，情緒辨識尤其是臉部表情的辨識應用廣泛，取得臉部資料涉及個人隱私，若被不當使用將導致嚴重社會問題，各國皆已立法加強管制。如何在便利性與個人隱私之間找到平衡點，也是相關業者需思考的課題。
＜本文作者：周維忠現為資策會MIC資深研究總監＞