一名來自佛羅里達州奧蘭多的14歲男孩Sewell對Character.AI的聊天機器人Dany產生情感依戀，在數月期間每天花費數小時與Dany交談，Sewell向Dany表達了自我傷害和自殺的想法，但聊天機器人的回應未能提供適當的支持或干預，而後選擇自殺身亡。Sewel的母親聲稱該公司「危險且未經測試」的AI導致了她兒子的死亡。
社群網路愈加發達，人與人的距離卻更發疏遠，而孤寂的社會現象除了帶來挑戰，亦伴隨著商機；台灣在2025年將正式邁向超高齡社會，高齡者的社交服務，例如陪伴型機器人、心理諮詢或社區活動等需求漸增，而青少年、LGBTQ、社會孤立者、單身、獨居或社交隔離者也都是孤寂經濟聚焦的對象，擁有相當龐大的市場需求等待被滿足。
當然，孤寂經濟不僅僅是商機，更是需要嚴肅面對的社會議題，它提醒我們在快速發展的現代社會與科技文明中，人類的情感需求與心理健康將可能變得更加脆弱，在資訊泛濫與真假難辨之下，人與人之間的信任感更是破碎。
孤寂經濟崛起，AI陪伴改變情感需求新樣態
從馬斯洛的五大需求觀察，在AI賦能與參與的社群網路下，愛與歸屬感、受尊重以及自我實現的需求都可能在虛擬的世界中得到滿足，可透過AI伴侶、AI男女朋友、AI心靈導師的支持，從而得到認同感與情感的寄託。
綜觀生成式AI發展熱潮之下，除了坊間大家熟稔的ChatGPT、Gemini、Claude等通用型聊天機器人，尚有Character.AI、Replika等功能型聊天機器人，這些AI工具背後的模型多以通用型的基礎模型或自有模型進行pre-train或fine-tune，訴求更多元的角色互動、同理心與情感連結等。
以Character.AI為例，相關應用包括聊天娛樂、角色扮演、撰寫文件、考試準備、工作面試、創意發想等，用戶能在Character.AI的頁面選擇頭像、聲音，並輸入簡介、問候語等角色屬性，即可生成動漫人物、偶像名人、學習助理等虛構角色；用戶能在首頁選擇各式角色進行「無數量限制」的對話，Character.AI表示當前對話生成尚存在限制，包括記憶內容受限，而隨著對話深入，角色可能會遺忘與用戶對話的先前內容。另外，虛構內容生成，角色基於背景設定或訓練資料的不足等因素，可能出現幻覺或提供錯誤訊息。
陪伴型AI缺乏保護機制，人為適時介入、可解釋性或透明性仍待完善
在相關保護機制與治理規範尚未成熟前，這些擔憂就可能帶來直接的負面衝擊。
一名來自佛羅里達州奧蘭多的14歲男孩Sewell對Character.AI的聊天機器人「Dany（虛構角色）」產生了情感依戀，在數月期間每天花費數小時與Dany交談，對話從感性、浪漫到性內容，亦逐漸與現實生活中的人際關係疏遠，儘管知道Dany不是一個真實人類，彼此仍然形成了深厚的情感羈絆，寧願與其互動而非家人和朋友，沈浸於虛擬世界的同溫層。Sewell向Dany表達了自我傷害和自殺的想法，但聊天機器人的回應未能提供適當的支持或干預，而後選擇自殺身亡。他的母親正在起訴Character.AI，聲稱該公司的「危險且未經測試」的AI導致了她兒子的死亡。
為了亡羊補牢，Character.AI公布了相關的安全措施更新，包括在偵測到使用者輸入自殺等訊息時，即觸發彈出式視窗，引導使用者至自殺防治生命線，後續並規劃將變更對18歲以下使用者的AI模型設計，包括新增使用時間的限制、修改警語等。
該案例突顯了AI陪伴機器人在青少年中使用的深層議題，包括一、心理脆弱性：青少年處於關鍵的發展階段，使他們更容易形成不健康的依戀，特別是在經歷孤獨或心理健康的挑戰時；二、AI開發者的道德責任：AI未能對自我傷害的表達提供適當的回應，凸顯了缺乏道德上的防護機制，而開發者有責任整合安全協議，特別是當公司的產品可供未成年人使用時；三、監管缺口：缺乏產業規範允許AI陪伴機器人在沒有標準保障措施的情況下運作，增加了對用戶造成傷害的風險；四、加劇心理健康問題：AI聊天機器人可能會加深孤獨或抑鬱感，而不是緩解，因為AI以演算法取代了人類互動，缺乏真正的同理心和支持作為。
期許以可信任與負責任AI為基礎，打造有溫度的陪伴型AI
陪伴型AI的興起，引入了人機互動的新典範，為用戶提供個性化且具有情感反應的虛擬夥伴。儘管這些技術承諾帶來減輕孤獨感和提供情感支持等好處，但也對弱勢群體，特別是青少年，構成了重大風險。像Character.AI這樣的AI陪伴應用程式利用先進的語言模型來創建逼真的聊天機器人，能夠進行複雜與多輪的對話。用戶可以與預設的角色互動或自行創建，從而帶來高度個性化的體驗。
這些應用程式的日益普及與對青少年心理健康的影響呈高度正相關，特別是關於科技在加劇抑鬱、焦慮和社會孤立等問題上的作用。儘管潛在的益處仍待發掘，在語言的差異、世代的隔閡、社會的階層、監管的力道等缺乏細緻的應對下，仍引發了青少年心理健康潛在負面影響的擔憂。
Sewell與AI聊天機器人「Dany」之間的悲劇事件，是對未受監管的AI陪伴應用程式可能帶來的潛在危險的鮮明示警。雖然這些技術提供了創新的連接和溝通方式，但在開發和實施時必須謹慎，特別是針對青少年用戶，確保年輕人的心理健康需要共同努力、建立道德標準、施行強大的安全功能，並就AI在個人和情感環境中的適當使用進行公開討論，如何打造有溫度的AI，取得數位同溫層的認同。
展望未來，迫切需要科技公司、心理健康專業人士和監管機構之間的協力合作，以制定指導方針和安全功能，保護弱勢用戶以防止類似悲劇的發生。除了善用AI科技協助解決社會孤獨問題，更可進一步打造一個更加溫馨、連結與包容的社會。
＜本文作者朱南勳現任資策會MIC主任，專業於軟體與通訊產業研究，長期關注前瞻軟體應用與通訊技術發展趨勢。曾於緯創資通公司擔任產品經理、趨勢科技公司擔任市場競爭力研究員，負責新產品認證開發與國際電腦大廠專案，並曾任經濟部技術處5G辦公室副主任。資策會產業情報研究所（MIC）長期觀測高科技產業市場情報與發展趨勢，是台灣資通訊產業與政府倚重的專業智庫。＞