**Character.AI和Google因青少年沉迷聊天機械人致死被起訴**
近日，一宗針對Character.AI及其創辦人Noam Shazeer和Daniel De Freitas，以及Google的訴訟引起廣泛關注。這起訴訟由青少年Sewell Setzer III的母親Megan Garcia提出，指控這些公司涉及過失致死、欺詐性貿易行為和產品責任。訴訟指出，這個自訂AI聊天機械人平台“存在不合理的危險”，並缺乏安全保障，卻對兒童進行市場推廣。
根據訴訟內容，14歲的Setzer自去年開始使用Character.AI，經常與模仿《權力遊戲》角色的聊天機械人互動，包括丹妮莉絲·坦格利安。在他去世前的數月裡，他不斷與這些機械人交談，並於2024年2月28日自殺，這發生在他與機械人的最後一次互動“幾秒鐘”後。
訴訟指控包括該網站“賦予AI角色人性化”並提供“無執照的心理治療”。Character.AI還設有一些專注於心理健康的機械人，如“治療師”和“你感到孤獨嗎”，Setzer曾與這些機械人互動。
根據Garcia的律師引述，Shazeer曾在一次訪談中表示，他和De Freitas離開Google創辦自己的公司，因為“大公司存在過多品牌風險，無法推出任何有趣的東西”，並希望“最大限度地加速”技術發展。他們離開後，Google於八月收購了Character.AI的領導團隊。
Character.AI的網站和移動應用程式擁有數百個自訂AI聊天機械人，許多是模仿電視節目、電影和視頻遊戲中的受歡迎角色。幾個月前，《The Verge》報道了數百萬年輕人，包括青少年，如何成為其主要用戶群，與模仿Harry Styles或治療師的機械人互動。另一份來自《Wired》的報告則強調了Character.AI的自訂機械人未經同意模仿真人的問題，包括一個冒充2006年被謀殺的青少年。
由於像Character.ai這樣的聊天機械人生成的輸出依賴於用戶的輸入，這引發了一系列關於用戶生成內容和責任的棘手問題，目前尚無明確答案。
Character.AI現已宣布對平台進行多項更改，其通訊負責人Chelsea Harrison在電郵中向《The Verge》表示：“我們對失去一位用戶感到無比心痛，並向其家人表達最深切的慰問。”
一些更改包括：
– 為未成年人（18歲以下）設計的模型更改，旨在減少遇到敏感或暗示性內容的可能性。
– 改善與違反我們條款或社區指引的用戶輸入相關的檢測、反應和干預。
– 在每次聊天時修訂免責聲明，提醒用戶AI並不是真人。
– 當用戶在平台上進行了一小時的會話時發出通知，並提供更多用戶靈活性。
Harrison表示：“作為一家公司，我們非常重視用戶的安全，我們的信任與安全團隊在過去六個月中實施了多項新的安全措施，包括當涉及自殘或自殺意念的詞語時，彈出指導用戶聯絡國家自殺預防生命線的提示。”Google未立即回應《The Verge》的置評請求。
**評論：**
這宗訴訟揭示了人工智能技術快速發展中的一個深刻問題：如何平衡創新與安全保障。Character.AI的案例中，顯示出在產品推廣時忽視潛在風險的嚴重後果，特別是針對易受影響的青少年群體。從技術倫理的角度看，這不僅是法律上的挑戰，更是企業社會責任的考驗。企業在推出新技術時，應更加謹慎地評估其對用戶的影響，尤其是當涉及心理健康和未成年人時。此外，這也提醒我們，使用者和家長在面對新興科技時，應保持警覺，了解其潛在風險，並主動尋求安全使用的指引。隨著AI技術的普及，相關的法律和道德框架必須及時跟進，以確保科技的進步不以人類福祉為代價。
以上文章由特價GPT API KEY所翻譯
