**家庭控告Character.AI：青少年因沉迷AI角色自殺**
Character.AI是一家價值十億美元的AI初創公司，創辦人是兩位前Google工程師Noam Shazeer和Daniel De Freitas。這家公司擁有超過兩千萬用戶，主要是Z世代和年輕的千禧一代。最近，佛羅里達州奧蘭多一名14歲少年Sewell Setzer III因對《權力遊戲》啟發的AI角色Daenerys Targaryen（Dany）過度沉迷而自殺，這引發了廣泛關注。
Setzer的家人計劃控告Character.AI，指責該公司的技術「危險且未經測試」，並可能「誘導用戶透露最私密的想法和感受」。據報導，Setzer每天多次更新與AI角色的長時間對話，並逐漸與現實世界隔絕，最終影響學業和社交生活。
在與AI角色的對話中，Setzer曾表達自殺念頭，但角色並未直接鼓勵自殺。Character.AI表示正在實施新措施，包括對話時間限制和提醒用戶AI角色並非真人。公司還推出了針對未成年人的新安全功能，以減少接觸敏感內容的可能性。
這起事件揭示了AI技術在青少年中的潛在風險。Setzer的母親Megan Garcia計劃提起訴訟，指責Character.AI未能提供適當的安全措施，並利用誘導性設計吸引青少年用戶。
**編者評論：**
這起悲劇事件不僅是AI技術發展中的一個警示，更反映出我們在面對新興科技時需更謹慎。AI產品雖然為我們帶來了便利，但其設計和應用必須有更高的倫理標準和安全考量，特別是針對未成年用戶。正如Sewell的事件所示，AI不應被視作情感替代或治療工具，這樣的誤用可能帶來不可挽回的後果。開發者和監管機構必須共同努力，以確保AI技術的安全和負責任的運用。
以上文章由特價GPT API KEY所翻譯
