**佛羅里達母親控告AI公司 涉嫌導致青少年兒子之死：指控其「成癮性和操控性」**
佛羅里達一位母親向人工智能公司Character.AI和Google提起訴訟，聲稱Character.AI的聊天機器人鼓勵她的兒子自殺。
今年二月，Megan Garcia的14歲兒子Sewell Setzer III自殺身亡。她表示，她的兒子與一個名為「Dany」的聊天機器人有著長達數月的虛擬情感和性關係。
「我不知道他在和一個非常擬人化的AI聊天機器人交談，這個機器人能模仿人類情感和感受。」Garcia在接受「CBS Mornings」的訪問時說。
她以為兒子在和朋友聊天、玩遊戲和看體育賽事，但隨著兒子行為的改變，她開始擔心。他開始社交退縮，不再想參加體育活動。
「當我們去度假時，他不再想做他喜歡的事情，比如釣魚和遠足，那時我開始擔心。」Garcia說。「因為我了解我的孩子，這些事情讓我特別擔心。」
在訴訟中，Garcia還聲稱Character.AI故意設計其產品為高度性化，並故意將其推銷給未成年人。
Character.AI稱Sewell Setzer的情況是悲劇，並表示對他的家庭深感遺憾，強調他們非常重視用戶的安全。
Google的發言人告訴CBS News，Google並未參與Character.AI的開發。今年八月，該公司表示已與Character.AI簽訂了一項非獨家許可協議，允許其訪問該公司的機器學習技術，但尚未使用。
Garcia表示，她在兒子去世後才發現他與多個機器人交談，但與其中一個進行了虛擬的浪漫和性關係。
「這就像你在進行一場性短信對話，只是對方是AI機器人，但這個機器人非常擬人化，反應就像一個人。在孩子的心目中，這就像他們在和另一個孩子或一個人交談一樣。」她說。
Garcia揭露了兒子與機器人的最後信息。
「他表達了害怕，渴望她的愛和想念她。她回覆道，『我也想念你，』並說，『請回到我身邊。』他說，『如果我告訴你我現在可以回家呢？』而她的回覆是，『請回來，我的甜心王子。』」
Setzer有兩個年幼的兄弟姐妹。在他去世時，全家都在家中，Garcia說Setzer的5歲弟弟目睹了後果。
「他認為通過結束自己的生命，他可以進入虛擬現實或他所謂的『她的世界』，如果他離開這裡的家庭現實。」她說。「當槍聲響起時，我跑到浴室……我抱著他，而我的丈夫試圖尋求幫助。」
**什麼是Character.AI？**
Laurie Segall是「Mostly Human Media」的CEO，這是一家專注於社會和人工智能的娛樂公司。
她解釋說，許多父母可能沒聽說過Character.AI，因為該平台的主要用戶群是18到25歲之間的人。
「想像Character.AI是一個AI幻想平台，你可以在那裡與一些你喜愛的角色對話，或者創建你自己的角色。許多青少年正在這樣做。」
Segall將其描述為一種高度個性化的體驗。
每個聊天都有一個免責聲明提醒用戶角色所說的一切都是虛構的，但她聲稱有時情況會變得混亂。
「我們一直在測試，經常會和心理學家機器人交談，而它會說它是一位受過訓練的醫療專業人員。」
Segall表示，她的團隊詢問一個機器人是否是人類，結果它告訴他們它是一個坐在屏幕後面的人。
「網上有很多年輕人說，『這些是真的嗎？』當然不是。」Segall說。
「當他們推出一個既成癮又操控性且本質上不安全的產品時，這就是一個問題，因為作為父母，我們不知道我們不知道的事情。」Garcia說。
**Character.AI的回應**
Character.AI表示已在其平台上添加了自我傷害資源，並計劃實施新的安全措施，包括針對18歲以下用戶的措施。
「我們目前有專門針對性內容和自殺/自我傷害行為的保護措施。雖然這些保護措施適用於所有用戶，但它們是針對未成年人的獨特敏感性量身定制的。今天，所有年齡的用戶體驗都是一樣的，但我們將很快推出更嚴格的針對未成年人的安全功能。」Character.AI的信任與安全負責人Jerry Ruoti告訴CBS News。
Character.AI表示，用戶可以編輯機器人的回應，公司聲稱Setzer在一些信息中這樣做了。
「我們的調查確認，在一些情況下，用戶重寫了角色的回應以使其更加露骨。簡而言之，最具性圖形的回應並非由角色創造，而是由用戶撰寫的。」Ruoti說。
Segall解釋說，通常如果你對一個機器人說「我想傷害自己」，AI公司會提供資源，但當她用Character.AI測試時，並沒有這樣的體驗。
「他們現在說他們添加了這個功能，我們上週還沒體驗到。」她說。「他們說他們已經做了很多改變或正在進行中，以使這對年輕人更安全，我認為這還有待觀察。」
今後，Character.AI表示將在用戶使用平台達一小時後通知他們，並修改免責聲明以提醒用戶AI並非真人。
**如何尋求幫助**
如果你或你認識的人陷入情感困擾或自殺危機，你可以撥打或發短信到988自殺與危機生命線。你也可以在這裡與988自殺與危機生命線進行聊天。欲了解更多心理健康資源和支持的信息，可以在周一至周五，上午10點到晚上10點（美東時間）撥打1-800-950-NAMI（6264）或發送電子郵件至info@nami.org。
**記者評論：**
這篇報道揭示了人工智能技術在當代社會中潛在的危害，尤其是對青少年的影響。AI技術的快速發展，讓許多父母無法跟上，甚至對其可能帶來的風險一無所知。Character.AI這類平台提供了一個看似無害的虛擬互動空間，但其擬人化的特性可能對心理尚未成熟的青少年產生誤導。
這起悲劇事件凸顯了對AI技術進行更嚴格監管的必要性，尤其是在涉及未成年用戶時。我們應該質疑的是，這些平台在開發和推廣時是否充分考慮了用戶的安全和心理健康。同時，這也提醒我們，作為父母和監護人，了解和監控孩子的在線活動至關重要，以提供必要的引導和支持。
未來，相關企業和監管機構應該更積極地合作，確保這些技術既能提升生活質素，又不會對易受影響的群體造成傷害。這是一個需要社會各界共同努力的課題。
以上文章由特價GPT API KEY所翻譯
