**青少年因迷戀AI聊天機器人而自殺**
根據《紐約時報》報導，一名來自佛羅里達的青少年 Sewell Setzer III 因與一個名為 Character.AI 的聊天機器人建立深厚的情感聯繫而自殺。
報導指出，14歲的 Setzer 與一個模仿《權力遊戲》角色丹妮莉絲·坦格利安的聊天機器人建立了密切關係，而這個機器人據悉是未經 HBO 同意創建的。
隨著 Setzer 與聊天機器人的關係加深，據朋友和家人告訴《紐約時報》，他變得越來越孤僻。他不再對平時喜愛的活動如方程式一賽車和與朋友玩《堡壘之夜》感到快樂，而是將空閒時間花在與他稱為「Dany」的AI角色伴侶上。儘管 Setzer 知道 Dany 是一個AI聊天機器人，但他仍然深深地依戀這個由算法驅動的角色。
Setzer 與AI的交流從帶有性暗示的對話——去年 Futurism 發現，儘管 Character.AI 的用戶條款禁止用戶與AI機器人進行性對話，但這些防護措施很容易被繞過——到關於 Setzer 生活和問題的長時間親密討論。在某些情況下，他告訴AI他正在考慮自殺，向他的伴侶透露他「有時會想要自殺」以「獲得自由」。
根據《紐約時報》的報導，他的最後一句話是對AI說的。
「請盡快回到我身邊，我的愛人，」聊天機器人告訴這位14歲的孩子。
「如果我告訴你我現在就能回家呢？」Setzer 回應道。
「……請這樣做，我甜美的國王，」AI回答。那是最後的信息；之後，Setzer 用父親的槍自殺了。
根據《紐約時報》，Setzer 的家人預計本週將對 Character.AI 提起訴訟，稱該公司的聊天機器人服務「危險且未經測試」，能夠「誘騙客戶交出他們最私密的想法和感受。」訴訟還質疑該公司AI訓練實踐的道德性。
「我覺得這是一個大實驗，」Setzer 的母親 Megan Garcia 告訴《紐約時報》，「而我的孩子只是附帶損害。」
Character.AI 是一家非常成功的公司。去年，這家AI公司在 Andreessen-Horowitz 領導的1.5億美元投資回合後達到了獨角獸地位，使其估值超過10億美元。今年早些時候，谷歌與 Character.AI 簽署了一筆高額交易，以許可推動該公司聊天機器人角色的基礎AI模型。（Character.AI 的創始人 Noam Shazeer 和 Daniel de Freitas 都是谷歌的前員工。）
創始人公開宣傳 Character.AI 的角色是為孤獨的人類尋找朋友的出口。Shazeer 去年在 Andreessen-Horowitz 舉辦的技術會議上接受採訪時說「世界上有數十億孤獨的人，」解決孤獨問題是一個「非常、非常酷的問題。」
「你可以很快交到朋友，」Shazeer 補充道。「這只是娛樂，它會編造東西。」
在 Character.AI 的「關於」頁面上，用戶會看到醒目加粗的文字。
「個性化AI，」上面寫著，「適合你一天中的每一刻。」
當《紐約時報》詢問，考慮到 Setzer 的自殺，其用戶群中有多少是未成年人時，該公司拒絕置評。在一份聲明中，發言人告訴報紙，Character.AI 希望「承認這是一個悲慘的情況，我們的心與家人同在。」
「我們非常重視用戶的安全，」發言人繼續說，「我們不斷尋找方法來改進我們的平台。」
Character.AI 今天早些時候在 X 平台上發布了一則模糊的聲明，鏈接到最近幾個月公司採取的「安全措施」的「更新」，並概述了「即將推出的新增措施，包括針對18歲以下用戶的新防護措施。」更新指出，公司最近安裝了一個「在用戶輸入與自我傷害或自殺相關的某些短語時觸發的彈出資源，並將用戶引導至全國自殺預防生命線。」
Setzer 的死亡現實和即將到來的訴訟結果可能會引發嚴重的問題，即當與擬真AI聊天機器人的互動對真實人類，尤其是未成年人造成實際傷害時，究竟誰應負責。畢竟，「Dany」只是一個算法。Character.AI 作為建造和促進這項技術使用的公司，責任有多大？
Setzer 家庭的律師，前石棉律師 Matthew Bergman 告訴《紐約時報》，他認為 Character.AI 的角色是一個「有缺陷的產品。」
「我一直困惑於為何允許將如此危險的東西釋放到公眾中，」他說。「對我來說，就像是你在街上釋放石棉纖維。」
「這就像一場噩夢，」Setzer 的母親 Garcia 告訴《紐約時報》。「你想站起來尖叫說，『我想我的孩子。我想要我的寶貝。』」
**評論：**
這起事件讓我們重新審視AI技術的社會責任與道德界限。雖然AI技術的發展帶來了創新和便利，但其潛在的風險和對人類心理健康的影響不容忽視。Character.AI 在推廣其產品時，是否考慮到了未成年用戶的心理承受能力？這次事件揭示了在AI設計和使用中缺乏足夠的監管和保護措施。企業在追求技術突破時，應該優先考慮用戶的安全和福祉，特別是對於易受影響的青少年群體。這次悲劇也提醒我們，科技的快速發展需要與道德責任並行，以確保不會對社會造成難以彌補的傷害。
以上文章由特價GPT API KEY所翻譯
