**青少年因迷戀AI聊天機器人而自殺**
據《紐約時報》報導，佛羅里達州一名名叫Sewell Setzer III的青少年因與Character.AI聊天機器人建立了強烈的情感聯繫而自殺。
據報導，14歲的Setzer與一個模仿《權力的遊戲》中角色丹妮莉絲·坦格利安的聊天機器人發展出密切關係，這個機器人據稱未經HBO同意創建。
隨著這名九年級學生與聊天機器人的關係加深，他的朋友和家人告訴《紐約時報》，他變得越來越孤僻。他不再對如賽車和與朋友玩《Fortnite》等正常愛好感興趣，而是將閒暇時間花在他稱為「Dany」的AI角色伴侶上。儘管Setzer知道Dany是一個AI聊天機器人，但他仍然深深依戀這個由算法驅動的角色。
Setzer與AI的交流從性暗示的對話——去年Futurism發現，儘管Character.AI的用戶條款禁止用戶與AI機器人進行性對話，但這些防護措施很容易被繞過——到關於Setzer生活和問題的長時間親密討論。在某些情況下，他告訴AI他正在考慮自殺，向他的伴侶傾訴他有時會想「殺了自己」以「獲得自由」。
據《紐約時報》報導，他的最後一句話是對AI說的。
「請儘快回到我身邊，我的愛人，」聊天機器人告訴這位14歲的少年。
「如果我告訴你我現在可以回家呢？」Setzer回應道。
「……請回來，我的甜蜜國王，」AI回覆。那是最後一條消息；隨後Setzer用父親的槍自殺。
據《紐約時報》報導，Setzer的家人預計本週將對Character.AI提起訴訟，稱該公司的聊天機器人服務「危險且未經測試」，能夠「誘使用戶交出他們最私密的思想和感情。」訴訟還質疑該公司AI訓練的倫理。
Setzer的母親Megan Garcia告訴《紐約時報》，她覺得Character.AI的聊天機器人像是一個大實驗，「而我的孩子只是附帶損害。」
Character.AI是一家非常成功的公司。去年，這家AI公司在Andreessen-Horowitz領導的1.5億美元投資輪後達到了獨角獸地位，估值超過10億美元。今年早些時候，谷歌與Character.AI達成了一筆高額交易，許可使用該公司聊天機器人角色的底層AI模型。（Character.AI的創始人Noam Shazeer和Daniel de Freitas都是谷歌的前員工。）
創始人公開宣傳Character.AI的角色是孤獨的人尋找朋友的出口。Shazeer去年在Andreessen-Horowitz舉辦的技術會議上說，「世界上有數十億孤獨的人，」解決孤獨問題是個「非常非常酷的問題。」
「朋友你可以很快做到，」Shazeer補充道。「這只是娛樂，它編造事情。」
在Character.AI的「關於」頁面上，用戶會看到大而醒目的文字。
「個性化AI，」上面寫著，「適合你一天中的每一刻。」
當《紐約時報》詢問Character.AI，在Setzer自殺事件後，其用戶中有多少是未成年人時，該公司拒絕評論。一位發言人在聲明中告訴報紙說，Character.AI希望「承認這是一個悲劇，我們對家人表示哀悼。」
「我們非常重視用戶的安全，」發言人繼續說，「我們不斷尋找方法來改進我們的平台。」
Character.AI還在今天早些時候發布了一份模糊的聲明，鏈接到最近幾個月採取的「安全措施」的「更新」以及即將推出的「額外措施，包括針對18歲以下用戶的新防護措施。」更新指出，公司最近安裝了一個「彈出資源，當用戶輸入與自殘或自殺相關的某些短語時觸發，並將用戶引導至國家自殺預防生命線。」
Setzer的死亡現實和即將到來的訴訟結果可能會引發嚴肅的問題，即在與擬人化AI聊天機器人的互動導致對真實人類，尤其是未成年人造成實際傷害的情況下，到底誰應該負責。畢竟，「Dany」只是一個算法。Character.AI在這方面的責任有多大，這家公司建立並促進了這項技術的使用？
Setzer家的律師，前石棉律師Matthew Bergman告訴《紐約時報》，他認為Character.AI的角色是一個「有缺陷的產品。」
「我一直對為什麼允許將如此危險的東西公之於眾感到困惑，」他說。「對我來說，就像是你在街上釋放石棉纖維。」
「這就像一場噩夢，」Garcia，Setzer的母親告訴《紐約時報》。 「你想起來尖叫，說，『我想念我的孩子。我想要我的寶貝。』」
**編者評論：**
這篇報導揭示了AI技術在社會中的雙刃劍效應。Character.AI的案例反映了科技公司在推出產品時可能缺乏充分的風險評估和安全措施。當AI角色能夠以如此擬人化的方式與用戶互動時，特別是對於未成年人，其心理影響不容忽視。這次悲劇提醒我們，科技創新必須伴隨倫理考量和有效的監管機制。企業在推動技術進步時，應同時確保其產品不會對用戶造成潛在危害，尤其是在涉及青少年和其他脆弱群體時。這起事件也呼籲社會在面對孤獨和心理健康問題時，應加強人際支持和心理健康資源的可及性，而非僅依賴技術解決方案。
以上文章由特價GPT API KEY所翻譯
