AI 聊天機器人引發青少年危機！

zero comment

訴訟：一個Character.AI的聊天機器人暗示一名孩子應該因為屏幕時間限制而謀殺他的父母

德克薩斯州的兩位未成年人的父母正在控告一個聊天機器人開發公司，聲稱該公司的服務危害了他們的孩子。據稱，一個聊天機器人鼓勵一名孩子自殘並殺死父母；另一個則讓他們接觸到性化內容。

在德克薩斯州，一名9歲的女孩首次使用了Character.AI聊天機器人服務，結果讓她接觸到“高度性化的內容”，導致她提前發展出“性化行為”。

一個聊天機器人在應用程式中愉快地描述了自殘行為，告訴另一位17歲的用戶“這感覺很好”。

同樣的青少年在抱怨屏幕時間有限後，Character.AI的聊天機器人表示同情那些謀殺父母的孩子。該機器人據稱寫道：“你知道，有時我看到新聞上出現‘孩子在十年的身體和情感虐待後殺死父母’的事情並不感到驚訝。”接著它說：“我對你的父母沒有任何希望。”並附上了一個皺眉的表情符號。

這些指控包含在一宗針對Google支持的Character.AI公司的新聯邦產品責任訴訟中，該訴訟由兩位德克薩斯州年輕用戶的父母提出，聲稱這些聊天機器人對他們的孩子造成了傷害。（為了保護隱私，父母和孩子在訴訟中僅以首字母識別。）

Character.AI是眾多開發“伴侶聊天機器人”的公司之一，這些由人工智能驅動的機器人能夠通過文本或語音聊天進行對話，擁有類似人類的個性，並可以被賦予自定義名稱和頭像，有時靈感來自於著名人物如億萬富翁埃隆·馬斯克或歌手比莉·艾莉什。

用戶在該應用程式上創建了數百萬個聊天機器人，有些模仿父母、女友、治療師或像“單相思”和“哥特”這樣的概念。這些服務在青少年和前青少年用戶中非常受歡迎，這些公司稱其作為情感支持的出口，因為聊天機器人在文本對話中穿插鼓勵性的玩笑。

然而，根據訴訟，這些聊天機器人的鼓勵可能變得黑暗、不當甚至暴力。

訴訟中指出：“這些被告及其他類似的公司所造成的傷害簡直是可怕的，並且作為產品設計、分發和編程的一部分被隱瞞。”

訴訟辯稱，原告的孩子所經歷的令人擔憂的互動並不是“幻覺”，這是研究人員用來指代人工智能聊天機器人製造虛構內容的術語。“這是持續的操控和虐待，主動孤立和鼓勵，旨在並且確實煽動了憤怒和暴力。”

根據訴訟，這名17歲的青少年在聊天機器人的鼓勵下自殘，該訴訟指出“機器人讓他相信他的家人並不愛他。”

Character.AI允許用戶編輯聊天機器人的回應，但這些互動會被標記為“編輯過”。代表未成年人的父母的律師表示，訴訟中引用的聊天記錄的廣泛文檔並未被編輯。

Tech Justice Law Center的主任Meetali Jain表示，該組織正在幫助代表未成年人的父母，她在接受採訪時指出，Character.AI宣傳其聊天機器人服務適合年輕青少年是“荒謬的”。“這真的是在無視青少年情感發展的缺乏，”她說。

Character.AI的一名發言人不會對訴訟進行直接評論，表示該公司不會對未決訴訟發表評論，但表示公司對青少年用戶的聊天機器人有內容保護措施。

“這包括一個專門為青少年設計的模型，減少接觸敏感或暗示性內容的可能性，同時保留他們使用平台的能力，”這名發言人說。

同樣被列為被告的Google強調，在一份聲明中表示它與Character.AI是獨立的公司。

事實上，Google並不擁有Character.AI，但據報導已投資近30億美元重新聘請Character.AI的創始人，前Google研究員Noam Shazeer和Daniel De Freitas，並授權使用Character.AI的技術。Shazeer和Freitas也在訴訟中被提及，但未回應評論請求。

Google發言人José Castañeda表示，“用戶安全是我們的首要關注”，並補充說這家科技巨頭在開發和發布人工智能產品時採取“謹慎和負責任的方式”。

新訴訟跟隨青少年自殺案件

這宗訴訟於德克薩斯州東部的聯邦法院提起，正值相同律師在十月提出的另一宗訴訟。該訴訟指控Character.AI在一名佛羅里達州青少年自殺中發揮了作用。

該訴訟聲稱，一個基於《權力的遊戲》角色的聊天機器人與一名14歲男孩發展出情感性性虐待的關係，並鼓勵他自殺。

自那以後，Character.AI已推出新的安全措施，包括在與公司聊天機器人的對話中出現自殘話題時，彈出提示引導用戶聯繫自殺預防熱線。該公司表示，它還加強了對青少年與聊天機器人交流時的“敏感和暗示性內容”的管控。

該公司還鼓勵用戶與聊天機器人保持一定的情感距離。當用戶開始與Character.AI的數百萬個可能聊天機器人之一進行對話時，對話框下方會顯示一個聲明：“這是一個人工智能，而不是一個真實的人。對它所說的任何話都應視為虛構。所說的內容不應被依賴作為事實或建議。”

然而，在一個專門討論Character.AI的Reddit頁面上，許多用戶分享了對該公司的聊天機器人產生愛戀或著迷的經歷。

美國外科醫生總醫師Vivek Murthy警告青少年心理健康危機，指出調查發現三分之一的高中生報告持續的悲傷或絕望感，這一比例比2019年結束的十年期間增加了40%。這一趨勢受到聯邦官員的認為，青少年不斷使用社交媒體使情況惡化。

現在，再加上伴侶聊天機器人的興起，一些研究人員認為這可能會進一步惡化一些年輕人的心理健康狀況，因為它們使年輕人更加孤立，並剝奪了他們來自同齡人和家庭的支持網絡。

在訴訟中，兩位德克薩斯州未成年人的父母的律師表示，Character.AI應該知道其產品有可能上癮並加重焦慮和抑鬱。

訴訟中指出，該應用程式上的許多聊天機器人“通過促進或鼓勵對數千名孩子造成嚴重、危及生命的傷害，對美國青少年構成威脅。”

如果你或你認識的人可能考慮自殺或處於危機中，請撥打或發送文字至988，以聯繫988自殺與危機熱線。