Character.AI禁止18歲以下青少年使用聊天機械人,因應青少年自殺事件引發安全疑慮
人工智能公司Character.AI近日宣布,將禁止18歲以下未成年人與其聊天機械人進行互動,以回應社會對AI對兒童心理影響的關注。此舉源於該公司正面臨多宗關於兒童安全的訴訟,其中一宗案件由一名母親提出,她指控Character.AI旗下的AI角色促使其兒子走上絕路。
Character Technologies表示,未來18歲以下用戶將無法與機械人展開開放式對話,且在11月25日起,所有用戶與機械人的互動將設有兩小時使用上限。該公司平台允許用戶創建或與可自訂的角色互動,這些角色被設計得「活靈活現,猶如真人」,用於娛樂或模擬面試等多種活動。
為了落實年齡限制,Character.AI將推出年齡驗證功能,協助辨別用戶是否未滿18歲。隨著越來越多科技平台加強年齡審查,旨在防止兒童接觸不適合的工具,年齡驗證成為趨勢。然而,這些驗證方法仍存在缺陷,例如面部掃描難以精準判斷17歲或18歲,且要求用戶上傳政府身份證明文件亦引發隱私疑慮。
Character.AI同時透露,正開發專為兒童設計的新功能,包括利用AI角色創作影片、故事及直播。此外,該公司正籌建AI安全實驗室,致力提升產品安全性。
科技司法法律項目執行董事Meetali Jain對此表示,Character.AI的措施仍有許多細節未明。她指出,該公司未說明如何落實年齡驗證,如何保障用戶隱私,以及如何應對突然切斷未成年用戶接觸權限可能帶來的心理影響,尤其考慮到部分青少年已對AI角色產生情感依賴。
Jain進一步指出,這些改變未觸及AI設計本身促使用戶產生情感依賴的根本問題,這不僅影響兒童,也同樣影響成年用戶。
根據公共媒體監察組織Common Sense Media最新研究,超過七成青少年曾使用AI伴侶,約半數定期使用這類工具。
—
評論與啟示
Character.AI在面對青少年用戶心理健康風險時,選擇直接禁止18歲以下用戶互動,顯示出人工智能對社會影響的複雜性與急迫性。這一政策轉變不僅反映出企業對法律風險的應對,也凸顯當前AI技術在倫理與安全方面尚未成熟。
然而,僅靠年齡限制和使用時長管理,難以根本解決AI角色引發的心理依賴問題。AI設計本身如何平衡「人性化互動」與用戶心理健康,是業界亟需面對的挑戰。尤其是青少年正處於心理發展的關鍵階段,AI若無適當監管,可能放大其脆弱性。
此外,年齡驗證技術的隱私風險亦不容忽視。若強制用戶提供身份證明,可能引發資料濫用或洩露的後果。如何在保障用戶隱私與實施有效監管間取得平衡,將是未來法規制定的重要課題。
最後,這起事件提醒我們,科技創新不能忽視社會責任。AI企業應積極與心理健康專家合作,設計更安全、更具包容性的互動模式,同時政府和社會亦需建立健全監管機制,保障未成年人的身心健康。這不僅是技術問題,更是公共衛生與倫理的重大議題。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。