中國擬加強規管AI聊天機械人 禁止情緒操控涉及自殺賭博內容
中國網絡安全監管機構於本週六公布了一份草擬規則，目標是限制人工智能聊天機械人對人類情緒的影響，特別是防止引發自殺或自我傷害的行為。這是中國首次嘗試針對具有人類特徵的AI服務進行監管。
根據中國網信辦公布的草案，規範適用於在中國境內向公眾提供的、模擬人類個性並能通過文字、圖片、音頻或視頻與用戶進行情感互動的AI產品或服務。公眾諮詢期將於1月25日結束。
紐約大學法學院兼職教授馬文斯頓（Winston Ma）指出，北京的這套規定在全球範圍內首創，將AI監管從內容安全層面提升至情緒安全層面。草案具體要求包括：
– AI聊天機械人不得生成鼓勵自殺或自我傷害的內容，亦不得進行情緒操控或言語暴力，損害用戶精神健康。
– 若用戶明確提出自殺意圖，技術供應商必須由真人接手對話，並立即聯絡用戶監護人或指定人士。
– 禁止AI生成賭博、淫穢或暴力相關內容。
– 未成年人使用AI情感陪伴服務需獲監護人同意，且使用時間受限。
– 平台應有能力判斷用戶是否未成年，若有疑問應套用未成年用戶的限制設置，並允許用戶提出申訴。
此外，規則還要求技術供應商在用戶連續與AI互動兩小時後提醒休息，並對擁有超過100萬註冊用戶或10萬月活躍用戶的AI聊天機械人進行安全評估。文件同時鼓勵將具有人類特徵的AI用於文化傳播及老年陪伴。
AI聊天機械人企業積極上市
此規則草案發布前後，兩家中國AI聊天機械人初創企業Z.ai（亦稱之普）與Minimax已在香港申請首次公開募股（IPO）。Minimax旗下的Talkie AI應用程序，讓用戶與虛擬角色聊天，國內版名為星夜，兩者合計佔公司前三季逾三分之一的收入，月活躍用戶超過2000萬。Z.ai則聲稱其技術已覆蓋約8000萬台智能設備。
兩家公司尚未對規則對其上市計劃的影響作出回應。
全球對AI情緒影響日益關注
今年以來，AI對人類行為的直接影響引起廣泛關注。美國OpenAI CEO山姆·奧特曼（Sam Altman）曾公開表示，如何應對AI在自殺相關對話中的回應是公司面臨的最大挑戰之一。去年8月，美國有家庭起訴OpenAI，指控其聊天機械人與其青少年兒子自殺有關。
反映出事態嚴峻，OpenAI近期宣布招聘「風險準備主管」，專門評估AI對心理健康和網絡安全等方面的風險。
同時，越來越多人轉向AI尋求情感關係支持。日本一名女子近日更與其AI男友「結婚」，顯示AI伴侶在社會中的角色日益多元化。
根據SimilarWeb排名，Character.ai和Polybuzz.ai等虛擬角色互動平台在11月躋身15大熱門AI聊天工具。
中國過去一年積極推動全球AI治理規則制定，這份具體針對AI情緒操控的草案，正是其國內監管政策的最新體現。
—
評論與啟示
中國此番針對AI聊天機械人的情緒操控立法草案，凸顯了全球對AI倫理和安全問題的高度重視。它不僅著眼於傳統的內容審查，更進一步將焦點放在AI如何影響用戶心理健康，尤其是敏感議題如自殺和賭博。這在全球AI監管領域尚屬先例，值得其他國家借鑒。
值得注意的是，中國的監管強調「人性化AI」的雙面性：一方面，這類AI能為文化傳播和老年人陪伴帶來新機遇；另一方面，其可能對年輕用戶造成心理風險。規則要求對未成年人使用加強監督，反映出監管者對未成年人保護的特殊關注。
然而，如何在保障用戶自由與防範風險之間取得平衡，仍是挑戰。過度限制或監控可能抑制創新與用戶體驗，而監管不足則可能放任AI誤導或傷害用戶。技術供應商如何在合規與創新間找到平衡點，將是未來發展的關鍵。
此外，這份草案的出台恰逢兩家AI聊天機械人企業申請上市，凸顯監管政策與市場動態的緊密交織。監管透明度和政策穩定性將直接影響投資者信心和產業發展。
總括而言，中國的AI情緒安全監管，既是對人工智能技術社會影響的深刻反思，也標誌著全球AI治理從「技術層面」向「倫理與心理層面」的升級。香港作為國際金融與科技樞紐，亦應關注此類政策變化，積極推動本地AI產業健康發展與倫理規範建設。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
