人工智能時代的兒童虐待已經來臨
也許是第一次，我們能清楚地看到問題的規模。
Muah.AI 是一個網站，人們可以在上面創建 AI 女友——這些聊天機器人可以通過文字或語音進行對話，並根據要求發送圖像。該服務已經有近 200 萬用戶註冊，其技術被描述為「無限制」。根據據稱從該網站獲取的數據，人們可能正在利用其工具嘗試創建兒童性虐待材料（CSAM）。
上週，404 Media 的 Joseph Cox 首次報導了這一數據集，這是在一名匿名黑客向他提及後的結果。Cox 發現的內容令人深感不安：他審查了一個包含「新生嬰兒」和「年幼兒童」參與群交的提示語言。這表明某個用戶要求 Muah.AI 回應這些場景，儘管該程序是否真的這樣做尚不清楚。包括 ChatGPT 在內的大型 AI 平台使用過濾器和其他審核工具，旨在阻止生成響應此類提示的內容，但知名度較低的服務往往較少顧忌。
人們已經用 AI 軟件生成現實人物的性剝削圖像。今年早些時候，泰勒·斯威夫特的色情深偽圖像在 X 和 Facebook 上流傳。兒童安全倡導者反復警告，生成式 AI 現在被廣泛用於創造現實兒童的性虐待圖像，這個問題已在全國各地的學校出現。
Muah.AI 的黑客事件是迄今為止最明顯且最公開的廣泛問題之一：也許是第一次，我們能以非常清晰的方式看到問題的規模。
我與知名安全顧問、數據洩露追蹤網站 HaveIBeenPwned.com 的創建者 Troy Hunt 進行了交談，這是在看到他在 X 上發布有關黑客事件的線索後的結果。Hunt 也從匿名來源那裡獲得了 Muah.AI 的數據：在審查中，他發現了許多用戶要求程序創建兒童性虐待材料的例子。當他搜索 13 歲時，他獲得了超過 30,000 個結果，「其中許多與描述性行為的提示一起出現。」當他嘗試搜索青春期前期，得到 26,000 個結果。他估計數據集中可能有數萬甚至數十萬個創建 CSAM 的提示。
Hunt 驚訝地發現，一些 Muah.AI 用戶甚至沒有試圖隱藏自己的身份。在一個案例中，他將洩露中的電子郵件地址與某個「非常正常」公司的 C 級高管的 LinkedIn 個人資料匹配。「我查看了他的電子郵件地址，這基本上就是他的名字.姓氏@gmail.com，」Hunt 告訴我。「有很多情況，人們試圖隱藏自己的身份，但如果你能找到正確的線索，你就會知道他們是誰。但這個人甚至沒有嘗試。」Hunt 說，CSAM 通常與互聯網的邊緣角落有關。「這個事實，使得這個問題出現在主流網站上，這可能讓我更驚訝。」
上週五，我聯繫了 Muah.AI 詢問有關黑客事件的情況。負責公司 Discord 服務器的人名叫 Harvard Han，向我確認網站被黑客入侵。當我問他關於 Hunt 的估計，即數據集中可能有多達數十萬個創建 CSAM 的提示時，他告訴我：「那是不可能的。怎麼可能？想想看。我們有 200 萬用戶。不可能 5% 是戀童癖者。」（不過，也有可能是相對少數的用戶負責大量的提示。）
當我問他 Hunt 所持有的數據是否真實時，他最初說，「也許有可能。我不否認。」但在同一談話中，他又表示不確定。Han 說他一直在旅行，但他的團隊會調查此事。
Han 強調，該網站的員工人數很少，只有不到五人，資源有限，無法監控用戶的行為。但該網站似乎已經建立了一個適度的用戶基礎：根據流量分析公司 Similarweb 提供的數據，Muah.AI 在過去一年左右的時間裡平均每月有 120 萬次訪問。
Han 告訴我，去年他的團隊設置了一個過濾系統，自動封鎖使用某些詞語（如青少年和兒童）進行提示的帳戶。但他告訴我，用戶抱怨他們被不公平地禁止。之後，網站調整了過濾器以停止自動封鎖帳戶，但仍然阻止基於這些關鍵字生成圖像，他說。
然而，Han 告訴我，他的團隊並未檢查公司是否為用戶生成兒童性虐待圖像。他認為很多這樣的請求「可能被拒絕，拒絕，拒絕了」，他說。但 Han 承認，精明的用戶可能會找到繞過過濾器的方法。
他還對用戶為何可能試圖生成描繪兒童的圖像提供了一種解釋：一些 Muah.AI 用戶因家人的去世而悲痛，來到該服務創建 AI 版本的已故親人。當我指出 Hunt，這位網絡安全顧問，曾看到 13 歲這個詞與性行為一起使用時，Han 回應道，「問題是我們沒有資源查看每個提示。」（在 Cox 關於 Muah.AI 的文章發表後，該公司在其 Discord 上發帖稱，計劃嘗試新的自動化方法來禁止用戶。）
總之，甚至運行 Muah.AI 的人也不知道他們的服務在做什麼。Han 曾指出，Hunt 可能比他更了解數據集中的內容。像這樣的網站能夠以如此少的顧忌運行，可能造成的傷害引發了一個更大的問題：在濫用潛力如此巨大的情況下，它們是否應該存在。
同時，Han 提出了一個關於網絡時代審查的熟悉論點，並將其推至極端。「我是美國人，」他告訴我。「我相信言論自由。我相信美國是不同的。我們相信，嘿，AI 不應該被訓練進行審查。」他接著說：「在美國，我們可以買槍。這把槍可以用來保護生命、你的家庭、你所愛的人——或者可以用於大規模槍擊。」
聯邦法律禁止當此類圖像涉及真實兒童時，生成計算機生成的兒童色情圖像。2002 年，最高法院裁定全面禁止計算機生成的兒童色情作品違反第一修正案。現行法律如何適用於生成式 AI 是一個活躍的辯論領域。當我問 Han 關於聯邦有關 CSAM 的法律時，Han 表示 Muah.AI 只提供 AI 處理，並將其服務比作 Google。他還重申，他公司的詞語過濾器可能會阻止某些圖像，儘管他不確定。
無論 Muah.AI 的命運如何，這些問題肯定會持續存在。Hunt 告訴我，他在洩露事件之前從未聽說過這家公司。「我敢肯定，外面還有許多許多這樣的公司。」Muah.AI 恰巧因數據洩露而被曝光。廉價 AI 生成的兒童虐待時代確實已經到來。曾經隱藏在互聯網黑暗角落的東西現在似乎很容易獲得，而且同樣令人擔憂的是，非常難以根除。
編輯評論
這篇文章揭示了一個令人震驚的現實，即人工智能技術的濫用已經達到了一個新的高度。從中我們可以看到，技術的進步並不總是伴隨著道德和法律的監管，這使得人們在享受技術便利的同時，也面臨著巨大的風險和挑戰。
這種情況提醒我們，監管機構和技術開發者必須共同努力，制定和實施有效的政策和措施，以防止技術被用於不當目的。尤其是在涉及敏感和脆弱群體的情況下，如兒童，這種保護顯得尤為重要。
此外，這也反映出社會對於技術濫用的認識和警覺性仍然不足。我們需要更多的公共教育和意識提升活動，以幫助人們理解技術的潛在風險，並學會如何保護自己和他人。
總的來說，這篇文章不僅揭露了一個嚴重的社會問題，也為我們提供了一個思考技術倫理和社會責任的重要契機。在追求技術進步的同時，我們必須時刻保持警惕，確保技術的應用符合人類的基本價值觀和道德標準。
以上文章由特價GPT API KEY所翻譯
