OpenDream 自稱為 AI 藝術平台，但其用戶生成了兒童性虐待材料
2024年10月14日
警告：本文討論兒童性虐待材料（CSAM）。
乍看之下，OpenDream 只是近年來湧現的許多普通 AI 圖像生成網站之一，允許用戶通過輸入簡短描述來創建圖像。該平台在其網站和社交媒體平台上描述自己為“AI 藝術生成器”，並邀請用戶“解鎖無限創意可能性的世界”。
但數月來，人們利用它生成了兒童性虐待材料（CSAM），而這些圖像在平台的公開頁面上可見，且沒有任何明顯的審核。
Bellingcat 首次通過 X（前稱 Twitter）上的宣傳帖子發現了 OpenDream。許多宣傳 OpenDream 的帳戶都專注於 AI 工具和服務。
一些關於 OpenDream 的 X 帖子中展示了該平台公共畫廊的截圖，顯示了年輕女孩與穿比基尼的成年女性的圖像。
公共畫廊中的不當內容
該網站的主頁描述該平台為“AI 藝術生成器”，配有一個相當無害的動畫風格圖像。然而，公開畫廊頁面——不需要任何登錄即可查看——充滿了性露骨的圖像。
在幾秒鐘的滾動中，我們發現了多個由 AI 生成的年幼兒童和嬰兒穿著內衣或泳衣，或被性虐待的圖像。生成這些圖像的提示——這些提示也是公開可見的——明顯展示了創造兒童性化圖像的意圖。例如，一些提示包括“幼兒”一詞，並結合了特定的身體部位和姿勢、全裸或局部裸露的描述，或性行為。
Bellingcat 已向美國國家失蹤與被剝削兒童中心報告了該網站。
此外，OpenDream 對生成非自願的名人深偽圖像似乎沒有任何限制。在瀏覽畫廊時，我們發現了著名女性網絡主播、政治家、歌手和演員的穿比基尼的圖像。
Wayback Machine 的存檔版本顯示，早在2023年12月，OpenDream 就在展示 AI CSAM 和非自願的深偽圖像。
在流行搜索引擎如 Google 和 Bing 上搜索該平台的名稱時，我們發現大多數圖像結果也是 CSAM。
雖然 OpenDream 的使用量不如其他一些 AI 圖像生成平台，但它不是第一個被用來生成 CSAM 的平台，這些材料毫無審核地向公眾提供，這使其有別於我們在 Bellingcat 遇到的其他網站。
突然的審核和清理
2024年7月底，我們首次觀察到該平台的審核嘗試。截至發稿時，CSAM 和深偽色情圖像似乎已被設為私密或從網站上移除。不清楚為何在這些內容至少半年未經審核後突然進行了清理。OpenDream 沒有回應我們的評論請求。
根據該網站的 WHOIS 記錄，該平台的域名由 Namecheap 註冊，該公司出售網域名。Namecheap 的域名註冊協議禁止將其服務用於“非法或不當目的”，包括如果內容違反任何地方政府的法律。域名註冊商沒有回應我們的評論請求。OpenDream 的網站由 IT 服務公司 Cloudflare 託管，該公司禁止包含、展示、分發或鼓勵創建兒童性虐待材料的內容。Cloudflare 也未回應我們的評論請求。
從“不適合工作”的內容中賺錢
OpenDream 通過訂閱和廣告賺取收入。雖然任何人每天可以免費生成少量圖像，但也有付費計劃。
在7月，兩個最昂貴的訂閱計劃允許用戶使用 NSFW（不適合工作）提示，訪問 OpenDream 的 NSFW 模型，並將他們生成的圖像從公共畫廊中隱藏。NSFW 是一個通用術語，指的是通常被認為不適合在工作中觀看的內容，如色情、暴力或令人不安的圖像。我們在 OpenDream 上觀察到的唯一 NSFW 圖像是色情或性質的。
截至發稿時，有關公共 NSFW 模型的提及已從定價信息中移除，但付費計劃仍包括訪問 NSFW 提示。
非受害者犯罪
全球範圍內，針對 AI 生成的 CSAM 的法律滯後於 NSFW AI 圖像生成網站的增長。
在美國和英國，AI 生成的 CSAM 是非法的，並被視為與現實生活中的 CSAM 相同。今年8月，加利福尼亞州對一些生成非自願深偽色情，包括 CSAM 的全球最大網站提起了一起“首例”訴訟，這標誌著法律後果的明顯轉變，將責任推向提供 AI 服務的公司，而不是創建內容的用戶。歐盟也在討論新的法律，以犯罪化 AI 生成的 CSAM 和深偽圖像。但在其他國家，如日本，只要不涉及真實兒童，分享合成的性內容描繪未成年人並沒有法律限制。
雖然 OpenDream 是我們遇到的最嚴重的 AI 圖像生成網站之一，但它遠非過去一年中出現的唯一一個。Bellingcat 之前曾報導過其他通過非自願深偽圖像賺錢的 AI 平台，包括那些展示非常年輕的主題的圖像。
互聯網觀察基金會（IWF）的首席技術官 Dan Sexton 表示，AI CSAM 不是一種無受害者的犯罪。
“事實是，你很有可能使用了一個本身已經接受過兒童性圖像訓練的模型，所以兒童的虐待可能在這些 AI 兒童性虐待圖像的創建過程中已經發生，”Sexton 說。
Sexton 補充說，即使描繪的兒童不是“真實的”，接觸到兒童被性虐待的圖像也可能使這種行為正常化。
“你會有一種合理化的心態，認為‘這不是一個真實的孩子’。但即使最終證明這是一個真實的孩子，你也可以合理化說這不是真實的。所以我認為這是一條危險的道路，”他說。
AI 生成的 CSAM 問題隨著成人非自願深偽露骨材料問題的增長而增長，因為許多人用來生成成人女性色情圖像的 AI 生成服務也可以用來生成兒童色情圖像。
根據 IWF 2024年7月的報告，大多數 AI CSAM 現在已經足夠真實，可以被視為“真實的” CSAM，隨著 AI 技術的進步，這將成為一個更難解決的問題。
在 OpenDream 的案例中，這些材料不僅通過網站本身提供，還被 Google 和 Bing 的搜索引擎索引。
搜索“OpenDream”和“OpenDream ai”圖像導致這兩個搜索引擎返回合成的性化未成年人的圖像。返回的大多數圖像包括穿比基尼或裸體的幼童。
在被問及 OpenDream 的 AI CSAM 圖像出現在 Bing 的搜索結果時，微軟的一位發言人表示，該公司“長期致力於推進兒童安全和打擊在線兒童性虐待和剝削”。
“我們已經採取行動移除這些內容，並將繼續致力於加強我們的防禦和保護我們的服務，”發言人補充說。
Bellingcat 確認這些圖像在我們聯繫評論後已從 Bing 的圖像搜索結果中移除。
同樣，Google 的一位發言人表示，搜索引擎有“強有力的保護措施，限制描繪 CSAM 或剝削未成年人的惡劣內容的傳播，這些系統對合成 CSAM 圖像也有效”。
“我們主動檢測、移除並報告這些在搜索中的內容，並有額外的保護措施來過濾和降低性化未成年人的內容，”Google 的發言人說。
在 Bellingcat 聯繫評論後，Google 也從其搜索引擎結果中移除了 OpenDream 生成的 CSAM 圖像。
OpenDream，關閉的大門
根據 OpenDream 相關的多個社交媒體帳戶和博客文章，該網站由 Nguyen 的新加坡公司 CBM Media Pte Ltd 擁有。我們的調查顯示，OpenDream 的多名員工以及平台社交媒體頁面的管理員也在 Bui 的越南註冊的 CBM Media Company Limited 工作。此外，VPNChecked——一家與顯然與 Nguyen 和 Bui 關係密切的個人有關的公司——自稱 OpenDream 是其產品。
但儘管我們已經找到了這些信息，尚不清楚這三位個人各自在多大程度上知曉用戶創建在美國、英國和加拿大非法的內容——根據 Nguyen 的 Facebook 帖子，這些國家是 OpenDream 的主要市場。
在這次調查過程中，我們多次嘗試聯繫 Bui、Nguyen 和與 VPNChecked 有關的個人。我們通過與他們相關的網站上找到的各種個人和專業電子郵件進行了聯繫。我們還多次撥打他們在個人資料上列出的電話號碼，並向他們的個人 Facebook 帳戶發送了消息。截至發稿時，我們尚未收到任何回應。
OpenDream 的 AI 圖像生成工具使用了在 Hugging Face 等 AI 社區中自由可用的開源模型。一些這些模型的描述特別提到了 NSFW 的能力和傾向。
IWF 的 Dan Sexton 告訴 Bellingcat，重要的是考慮在線 CSAM 的整個生態系統，包括使創建和賺取 AI 圖像生成應用變得更容易的免費開源 AI 工具和模型。
“這些應用並不是無中生有。創建這些服務需要多少步驟？因為實際上有很多干預點可以使其更難，”Sexton 說。
在這方面，Sexton 表示可以加強法律和監管，以阻止商業行為者創建此類服務。
“這些人正在尋找賺錢的途徑。如果他們無法通過這種方式賺錢，他們會嘗試通過其他方式賺錢。如果這樣做更難，他們可能就不會這樣做，”他說。
“他們不會停止嘗試賺錢，並且不一定會以有害的方式這樣做，但至少他們可能會轉向其他事情。”
自 Google 終止其 AdSense 帳戶以來，OpenDream 無法再通過 Google 廣告賺錢，根據 Nguyen 的 Facebook 帖子，這之前佔該平台收入的很大一部分。其支付處理服務截至發稿時仍然無法使用。
但其他程序化廣告提供商的廣告仍然在 OpenDream 的網站上可見，該平台似乎正在探索其他支付處理器。點擊升級到付費帳戶現在會將用戶重定向到 PayPal 的虛擬測試環境，雖然在此頁面上無法進行實際支付，因為測試環境——任何開發者都可以設置——僅模擬交易。PayPal 的政策也禁止購買或銷售色情內容，特別是那些“涉及或似乎涉及未成年人”的內容。
評論
這篇文章揭示了 OpenDream 這個 AI 圖像生成平台的黑暗一面，特別是如何被用來生成和傳播兒童性虐待材料（CSAM）。雖然技術的進步帶來了許多創意和便利，但這篇報道突顯了技術濫用的嚴重後果。OpenDream 的案例展示了在監管和法律方面的空白，這使得這些不法行為得以滋長。
值得注意的是，這不僅僅是技術問題，更是道德和法律問題。AI 技術的發展和應用需要更嚴格的監管，以防止被用來進行非法活動。這也提示我們，技術的進步需要伴隨更高的責任感和監管措施。
從這篇報道中，我們可以看到，許多公司和個人為了追求利益而忽視了道德和法律底線。這種行為不僅對受害者造成了深遠的影響，也損害了整個社會的道德基礎。
總結來說，這篇文章提醒我們，在享受技術帶來的便利和創意的同時，也必須警惕其可能帶來的負面影響。只有通過加強監管和提高道德意識，才能更好地保護我們的社會免受技術濫用的侵害。
以上文章由特價GPT API KEY所翻譯
