AI初創公司在研究人員發現令人作嘔內容後刪除整個網站
本週，一個名為GenNomis的南韓網站在研究人員發現一項特別驚人的發現後關閉了。該網站的軟件Nudify生成了數以萬計的AI生成色情圖像，這些照片存放在一個不安全的數據庫中，包括了名人、政治家、隨機女性及兒童的露骨形象。
發現這些圖片的網絡安全研究員Jeremiah Fowler表示，他立即向GenNomis及其母公司AI-Nomis發送了負責任的披露通知，隨後這些公司限制了數據庫的公共訪問。數小時後，當《Wired》向GenNomis尋求評論時，該網站及其母公司似乎完全從網絡上消失。
GenNomis並不是唯一一個銷售生成色情內容的AI初創公司。這只是全球無法受控的生成AI所帶來的令人擔憂的趨勢中的一小部分。由於其逼真的特性，基於真實人物的假色情圖片和視頻在互聯網上迅速增長，消費者越來越能獲得更具說服力的生成AI技術。
深度假色情的後果可能是毀滅性的，尤其是對於女性而言，她們是受害者的絕大多數。除了明顯的缺乏同意外，這些內容還被用來抹黑政治人物、導致人們失業、勒索受害者金錢，甚至生成兒童性虐待材料。除了性暴力，非色情的深度假內容也導致金融和網絡犯罪大幅增加，以及明顯的錯誤信息泛濫。
GenNomis位於南韓並不令人驚訝。根據2023年對深度假色情的報告，南韓女性佔受害者的53%，是受到此行為最嚴重影響的群體。相比之下，美國女性則佔第二多，約20%。
生成AI的興起使得對女性的肆意剝削日益加劇，同時南韓的性別歧視言論和基於性別的暴力事件也在迅速上升，反動派政治家和影響者將男性自殺率上升的責任歸咎於女性主義。
總體而言，這強烈呼籲立法者加強對生成AI的監管，儘管由於AI行業目前自我監管的自由，這似乎不太可能。相比之下，中國已經要求所有AI生成的媒體從一開始就進行標記。雖然西方立法者的行動較慢，但他們正在追趕，對於深度假色情的創作和分發進行刑事化，儘管美國各州的法律和處罰各不相同。
然而，對於全球數以千計的女性來說，像GenNomis這樣的公司存在的事實意味著這一切來得太遲，影響已經造成。
這一事件不僅反映了生成AI技術的潛在危害，也暴露了當前對這些技術的監管不足。隨著AI技術的快速發展，社會必須更深入地探討如何平衡創新與倫理，特別是在涉及人類尊嚴和隱私的問題上。各國政府需要迅速採取行動，以防止此類事件再次發生，並保護最脆弱的群體。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
