Cloudflare引誘網絡爬蟲進入「AI迷宮」
Cloudflare，全球最大的網絡基礎設施公司之一，最近推出了一項名為「AI迷宮」的新工具，旨在對抗那些未經授權而爬取網站數據以供AI訓練的網絡爬蟲。該公司在一篇博客文章中表示，當檢測到「不當的爬蟲行為」時，這個免費的選擇性工具會引誘爬蟲進入一條充滿AI生成的虛假網頁的鏈接路徑，這些頁面「拖慢、混淆並浪費那些惡意行為者的資源」。
長期以來，網站一直使用robots.txt這種榮譽制度來管理爬蟲的訪問權限，但即使是一些知名的AI公司，如Anthropic和Perplexity AI，也被指控忽視該做法。Cloudflare指出，它每天處理超過500億次的網絡爬蟲請求，雖然它擁有識別和阻止惡意爬蟲的工具，但這往往會促使攻擊者改變策略，形成一場「無休止的軍備競賽」。
Cloudflare表示，與其直接阻止爬蟲，不如利用AI迷宮讓它們處理與特定網站實際數據無關的數據。該公司還表示，這個工具可以作為「下一代蜜罐」，吸引AI爬蟲深入跟隨鏈接到虛假頁面，而普通人則不會這樣做。這樣做使Cloudflare能夠更容易識別惡意爬蟲，並更新其黑名單，還能識別「新的爬蟲模式和特徵」，這些是它原本無法檢測到的。根據該文章，這些鏈接不應該對人類訪問者可見。
網站管理員可以通過導航到Cloudflare儀表板的Bot管理部分來選擇使用AI迷宮，並將其開啟。該公司表示，這「僅僅是使用生成式AI來對抗爬蟲的第一個版本」。它計劃創建「整個鏈接URL的網絡」，這些爬蟲將難以識別為虛假網頁。如Ars Technica所提到的，AI迷宮聽起來類似於Nepenthes，這是一種旨在將爬蟲置於「數月」的AI生成垃圾數據的工具。
這項技術的創新之處在於，它不僅僅是被動地防禦爬蟲的攻擊，而是主動地引導它們進入一個無用的數據世界。這種策略的成功與否，將取決於Cloudflare是否能夠有效地混淆爬蟲的行為，從而使其無法有效獲取有價值的數據。這不僅是對抗網絡爬蟲的一種新嘗試，還可能引發關於數據使用和隱私的更廣泛討論。隨著AI技術的不斷進步，這一領域的競爭只會愈演愈烈，網站管理者必須謹慎考慮如何保護自己的數據資源。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
