AI時代網絡變革：人機分流新世代

人工智能時代來臨，互聯網分裂成兩個世界：一個屬於人類，一個屬於機械人

互聯網的傳統規則正逐漸瓦解。

過去數十年，網站樂於歡迎搜尋引擎的爬蟲（crawlers）來訪，因為被Google或其他搜尋引擎抓取資料，代表網站會被編入索引、提升排名和曝光度。Google平均每派兩個機械人到網站，就會帶來一個用戶流量。換句話說，爬蟲抓取等於網站流量和商機。

但現在，隨著生成式人工智能工具急速吞噬整個互聯網，爬蟲抓取變成被「繞過」的代名詞。根據Cloudflare的數據，OpenAI（ChatGPT背後的公司）每送一個用戶到網站，就派出1500個機械人；Anthropic這數字更高達6萬。人類訪問網站的流量逐漸停滯，而自動化機械人流量則急速飆升，有時甚至超越人類用戶。

與Google時代不同的是，這些AI機械人大多不會回連結到原始資料來源。相反，AI模型會在自己的介面內總結並提供答案，將用戶「鎖住」在平台內，網站和內容創作者則被排除在外。

Webflow CEO Linda Tong形容這是她20年互聯網經驗中最深刻的變革之一，「它根本改變了人們尋找和與品牌互動的方式，對某些企業而言，更是生存威脅。」

這正中問題核心。公眾多聚焦擔心AI會取代人類工作，但更迫切的威脅是，AI正顛覆互聯網的基礎經濟模式，卻鮮有關注。

搜尋時代的終結

自1990年代初，機械人爬蟲開始在網絡上運作，先是用來繪製網絡地圖，後來編入索引，最終推動了搜尋引擎的崛起。早期爬蟲如World Wide Web Wanderer為視覺化帶來基礎。1996年Google的爬蟲Backrub（後來稱Googlebot）上線後，一套新邏輯成形：讓搜尋引擎掃描內容，換取流量。

接下來30年，這套邏輯定義了開放的網絡世界。Google搜尋排名決定網站生死，從小眾部落格到大型媒體集團，SEO（搜尋引擎優化）、資訊架構和內容策略成為產業核心。

但AI不按舊規矩行事。

像OpenAI的ChatGPT、Anthropic的Claude、甚至Google自己的Gemini等大型語言模型（LLMs），不會回連結給原始資料，而是「重組」內容，直接在介面中回答用戶問題，且多數不附帶來源。

忘記SEO，迎接AEO時代

這種變化催生了新詞彙AEO（AI引擎優化），企業開始制定策略，讓內容更容易被AI識別和吸收，即使AI回答不會帶來點擊。若SEO定義了搜尋時代，AEO將主導生成式AI時代。

Webflow的Tong指出，AI機械人「綜合它們抓取到的內容，卻呈現出剝離了網站價值主張的格式」，沒有點擊，沒有認可，只有答案。

Webflow過去半年AI爬蟲流量增長超過125%。整體互聯網流量中，超過半數來自機械人。面對激增的機械人流量，部分企業開始「分身」經營兩個版本網站：一個為人類設計，有視覺和互動，另一個則簡化結構，優化給機械人讀取，保護核心內容不被攤薄。

Tong說：「給人類的網站應該豐富、互動、令人愉悅；給機械人的，則要結構清晰、易於爬取，但不一定是完整內容。」有些出版商甚至只向爬蟲展示摘要或部分內容，既誘導索引，又避免削弱收入模式。

結果是，互聯網悄悄分裂成兩個版本：一個吸引用戶，另一個餵養機械人。

爬取帶來的好處

對部分企業來說，例如Webflow，被AI抓取反而是好事。

當用戶問ChatGPT哪個網站建設平台最好，若Webflow被推薦，這種曝光非常有價值。Tong指出，透過AI來的用戶通常更有準備、更有購買意向。

「他們已經做過功課，登陸網站後就是註冊或購買。」

但對依賴大量讀者和流量的媒體、創作者而言，情況則截然不同。若聊天機械人只簡述新聞或提煉指南重點，用戶可能根本不點擊原文。沒有點擊就沒有廣告曝光、訂閱、用戶數據和收入。

廣告科技平台Taboola CEO Adam Singholda直言：「我們見過這幕。出版商把內容交給Facebook做Instant Articles，結果是沒流量、沒錢。」這種模式失衡，最終崩潰。

Facebook 2015年推出Instant Articles，承諾快速載入和流暢手機體驗，出版商加入盼望借Facebook觸及龐大觀眾。但讀者留在Facebook內，繞過了出版商網站及其廣告和數據，導致收入大減。數年後，多家媒體放棄，2023年Facebook悄悄關閉該計劃。

Singholda認為，Perplexity和ChatGPT等工具正重演這個錯誤，規模更大，對出版商的好處更少。許多出版商報告，過去一年搜尋流量下降20-30%，正值AI工具大規模普及，ChatGPT每週活躍用戶超過4億。

「這只是第一波，下一波來臨時會怎樣？」

付費、封鎖，還是被抓取？

面對內容與流量漸行漸遠，出版商和平台開始反擊。部分出版商如Reddit、紐約時報和Vox Media與AI公司簽訂授權合約，換取高額費用，但這只是少數。

Singholda說：「沒錢能付得起所有被抓取內容的出版商。你不可能給千家媒體每家一億美元。」

Tong則預見另一種未來：出版商能控制誰能讀取內容、看到什麼。透過Webflow與Cloudflare合作，企業可區分好爬蟲、壞爬蟲和大型語言模型，選擇只分享部分內容或摘要，甚至完全封鎖。

但執行仍具挑戰。不是所有爬蟲都遵守robots.txt（網站爬取政策），有些公司甚至被指控使用代理伺服器繞過封鎖，令爬取持續。

此外，問題不止於流量。在機械人優先回答的世界，獲得認可與被內容「掠奪」之間的差異，可能決定整個產業的命運。

甚至出現AI生成頁面，不為人類閱讀而是供其他AI抓取，形成機器對機器的封閉內容循環。

為應對這情況，Taboola推動新模式，如Deeper Dive，讓用戶直接在出版商網站內與AI互動，根據現有報導獲取答案。Singholda說：「你有AI互動，但出版商保留關係、流量和信任。」

這種信任或將成為最珍貴的貨幣。在無摩擦的答案世界，人們仍渴望真實和信賴。

「我們是人類，重要時刻，比如金錢、健康或子女問題，我們依然想知道背後是誰在說話。」

—

評論與啟示

這篇文章深刻揭示了生成式AI正如何徹底改變互聯網生態，尤其是內容生產與分發的經濟模式。過去三十年，搜尋引擎締造的「流量經濟」讓內容創作者和媒體依賴SEO來吸引訪客、賺取廣告和訂閱收入。如今，AI不再需要用戶點擊進入原站，直接「消化」內容並在自身介面中呈現答案，令原創者失去流量和收益。

這種轉變帶來的問題不只是技術，更是商業模式和倫理的挑戰。網站分拆成兩個版本，一面向人類、一面向機械人，反映出內容保護與開放的矛盾。授權談判和封鎖爬蟲只是暫時措施，如何在AI時代建立新的價值分配機制，將是關鍵。

此外，AI生成內容自我循環的現象，可能進一步稀釋資訊真實性和多樣性，這對媒體公信力和資訊生態都是警訊。另一方面，像Taboola的Deeper Dive這類創新嘗試，展示了出版商可如何結合AI提升用戶體驗，同時保留流量和信任，或許是未來發展的正確方向。

總括而言，這場變革提醒我們：技術進步固然重要，但人類對「信任」、「透明」和「真實」的需求不會消失。未來互聯網的競爭力，除了效率和智慧，更在於誰能守護和提供用戶真切可靠的價值。這是香港及全球媒體和內容產業不可忽視的挑戰和機遇。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。