AI搶佔網頁流量 新時代內容爭奪戰

民主於黑暗中逝去——AI取代Google搜尋，掀起網絡新變局

隨著人工智能工具如ChatGPT開始取代傳統Google搜尋，網絡世界出現了一種全新型態的機械人（bot）。為了向用戶提供簡潔的AI摘要，而非Google那一長串的「藍色連結」，OpenAI、Anthropic等公司紛紛派出機械人，實時爬取網頁內容，將相關資訊「讀取」並存入AI記憶中，遠超過人類能夠瀏覽的範圍。

根據紐約初創公司TollBit向《華盛頓郵報》獨家分享的數據，2025年第一季度，這類「檢索機械人」的流量較2024年第四季度飆升了49%。TollBit專門協助新聞出版商監控並從AI使用其內容中獲利。其基於160個網站的數據（其中一半為國家及地方新聞機構運營）顯示，當用戶發出指令時，AI模型所調用的檢索機械人數量正呈指數增長。

TollBit創辦人兼CEO Toshit Panigrahi表示：「這種現象始於新聞出版商，但最終會波及所有網站。」他指出，這類機械人流量對網站來說難以察覺，反映出對內容的需求持續升溫，儘管AI工具正在嚴重削弱新聞及其他網絡平台的人類流量。「你網站上的真人瀏覽者減少了，但整體內容接觸量，從根本上看，將會爆炸式增長。」

OpenAI發言人則表示，儘管ChatGPT搜尋帶來的出版商引薦流量數量可能較少，但用戶的意圖更為明確，遠非普通瀏覽可比。

為了應對這一轉變，網站必須重新定位，將AI用戶視為主要訪客，而非單純的人類瀏覽者。Panigrahi同時坦言，要在AI公司主張「爬取網絡數據屬合理使用」的背景下爭取內容付費，將會是一場艱難的戰役，尤其是當主要AI企業越來越難以辨識其最新一代的AI訪客身份時。

關於AI產業使用網絡內容的爭議，焦點一直放在訓練AI模型所需的海量文字數據。這些數據多由機械人免費爬取公開網頁，導致包括紐約時報對OpenAI提起的版權訴訟在內的多起著作權糾紛爆發。部分新聞機構則選擇與AI企業簽訂授權協議（例如今年4月，《華盛頓郵報》與OpenAI達成合作）。

過去八個月，隨著聊天機械人加入網絡搜尋及「推理」功能以應對更複雜的問題，檢索機械人流量暴增。根據TollBit報告，2024年第四季度至2025年第一季度，檢索機械人流量增長速度是用於訓練數據爬取機械人的2.5倍。

Panigrahi指出，TollBit的數據或低估了這一變化的規模，因為它未涵蓋AI企業代表用戶完成任務（如透過DoorDash點外賣）的AI「代理人」所派出的機械人。

這些發現也為日益明顯的事實增添了新視角：現代互聯網——以Google搜尋結果和社交媒體算法為優化目標——將不得不重新結構，以適應AI回答的興起。

Panigrahi說：「如果只把優化搜尋當成為了人類用戶，那就錯失了巨大的機遇。」

TollBit為新聞出版商提供免費安裝的分析平台，目前擁有逾千名客戶，這些客戶正面對這場劇變。雖然新聞機構和其他網站可以設置阻擋機制防止AI機械人爬取內容，但TollBit發現，僅2025年3月，就有超過2600萬次AI爬取成功繞過這些阻擋。有AI企業聲稱，代表用戶行事的AI代理機械人無需遵守一般的機械人規則。

媒體公司Time的營運長Mark Howard表示，TollBit的流量數據幫助Time與OpenAI、搜尋引擎Perplexity等AI企業談判內容授權。但他也坦言，公平補償出版商的市場仍未成熟：「絕大多數AI機械人根本沒有透過付費機制取得內容……這條路還非常漫長。」

—

評論與啟示：AI時代內容生態的重塑與挑戰

這篇報導深刻揭示了AI技術如何快速改變網絡生態，尤其是新聞和內容產業面臨的巨大挑戰。AI檢索機械人以極高效率「閱讀」網頁內容，雖帶來流量結構的根本轉變，但同時也加劇了版權爭議和商業模式的不確定性。

傳統以人類瀏覽者為核心的網站經營策略，正逐步失效。這不僅要求出版商和內容創作者重新思考如何對AI用戶提供服務，更挑戰現有的法律與商業框架。AI公司利用合理使用（fair use）抗辯版權問題，令出版商難以獲得應有報酬。加上AI代理機械人難以識別，監管和執行更成難題。

然而，這場變革同時也蘊含新機遇。出版商若能善用AI帶來的內容需求爆炸，調整內容呈現與授權策略，或可打開新的收益來源。TollBit等技術提供商的出現，為數據監控與收益保障提供了工具，這是未來產業發展的重要一環。

從更宏觀角度看，這場AI浪潮促使整個互聯網結構和用戶體驗必須革新。Google搜尋和社交媒體算法不再是唯一的流量入口，AI生成的摘要和答案將成為新的「門戶」。網站和內容創作者必須拋棄以往的思維，積極擁抱AI，用創新模式與技術迎接未來。

對香港及華語媒體而言，這同樣是警號與契機。如何在AI技術普及下保障內容版權，兼顧讀者體驗與商業利益，是我們必須正視的課題。更重要的是，我們應思考如何利用AI提升新聞品質和資訊傳遞效率，避免被新技術淘汰。這場AI驅動的媒體變革，既是挑戰，也是推動行業升級的催化劑。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。