AI 搶飯碗？OpenAI、Perplexity 狂掠新聞，網站流量跌九成！

新數據顯示OpenAI和Perplexity如何嚴重損害出版商的利益

AI公司曾承諾出版商，他們的AI搜索引擎將通過引導更多讀者到其網站來創造新的收入來源。然而，根據內容授權平台TollBit的一份新報告，實際情況卻截然不同——AI搜索引擎向新聞網站和博客的引薦流量比傳統的Google搜索少了96%。同時，報告還發現，AI開發者在最近幾個月內對網站的抓取次數增加了一倍以上。

根據報告，OpenAI、Perplexity、Meta及其他AI公司在去年第四季度平均對網站進行了200萬次抓取，這份報告分析了160個網站，包括國家和地方新聞、消費科技及購物博客，數據來自2024年最後三個月。每個頁面平均被抓取約七次。

TollBit的首席執行官Toshit Panigrahi告訴《福布斯》，他們看到大量的機器人在每次用戶提問時都在攻擊這些網站。他表示，對出版商內容的需求是相當龐大的。TollBit與出版商合作以追蹤抓取行為，並在AI公司每次抓取時收取費用，這使得他們能夠獲得有關流量和抓取活動的見解。

OpenAI未作評論，Meta也沒有回應評論請求。Perplexity的一位發言人未對報告中的具體聲明作出回應，但表示該公司遵守“robots.txt”指令，這些指令告訴網絡爬蟲哪些部分可以訪問。

“是時候說不了。”

——Nathan Schultz, Chegg首席執行官

去年二月，研究公司Gartner預測到2026年，傳統搜索引擎的流量將下降25%，這主要是因為AI聊天機器人和其他虛擬代理。依賴搜索流量的企業已經開始受到影響。教育科技公司Chegg最近起訴Google，指控這家搜索巨頭的AI生成摘要在未標註來源的情況下使用了其網站內容，從而搶走了流量並損害了其本已減少的收入。Chegg的流量在一月份同比下降了49%，這一降幅比去年第二季度AI摘要發布時的8%下降更為尖銳。Chegg的首席執行官Nathan Schultz在一次收益電話會議上表示，流量下降使得公司考慮私有化或被收購。

“是時候說不了，”Schultz告訴《福布斯》。他表示，Google與出版商之間長期以來有一個社會契約，應該將用戶引導至高質量的內容，而不僅僅是將流量留在Google上。“當你打破這個契約時，這是不對的。”

代表Chegg的律師Ian Crosby表示，這種做法將在長期內損害像Google這樣的搜索公司，若像Chegg這樣的公司被迫關閉，將導致“AI泥漿”的出現。“這對互聯網是一種威脅，”他說。

Google稱Chegg的訴訟“毫無根據”，並聲稱其AI搜索服務向更多樣化的網站傳送流量。

旅行訂票網站如Kayak和TripAdvisor也對Google的AI搜索概述削弱流量表示擔憂。《福布斯》報道，新聞出版商已對OpenAI和Perplexity提起法律行動，指控它們侵犯其知識產權。（這兩家公司都在對抗這些訴訟。）

AI開發者使用所謂的用戶代理來爬取網絡並收集數據，但許多公司並未正確識別或披露其抓取機器人，這使得網站所有者難以發現和了解AI公司如何訪問其內容。Panigrahi指出，一些公司，如Google，似乎使用相同的機器人進行多種用途，包括網頁索引和數據抓取。

“出版商很難想要阻止Google，這可能影響他們的SEO。”

——Olivia Joslin, TollBit聯合創始人

“出版商很難想要阻止Google，這可能影響他們的SEO，對於我們來說，無法推斷他們的機器人具體用途，”TollBit的聯合創始人Olivia Joslin表示。

Google未對評論請求作出回應。

此外，價值90億美元的AI搜索初創公司Perplexity即便在出版商阻止其訪問網站的情況下，仍然向他們發送引薦流量，這意味著它仍在秘密抓取網站。報告中指出，在一個例子中，Perplexity對一個出版商的網站抓取了500次，但卻發送了超過10,000次的引薦流量。Panigrahi表示，這一現象的解釋之一是Perplexity使用了一個未被識別的網絡爬蟲來訪問該網站。Perplexity僅表示尊重“robots.txt”。

去年，這家備受關注的初創公司因抓取並重新發布付費牆文章而受到批評，某些情況下甚至包括幾乎相同的措辭，從《福布斯》、《CNBC》和《彭博社》等新聞機構未適當標註來源。6月，《福布斯》發現它還引用了低質量的AI生成博客和社交媒體帖子，這些內容包含不準確的信息。作為對《福布斯》報導的回應，首席執行官Aravind Srinivas表示，名為Perplexity Pages的重新發布功能“還有很多不足之處”。《福布斯》在6月向Perplexity發送了停止和終止信，指控其侵犯版權。

去年十月，紐約郵報和道瓊斯對Perplexity提起了涉嫌版權侵權的訴訟，並指控其向媒體公司歸屬虛構事實。當時，Perplexity表示，這起訴訟反映了一種“根本短視、不必要且自我反擊的立場”。

本月初，另一家AI初創公司也成為媒體公司的攻擊目標。一組出版商，包括Condé Nast、Vox和《大西洋月刊》，對企業AI公司Cohere提起訴訟，指控其從互聯網上抓取了4,000部版權作品並用於訓練其大型語言模型的套件。（《福布斯》是這起訴訟的一部分。）

肆虐的AI抓取不僅損害了出版商的搜索流量和收入。隨著越來越多的機器人訪問網站以閱讀和抓取其內容，這也導致了數百萬的伺服器成本增加，Panigrahi表示。隨著OpenAI和Perplexity等公司推出自主訪問數百個網站以生成深入報告的研究AI代理，這一問題勢必會變得更糟。

解決這一問題的一個明確方法是直接授權文章。例如，美國新聞社、阿克塞爾·施普林格和《金融時報》都與OpenAI達成了內容交易。但是，隨著新一批公司出現，尋找在人工智能時代為出版商創造新的經濟模式。例如，TollBit每次抓取出版商網站的內容時，都向AI公司收取費用。TollBit與TIME、赫斯特和Adweek等500家出版商合作。

“AI的閱讀方式與人類不同。人類會點擊一個鏈接，再點擊第二個鏈接，然後就會離開，”Panigrahi說。“而AI則會閱讀10到20個鏈接以獲得答案。”

這些問題的存在顯示出AI技術的快速發展正在對傳統媒體產生深遠影響，未來的出版商必須重新思考他們的商業模式，以應對這一挑戰。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。