「Pay Per Crawl」革命：出版商如何… · ELECTE

免費從網路蒐集內容的時代正在結束。以下說明新平台如何將AI機器人從不付費的訪客轉變為真正的客戶。

問題：當 AI 違反與出版商的協定時

Google 模式：有效的平衡

二十多年來,網路一直依循一項不成文的協議運作:Google及其他搜尋引擎免費索引出版商的內容,在其頁面上顯示摘要和節錄,但作為交換,會將大量流量導回原始網站。出版商接受這種內容的「使用」方式,因為他們能藉此獲得曝光度、讀者,進而帶來廣告收入。

Google News 將這種模式發揮得淋漓盡致：它從數千個來源彙整新聞、顯示頭條新聞和簡短摘錄，但每次點擊都會將使用者帶到原始網站。雙贏的平衡，讓數位資訊生態系統得以持續發展。

AI 打破平衡

現在想像一下,您經營一個新聞網站,卻發現每天有數千個AI機器人在掃描您的文章,利用這些內容來訓練它們的模型,並向使用者提供完整的答案,卻從未將流量導回您的網站。這種AI不會產生連結,也不會產生點擊:它直接回答問題。歡迎來到2025年的現實。

根據Cloudflare的數據,到2025年年中,80%的AI爬取活動用於模型訓練,而導向出版商的推薦流量(尤其是來自Google的部分)正急劇下降。這個運作了二十年的模式正在瓦解:Google本身透過其AI Overviews功能,導向原始網站的流量也越來越少。「爬取與推薦」比率呈現出驚人的數字:Anthropic每導向網站一位訪客,就有38,000次的爬取,而OpenAI的比率則達到1,700:1。

但如果機器人能夠成為付費客戶,而非單純的免費內容消費者,情況會如何?是時候訂立新協議了:如果AI無法再像Google那樣保證回流流量,那麼至少應該為存取內容付費。

解決方案：每次抓取付費和 AI 微支付

Cloudflare 開啟舞蹈

2025年7月,Cloudflare宣布成為首家預設封鎖AI爬蟲的網路基礎設施公司,同時推出「Pay Per Crawl」系統。有什麼新變化?現在,每個在Cloudflare註冊的新網域都會被明確詢問,是否希望允許AI爬蟲存取其內容。

但真正改變格局的是這個市集,讓出版商可以要求AI公司支付費用,每次其頁面被掃描時。不再只是「允許」或「封鎖」,而是多了第三種選項:「收費」。

TollBit：人工智能微額支付先驅

早在Cloudflare之前,TollBit就已經開始建構這項基礎設施。這家新創公司最近在A輪融資中籌集了2400萬美元,並打造了一個平台,讓AI機器人可以直接向網站付費以使用其內容。

TIME和Adweek是率先嘗試這種模式的客戶之一,他們發現AI代表了一種具有特定需求的新客戶類別。

數字：您到底能賺多少錢？

TollBit 預測

根據一項詳細分析，TollBit 每年可能已經為其出版合作夥伴創造約7,100 萬美元的收益。原因如下：

流量呈指數級增長：湧向 TollBit 客戶網站的 AI 機器人流量每季度都翻倍
2024 年第四季：每日 275 萬次機器人訪問
2025 年第一季：650 萬次訪問
2025 年第二季預測：1,300 萬次訪問

以內容網站每千次曝光成本（CPM）15 美元的典型費率計算，這意味著 TollBit 生態系統每天可產生19.5 萬美元的潛在收入，換算下來每年超過 7,100 萬美元。

定價模式

TollBit 建議兩種定價等級：

摘要費率（Summarization rate）：適用於想要摘要內容的機器人
轉載費率（Syndication rate）：適用於想要顯示完整文章的機器人，費率高出許多

差異可能很大，因此對於高級和專門的內容而言，這是一個特別有吸引力的模式。

來自實地的實際資料

TollBit 對 160 個網站進行的一項分析顯示，AI 公司在 2024 年第四季平均爬取了 200 萬次。每個頁面平均被爬取了 7 次。

TollBit 聯合創始人 Toshit Panigrahi 解釋道：「這些 AI 平台產生的機器人流量幾乎與存在了 20 年的搜尋引擎機器人流量相當，這實在令人難以置信。」

演進中的生態系統

DataDome：保護與貨幣化

DataDome 已與 TollBit 及其他平台建立合作關係，提供一套整合解決方案：即時防禦惡意機器人，同時將合規機器人變現。

他們的數據顯示，AI 流量在短短六個月內增長了兩倍，從所有經驗證機器人流量的 2.6% 上升至 8.2%。

天火：人工智能支付網路

Skyfire 代表了一種不同的方法，正在為自主 AI 代理構建一整套支付網路。憑藉850 萬美元的募資以及與 DataDome 等公司的合作，Skyfire 的目標是成為 AI 經濟的標準支付基礎設施。

對出版商的影響：機會與挑戰

混凝土的優點

新的收入來源：在傳統廣告之外實現多元化
細緻的控制：可自由選擇允許哪些機器人存取，以及設定什麼價格
完整可視性：詳細的儀表板顯示誰在存取內容，以及存取頻率
直接報酬：無需廣告中介的即時付款

現實的挑戰

採用有限：並非所有 AI 公司都會願意付費
定價複雜：難以確定不同類型內容的合理價值
執行難度：許多機器人仍會繼續無視規則（從 2024 年的 3.3% 上升至 2025 年 3 月的 13%）
需要規模：微支付只有在流量龐大時才具有實質意義

出版商的現實預測

便利的臨界點：封鎖不一定有好處

在深入分析數字之前，必須先強調一點：Pay Per Crawl 並非對所有人都划算。對於流量有限的網站來說，允許 AI 機器人免費存取可能在策略上更為有利：這能提高內容在 AI 系統中的可發現性、與新興平台建立關係，並為網站在未來的機會中塑造「對 AI 友善」的形象。

直接貨幣化只有在數量證明管理複雜性和實施成本合理時才具有吸引力。

適用於小型網站 (每月 10K 次造訪)

估計機器人流量：每月 500-1,000 次 AI 訪問
潛在收益：每月 $5-50（取決於 CPM 和接受率）
影響：微乎其微，通常保持開放以獲取曝光度更有利
建議：持續監控並評估策略性免費開放存取

適用於中型網站 (每月 100K 次造訪)

估計機器人流量：每月 5,000-15,000 次 AI 訪問
潛在收益：每月 $75-750
影響：開始值得考慮營利化的臨界點
建議：嘗試提供付費優質內容

適用於大型出版商 (每月超過 1M 的造訪人次)

估計機器人流量：每月 50,000-200,000+ 次 AI 訪問
潛在收益：每月 $750-10,000+
影響：有潛力成為一條可觀的新業務線
建議：建議立即實施

內容授權的未來

Stack Overflow 執行長 Prashanth Chandrasekar 完美總結了這個情況：「為 LLM 提供資料的社群平台應該為其貢獻獲得補償,這樣才能將收益再投資於自身社群。」

隨著AI 對 AI 商務預計在未來三年內達到 460 億美元,及早在這個生態系統中佔據位置的出版商可能會獲得顯著的競爭優勢。

結論：是時候採取行動了？

「Pay Per Crawl」（按爬取付費）已不再是科幻小說,而是實際運作的現實。對出版商而言,問題不在於這個模式是否會成為主流,而在於他們是否以及何時能夠調整策略來掌握其中的價值。

令人不安的真相：並非所有人都應該立即進行營利化。對於流量有限的網站(每月不到 5 萬次訪問),保持對 AI 機器人的自由存取在策略上可能更有優勢,能夠為未來的機會建立曝光度和關係。直接營利化的合理門檻通常需要相當可觀的流量規模才能達到。

預測顯示大中型出版商的潛在收入極具吸引力，尤其是優質內容和大量流量的出版商。然而，成功與否取決於以下能力：

評估自身的合理門檻(流量規模與管理複雜度的權衡)
選擇合適的策略(自由存取、完全封鎖,或營利化)
選擇合適的平台(Cloudflare、TollBit,或整合式解決方案)
設定具競爭力但能獲利的定價
維持能夠證明微支付合理性的內容品質
持續監控並優化整體做法

對於流量可觀且願意嘗試的出版商而言,2025 年或許將是 AI 不再只是一項成本、而終於成為商業機會的一年。對其他人來說,現在或許是為未來掌握這項機會打好基礎的時刻。

主要資料來源：

每次抓取付費革命：出版商如何將 AI 流量賺錢

用 AI 摘要這篇文章