「按抓取付费」革命：出版商如何… · ELECTE

从网络免费抓取内容的时代正在终结。以下是新平台如何将AI机器人从不付费的访问者转变为真正的客户。

问题：当人工智能打破与出版商的契约时

谷歌模式：有效的平衡

二十多年来,网络世界一直遵循着一项不成文的约定:谷歌和其他搜索引擎免费索引出版商的内容,在自己的页面上展示摘要和简介,但作为交换,会为原始网站带来大量流量。出版商接受这种对其内容的"使用",是因为他们由此获得了曝光度、读者以及随之而来的广告收入。

谷歌新闻完善了这一模式：它从数千个来源聚合新闻，显示标题和简短摘录，但每次点击都会将用户带到原始网站。双赢的平衡使数字信息生态系统得以持续发展。

人工智能打破平衡

现在想象一下,你运营着一个新闻网站,却发现每天有成千上万的AI机器人扫描你的文章,利用这些内容训练它们的模型,并向用户提供完整的答案,却从未为你的网站带来任何流量。AI不产生链接,也不产生点击:它直接给出答案。欢迎来到2025年的现实。

根据Cloudflare的数据,到2025年年中,80%的AI爬取活动用于模型训练,而流向出版商的引荐流量(尤其是来自谷歌的)正在急剧减少。这个运行了二十年的模式正在瓦解:谷歌自身通过其AI Overviews功能,向原始网站发送的流量也越来越少。"爬取与引荐"比率显示出令人震惊的数字:Anthropic每引导一名访问者到网站,就要进行38,000次扫描,而OpenAI的这一比例达到1,700:1。

但如果机器人能够成为付费客户,而不再只是内容的免费消费者,情况会怎样?是时候达成一项新的约定了:如果AI无法再像谷歌那样保证带来回访流量,那它至少应该为访问内容付费。

解决方案：按抓取付费和人工智能小额支付

Cloudflare 开启舞会

2025年7月,Cloudflare宣布,它已成为首家默认屏蔽AI爬虫的互联网基础设施公司,同时推出了"Pay Per Crawl"(按爬取付费)系统。新变化是什么?每个在Cloudflare注册的新域名,现在都会被明确询问是否希望允许AI爬虫访问其内容。

但真正的颠覆性变革在于这个市场平台,出版商可以在这里向AI公司索取报酬,只要自己的页面被抓取一次。不再只是"允许"或"屏蔽",而是有了第三种选择:"收费"。

TollBit：人工智能小额支付先驱

在Cloudflare之前,TollBit就已经开始构建这套基础设施。这家初创公司最近完成了2400万美元的A轮融资,并打造了一个平台,让AI机器人可以直接向网站付费使用其内容。

TIME和Adweek是首批客户之一,正在试验这一模式,他们发现AI代表了一类有着特定需求的新客户。

数字：你到底能赚多少钱？

TollBit 预测

根据一项详细分析，TollBit 每年可能已经为其出版合作伙伴创造约7100万美元的收入。具体如下：

流量呈指数级增长：流向 TollBit 客户网站的 AI 机器人流量每季度都在翻倍
2024年第四季度：每日275万次机器人访问
2025年第一季度：650万次访问
2025年第二季度预测：1300万次访问

以内容网站典型的每千次展示15美元（CPM）计算，这意味着 TollBit 生态系统每天可能产生19.5万美元的潜在收入，即每年超过7100万美元。

定价模式

TollBit 建议两种定价水平：

摘要费率：适用于想要摘要内容的机器人
转载费率：明显更高，适用于想要展示完整文章的机器人

两者之间的差额可能很大，因此这种模式对优质和专业内容特别有吸引力。

来自实地的实际数据

TollBit 对160个网站的分析显示，AI 公司在2024年第四季度平均抓取了200万次。每个页面平均被抓取7次。

TollBit 联合创始人 Toshit Panigrahi 解释道：“这些 AI 平台产生的机器人流量几乎与存在了20年的搜索引擎机器人流量相当，这一点令人难以置信。”

不断演变的生态系统

数据穹顶保护和货币化

DataDome 已与 TollBit 及其他平台建立合作，提供一体化解决方案：对恶意机器人进行实时防护，同时对合规机器人进行变现。

他们的数据显示，AI 流量在短短六个月内增长了两倍，从所有已验证机器人流量的2.6%上升到8.2%。

天火：人工智能支付网络

Skyfire 代表了一种不同的思路，为自主 AI 代理构建了一整套支付网络。凭借850万美元融资以及与 DataDome 等公司的合作，Skyfire 旨在成为 AI 经济的标准支付基础设施。

对出版商的影响：机遇与挑战

具体优势

新的收入来源：在传统广告之外实现多元化
精细化控制：可以选择允许哪些机器人访问以及定价
完全可见性：详细的仪表板显示谁在访问内容以及访问频率
直接报酬：无需广告中介的即时付款

现实的挑战

采用有限：并非所有 AI 公司都会同意付费
定价复杂：很难为不同类型的内容确定合理的价值
执行力：许多机器人仍将继续无视规则（从2024年的3.3%上升到2025年3月的13%）
需要规模：只有在高流量下微支付才会产生可观收益

对出版商的现实预测

方便的阈值：屏蔽并非总能带来好处

在分析这些数字之前，需要指出的是，按次付费抓取并非对所有人都划算。对于流量有限的网站来说，允许 AI 机器人免费访问在战略上可能更有利：这能提高内容在 AI 系统中的可发现性，与新兴平台建立关系，并使网站在未来的机会中被定位为“对 AI 友好”。

直接货币化只有在数量足以证明管理复杂性和实施成本时才具有吸引力。

适用于小型网站（每月 10K 访问量）

预估机器人流量：500-1,000 次AI访问/月
潜在收入：5-50美元/月（取决于CPM和接受率）
影响：微乎其微，通常保持开放以获得曝光度更为有利
建议：持续监测，并评估战略性免费开放访问

适用于中型网站（每月 100K 访问量）

预估机器人流量：5,000-15,000 次AI访问/月
潜在收入：75-750美元/月
影响：开始有意义考虑变现的临界点
建议：尝试推出付费优质内容

针对大型出版商（月访问量超过 100 万次）

预估机器人流量：50,000-200,000+ 次AI访问/月
潜在收入：750-10,000+美元/月
影响：可能成为一条实质性的新业务线
建议：建议立即实施

内容授权的未来

Stack Overflow首席执行官Prashanth Chandrasekar的话完美概括了这一局面："为LLM提供支持的社区平台理应因其贡献获得补偿，从而能够反哺投资于自身社区。"

随着AI对AI商务预计将在未来三年内达到460亿美元，率先在这一生态系统中占据有利位置的出版商，可能会获得显著的竞争优势。

结论：是时候采取行动了吗？

“按爬取付费”不再是科幻概念，而是切实可行的运营模式。对出版商而言，问题不在于这一模式是否会站稳脚跟，而在于能否以及何时能够顺势调整以获取其价值。

一个不那么令人愉快的事实：并非所有人都应该立即着手变现。对于流量有限（月访问量低于5万）的网站而言，保持对AI机器人的开放访问，从战略角度看可能更为有利，有助于积累曝光度和建立关系，为未来的机会打下基础。直接变现真正划算的临界点，通常需要相当可观的流量规模才能达到。

预测显示，中型和大型出版商的潜在收入极具吸引力，尤其是优质内容和大量流量。然而，成功与否将取决于以下能力：

评估自身的划算临界点（流量规模与管理复杂度的权衡）
选择合适的策略（开放访问、全面屏蔽或变现）
选择合适的平台（Cloudflare、TollBit或集成解决方案）
制定既有竞争力又能盈利的定价
保持内容质量，使其配得上微支付
持续监测并优化自身的做法

对于流量充足、愿意进行尝试的出版商来说，2025年或许将成为AI不再只是一项成本、而真正成为一个商业机会的一年。对于其他所有人来说，现在或许正是打好基础的时刻，以便在未来把握住这一机会。

主要资料来源：

按抓取付费革命：出版商如何通过人工智能流量盈利

用 AI 总结本文