Newsletter

按抓取付费革命:出版商如何通过人工智能流量盈利

Il patto Google funzionava: crawler gratuiti in cambio di traffico referral. L'AI lo distrugge: rapporto crawl-to-refer devastante—Anthropic 38.000:1, OpenAI 1.700:1—con 80% crawling AI per training modelli e zero click verso editori. Cloudflare game-changer (luglio 2025): prima azienda infrastruttura internet a bloccare crawler AI per default su ogni nuovo dominio + marketplace Pay Per Crawl dove editori richiedono compensi diretti. TollBit pioniere monetizzazione già genera $71M/anno con traffico esploso 2.75M→13M accessi bot/giorno, CPM $15 = $195K/giorno. Pricing due livelli: summarization vs syndication rate. Soglie convenienza: <50K visite/mese meglio accesso libero strategico; 100K $75-750/mese; 1M+ $750-10K/mese implementazione immediata. DataDome rileva traffico AI triplicato 6 mesi (2.6%→8.2%), Skyfire costruisce rete pagamenti agenti AI ($8.5M). Commercio AI-to-AI proiezione $46B prossimi 3 anni. Non più "permetti/blocca" ma terza opzione: "fai pagare".

从网络上免费收集内容的时代即将结束。以下是新平台如何将人工智能机器人从非付费访客转化为真正的客户。

问题:当人工智能打破与出版商的契约时

谷歌模式:有效的平衡

二十多年来,网络一直在一个不成文的约定下运行:谷歌和其他搜索引擎免费索引出版商的内容,在他们的网页上显示片段和摘要,但作为回报,却将大量流量传送回原始网站。出版商接受这种对其内容的 "使用",因为他们获得了知名度和读者,并因此获得了广告收入。

谷歌新闻完善了这一模式:它从数千个来源聚合新闻,显示标题和简短摘录,但每次点击都会将用户带到原始网站。双赢的平衡使数字信息生态系统得以持续发展。

人工智能打破平衡

现在想象一下,在经营一家新闻网站时,你会发现每天都有成千上万的人工智能机器人在扫描你的文章,利用这些内容为它们的模板提供素材,并向用户提供完整的答案,而无需将流量传回你的网站。人工智能不会产生链接,也不会产生点击:它会直接回复。欢迎来到 2025 年的现实世界。

根据Cloudflare的数据,到2025年中期,80%的人工智能抓取活动将用于训练模型,而向出版商(尤其是谷歌)的推荐正在急剧下降。运行了二十年的模式正在崩溃:谷歌本身及其人工智能概述向原始网站发送的流量越来越少。抓取与转发的比率显示了令人震惊的数字:Anthropic网站的爬行与转发比为38,000:1,而OpenAI则达到了1,700:1。

但是,如果机器人能够成为付费客户,而不仅仅是内容的免费消费者呢?现在是达成新协议的时候了:如果人工智能不能再像谷歌那样保证返回流量,它至少必须为访问内容付费。

解决方案:按抓取付费和人工智能小额支付

Cloudflare 开启舞会

2025 年 7 月 Cloudflare 宣布成为首家默认阻止人工智能爬虫的互联网基础设施公司,并同时推出了 "按抓取付费 "系统。新闻是什么?现在,在 Cloudflare 注册的每个新域名都会被明确询问是否允许人工智能爬虫访问内容。

但真正改变游戏规则的是市场,在市场上 出版商可以每扫描每当人工智能公司扫描其网页一次,出版商就可以向其收取费用。不再只是 "允许 "或 "阻止",而是第三个选项:"收费"。

TollBit:人工智能小额支付先驱

甚至早于 Cloudflare、 TollBit 就已经开始建立这种基础设施。这家初创公司最近在 2400 万美元的 A 轮融资该公司创建了一个平台,人工智能机器人可以直接向网站付费,让网站使用它们的内容。

时代》周刊和《广告周刊》是首批他们发现,人工智能代表了一类有特殊需求的新客户。

数字:你到底能赚多少钱?

TollBit 预测

根据详细分析TollBit 每年可为其出版合作伙伴带来约 7100 万美元的收入。情况就是这样:

  • 流量呈指数增长:TollBit 客户网站的人工智能机器人流量每季度翻一番
  • 2024 年第四季度:每天 275 万次机器人访问
  • 2025 年第一季度:650 万次点击
  • 预计 2025 年第二季度:1 300 万次访问

以内容网站一般 CPM 为 15 美元计算,TollBit 生态系统每天的潜在收入为 195,000美元,每年超过 7,100 万美元。

定价模式

TollBit 建议两种定价水平:

  • 总结:适用于想要总结内容的机器人
  • 聚合率:对于想要显示全文的机器人来说,聚合率要高得多

两者之间的差额可能很大,因此这种模式对优质和专业内容特别有吸引力。

来自实地的实际数据

TollBit 对 160 个网站的分析显示显示,人工智能公司在 2024 年第四季度平均扫描了200 万次。每个页面平均被扫描 7 次。

TollBit 的联合创始人 Toshit Panigrahi 解释说:"这些人工智能平台产生的僵尸流量几乎等同于存在了 20 年的搜索引擎的僵尸流量,这太不可思议了。"

不断演变的生态系统

数据穹顶保护和货币化

DataDome 已与与 TollBit 和其他平台合作,提供集成解决方案:实时防止恶意机器人,并将符合要求的机器人货币化。

他们的数据显示,人工智能流量在短短六个月内增长了两倍,从占所有验证机器人流量的 2.6% 增长到 8.2%。

天火:人工智能支付网络

天火公司代表了一种不同的方法为自主人工智能代理构建了一个完整的支付网络。凭借 筹集了 850 万美元并与 DataDome 等公司建立了合作关系,Skyfire 的目标是成为人工智能经济的标准支付基础设施。

对出版商的影响:机遇与挑战

具体优势

  1. 新的收入来源:传统广告之外的多元化发展
  2. 精细控制:能够选择让哪些机器人进入,以及以何种价格进入
  3. 可见性 完整详细的仪表板显示谁访问了内容以及访问的频率
  4. 直接补偿:无需广告中介的即时付款

现实的挑战

  1. 采用有限:并非所有人工智能公司都同意付费
  2. 定价复杂:难以确定每种内容类型的正确价值
  3. 执行:许多机器人将继续无视规则(从 2024 年的 3.3% 增至 2025 年 3 月的 13)
  4. 所需规模:小额支付只有在大量使用时才会变得重要

对出版商的现实预测

方便的阈值:屏蔽并非总能带来好处

在分析这些数字之前,必须强调的是,按抓取付费并非对所有人都方便。对于流量有限的网站来说,允许人工智能机器人免费访问在战略上更有优势:它可以提高人工智能系统对内容的可发现性,与新兴平台建立关系,并将网站定位为 "人工智能友好型 "网站,以获得未来的机会。

直接货币化只有在数量足以证明管理复杂性和实施成本时才具有吸引力。

适用于小型网站(每月 10K 访问量)

  • 估计机器人流量:每月 500-1000 次人工智能访问
  • 潜在收入:每月 5-50 美元(取决于 CPM 和接受率)
  • 影响:微不足道,为提高能见度而保持开放往往更好
  • 建议:监测和评估战略性免费开放

适用于中型网站(每月 100K 访问量)

  • 估计机器人流量:每月 5,000-15,000 次人工智能访问
  • 潜在收入:75-750 美元/月
  • 影响:开始考虑货币化的阈值
  • 建议:尝试付费优质内容

针对大型出版商(月访问量超过 100 万次)

  • 估计机器人流量:每月 50,000-200,000+ 次人工智能访问
  • 潜在收入:每月 750-10,000+ 美元
  • 影响:潜在的大量新业务线
  • 建议:建议立即实施

内容授权的未来

Stack Overflow 首席执行官普拉桑特-钱德拉塞卡(Prashanth Chandrasekar完美地概括了这种情况:"为 LLM 提供动力的社区平台应该为他们的贡献获得补偿,这样他们才能重新投资于自己的社区"。

随着 预计未来三年人工智能对人工智能的商业价值将达到 460 亿美元。因此,出版商如果能尽早在这一生态系统中定位,就会发现自己具有显著的竞争优势。

结论:是时候采取行动了吗?

按抓取付费 "不再是科幻小说,而是一种可操作的现实。对于出版商来说,问题不在于这种模式是否会流行,而在于他们是否以及何时能够适应这种模式以获取价值。

La verità scomoda: non tutti dovrebbero monetizzare subito. Per siti con traffico limitato (<50K visite/mese), mantenere accesso libero ai bot AI può essere più vantaggioso strategicamente, costruendo visibilità e relazioni per future opportunità. La soglia di convenienza per la monetizzazione diretta si raggiunge generalmente con volumi di traffico significativi.

预测显示,中型和大型出版商的潜在收入极具吸引力,尤其是优质内容和大量流量。然而,成功与否将取决于以下能力:

  1. 评估您的便利阈值(数量与管理复杂性)
  2. 选择 策略 正确(免费访问、全面封锁或货币化)
  3. 选择合适的平台(Cloudflare、TollBit 或集成解决方案)
  4. 具有竞争力但有利可图的定价
  5. 保持内容质量,证明小额支付的合理性
  6. 不断监测和优化方法

对于拥有大量流量并愿意进行尝试的出版商来说,2025 年可能是人工智能不再仅仅是成本而最终成为商机的一年。对于其他所有人来说,现在可能是为未来抓住这一机遇奠定基础的时候了。

主要来源

促进业务增长的资源