从网络上免费收集内容的时代即将结束。以下是新平台如何将人工智能机器人从非付费访客转化为真正的客户。
二十多年来,网络一直在一个不成文的约定下运行:谷歌和其他搜索引擎免费索引出版商的内容,在他们的网页上显示片段和摘要,但作为回报,却将大量流量传送回原始网站。出版商接受这种对其内容的 "使用",因为他们获得了知名度和读者,并因此获得了广告收入。
谷歌新闻完善了这一模式:它从数千个来源聚合新闻,显示标题和简短摘录,但每次点击都会将用户带到原始网站。双赢的平衡使数字信息生态系统得以持续发展。
现在想象一下,在经营一家新闻网站时,你会发现每天都有成千上万的人工智能机器人在扫描你的文章,利用这些内容为它们的模板提供素材,并向用户提供完整的答案,而无需将流量传回你的网站。人工智能不会产生链接,也不会产生点击:它会直接回复。欢迎来到 2025 年的现实世界。
根据Cloudflare的数据,到2025年中期,80%的人工智能抓取活动将用于训练模型,而向出版商(尤其是谷歌)的推荐正在急剧下降。运行了二十年的模式正在崩溃:谷歌本身及其人工智能概述向原始网站发送的流量越来越少。抓取与转发的比率显示了令人震惊的数字:Anthropic网站的爬行与转发比为38,000:1,而OpenAI则达到了1,700:1。
但是,如果机器人能够成为付费客户,而不仅仅是内容的免费消费者呢?现在是达成新协议的时候了:如果人工智能不能再像谷歌那样保证返回流量,它至少必须为访问内容付费。
2025 年 7 月 Cloudflare 宣布成为首家默认阻止人工智能爬虫的互联网基础设施公司,并同时推出了 "按抓取付费 "系统。新闻是什么?现在,在 Cloudflare 注册的每个新域名都会被明确询问是否允许人工智能爬虫访问内容。
但真正改变游戏规则的是市场,在市场上 出版商可以每扫描每当人工智能公司扫描其网页一次,出版商就可以向其收取费用。不再只是 "允许 "或 "阻止",而是第三个选项:"收费"。
甚至早于 Cloudflare、 TollBit 就已经开始建立这种基础设施。这家初创公司最近在 2400 万美元的 A 轮融资该公司创建了一个平台,人工智能机器人可以直接向网站付费,让网站使用它们的内容。
时代》周刊和《广告周刊》是首批他们发现,人工智能代表了一类有特殊需求的新客户。
根据详细分析TollBit 每年可为其出版合作伙伴带来约 7100 万美元的收入。情况就是这样:
以内容网站一般 CPM 为 15 美元计算,TollBit 生态系统每天的潜在收入为 195,000美元,每年超过 7,100 万美元。
TollBit 建议两种定价水平:
两者之间的差额可能很大,因此这种模式对优质和专业内容特别有吸引力。
TollBit 对 160 个网站的分析显示显示,人工智能公司在 2024 年第四季度平均扫描了200 万次。每个页面平均被扫描 7 次。
TollBit 的联合创始人 Toshit Panigrahi 解释说:"这些人工智能平台产生的僵尸流量几乎等同于存在了 20 年的搜索引擎的僵尸流量,这太不可思议了。"
DataDome 已与与 TollBit 和其他平台合作,提供集成解决方案:实时防止恶意机器人,并将符合要求的机器人货币化。
他们的数据显示,人工智能流量在短短六个月内增长了两倍,从占所有验证机器人流量的 2.6% 增长到 8.2%。
天火公司代表了一种不同的方法为自主人工智能代理构建了一个完整的支付网络。凭借 筹集了 850 万美元并与 DataDome 等公司建立了合作关系,Skyfire 的目标是成为人工智能经济的标准支付基础设施。
在分析这些数字之前,必须强调的是,按抓取付费并非对所有人都方便。对于流量有限的网站来说,允许人工智能机器人免费访问在战略上更有优势:它可以提高人工智能系统对内容的可发现性,与新兴平台建立关系,并将网站定位为 "人工智能友好型 "网站,以获得未来的机会。
直接货币化只有在数量足以证明管理复杂性和实施成本时才具有吸引力。
Stack Overflow 首席执行官普拉桑特-钱德拉塞卡(Prashanth Chandrasekar完美地概括了这种情况:"为 LLM 提供动力的社区平台应该为他们的贡献获得补偿,这样他们才能重新投资于自己的社区"。
随着 预计未来三年人工智能对人工智能的商业价值将达到 460 亿美元。因此,出版商如果能尽早在这一生态系统中定位,就会发现自己具有显著的竞争优势。
按抓取付费 "不再是科幻小说,而是一种可操作的现实。对于出版商来说,问题不在于这种模式是否会流行,而在于他们是否以及何时能够适应这种模式以获取价值。
La verità scomoda: non tutti dovrebbero monetizzare subito. Per siti con traffico limitato (<50K visite/mese), mantenere accesso libero ai bot AI può essere più vantaggioso strategicamente, costruendo visibilità e relazioni per future opportunità. La soglia di convenienza per la monetizzazione diretta si raggiunge generalmente con volumi di traffico significativi.
预测显示,中型和大型出版商的潜在收入极具吸引力,尤其是优质内容和大量流量。然而,成功与否将取决于以下能力:
对于拥有大量流量并愿意进行尝试的出版商来说,2025 年可能是人工智能不再仅仅是成本而最终成为商机的一年。对于其他所有人来说,现在可能是为未来抓住这一机遇奠定基础的时候了。
主要来源