互联网上一直有机器人，但直到现在，才首次出现机器人数量超过人类的局面。Cloudflare首席执行官Matthew Prince确认，2026年5月，该公司网络上的自动化流量已超过人类流量，他表示这一里程碑的到来时间远早于他的预期。

这一说法具有不同寻常的分量。Cloudflare为全球互联网的相当大一部分流量提供路由和保护，使公司能够实时掌握互联网上实际流动的内容，几乎没有其他机构能与之匹敌。这一视角之所以重要，是因为所涉及的非人类流量并非单一现象：它涵盖与搜索相关的索引、为收集训练数据而抓取内容的爬虫，以及AI代理——即代表用户检索信息或完成任务的软件，而非由人直接打开浏览器。

对出版商而言，账越来越不好算

如果说2026年5月已经令人担忧，那么Prince的五年预测则更加令人不安。他估计，随着AI代理以任何人类浏览会话都无法企及的频率执行任务，到2031年，非人类流量可能达到人类流量的约1000倍。

数据已经在朝这个方向发展。Google的爬取与访客比例——衡量爬虫访问网站的次数与其带回的人类访客数量之比——已从约6:1恶化至18:1甚至更糟。对于依赖人类注意力构建广告模式的出版商来说，这一比例至关重要。爬虫阅读文章不会产生广告收入；而爬虫以先前三倍的频率阅读文章，同时带回的读者比例却更低，这对业务是实质性的侵蚀。

AI流量的构成也在发生变化，使局面更加复杂。训练流量——即为喂养大型语言模型而抓取内容的爬虫——目前占所有AI爬虫活动的40%至52%，这与早期以搜索相关索引为主导的AI流量浪潮有明显不同。早先的浪潮至少还保留了人类通过链接回到源网站的可能性；而为训练数据进行的抓取则没有相应的回报路径，这也是这一转变加剧广告资助型出版商压力的原因。

Cloudflare的应对：默认屏蔽，然后谈判

Prince和Cloudflare并未将此视为被动观察。自2026年9月15日起，对于新域名以及相当一部分现有网站，该公司将默认在广告支持页面上屏蔽AI训练和代理爬虫。希望允许此类访问的出版商需要主动选择退出屏蔽——这意味着，实际上，未采取任何行动的受影响网站将自动排除这些爬虫。

这一决策的架构设计意义重大。将默认设置从“除非被屏蔽否则允许”转变为“除非被允许否则屏蔽”，将谈判筹码果断地转向内容创作者。目前，识别并屏蔽特定爬虫的重担落在出版商身上——这对大多数中小型出版商而言是无法有效完成的技术和运营负担。在新的默认设置下，AI公司将成为必须坐到谈判桌前的一方。

Prince指出，按爬取付费或小额支付模式是合乎逻辑的最终方向，即AI公司为每次访问向内容所有者付费，而不是通过目前支撑大多数互联网经济的间接的、基于流量的广告链条。有多少出版商会维持默认屏蔽，以及AI公司将如何应对必须申请访问的局面，是9月15日推行之前最直接的问题。

这对更广泛的数字经济意味着什么

如今以广告为支撑的互联网是为人类注意力而设计的。展示广告、程序化竞价、点击率、会话时长——这一体系中的每一项指标都假设浏览器的另一端是一个人。当大部分流量为非人类时，整套衡量体系就开始衡量错误的东西。

对Cloudflare自身而言，其中的战略定位相当可观。通过将自身嵌入为做出屏蔽或允许决策的基础设施层，该公司将成为任何可能发展起来的小额支付或授权架构中的天然中间人。